스스로를 속이지 않고 AI 가시성을 측정하는 방법
AI 답변은 실행할 때마다 달라지므로 스크린샷 한 장으로는 아무것도 증명할 수 없습니다. 프롬프트를 샘플링하는 방법, 추적할 지표, 변화가 진짜라고 말하려면 답변이 몇 개나 필요한지 정리했습니다.
ChatGPT에 "X에 가장 좋은 툴은?"이라고 연달아 두 번 물으면 서로 다른 후보 목록을 받을 수 있습니다. 모델은 어느 정도 무작위성을 갖고 텍스트를 생성하고, 웹을 검색할 때 읽는 결과도 계속 바뀝니다. 우리 브랜드가 1순위로 나온 순간의 스크린샷은 다음 고객이 무엇을 보게 될지에 대해 거의 아무것도 말해 주지 않습니다.
AI 가시성을 측정한다는 것은 각 답변을 하나의 표본으로 보고 비율을 추적한다는 뜻입니다.
올바른 프롬프트로 시작하세요
고객이 실제로 묻는 질문을 고객의 표현 그대로 쓰세요. 영업 통화, 고객 지원 티켓, Google Search Console의 검색어가 브레인스토밍보다 나은 출처입니다. 목록의 대부분은 브랜드명이 없는 카테고리 질문("프리랜서에게 가장 좋은 인보이스 소프트웨어")이어야 합니다. 새 고객을 얻거나 잃는 곳이 바로 거기이기 때문입니다. 어시스턴트가 우리에 대해 뭐라고 말하는지 확인할 수 있도록 브랜드 질문("YourBrand는 무료인가요?")도 몇 개 넣으세요.
대부분의 회사는 프롬프트 25~100개면 충분합니다. ChatGPT, Gemini, Perplexity, Claude는 검색하고 인용하는 방식이 서로 다르므로 엔진별로 추적하세요.
프롬프트마다 여러 번 질문하세요
프롬프트당 일주일에 답변 하나는 매주 동전 던지기를 하는 것과 같습니다. 실행할 때마다 프롬프트당 답변 3~5개가 현실적인 최소치이며, 여러 프롬프트와 여러 주의 답변을 합치면 정밀도가 높아집니다.
아래 표가 그 이유를 보여 줍니다. 언급률이 약 50%일 때 표본 크기별 95% 신뢰 구간(Wilson 구간)입니다.
| 답변 수 | 관측된 비율 | 실제 값의 가능한 범위 |
|---|---|---|
| 3 | 3개 중 2개 | 21%~94% |
| 10 | 10개 중 5개 | 24%~76% |
| 30 | 30개 중 15개 | 33%~67% |
| 60 | 60개 중 30개 | 38%~62% |
| 120 | 120개 중 60개 | 41%~59% |
답변이 10개라면 40%에서 60%로의 변화도 노이즈일 수 있습니다. 120개라면 실제 변화일 가능성이 매우 높습니다. 비율 옆에 표본 수를 함께 표시하고, 표본 수 없이 퍼센트만 보여 주는 대시보드는 의심하세요.
추적할 가치가 있는 지표
언급률은 우리 브랜드를 언급한 답변의 비율입니다. 가장 중요한 지표이며, GEO 작업의 영향을 가장 많이 받습니다.
평균 순위는 우리 브랜드가 언급될 때 추천 순서에서의 위치입니다. 다섯 개 중 다섯 번째도, 다섯 개 중 첫 번째도 똑같이 언급으로 집계되지만, 고객은 목록의 맨 위를 보고 움직입니다.
인용률은 우리 페이지 중 하나를 출처로 링크한 답변의 비율입니다. 우리 콘텐츠가 제 역할을 하고 있는지, 아니면 다른 사람의 페이지 덕분에 언급되고 있는지 알려 줍니다.
사실 정확도는 우리 브랜드에 대한 주장 중 사실과 일치하는 비율입니다. AI 답변 속 틀린 가격이나 빠진 기능은, 사이트에 들어와 확인해 보지도 않는 고객을 잃게 만듭니다.
엔진과 표본을 나눠서 보세요
모든 엔진을 숫자 하나로 합치면 실제 흐름이 가려집니다. Perplexity에서의 상승과 ChatGPT에서의 하락이 서로 상쇄될 수 있습니다. 엔진은 따로 보고, 합계가 움직이면 프롬프트 단위로 살펴 어떤 질문이 바뀌었는지 확인하세요.
원본 답변도 보관하세요. 숫자가 떨어졌을 때 답변을 읽어 보면 이유를 알 수 있습니다. 목록에 새 경쟁사가 등장했거나, 인용되던 기사에서 우리가 빠졌거나, 검색어가 이제 다른 페이지를 돌려주는 경우입니다.
변화를 우리가 내놓은 작업과 연결하세요
페이지를 발행하거나, 목록에 소개되거나, 크롤러 차단을 고친 날짜를 기록한 뒤, 그 작업이 영향을 줄 프롬프트를 2~3주 동안 지켜보세요. 실시간 웹 검색에 기반한 답변은 페이지가 색인된 뒤 며칠 안에 반응하는 경우가 많습니다. 모델의 기억에 기반한 답변은 새 모델이 출시될 때만 바뀝니다.
FAQ
얼마나 자주 재측정해야 하나요?
대부분의 팀은 주 1회면 충분합니다. 매일 실행하면 비용이 더 들고, 프롬프트가 아주 많지 않은 한 노이즈만 늘어납니다.
AI 가시성을 수동으로 측정할 수 있나요?
프롬프트가 몇 개뿐이라면 가능합니다. 다만 기록이 남지 않은 새 세션, 프롬프트당 여러 번의 실행, 순위와 출처를 일관되게 기록하는 방법이 필요합니다. 프롬프트가 10개를 넘으면 파트타임 업무가 되는데, Promptvane 같은 도구가 바로 이 부분을 채워 줍니다.
좋은 언급률은 어느 정도인가요?
카테고리의 경쟁 강도에 따라 다릅니다. 절대적인 목표치보다는 같은 답변에 언급되는 경쟁사와 비교하고, 추세를 지켜보세요.