自分をごまかさずにAI可視性を測定する方法

ChatGPTに「Xにおすすめのツールは？」と2回続けて尋ねると、異なる候補リストが返ってくることがあります。モデルはある程度のランダム性をもってテキストを生成し、Webを検索する場合は読む検索結果も変動します。自社が最初に挙げられた回のスクリーンショットは、次の購買担当者が目にする回答についてほとんど何も教えてくれません。

AI可視性を測定するとは、1つひとつの回答をサンプルとして扱い、割合を追跡することです。

適切なプロンプトから始める

顧客が実際に尋ねる質問を、顧客自身の言葉で使いましょう。ブレインストーミングよりも、商談、サポートへの問い合わせ、Google Search Consoleのクエリのほうが優れた情報源です。リストの大半は、自社のブランド名を含まないカテゴリの質問（「フリーランス向けのおすすめ請求書作成ソフト」）にします。新規顧客を獲得できるか逃すかは、こうした質問で決まるからです。AIアシスタントが自社について何と言っているかを確認するために、ブランドに関する質問（「YourBrandは無料ですか？」）もいくつか入れておきます。

ほとんどの企業は、25〜100件のプロンプトで十分にカバーできます。ChatGPT、Gemini、Perplexity、Claudeは検索や引用の仕方がそれぞれ異なるため、エンジンごとに追跡します。

各プロンプトを複数回尋ねる

1週間に1プロンプトにつき1回答では、毎週コインを投げているのと変わりません。1回の実行につき1プロンプトあたり3〜5回答が実用上の最低ラインで、プロンプトや週をまたいで回答を合算すれば精度が上がります。

その理由は次の表のとおりです。言及率が約50%の場合の95%信頼区間（Wilsonの区間）を、サンプル数ごとに示しています。

回答が10件の場合、40%から60%への変化はノイズかもしれません。120件なら、本当の変化である可能性が非常に高くなります。割合はサンプル数とあわせて報告し、サンプル数を示さずにパーセンテージだけを表示するダッシュボードは疑ってかかりましょう。

追跡する価値のある数値

言及率は、自社の名前を挙げた回答の割合です。最も重要な数値であり、GEOの取り組みが最も強く影響する数値でもあります。

平均順位は、名前が挙がったときの推薦順での位置です。5件中5位でも5件中1位でも言及は言及ですが、購買担当者が行動を起こすのはリストの上位です。

引用率は、自社ページのいずれかを情報源としてリンクした回答の割合です。自社のコンテンツが役割を果たしているのか、それとも他社のページのおかげで名前が挙がっているのかがわかります。

事実の正確性は、自社ブランドに関する記述のうち、実際と一致するものの割合です。AIの回答に誤った価格や欠けた機能が書かれていると、確かめるために自社サイトを訪れることのない購買担当者を失うことになります。

エンジンとサンプルを分けて見る

すべてのエンジンを1つの数値にまとめると、実態が見えなくなります。Perplexityでの上昇とChatGPTでの下降が打ち消し合うこともあります。エンジンごとに分けて見て、合計値が動いたときはプロンプト単位のビューを確認し、どの質問が変化したかを把握しましょう。

元の回答も保存しておきます。数値が下がったとき、回答を読めば理由がわかります。リストに新しい競合が加わった、引用されていた記事から自社が外れた、検索クエリが別のページを返すようになった、といった理由です。

変化を自社の施策と結びつける

ページを公開した日、掲載を獲得した日、クローラーのブロックを解消した日を記録し、その後2〜3週間、影響が見込まれるプロンプトを観察します。ライブWeb検索にもとづく回答は、ページがインデックスされてから数日で反応することがよくあります。モデルの記憶にもとづく回答は、新しいモデルがリリースされたときにしか変わりません。

FAQ

どのくらいの頻度で再テストすべきですか？

ほとんどのチームは週1回で十分です。毎日の実行はコストが増えるうえ、非常に多くのプロンプトを追跡している場合を除けば、ノイズが増えるだけです。

AI可視性を手作業で測定できますか？

少数のプロンプトなら可能です。ただし、履歴のない新しいセッション、プロンプトごとの複数回の実行、順位と情報源を記録する一貫した方法が必要です。10件を超えるとパートタイムの仕事になってしまい、そこを埋めるのがPromptvaneのようなツールです。

良い言及率とはどのくらいですか？

カテゴリの競争の激しさによって異なります。絶対的な目標値ではなく、同じ回答で名前が挙がっている競合と比較し、推移を見ましょう。