AIの「おすすめ」は毎回変わる——回答がブレる理由と、出現率で測る方法

「ChatGPTでうちがおすすめに出ました」というスクリーンショットを、最近よく見かけます。でも、同じ質問をもう一度投げると、出てくる会社はたいてい変わっています。

これはツールの不具合ではありません。生成AIの回答は、そもそも毎回ゆれるものです。だとすると、1回のスクリーンショットで「AIに評価された」と判断するのは、サイコロを一度振った結果で強さを語るようなものになります。

この記事では、AIの「おすすめ」がなぜ毎回変わるのか、その仕組みを整理したうえで、ブレに振り回されずに自社の立ち位置を測る方法を説明します。前提となるGEO・LLMOの全体像はGEO（Generative Engine Optimization）とは？意味・SEOとの違い・対策のやり方5つをご覧ください。

同じ質問でも、答えはこれだけ変わる

私たちは自社を実験台に、「おすすめの〇〇は？」という質問を、毎週・複数回・複数のAI（ChatGPT・Gemini・Claude）に投げ続けています。すると、同じ問いでも出てくる会社が週ごとに入れ替わり、同じ日に何度か聞くだけでも順番が動きます。

これは私たちの観測だけの話ではありません。第三者の調査でも、同じ傾向がはっきり出ています。

SparkToroが2,961種類のプロンプトを各60〜100回実行した調査では、同じブランドのリストがそのまま再現する確率は100回に1回未満、同じ順序が出る確率は約1,000回に1回でした。ザンクト・ガレン大学の研究でも、同じ質問を同じ日に繰り返したとき、引用されるソースの重なりは3〜4割程度にとどまり、毎回6割前後が入れ替わっています。AIが引用元に使うドメインは、月単位で見ても4〜6割が入れ替わるという報告もあります。

つまり、「ある日のスクリーンショットで1位だった」ことと「毎回安定して選ばれる」ことは、まったくの別物です。

なぜこれほどブレるのか

理由は、いまのAIが答えを作る仕組みそのものにあります。

ChatGPTの検索機能やGemini、Claudeは、質問を受けるたびにその場でWebを検索し、取ってきたページから回答を組み立てています。あらかじめ固定の答えを暗記して返しているわけではありません。検索結果は時々刻々と変わるので、それを材料にする回答も自然とゆれます。

裏を返せば、新しい情報が数日で回答に反映されることもある一方で、毎回同じ答えにはならないのが仕組み上あたりまえ、ということです。ブレるのは欠陥ではなく、Web検索型AIの性質です。

AIごとに、見ている「地図」が違う

もう一つ見落としがちなのが、AIによって参照する情報源が違うことです。

同じ「おすすめの〇〇は？」でも、ChatGPTとGeminiとClaudeで挙がる会社は揃いません。各AIが土台にしている検索インデックスが異なるためです。ChatGPTはBing系、GeminiはGoogle系、ClaudeはBrave系と、参照する「地図」がそもそも別物なのです。

だから「ChatGPTで出た＝どのAIでも出る」とは言えません。自社の見え方を確認するなら、AIを横断してチェックする必要があります。

ブレる前提で、どう測るか——出現率という考え方

答えがゆれるものを1回で測っても意味がない。ではどうするか。答えは「回数で測る」ことです。

同じ質問を複数回・複数日・複数のAIで繰り返し、「何回中何回、自社の名前が出たか」を割合で見る。これが出現率です。1回のスクリーンショットが点だとすれば、出現率は分布を捉える。ブレを平均でならすことで、はじめて「たまたま」と「実力」を区別できます。

実務では、ここにもう二つの工夫を加えます。

一つは、スコアにブレ幅（信頼区間）を付けること。小さな上下に一喜一憂せず、意味のある変化かどうかを見分けるためです。もう一つは、競合を同じ条件で並走して測ること。同業のコントロール企業と比べれば、自社のスコアが動いたときに「自分の施策が効いた」のか「AI側の仕様が変わっただけ」なのかを切り分けられます。

「安定して選ばれる会社」には共通点がある

出現率で見ると、一部の会社は毎回のように名前が挙がり、大多数はほとんど出てこない、という差がはっきり出ます。そして、繰り返し挙がる会社には共通点があります。第三者メディアでの言及、独自データの公開、エンティティ情報の一貫性です。とくに効いていたのは、自社サイトの外での言及でした。この共通点はChatGPTに「おすすめ」と推薦される企業の共通点——10社を調査して分かったことで詳しくまとめています。

逆に言えば、1回出た・出ないに一喜一憂するより、こうした「安定して選ばれる条件」を積み上げるほうが、長い目で見て確実だということです。

まとめ——スクリーンショットではなく、計測で

AIの「おすすめ」は毎回変わります。それは仕組み上あたりまえで、1回のスクリーンショットからは、ほとんど何も言えません。自社がAIにどう扱われているかは、複数回×複数AIの出現率と、競合との同一条件の比較でしか、正しくは分かりません。

もし依頼先を検討する場面なら、「効果をどう測りますか」と聞いてみてください。出現率・複数回計測・コントロール比較という言葉が出るかどうかは、一つの見極めになります（AI検索対策の会社の選び方）。

あわせて読みたい

• 用語と全体像：GEO（Generative Engine Optimization）とは？意味・SEOとの違い・対策のやり方5つ
• 推薦される会社の共通点：ChatGPTに「おすすめ」と推薦される企業の共通点——10社を調査して分かったこと
• 依頼先の選び方：AI検索対策（GEO・LLMO）会社の選び方——失敗しない5つのチェックポイント
• 自社が出てこないとき：ChatGPTに自社が出てこない——原因と今すぐできる5つの対処法

NAVIGATEは自社を実験台に、AIでの見られ方を出現率とコントロール比較で毎週計測し、その過程を公開しています。サービスの詳細や料金はAI検索対策（AIEO）サービスページをご覧ください。現状診断は無料です。