「効果が出た」をどう疑うか——対照群がかえってノイズを増やした、自社検証の実データ【2026年】

定石のはずの「対照群を引く」が、逆効果になることがある

AI可視性の効果測定では、競合（対照群）を同じ条件で並走計測し、その差分の変化を見ることで、施策の効果とAI側の仕様変更を切り分けます。考え方はAIEO対策の効果測定にまとめたとおりで、これ自体は正しい方法です。ところが、当社が自社の効果測定を15週ぶん検証したところ、対照の選び方を誤ると、ノイズは減るどころか増えることが分かりました。当社の場合、1社だけの能動的な競合を対照に引いたら、4つの集計軸のうち3つで、週ごとの変化のブレが2〜5倍に増えていました。この記事では、その実データと、そこから得た教訓を正直に共有します。

なぜ対照群を引くのか

生成AIは頻繁にモデルが更新され、回答の傾向が変わります。自社の出現率が上がったとき、それが施策の成果なのか、AI側の地殻変動なのかは、自社だけを見ていても区別できません。そこで、施策を打っていない競合を同じ質問・同じ頻度で測り、自社との差分の変化で判断します。医療や経済学で使われる差の差分法（DiD）の応用です。理屈のうえでは、共通して効くノイズ（AI側の変化）が相殺され、施策の効果だけが残るはずです。

自社で検証した条件

当社を対象に、次の条件で検証しました。期間は2026年6月1日から9月7日までの15週。対照は同カテゴリの競合1社。集計は、全体（合算）・Claude・ChatGPT・Geminiの4軸で、DiDを60行（15週×4軸）計算しました。計測は毎日・1問につき1回で、1週あたりの試行数の中央値は、当社が合算72（Claude28・Gemini28・ChatGPT16）、対照が合算85でした。

実データ——対照を引くと、ブレはどう変わったか

軸ごとに、出現率の「週ごとの変化幅」のブレ（標準偏差、単位はポイント）を、「自社だけで見た場合」と「対照を引いた後」で比べました。数字が小さいほどブレが少なく、測定として安定していることを意味します。

対照を引いてブレが減ったのはGeminiだけでした。残る3軸では、対照を引いたことでかえってブレが増えています。とくにChatGPTは5.2倍です。つまり、この対照は「ノイズを相殺する」どころか「ノイズを持ち込んでいた」。対照自身が能動的に動いていて週次の変化が大きいと、その変化が自社の数字に上乗せされてしまうためです。

「効果が出た」判定の、中身を開ける

この期間、顧客向けの画面は「施策の効果あり」と出せる条件（差分がプラスで、かつ対照の週次の変化が小さい）を11件検出していました。中身を見ると、そのうち10件は、上の表で「対照がかえってブレを増やす」軸（全体・Claude・ChatGPT）で出ていました。つまり、対照が信頼できない軸での判定で、効果の根拠にはできないものでした。残る1件（Gemini）は対照が効く軸での判定でしたが、これも「有意に効果があった」と言えるものではありません。

大事なのは、こうやって中身を開けて疑える仕組みを先に持っていたから、当社はこの10件を自分で取り下げられたということです。検証の仕組みが無ければ、11件を成果として報告し、そのまま進んでいたはずです。効果測定が無意味なのではありません。対照の設計を誤ると、効果測定が逆に誤りを量産する、という話です。

正直な限界

この検証には限界があります。対照は1社だけで、しかもその競合は同じカテゴリで能動的に動いている会社です。純粋な「何もしていない対照」ではありません。また、「対照の週次の変化が小さい（基準値未満）」という判定条件は、対照のブレがもともと大きい軸では、偶然でも満たされてしまいます。だからこそ、対照は1社ではなく複数を、できるだけ動きの穏やかな相手を選ぶ必要がある、というのが今回の教訓です。

ここから言えること

「効果が出た」という数字を見たら、まず問うべきは「どんな対照と比べた数字か」です。対照が無ければAI側の変化と区別できず、対照の選び方が悪ければノイズが増える。効果測定は、やれば正しくなるものではなく、設計で結果が変わります。当社がAI可視性の効果検証で、対照の選び方と複数計測にこだわるのは、自社のデータでこの落とし穴を見たからです。効果測定の全体像はAIEO対策の効果測定、数字の出どころを見極める考え方はGEOで「可視性40%改善」は本当かにまとめています。

当社NAVIGATEでは、複数回・コントロール比較で「本当に効いたか」を検証したうえで施策を提案する無料診断を行っています。現在地を正しい数字で把握したい方は、AI検索対策サービスページをご覧ください。

無料AI可視性診断を申し込む