AIのクローラーは実際どれだけ来て、どれだけ読んでいるか——自社アクセスログの実データ【2026年版】
ChatGPTやClaude、GeminiのAIクローラーは、自社サイトに実際どれだけ来て、どれだけHTMLを読んでいるのか。当社のアクセスログ（直近7日）の実データで、ボットの種類ごとの訪問量と読取量を公開し、『来訪』と『読解』は別だという現在地を正直に解説します。
金井 成仁
合同会社NAVIGATE 代表 ｜ データサイエンティスト / AIコンサルタント
AIクローラーは来ている。ただし「読んでいる量」はボットで桁違い
「自社サイトはAIにちゃんと読まれているのか」。これを感覚ではなく、自社のアクセスログの実数で確かめました。当社（navigate-llc.com）に直近7日で訪れたAI関連クローラーを集計すると、訪問自体は多くのボットから来ていました。一方で、実際に持ち帰ったHTMLの量（転送量）は、ボットの種類によって桁が大きく違いました。学習・検索系のクローラーは数十MBを読む一方、AIが回答を作るために来る一部のクローラーは、キロバイト単位しか読んでいません。つまり「AIに読まれている」の実態は、ボットの種類で全く違う。この記事では、その実データと、そこから中小企業が読み取れることを正直に共有します。AIが何を出典に選ぶかはChatGPT検索で自社が引用されるにはで扱っています。
何を測ったか
当社サイトはCloudflare経由で配信しており、CloudflareのAIクローラー計測で、ボット別のリクエスト数（許可・失敗）と転送量（実際に読み取られたHTMLの量）が分かります。対象は直近7日、当社1サイトの実測です。なお、当社ではAIクローラーを一切ブロックしていません。止めて減っているわけではない、という前提で読んでください。
実データ（直近7日・主要なボット）
転送量が多い順に、代表的なボットを並べます。
| ボット（提供元） | 種別 | 転送量 | 許可 | 失敗 |
|---|---|---|---|---|
| Meta-ExternalAgent（Meta） | 汎用・学習 | 36.4 MB | 597 | 383 |
| Googlebot（Google） | 検索エンジン | 19.65 MB | 787 | 129 |
| Applebot（Apple） | 検索・AI | 7.89 MB | 295 | 218 |
| Baidu（百度） | 検索エンジン | 5.29 MB | 173 | 193 |
| BingBot（Microsoft） | 検索エンジン | 5.02 MB | 140 | 4 |
| Bytespider（ByteDance） | 汎用・学習 | 3.87 MB | 28 | 155 |
| OAI-SearchBot（OpenAI） | AI検索 | 2.81 MB | 86 | 187 |
| GPTBot（OpenAI） | 汎用・学習 | 2.71 MB | 100 | 218 |
| ChatGPT-User（OpenAI） | AIアシスタント | 1.82 MB | 51 | 71 |
| PerplexityBot（Perplexity） | AI検索 | 1.16 MB | 74 | 122 |
| ClaudeBot（Anthropic） | 汎用・学習 | 552 kB | 43 | 102 |
| Claude-User（Anthropic） | AIアシスタント | 429 kB | 34 | 196 |
| Claude-SearchBot（Anthropic） | AI検索 | 43.6 kB | 56 | 219 |
| Perplexity-User（Perplexity） | AIアシスタント | 20.47 kB | 26 | 245 |
読み取れること1：「来訪」と「読解」は別
訪問回数と、実際に読み取った量（転送量）は一致しません。たとえばClaude-SearchBotは7日で56回の許可リクエストがありますが、読み取ったHTMLは43.6キロバイトにとどまります。Perplexity-Userも26回来て20キロバイトほど。来てはいるが、持ち帰っている中身はごくわずか、という状態です。一方で検索エンジンのGooglebotは19.65MB、学習系のMeta-ExternalAgentは36.4MBと、桁が3つ違います。「AIが来ている＝ちゃんと読まれている」とは限らない、というのが最初のポイントです。
読み取れること2：AIが「回答を作るために来る」ボットは、まだ薄い
ボットは役割で分けられます。検索エンジン（Googlebot・Bing・Baidu）、学習や汎用のクローラー（Meta-ExternalAgent・GPTBot・Bytespiderなど）、そしてAIが回答を生成する際に参照しに来る検索・アシスタント系（OAI-SearchBot・ChatGPT-User・PerplexityBot・Claude-SearchBotなど）です。
このうち、今まさに回答のために取りに来る系統は、読み取り量がまだ小さいものが目立ちました。当社の場合、Anthropicの3種類のボット（ClaudeBot・Claude-User・Claude-SearchBot）を合わせても、読み取り量は7日で約1MBでした。Claudeに引用されたいと考えている当社にとって、Claudeのボットが読んでいる量がこの水準だというのは、正直に受け止めるべき現在地です。この話は、当社がカテゴリ質問でなかなか引用されない状況（AIに引用される「おすすめ記事」の共通点）とも根は同じ問題だと考えています。
数字を鵜呑みにしないための但し書き
4点、正直にお伝えします。1つ目、これは直近7日・当社1サイトの実測で、傾向です。2つ目、「失敗」の中には、存在しないパスへの総当たり的なアクセス（404になる探索）が相当数含まれます。そのため失敗数だけを見て「読めていない」と断定はできません。実際に読まれた量は、回数より転送量（バイト）で見るのが正確です。3つ目、当社はAIクローラーをブロックしていないので、数字が低いのは遮断のせいではありません。4つ目、ボットは名乗りを偽装できます。Cloudflareは本物をIPなどで見分けますが、完全ではありません。
中小企業が、ここから何をすべきか
まず、自社のアクセスログでAIクローラーの訪問と読み取り量を見てみること。多くのサイトはCloudflareやサーバーのログで確認できます。そのうえで、読み取り量が少ないなら、クロールをブロックしていないか、重要ページがクロールされやすい構造か、更新で鮮度を保てているかを点検する。llms.txtの実際の効果は限定的ですが（llms.txtは本当に効くのか）、サイトを読み取りやすく整えること自体は土台になります。そして、AIが回答の根拠にするのは第三者の記事でもあるので、外部での言及を増やすこと（どこが引用されるか）も並行して進めます。
まとめ
AIクローラーは来ています。ただし「読んでいる量」はボットの種類で桁違いで、回答を作るために来るAI系ほど、まだ読み取り量が小さいのが当社の実態でした。「来訪」と「読解」は別です。感覚で語らず、自社のログで現在地を数字にすることから始めてください。
当社NAVIGATEでは、ChatGPT・Claude・Geminiで御社がどう読まれ、どう引用されているかを複数回計測する無料診断を行っています。現在地を数字で把握したい方は、AI検索対策サービスページをご覧ください。
FREE DIAGNOSIS
御社はAIにどう紹介されていますか
ChatGPT・Gemini・Claudeで御社がどう説明されるかを、複数回計測の出現率として診断します。会社名検索・カテゴリ検索の現在地を、費用無料でお出しします。