AIクローラーにブロックされていないかは、①robots.txtで役割ごとに許可されているか、②検索・引用系の名前でアクセスしたときに200が返るか、③返ってきたHTMLに本文があるか、の3点で確かめます。robots.txtだけを見ても不十分で、WAFやCDNのボット対策が名前だけを見て403を返しているケースがあります。塞いではいけないのは、AI検索の回答に引用するための検索・引用系のクローラーです。
AIクローラーは3つの役割に分かれる
「AIクローラー」とひとまとめにされがちですが、各社は目的ごとに別の名前のクローラーを用意しています。どれを通し、どれを塞ぐかは、この役割で決まります。
| 役割 | 主な名前 | robots.txt | 塞いだときの影響 |
|---|---|---|---|
| 学習 | GPTBot（OpenAI）／ClaudeBot（Anthropic）／Google-Extended（Google）AIモデルの学習に使うためにページを集める | 従う | 方針しだいで塞いでよい。塞いでもAI検索の回答に出られなくなるわけではない |
| 検索・引用 | OAI-SearchBot（OpenAI）／Claude-SearchBot（Anthropic）／PerplexityBot（Perplexity）AI検索の回答に出すためにページを集め、索引に入れる | 従う | 塞ぐと、その会社のAI検索の回答に出られなくなる、または出にくくなる（表現は会社で異なる）。引用されたいなら通す |
| ユーザー起点 | ChatGPT-User（OpenAI）／Claude-User（Anthropic）／Perplexity-User（Perplexity）利用者が会話の中でURLを渡したときなどに、その場でページを取りに行く | 会社で違う（下の注意を参照） | robots.txtで塞いでも止まらない会社がある。止まる場合は、利用者がそのページを読ませようとしても取得できなくなる |
ユーザー起点のクローラーは、robots.txtの扱いが会社で異なります。OpenAIはChatGPT-Userについて「利用者の操作で起きるためrobots.txtのルールが適用されない場合がある」、Perplexityは Perplexity-User が「robots.txtを概ね無視する」としています。一方、Anthropicは Claude-User を含む自社のクローラーがrobots.txtに従うと説明しています。
各社とも、役割ごとの設定は互いに独立しています。たとえば「学習用のGPTBotは塞ぎ、検索用のOAI-SearchBotは通す」という組み合わせができます。robots.txtの基本構文はrobots.txtの書き方で扱っています。
GoogleのAI Overviewsは、通常のGooglebotで決まる
Googleには Google-Extended という名前がありますが、これはGeminiの学習などへの利用を制御するためのもので、検索への掲載や順位には影響しないとGoogleは明記しています。AI OverviewsやAIモードは検索の一部なので、通常のGooglebotに対するrobots.txtの設定がそのまま効きます。
つまり、Google-Extendedを塞いでもAI Overviewsから外れるわけではなく、Googlebotを塞げば検索そのものから外れます。AI Overviewsでの表示だけを抑えたい場合、Googleが案内している手段は nosnippet や data-nosnippet などのスニペット制御です。
robots.txtの外で起きる403
robots.txtは「来てもよいか」を伝えるお願いの仕組みで、アクセスを物理的に止めるものではありません。実際にアクセスを止めているのは、サーバーの手前にあるWAFやCDNのボット対策です。ここがAIクローラーの名前を見て403や503を返していると、robots.txtで許可していても届きません。
厄介なのは、ブラウザで開くと普通に表示されるため、運営者が気づけないことです。CDNの設定を変えた覚えがなくても、提供元の既定値が変わることがあります。代表的なCloudflareの動きを並べます。
- 2025年7月、Cloudflareは許可や対価のないAIクローラーを新規ドメインで既定でブロックする方針を打ち出しました。
- 2026年7月には、AIのボットを「検索（Search）」「エージェント（Agent）」「学習（Training）」の目的別に通す／塞ぐを選べる設定を、無料プランを含む全プランに導入しています。
- 同社は、2026年9月15日以降の新規ドメインでは、広告を表示するページで学習とエージェントを既定でブロックし、検索は許可のままにすると告知しています。
方針として「既定でブロック」と言うことと、個々の設定が実際に何を塞ぐかは別の話です。自サイトの設定画面で、検索・引用系が通る設定になっているかを確認してください。
手作業で確かめる4つの手順
https://自サイト/robots.txt を開き、上の表の名前ごとに Disallow が当たっていないかを確認します。見落としやすいのは「User-agent: *」で全体を塞いでいて、個別の許可を書いていないケースです。確認するページのパスが、それぞれの名前に対して許可されているかまで読みます。
curl -s https://example.com/robots.txtrobots.txt で許可していても、WAF（ウェブアプリケーションファイアウォール）やCDNのボット対策が、名前だけを見て403や503を返していることがあります。検索・引用系の3つの名前それぞれでページを取得し、通常のブラウザと同じ200が返るかを比べます。
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" https://example.com/200が返っても、本文がJavaScriptの実行後にしか表示されない作りだと、中身の無いページとして扱われるおそれがあります。取得したHTMLに、本文に含まれるはずの一文が入っているかを検索します。
curl -s -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" https://example.com/ | grep -c "本文にある一文"手順2・3は名前を名乗っただけのテストです。最終的な答えは、サーバーやCDNのアクセスログに残る本物の記録にあります。名前で絞り込み、応答コードが200で記録されているかを確認します。本物かどうかは、各社が公開しているIPアドレスの一覧と照合できます。
grep "OAI-SearchBot" access.log | awk '{print $9}' | sort | uniq -c注意：手順2・3は、名前（User-Agent）を名乗っただけのテストです。Cloudflareは、認証済みのボットかどうかを、公開されたIPアドレスの一覧・逆引きDNS・暗号署名のいずれかで判定するとしています。名前だけ同じリクエストは認証済みとして扱われません。そのため、認証済みのボットだけを通す設定では、テストで403が出ても本物のクローラーは通っている場合があります。逆の場合もありうるので、最後は手順4のアクセスログで確かめてください。
届いていても読めないケース：JavaScriptで描画される本文
GooglebotはJavaScriptを実行してページを描画すると公式に説明しています。一方、OpenAI・Anthropic・Perplexityのクローラーの説明には、JavaScriptを実行するかどうかの記載がありません。2024年12月に公開された第三者の実測（Vercel・MERJ）では、GPTBot・ClaudeBot・PerplexityBotなどはJavaScriptを実行しておらず、AppleBotとGeminiは描画していたと報告されています。
本文がJavaScriptの実行後にしか表示されない作りだと、200で届いていても中身の無いページとして扱われるおそれがあります。この問題の詳細はSPAはAIクローラーから見えているかで扱っています。
手作業とツールでは、何が変わるか
上の手順1〜3を1ページ分行うと、robots.txtの読み取りと、検索・引用系の3つの名前でのアクセス、本文の確認が必要です。確認したいページが増えるほど、同じ作業を繰り返すことになります。ディレベースのAIOレディネスチェックでは、これをURLの入力1回で行います。
| 作業 | 手作業 | AIOレディネスチェック |
|---|---|---|
| robots.txt の読み取り | ファイルを開き、名前ごとに該当行を探して読む | 学習・検索・ユーザー起点の14の名前について、許可／不許可を自動で判定 |
| 名前を変えたアクセス | コマンドを名前ごとに実行（検索・引用系だけで3回） | 3つの名前で同時にアクセスし、応答コードを一覧表示 |
| 本文の有無 | 取得したHTMLを開いて本文を探す | 初期HTMLに本文があるかを自動で判定 |
| 結果の読み比べ | 3回分の応答と本文を並べて比べる | 1画面に集約。問題のある項目には修正の方向を表示 |
| ページごとの繰り返し | 確認したいページの数だけ上を繰り返す | URLを入れ直すだけ |
短くなるのは確認の手間です。robots.txtやWAFの設定を直すのは、結果を見たあなた、またはあなたが使っているAIです。ツールがサイトを直接書き換えることはありません。また、ツールのアクセスも名前を名乗ったテストである点は手作業と同じなので、手順4のアクセスログでの確認は残ります。
自分のサイトで確かめる
URLを入れると、robots.txtでの役割ごとの許可、検索・引用系3つの名前でのアクセス結果、初期HTMLの本文の有無をまとめて判定します。登録不要です。
届いていると分かったら
到達はAI検索対策の前提で、引用されるかどうかはその先の話です。AIO・GEOなどの用語と、自サイトの現在地に応じた着手順はAIO・AEO・GEO・LLMOとは？に、引用されやすいページの作り方はAIO対策のやり方にまとめています。各社のクローラーの一覧とrobots.txtの設定例は、運営元のCodeQuest.workのAI検索で引用されない？対策3つでも紹介しています。
関連ツール
出典（2026年9月時点で確認）
- OpenAI — Overview of OpenAI Crawlers
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity — Perplexity Crawlers
- Google Search Central — Google's common crawlers
- Google Search Central — AI features and your website
- Cloudflare — AI traffic options changelog (2026-07-01)
- Cloudflare Docs — Verified bots
- Cloudflare — Press release (2025-07-01)
- Vercel — The rise of the AI crawler (2024-12-17)
よくある質問
GPTBotとOAI-SearchBotの違いは何ですか？▾
AIクローラーは全部ブロックしたほうが安全ですか？▾
robots.txtで許可しているのに、AIクローラーが来ないのはなぜですか？▾
Google-Extendedを塞ぐと、AI Overviewsに表示されなくなりますか？▾
curlでUser-Agentを変えて403が出たら、本物のクローラーも止まっていますか？▾
AIクローラーはJavaScriptを実行しますか？▾
ブラウザで見えていても、AIに届いているとは限らない
robots.txt、WAF・CDN、初期HTMLの3か所を、URLの入力1回で確かめられます（最終確認はアクセスログで）。
無料でAIOレディネスチェックする
この記事を書いた人
今井政和SEOディレクター / フロントエンド開発者
Web業界20年以上の経験を持つSEOディレクター。ディレベースの開発者。WordPress公式プラグイン「ORECTIC SEO CHECK」作者。著書に「三方良しで勝つ 江戸商人に学ぶ現代WEB戦略」。
@imai_directorあわせて読みたい
AI検索は「選択レイヤー」｜GEO技術書160ページが示す4層モデルと最初に壊れる層
GEO対策はAccess→Orientation→Understanding→Quotabilityの順にしか効かない。多くのサイトはクローラーが到達できない段階で落ちているのに、投資はコンテンツに集中している。GEO技術書の無料公開章を実務者視点で読み解く。
llms.txtはGEO施策として機能するのか｜CDNログ実データで検証する
llms.txtを設置すればAI検索に引用される — 本当か？ChatGPT・Perplexity・ClaudeのCDNログデータと30万ドメイン調査から、llms.txtのGEO効果を3ツール横断で検証した。
オーガニック圏外でもAIOに引用された｜検索順位とAI Overview引用のギャップを検証
「seo スコア チェック 無料」でオーガニック1ページ目に未掲載のまま、AIOでは1番目に引用された。検索順位とAIO引用のギャップを自サイトの実データとAhrefs調査で検証する。
AIO・AEO・GEO・LLMOとは？違いと、どれから手をつけるべきか
AI検索まわりで並ぶ4つの略語を、見ている相手の違いで整理。自サイトがどの段階にいるかを実測で判断し、着手順を決めるための基準まで解説します。