AI学習への利用を断るには、robots.txtに「User-Agent: __usage_ai-training」と「Disallow: /」の2行を書きます。各社共通の意思表示で、Googleは2027年初めに対応する予定です。それまで、また今すぐ効かせたい会社には、Google-Extended・GPTBot・ClaudeBotなど各社の学習用の名前でも書きます。学習を断っても検索やAI Overviewsには影響しませんが、Geminiでの引用（グラウンディング）は止まる可能性があるため、残したい場合はGoogle-Extendedに「Allow: /」を明記します。
何が変わったのか：AI学習の意思表示が1行で書けるように
これまでAI学習を断るには、Google-Extended（Google）・GPTBot（OpenAI）・ClaudeBot（Anthropic）のように、会社ごとの名前をrobots.txtに並べる必要がありました。新しい名前が出るたびに書き足し、漏れがあればその会社には意思が伝わりません。
2026年10月30日、IETF（インターネットの標準を決める団体）のAI利用の意思表示を扱う作業部会に、共通の名前「__usage_ai-training」を使う草案が出されました。同じ日、Googleは検索セントラルのブログで、この共通の1行に2027年初めに対応する予定だと発表しています。草案はまだ個人提出の段階で、正式な標準ではありません。
要点は3つです。①書き方はいつものrobots.txtと同じ（User-Agent行に名前、Disallow・Allowでパス）②「User-agent: *」は共通の1行として数えない ③これはクロールの指示ではなく「取得したものを学習に使ってよいか」の意思表示。クローラーの訪問を止めたいなら、これまでどおり各社のクローラーの名前で書きます。
書き方：共通の1行と、今すぐ効かせる各社の名前
サイト全体を学習に使わないでほしい
User-Agent: __usage_ai-training
Disallow: /一部のページだけ使ってよい（草案の例と同じ形）
User-Agent: __usage_ai-training
Disallow: /
Allow: /press/パスの決まりはrobots.txtと同じで、長い方の指定が勝ちます。この例では /press/ 以下だけが「使ってよい」、それ以外は「使わないでほしい」になります。GPTBotなどほかの名前と同じグループに並べて書くこともできます。
各社が対応するまで：学習用の名前で書く
# 2027年に各社が対応するまでの、各社ごとの書き方（学習用の名前だけ）
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /ここに並べたのは学習用の名前だけです。OAI-SearchBot（ChatGPTの検索）やClaude-SearchBotのような検索用の名前を止めると、そのAI検索からの引用も止まります。学習用と検索用の見分け方はAIクローラーにブロックされていないか確かめる方法にまとめています。
Googleはどう扱うか：検索は変わらず、Geminiの引用に注意
- 共通の1行で学習を断り、Google-Extendedを書いていない場合、Googleは「Google-Extendedを禁止した」とみなす
- Google-Extendedを明記していれば、そちらに従う。Googleは、Google-ExtendedをAllowにしたサイトは、Geminiアプリの回答に表示され、グラウンディング経由でクリックを受けられる対象になると説明している
- Google-Extendedは、Geminiの学習と、Geminiアプリなどで検索の内容を回答に使うグラウンディングの両方を制御する。検索への掲載や順位には影響しない
判断の分かれ目はここです。Googleが対応した後は、共通の1行だけで断ると、Googleに対しては学習だけでなくGeminiでの引用も断ったことになります。AIからの紹介を流入の入口として育てたいサイトでは、損になりかねません。学習は断ってGeminiの引用だけ残す、という分け方は今の名前では用意されていないので、Googleについては「両方認める」か「両方断る」かを選ぶことになります。
学習は各社に断り、Googleには両方を認める書き方
User-Agent: __usage_ai-training
Disallow: /
User-agent: Google-Extended
Allow: /AI OverviewsやAIモードでの扱いは、Google-Extendedとは別です。どちらも検索の一部なので、通常のGooglebotの設定と、Search Consoleの生成AIに関する設定・nosnippetで管理します。目的ごとの止め方はnoindexの確認方法の表でも整理しています。
目的別：何を書けばいいか
| やりたいこと | 書くもの | 起きること |
|---|---|---|
| AI学習には全部使わないでほしい（検索とAI検索の引用は続けたい） | 共通の1行で Disallow: /。今すぐ効かせたい会社には、各社の学習用の名前でも Disallow | 検索・AI Overviewsはそのまま。Geminiアプリでの引用（グラウンディング）は止まる可能性がある |
| 学習は断るが、Geminiでの引用は残したい | 共通の1行で Disallow: /、Google-Extended だけ Allow: / | Googleには学習とグラウンディングの両方を認めることになる。学習だけを断る分け方は、今の名前では用意されていない |
| 一部のページだけ学習に使ってよい（プレスリリースなど） | 共通の1行で Disallow: / と Allow: /press/ | 長い方のパス指定が勝つ（robots.txtのいつもの決まり）。/press/ 以下だけ「使ってよい」 |
| AI検索の回答に出たくない | 学習の拒否では足りない。Googleは検索の生成AIに関する設定・nosnippet、他社は検索用クローラー（OAI-SearchBot など） | 検索用クローラーを止めると、そのAI検索からの引用も止まる |
| AIのクローラーに来てほしくない | 各社のクローラーの名前で Disallow（共通の1行はクロールの指示ではない） | 共通の1行だけでは、クローラーは引き続き来る。WAFやCDNで止まっている場合は別途確認 |
草案は、ページを取得した時点で有効だったrobots.txtの意思表示が、そのページに当てはまると定めています。書き足した後に取得された分から効く仕組みで、過去に取得された分をさかのぼって消す決まりはありません。また、個別の契約がある場合はそちらが優先されることも認めています。
実測：このサイトのrobots.txtはどう読まれるか
自分のサイトの状態は、下のコマンドで共通の1行とGoogle-Extendedの行を探せば分かります。何も出なければ「表明なし」で、Google-Extendedは「User-agent: *」の行に従います。
curl -s https://example.com/robots.txt | grep -inE -A3 'user-agent: *(__usage_ai-training|google-extended)'2026年11月2日に、このサイトと、当社が別途運営するWeb制作者向けのメディアのrobots.txtを、草案の決まり（「*」は数えない・長い方のパスが勝つ）で読みました。
| サイト | 共通の1行 | Google-Extended | 判断 |
|---|---|---|---|
| このサイト（ディレベース） | 書いていない（表明なし） | 専用の行なし。「User-agent: *」の行が当てはまり、公開ページは許可 | 学習・引用とも許可のまま。2027年にGoogleが対応しても扱いは変わらない |
| 当社が別途運営するWeb制作者向けのメディア | 書いていない（表明なし） | Google-Extended に Allow: / を明記 | 共通の1行を足しても、Google-Extendedの明記が優先される。Googleでの引用を残す書き方になっている |
どちらも学習を断っていません。2つのサイトはAIからの紹介を入口の1つとして育てているため、学習と引用の両方を許可したままにする、というのが当社の判断です。とくにWeb制作者向けのメディアは、Google-Extendedを明記しているので、将来だれかが共通の1行で一括拒否を書き足しても、Googleでの引用は残ります。明記の1行が、意図しない一括拒否の「歯止め」として働く形です。
逆に、学習を断りたいのにGoogle-ExtendedをAllowで明記しているサイトは、共通の1行を足してもGoogleには効きません。書き足す前に、既存の各社の行と食い違っていないかを確かめてください。ディレベースのAIOレディネスチェックは、2026年11月2日から、robots.txtのAIクローラーの項目で共通の1行の有無（学習に使わないでほしい／使ってよい／表明なし）を表示します。採点には含めていません。
よくある間違い
- 「User-agent: *」で全部 Disallow にする。学習の意思表示にはならず、Googlebotも止まって検索から外れる
- 共通の1行を書いたから、もう効いていると思う。Googleの対応は2027年初めの予定。今すぐ効かせたい会社には各社の名前でも書く
- Google-Extendedを止めればAI Overviewsから外れると思う。Google-Extendedは検索とAI Overviewsには影響しない
- 共通の1行でクローラーが来なくなると思う。ドラフトは、これはクロールの指示ではないと明記している
- GPTBotとOAI-SearchBotを取り違える。GPTBotは学習用、OAI-SearchBotはChatGPTの検索用。検索用を止めるとChatGPTの検索結果から外れる
robots.txt全体の書き方と、Disallowの決まりはrobots.txtの書き方にまとめています。
関連ツール
出典（2026年11月2日に確認）
- Google検索セントラル ブログ — 共通のAI学習の制御への対応（2026-10-30）
- Google — Google-Extended の説明（学習とグラウンディング・検索には影響しない・2027年初めに共通の1行へ対応予定）
- IETF Internet-Draft — Machine-Readable Training Preference Signal（2026-10-30・個人提出の草案）
- RFC 9309 — Robots Exclusion Protocol（robots.txtの仕様）
- OpenAI — クローラーの一覧（GPTBot・OAI-SearchBot・ChatGPT-User）
よくある質問
AI学習を拒否するには、robots.txtに何を書けばいいですか？▾
学習を拒否すると、Google検索やAI Overviewsに出なくなりますか？▾
Geminiでの引用はどうなりますか？▾
「User-agent: *」で全部Disallowすれば、学習も拒否したことになりますか？▾
すでに学習に使われたデータも消えますか？▾
共通の1行と、Google-ExtendedやGPTBotの行が両方あったら、どちらが優先されますか？▾
AIクローラーへの許可と学習の意思表示を、まとめて確かめる
URLを入れるだけで、検索・引用用のAIクローラーがrobots.txtで止まっていないか、WAFで弾かれていないか、共通の1行で学習を断っているかを一度に見られます。
AIOレディネスチェックを試す
この記事を書いた人
今井政和SEOディレクター / フロントエンド開発者
Web業界20年以上の経験を持つSEOディレクター。ディレベースの開発者。WordPress公式プラグイン「ORECTIC SEO CHECK」作者。著書に「三方良しで勝つ 江戸商人に学ぶ現代WEB戦略」。
@imai_directorあわせて読みたい
AI検索は「選択レイヤー」｜GEO技術書160ページが示す4層モデルと最初に壊れる層
GEO対策はAccess→Orientation→Understanding→Quotabilityの順にしか効かない。多くのサイトはクローラーが到達できない段階で落ちているのに、投資はコンテンツに集中している。GEO技術書の無料公開章を実務者視点で読み解く。
llms.txtはGEO施策として機能するのか｜CDNログ実データで検証する
llms.txtを設置すればAI検索に引用される — 本当か？ChatGPT・Perplexity・ClaudeのCDNログデータと30万ドメイン調査から、llms.txtのGEO効果を3ツール横断で検証した。
SPAサイトはGoogleには映るがAIには映らない｜AIクローラーがJSレンダリングを公式に明記しない問題
Googlebot・Bingbot・ApplebotはJavaScriptレンダリング対応をevergreen化した。一方、GPTBot・ClaudeBot・PerplexityBotの公式ドキュメントにはJS実行可否の明記がない。SPA（CSR）サイトの本文がAIクローラーから見えていない可能性を、各クローラー公式ドキュメントを精査して検証する。
AIクローラーにブロックされていないか確かめる方法｜GPTBot・OAI-SearchBot・ClaudeBotの違い
学習・検索・ユーザー起点で役割が違うAIクローラーの見分け方と、robots.txtの外側（WAF・CDN）で起きる403まで含めて、実際に届いているかを確かめる手順を解説します。