robots.txtでAI学習を拒否する方法｜GPTBot・ClaudeBotの設定と検索への影響

自分のWebサイトに掲載した記事や画像を、ChatGPTなどの生成AIの学習に使われたくないと考えるサイト運営者もいらっしゃるでしょう。

その対策の一つが、robots.txtを使ってAI学習用クローラー（Webページを自動収集するプログラム）のアクセスを制限する方法です。ただし、設定する対象によってはAI検索での露出にも影響するため、用途の違いを理解しておく必要があります。

この記事では、主要AI事業者の設定例からWordPressでの編集方法、検索流入への影響、2026年10月に発表された新しい共通指定まで解説します。

robots.txtでAI学習を拒否することはできる？

結論として、robots.txtに学習用クローラーの拒否ルールを記載することで、対応するAI事業者へコンテンツ収集を拒否する意思を伝えられます。

robots.txtは、Webサイトの管理者がクローラーにアクセス可能な範囲を知らせるためのテキストファイルです。一般的には検索エンジンの巡回制御に利用されていますが、AI事業者も学習用のアクセス制御に対応しています。

例えばOpenAIは「GPTBot」、Anthropicは「ClaudeBot」という学習関連のクローラーを公開しています。これらを個別に指定すれば、検索エンジン全体を遮断せずに学習用の収集を制限できます。

ただし、robots.txtはアクセスを物理的に禁止するセキュリティ機能ではありません。ルールを守るかどうかはクローラー側の実装に依存します。すでに取得されたデータを削除する仕組みでもないため、学習への利用を完全に防げるとは限りません。

AI学習の拒否とAI検索の拒否は別の設定

AI事業者によっては、モデルの学習用と検索結果の生成用で異なるクローラーを使用しています。

AI検索からのアクセスを維持したい場合は、学習用と検索用を区別して設定することが重要です。OpenAIとAnthropicは、それぞれの用途に対応するクローラーを公式資料で案内しています。

robots.txtの基本的な役割や書き方、SEO（検索エンジン最適化）への影響について詳しく知りたい方は、robots.txtとは？役割・用途・書き方とSEOで注意したいポイントもあわせてご覧ください。

robots.txtでAI学習を拒否する書き方

主要なAI学習用クローラーへのアクセスを拒否するには、以下の設定例を利用できます。

既存のrobots.txtがある場合は、現在の設定を削除せず、必要なルールを追加する方法を基本としてください。

GPTBot・ClaudeBot・Google-Extendedを拒否する設定例

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

各設定の意味は次のとおりです。

User-agentは対象となるクローラーを指定する項目です。Disallow: /は、対象クローラーにサイト全体へのアクセスを許可しないことを示します。

Google-Extendedは通常のGooglebotとは異なる制御対象です。Google検索の掲載やランキングへの影響とは分けて考える必要があります。一方、Geminiアプリなどでの情報利用に影響する可能性があるため、GoogleのAIサービスからの露出も重視する場合は設定を検討してください。

特定のディレクトリだけ拒否する方法

サイト全体ではなく、一部のコンテンツだけを対象にすることも可能です。

例えば、/premium/以下へのGPTBotのアクセスを拒否する場合は次のように記載します。

User-agent: GPTBot
Disallow: /premium/

この例では、指定したパスから始まるURLが拒否対象となります。通常の記事は公開したまま、特定の領域だけ制限したい場合に利用できます。

ただし、robots.txtはアクセス制御や認証の代わりにはなりません。非公開情報や有料会員限定の内容を保護する場合は、ログイン認証などの実際のアクセス制限を使用してください。

WordPressでrobots.txtを編集する方法

WordPressでは、サーバー上のrobots.txtを編集する方法があります。サイトの構成や利用中のプラグインによっては、管理画面から編集できる場合もあります。

設定を変更する前に、現在のrobots.txtを保存しておくと、問題が起きた際に元の状態へ戻しやすくなります。

STEP1：現在のrobots.txtを確認する

まず、ブラウザで自分のドメインの末尾に/robots.txtを付けてアクセスしてください。

例えばWebクラスの場合、確認先は次のURLです。

https://webcras.com/robots.txt

robots.txtが表示される場合は、既存のルールを確認します。表示されない場合でも、WordPressやサーバー側の設定によって管理方法が異なるため、すぐに新規ファイルを作る必要があるとは限りません。

STEP2：サーバー側でrobots.txtを編集する

サーバーのファイルマネージャーやFTP（サーバーとファイルを送受信する仕組み）を利用できる場合は、対象サイトの公開ルートにあるrobots.txtを編集できます。

1. 利用中のレンタルサーバーの管理画面へログインします。
2. 対象ドメインの公開ディレクトリを開きます。
3. 既存のrobots.txtをバックアップします。
4. 学習用クローラーの拒否ルールを追加して保存します。

robots.txtの設置場所は、Webサイトのルートディレクトリ（公開URLの最上位に対応する場所）です。Googleの公式資料でも、対象ホストのルートに配置する必要があると説明されています。

サーバーによって公開ディレクトリの名称は異なるため、別サイトのフォルダーを編集しないよう注意してください。

STEP3：WordPressのSEOプラグインから編集する場合

一部のSEOプラグインにはrobots.txtの編集機能があります。ただし、すべてのプラグインで対応しているわけではありません。

管理画面にrobots.txtの編集機能がある場合は、その機能を利用する方法もあります。物理ファイルが存在すると仮想robots.txtの編集機能が利用できないなど、環境ごとの違いにも注意が必要です。

複数の方法で同時にrobots.txtを管理すると、どの設定が実際に配信されているのか分かりにくくなります。最終的にはブラウザで公開中のrobots.txtを確認してください。

STEP4：設定が反映されているか確認する

保存後は、もう一度https://自分のドメイン/robots.txtへアクセスします。

追加したUser-agentとDisallowが表示されていれば、公開されているファイルへの反映を確認できます。

ただし、ファイルが表示されることと、各AI事業者が実際にアクセスを停止したことは同じではありません。クローラー側が更新されたルールを取得するまで時間がかかる場合もあります。

より詳しく調べる場合は、サーバーのアクセスログ（アクセス元や要求内容の記録）で該当するクローラーのアクセス状況を確認する方法があります。ただし、User-agentの文字列は偽装できるため、名称だけでアクセス元の正当性を断定しないでください。

AI学習を拒否するとGoogle検索やChatGPT検索に影響する？

AI学習を拒否した場合の影響は、どのクローラーを制限するかによって異なります。

特にアクセス数や検索流入を重視するWebサイトでは、学習への利用を制限することと、検索結果への表示を維持することを分けて判断する必要があります。

Google検索への影響

Googleは、Google-Extendedによる制御がGoogle検索の掲載やランキングに影響しないと説明しています。

ただし、Google-Extendedを拒否すると、Gemini関連サービスにおける一部の情報利用も制限されます。通常のGoogle検索を維持することと、Googleの生成AIサービスへの露出を維持することは同じではありません。

一方、Googlebot自体を拒否すると、Google検索におけるページの取得に影響します。

robots.txtでクロールを拒否しても、外部リンクなどからURLだけが検索結果に表示される場合がある点にも注意してください。

ChatGPT検索への影響

OpenAIは、学習関連のGPTBotと、ChatGPT検索で使用するOAI-SearchBotを区別しています。

そのため、GPTBotだけを拒否し、OAI-SearchBotを許可する構成が可能です。

ただし、OAI-SearchBotを許可しても、ChatGPT検索で必ず引用・紹介されるわけではありません。検索結果への採用には、コンテンツの関連性など別の要因も関係します。

また、ChatGPT-Userのように利用者の操作をきっかけとして動作する取得処理は、通常の自動クロールとは扱いが異なる場合があります。

Claude検索への影響

Anthropicは、ClaudeBot、Claude-SearchBot、Claude-Userの用途を公式に区別しています。

ClaudeBotのアクセスを制限すると、今後のコンテンツを学習データから除外する意思表示になります。

一方、Claude-SearchBotを制限すると検索関連の情報取得に、Claude-Userを制限すると利用者の要求による取得に影響する可能性があります。

検索経由の認知や送客を重視する場合は、必要以上に広い範囲を拒否しないことが重要です。

2026年10月発表のAI学習拒否の共通指定とは？

2026年10月30日、OpenAIは、Webサイト運営者が複数のAI事業者へ学習利用に関する意向を伝えられる共通の仕組みへの対応方針を発表しました。

これは、事業者ごとに異なるクローラー名を指定する管理負担を減らすための取り組みです。

新しい共通指定として提案されているのが、__usage_ai-trainingという識別子です。

共通指定を使った記述例

User-agent: __usage_ai-training
Disallow: /

この指定は、AI学習への利用を拒否する意思を、対応する事業者にまとめて伝えるためのものです。

ただし、2026年11月4日時点では、すべてのAI事業者が共通指定に対応済みというわけではありません。

OpenAIは今後数か月で実装する方針を発表しており、従来の個別クローラー制御も継続すると説明しています。

そのため、現時点では共通指定だけに依存せず、各社が案内している個別の拒否ルールを維持する方法が考えられます。

共通指定と個別指定を併用する例

新しい共通指定への対応を見据えつつ、既存の学習用クローラーも制限する場合は、次のような記述になります。

User-agent: __usage_ai-training
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

これは複数の指定を組み合わせた設定例であり、すべてのAI事業者による学習利用を完全に防ぐものではありません。

また、Google-Extendedは通常のクローラーと異なる製品別の制御トークンであるため、一般的なrobots.txtのUser-agentと同じように扱えるとは限りません。実際の対応状況は各社の仕様に依存します。

共通指定の標準化や各社の実装状況は今後変更される可能性があります。

robots.txtでAI学習を拒否する際の注意点

すでに学習されたデータを削除できるわけではない

robots.txtは、主にクローラーによる今後のアクセスに対する指示です。

Anthropicも、ClaudeBotを制限した場合は今後のコンテンツを学習データから除外する意思表示になると説明しています。

過去に収集済みの情報や、別の経路で取得されたコンテンツまで削除できるわけではありません。

User-agent: *を安易に拒否しない

User-agent: *は、特定の名前で指定していないクローラーを広く対象にするための記述です。

例えば次の設定は、AI学習用だけを対象にしたものではありません。

User-agent: *
Disallow: /

この設定をサイト全体へ適用すると、Googlebotなどの一般的な検索クローラーのアクセスまで制限する可能性があります。

検索流入を維持したい場合は、拒否対象を個別に指定する方法を優先してください。

既存のrobots.txtを上書きしない

WordPressのrobots.txtには、管理画面やサイトマップに関係する設定が含まれている場合があります。

AI学習拒否のためにファイル全体を書き換えると、既存のクロール制御が失われる可能性があります。

新しい設定を追加する際は、既存ルールとの競合や同じUser-agentの重複を確認してください。変更後に問題が生じた場合は、バックアップから元の設定へ戻せるようにしておきましょう。

robots.txtだけでは無断収集を完全に防げない

robots.txtは、対応するクローラーが自主的に従う仕組みです。

設定を無視するクローラーや、別の経路で取得されるコンテンツまで完全に制御できるわけではありません。

より強いアクセス制御が必要な場合は、認証、サーバー側の制限、WAF（Webアプリケーションへの不正な通信を検知・制限する仕組み）などを目的に応じて組み合わせる必要があります。

ただし、IPアドレス単位の遮断や広範囲のBot対策は、正規の検索クローラーや利用者にも影響する場合があります。

AI学習は拒否したほうがよい？サイト運営者の判断基準

AI学習を拒否するべきかどうかは、サイトの収益構造やコンテンツの性質によって異なります。

特に広告収益やアフィリエイト収益を得ているサイトでは、AI検索からのアクセスが収益につながる可能性もあります。

ただし、AI学習を許可すればアクセスが増える、拒否すれば収益が減るといった単純な関係が実証されているわけではありません。

学習利用への考え方と、検索経由の集客をどこまで維持したいかを分けて判断することが大切です。

まとめ：AI学習だけを拒否するならクローラーの用途を確認する

robots.txtを使えば、GPTBotやClaudeBotなどの学習関連クローラーに対して、Webサイトのコンテンツ収集を拒否する意思を伝えられます。

一方で、AI検索に使用されるクローラーまで拒否すると、検索結果での露出に影響する可能性があります。

2026年10月には共通指定への対応方針も発表されましたが、各社の実装が完了するまでは従来の個別指定も重要です。

設定する際は、既存のrobots.txtを保存し、学習用クローラーだけを対象にするか検討したうえで、変更後の公開ファイルを確認してください。

あわせて読みたい記事

次に知りたいことや、役立つ情報をまとめました。

【WordPress】Web制作

robots.txtとは？役割・用途・書き方とSEOで注意したいポイント

robots.txtは検索エンジンのクローラーによるアクセスを制御するためのファイルです。用途や仕組み、基本的な記述例、WordPr…

記事を読む →

【WordPress】Web制作

Googleにインデックスされない原因と対処法｜Search Consoleの確認手順と改善方法

Googleに記事がインデックスされないときは、Search Consoleで未登録の理由を確認することが解決への第一歩です。代表的…

記事を読む →

EC・ネットショップ

Googleに新しい記事をインデックス登録する方法｜Search Consoleで登録をリクエストする手順

新しい記事を公開・更新したあと、Googleへクロールを依頼する方法を解説します。Search ConsoleのURL検査からインデ…

記事を読む →

関連記事の一覧を見る →