🔍 AIボットを一括拒否せず、目的ごとに制御
Cloudflareは、ウェブサイトへアクセスするAI関連ボットを用途別に分類し、サイト運営者が個別に許可・拒否できる新しい管理機能を全プラン向けに公開しました。従来の「AIボットをまとめてブロックする」という方式から一歩進み、検索結果への掲載につながる巡回は許可しながら、AIモデルの学習を目的とした収集だけを拒否するといった設定が可能になります。無料プランでも利用できますが、無料プランでは主にUser-Agentを名乗る既知のクローラーを識別する方式であり、有料のBot Managementほど高度な検出が行われるわけではありません。
背景にあるのは、検索エンジンとウェブサイトの従来の関係が変化していることです。以前はクローラーへページを読ませることで検索結果から人間の訪問者が流入し、広告収益や購読者の獲得につながりました。しかし、生成AIがページ内容を学習・要約し、利用者が元サイトを訪れなくても回答を得られるようになると、コンテンツを提供したサイトへ十分な見返りが戻らない場合があります。そこでCloudflareは、ボットがAIかどうかではなく、取得した情報を「何のために使うのか」を基準に判断する必要があると説明しています。
🧭 「Search・Agent・Training」の3種類に分類
Cloudflareの新しい分類では、AI関連の自動アクセスを主に「Search」「Agent」「Training」の3種類へ分けています。1つのクローラーが複数の目的を持つ場合は、複数の分類が同時に付けられる仕組みです。これにより、従来のようにGooglebotやApplebotといった名前だけで判断するのではなく、検索インデックス、リアルタイム操作、モデル学習という実際の利用目的に応じてルールを設定できます。
📌 3分類の違い
- 🔎 Search（検索）
ページを収集・索引化し、検索結果やリンク、短い抜粋を表示するためのアクセス - 🧑💻 Agent（代理操作）
AIが利用者の依頼を受け、リアルタイムでページを開いたり情報を取得したりするアクセス - 🧠 Training（学習）
ページ内容をAIモデルの事前学習や追加学習、微調整へ利用するためのアクセス
例えばニュースサイトやブログであれば、検索流入を維持するためSearchは許可し、コンテンツを恒久的に取り込むTrainingは拒否する運用が考えられます。Agentについては、AIが利用者を元サイトへ案内する可能性がある一方、人間が直接ページを開かずに内容だけ取得する可能性もあるため、サイトの収益構造に応じた判断が必要です。
⚠️ 9月15日以降はGooglebotなどもブロックされる可能性
2026年9月15日から、Cloudflareは新しく追加されるドメインの広告表示ページについて、TrainingとAgentを初期状態でブロックし、Searchは許可する設定を導入します。Cloudflareは、広告が掲載されたページは人間が訪問して広告を見ることを前提に作られているため、人間の訪問機会を減らす可能性がある学習ボットや代理操作エージェントを制限する合理性があると説明しています。サイト運営者は管理画面から初期設定を変更できるため、強制的に一律ブロックされるわけではありません。
特に注意が必要なのが、検索とAI学習を兼ねる多目的クローラーです。同日以降は複数の分類に該当するボットに対して、最も厳しいルールが優先されます。そのためTrainingをブロックした場合、検索にも使われるGooglebot、Applebot、BingBotなどがブロック対象になる可能性があります。検索流入へ依存するサイトが設定を確認せずに学習拒否を有効化すると、検索順位やインデックス登録へ影響する恐れがあるため、9月15日までにCloudflareのSecurity設定を確認することが重要です。
🛠️ サイト運営者が確認したい設定例
- 検索流入を重視するサイト：Searchを許可
- 記事をAI学習へ使わせたくないサイト：Trainingを拒否
- AIによる自動閲覧を制限したいサイト：Agentを拒否
- Googlebotなどの多目的クローラー：個別の分類と影響を確認
- 広告ページと非広告ページ：必要に応じてルールを分ける
- robots.txtだけでなく、実際のブロック機能も併用する
📄 robots.txtに「検索可・学習不可」を明記
Cloudflareは、robots.txtへ用途別の意思表示を記述できる「Content Signals」の整備も進めています。管理型robots.txtを有効にすると、検索インデックスへの利用は許可し、AI学習は拒否し、コンテンツの再利用はリンクや短い抜粋までに制限する設定が追加されます。具体的には、search=yes、ai-train=no、use=referenceという形で、サイト運営者の希望を機械的に読み取れるようにします。
再利用の範囲を示す試験的な「use」指定には、アクセス後に保存・再利用しないimmediate、索引化や短い引用とリンクを認めるreference、要約や再掲載まで認めるfullの3段階があります。ただし、robots.txtはあくまでボット運営者へ意思を伝える仕組みであり、技術的な強制力はありません。ルールを無視するクローラーを実際に止めたい場合は、AI Crawl ControlやWAFによるブロックを組み合わせる必要があります。
📝 まとめ：SEOを守りながらAI学習だけを拒否できる時代へ
Cloudflareの新機能により、サイト運営者はAIボットを一括して許可・拒否するのではなく、検索、代理操作、モデル学習という目的ごとにアクセス方針を決められるようになりました。特に「検索エンジンには掲載されたいが、記事をAIモデルの学習へ無償提供したくない」という小規模メディアやブログにとって、無料プランでも利用できる用途別制御は大きな変化です。
一方、検索と学習を兼ねる多目的クローラーには最も厳しい設定が適用されるため、Trainingを拒否した結果、Googlebotなどまでブロックしてしまう可能性があります。設定を有効にするだけで安心するのではなく、AI Crawl Controlのアクセス履歴、robots.txt違反、検索エンジンのインデックス状況を継続的に確認することが重要です。今回の変更は、ウェブコンテンツを「誰が、何の目的で、どこまで再利用できるのか」をサイト運営者自身が選択する時代への転換点といえます。
📚 参考・出典
- Cloudflare Blog「Your site, your rules: new AI traffic options for all customers」
- Cloudflare Developers「AI bots」
- Cloudflare Developers「Block AI Bots」
- Cloudflare Developers「Manage AI crawlers」
- Cloudflare Developers「Managed robots.txt」
- Cloudflare「Content Signals Policy」
