AIクローラーをブロックする方法。

慎重に行いましょう

有用な可視性を損なわずにAIクローラーをブロックしましょう。

クローラーがあなたを見つける仕組み

AIクローラーがどのようにサイトを発見し取得するか。

クローラーをブロックするには、まずそれがどのように到達するかを知っておくと役立ちます。自動フェッチャーがランダムにページに行き当たることはめったになく、かなり予測可能な発見の連鎖をたどります。以下の説明は一般的で簡略化したものであり、名前の付いたボットの正確な挙動は変わり得ますので、対処する前に各提供者の公式ドキュメントで確認してください。

3種類のボット

検索クローラー、AI学習クローラー、ライブ取得ボットは同じものではありません。

ブロックの失敗の多くは、あらゆるボットを同一視することから生じます。以下の3つのカテゴリーは仕組みの点で重なりますが、目的は異なり、一つをブロックすることは別のものをブロックすることとは大きく異なる結果をもたらす可能性があります。名前と挙動は進化していくため、この枠組みに頼る前に特定のエージェントの現在の役割を確認してください。

段階的なアプローチ

単一の層では完全ではないため、ブロックは層で行うのが最も効果的です。

ブロックを、単一のスイッチではなく多層防御として捉えてください。各層は他の層が取りこぼすケースを捕え、それぞれに正直な限界があります。丁寧でリスクの低い層から始め、トレードオフに見合う場合にのみ、より厳しい層を追加してください。

マネージド型のプラットフォームには、もう一つの選択肢があります。Cloudflare系のサービスなど一部の提供者は、AIボットのカテゴリーを識別してブロックする組み込みの制御を提供しています。これらは便利ですが、提供者の検出精度と定義に依存することに変わりはないため、あるトグルが実際に何をするのかを、信頼する前に確認してください。

# robots.txt — 丁寧な最初の層（現在のエージェント名を確認）
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

# 通常の検索を維持する: Googlebotを一括ブロックしないこと
User-agent: Googlebot
Allow: /

# HTTPレスポンスヘッダーの例（サーバーまたはWAFの設定）
X-Robots-Tag: noai, noimageai

なぜブロックは不完全なのか

正直な限界: ブロックにできることとできないこと。

これらの手法のいずれかを完璧なものとして提示するのは誤解を招くでしょう。不要なクローリングは有意に減らせますが、コンテンツを到達不能にはできません。期待値を正しく設定することも、これを責任を持って行うことの一部です。

• robots.txtや類似のディレクティブは任意です。規約を守るクローラーはこれを尊重しますが、それ以外は単に無視するかもしれません。
• ルールを追加する前に作られたコピーは、あなたが手を届かせられないキャッシュ、アーカイブ、データセットに残り続けることがあります。
• ユーザーエージェント文字列は偽装され得るため、名前によるブロックリストでは、普通のブラウザを装うボットは捕えられません。
• 過度に広範なルールは、うっかり検索での可視性を損なったり、実際に使いたいツールをブロックしたりすることがあります。
• サーバーレベルの強制は丁寧なルールより強力ですが、実際の人をブロックする誤検知を生む可能性があります。
• これらはいずれも法的助言ではなく、技術的な制御だけでは著作権、契約、法域に関する問題は解決しません。

ログを見守る

AIユーザーエージェントについてサーバーログを監視する方法。

ルールは、それが機能しているかを確認して初めて役立ちます。サーバーのアクセスログには、誰が、いつ、どのユーザーエージェント文字列で、何をリクエストしたかが記録されます。短く定期的な見直しによって、実際にどのボットが訪れているか、そしてルールが尊重されているかがわかります。ユーザーエージェントは偽装され得ることを忘れず、ログを絶対的な真実ではなく、解釈すべき証拠として扱ってください。

# おおよその例: AI関連のユーザーエージェント別にリクエストを集計
grep -Ei "GPTBot|CCBot|ClaudeBot|PerplexityBot|Bytespider" access.log \
  | awk '{print $NF}' | sort | uniq -c | sort -rn

段階的な展開

元に戻せる、慎重な展開。

誤ったルールは正当な可視性を静かに損なう可能性があるため、変更は徐々に展開し、各ステップで効果を見守ってください。以下の順序は速さよりも可逆性を重視しており、ほとんどの個人サイトや小規模サイトにとって正しい優先順位です。

1. 基準を把握する: 何も変更する前に、どのボットが訪れているかがわかるよう現在のログを確認します。
2. 意図を決める: 学習から除外されたいのか、ライブ取得から除外されたいのか、その両方かを選び、通常の検索は維持されていることを確認します。
3. 丁寧に始める: 除外したい特定のAI学習クローラーについて、公式ドキュメントで確認した名前を使ってrobots.txtのルールを追加します。
4. ページ単位の制御を追加する: 対応している場合は、より細かい制御のためにメタrobotsやX-Robots-Tagのディレクティブを追加します。
5. 観察する: 1〜2週間待ち、ログと検索での可視性を再確認して、重要なものが壊れていないことを確認します。
6. 選択的に強制する: 丁寧なルールを無視するボットに限り、誤検知を避けるよう慎重にテストしながら、ファイアウォールやレート制限のルールを追加します。
7. 定期的に見直す: クローラー名、提供者の方針、そしてあなた自身の優先順位はいずれも変わるため、数か月ごとに見直してください。

関連する読み物

次のステップ。

FAQ

よくある疑問。