Google-Agent トラフィックを許可する
Google-Agent は、ウェブをナビゲートし、ユーザーのリクエストに応じてアクションを実行するために、Google インフラストラクチャでホストされているエージェントが使用する名前です。コンテンツ配信ネットワーク(CDN)、ウェブ アプリケーション ファイアウォール(WAF)、bot 検出サービスで Google-Agent トラフィックを明示的に許可すると、既存のセキュリティ管理を維持しながら、正当なリクエストがブロックされるのを防ぐことができます。
Google-Agent がリクエストを識別する方法
各 Google-Agent リクエストには、「Google-Agent」を含む User-Agent HTTP リクエスト ヘッダーが含まれており(Google ユーザー トリガー フェッチャーを参照)、user-triggered-agents.json の IP アドレスから送信されます。
Google では、https://agent.bot.goog アイデンティティを使用した Web Bot Auth プロトコルの試験運用も行っています。このテストでは、Google は Google-Agent からのリクエストに HTTP メッセージ署名標準(RFC 9421)で署名します。参加リクエストには、以下が含まれます。
g="https://agent.bot.goog"に設定されたSignature-Agentヘッダーgというラベルが付いたSignatureヘッダーとSignature-Inputヘッダー
これらの署名を検証するための公開鍵セットは、https://agent.bot.goog/.well-known/http-message-signatures-directory で入手できます。
CDN、ファイアウォール、ボット検出サービスでトラフィックを許可する
一部の bot 検出サービス、CDN、ファイアウォールでは、Google-Agent ユーザー エージェントによるリクエストを検証して許可する方法が提供されています。具体的な手順については、プロバイダにお問い合わせください。
サービスで Google-Agent リクエストが自動的に検証されない場合は、次のルールを使用してリクエストを検証して許可できる場合があります。
User-AgentヘッダーにGoogle-Agentが含まれていることを確認します。- IP アドレスが user-triggered-agents.json に含まれていることを確認します。
-
提供されている場合は、Web Bot Auth に従って
Signature-Agent: g="https://agent.bot.goog"のSignatureヘッダーとSignature-Inputヘッダーを検証して、署名付きリクエストを確認します。 - 検証済みのリクエストについては、bot チャレンジをスキップします。
トラブルシューティング
これらのリクエストを許可しても、正当な Google-Agent リクエストがブロックされる場合は、次の操作を行います。
- ルールの優先度: 許可ルールの優先度が、広範なクラウドまたはデータセンターの ASN ブロック、マネージド bot ルール、カテゴリレベルの AI エージェント ブロック ポリシーよりも高く(かつ、それらよりも前に評価される)ことを確認します。これらのルールは、確認済みの bot 設定をオーバーライドする可能性があります。
- インタラクティブ チャレンジ: ルールが、HTTP ブロックに加えて、インタラクティブな CAPTCHA と JavaScript チャレンジをスキップすることを確認します。これには、検索またはフォーム送信時にトリガーされるスタンドアロンのページ内 CAPTCHA ウィジェットも含まれます。
-
ジャーニー中のアクションと API: これらのリクエストを許可することで、最初のホームページの読み込みだけでなく、サイト内検索、フィルタリング、詳細ページへのクリック、カートへの追加、予約、基盤となる XHR、GraphQL、
api.*エンドポイントなどのアクションもカバーされることを確認します。 -
共有 IP のレート制限: 複数のユーザーからの同時リクエストが同じ下り(外向き)プールを共有するため、IP ごとのレート制限ルールが、検証済みの
Google-AgentIP 範囲を考慮しているか、除外していることを確認します。 - IP 範囲の更新: IP ベースのルールが user-triggered-agents.json の最新の範囲と同期されていることを確認します。
-
プロキシ ヘッダー: ロードバランサと中間プロキシが、元のクライアント IP、
User-Agentヘッダー、(署名付きリクエストの場合)Signature、Signature-Input、Signature-Agentヘッダーを保持していることを確認します。