允许 Google-Agent 流量

Google-Agent 是托管在 Google 基础设施上的智能体所使用的名称,用于应用户请求浏览网页并执行操作。在内容分发网络 (CDN)、Web 应用防火墙 (WAF) 或机器人检测服务中明确允许 Google-Agent 流量,有助于防止合法请求被屏蔽,同时保留现有的安全控制措施。

Google-Agent 如何识别请求

每个 Google-Agent 请求都包含一个 User-Agent HTTP 请求标头,其中包含“Google-Agent”(请参阅 Google 用户触发的抓取工具),并且来自 user-triggered-agents.json 中的 IP 地址。

Google 也在探索试用基于 https://agent.bot.goog 身份的 Web Bot Auth 协议。 在此实验中,Google 会使用 HTTP 消息签名标准 (RFC 9421) 对 Google-Agent 发出的请求进行签名。 参与实验的请求包括:

  • Signature-Agent 标头设置为 g="https://agent.bot.goog"
  • Signature 和 Signature-Input 标头标记为 g

用于验证这些签名的公钥集位于: https://agent.bot.goog/.well-known/http-message-signatures-directory

在 CDN、防火墙或机器人检测服务中允许流量

某些机器人检测服务、CDN 和防火墙提供了用于验证 Google-Agent 用户代理发出的请求并予以允许的方法;具体操作步骤请咨询您的服务提供商。

如果您的服务不会自动验证 Google-Agent 请求,您或许能使用以下规则来验证请求并予以允许:

  • 确认 User-Agent 标头包含 Google-Agent。
  • 确认 IP 地址位于 user-triggered-agents.json 中。
  • 如果附带了签名请求,请根据 Web Bot Auth 验证 Signature-Agent: g="https://agent.bot.goog" 的 Signature 和 Signature-Input 标头,以确认该请求。
  • 对于经过验证的请求,请跳过机器人盘查。

问题排查

如果在允许这些请求后,合法的 Google-Agent 请求仍被屏蔽,请执行以下操作:

  • 规则优先级:确认您的允许规则优先于宽泛的云或数据中心 ASN 屏蔽、托管式机器人规则以及类别级 AI 智能体屏蔽政策,并且在评估顺序上也先于这些规则和政策,因为这些政策可能会覆盖已验证的机器人设置。
  • 互动式盘查:确认您的规则除了跳过 HTTP 屏蔽外,还会跳过互动式人机验证和 JavaScript 盘查;这包括在搜索或表单提交时触发的独立页内人机验证小组件。
  • 交互流程中的操作和 API:确认允许的请求范围不仅涵盖初始首页加载,还包括站内搜索、筛选、点击进入详情页、加入购物车、预订等操作,以及这些操作所调用的底层 XHR、GraphQL 或 api.* 端点。
  • 共享 IP 速率限制:确认单 IP 速率限制规则已将已验证的 Google-Agent IP 范围纳入考量或对其予以豁免,因为来自多用户的并发请求会共享同一个出站流量池。
  • IP 范围更新:确认基于 IP 的规则与 user-triggered-agents.json 中的最新范围保持同步。
  • 代理标头:确认负载均衡器和中间代理会保留原始客户端 IP、User-Agent 标头,以及(对于签名请求)Signature、Signature-Input 和 Signature-Agent 标头。