允许 Google-Agent 流量
Google-Agent 是托管在 Google 基础设施上的智能体所使用的名称,用于应用户请求浏览网页并执行操作。在内容分发网络 (CDN)、Web 应用防火墙 (WAF) 或机器人检测服务中明确允许 Google-Agent 流量,有助于防止合法请求被屏蔽,同时保留现有的安全控制措施。
Google-Agent 如何识别请求
每个 Google-Agent 请求都包含一个 User-Agent HTTP 请求标头,其中包含“Google-Agent”(请参阅 Google 用户触发的抓取工具),并且来自 user-triggered-agents.json 中的 IP 地址。
Google 也在探索试用基于 https://agent.bot.goog 身份的 Web Bot Auth 协议。
在此实验中,Google 会使用 HTTP 消息签名标准 (RFC 9421) 对 Google-Agent 发出的请求进行签名。
参与实验的请求包括:
Signature-Agent标头设置为g="https://agent.bot.goog"Signature和Signature-Input标头标记为g
用于验证这些签名的公钥集位于: https://agent.bot.goog/.well-known/http-message-signatures-directory
在 CDN、防火墙或机器人检测服务中允许流量
某些机器人检测服务、CDN 和防火墙提供了用于验证 Google-Agent 用户代理发出的请求并予以允许的方法;具体操作步骤请咨询您的服务提供商。
如果您的服务不会自动验证 Google-Agent 请求,您或许能使用以下规则来验证请求并予以允许:
- 确认
User-Agent标头包含Google-Agent。 - 确认 IP 地址位于 user-triggered-agents.json 中。
-
如果附带了签名请求,请根据 Web Bot Auth 验证
Signature-Agent: g="https://agent.bot.goog"的Signature和Signature-Input标头,以确认该请求。 - 对于经过验证的请求,请跳过机器人盘查。
问题排查
如果在允许这些请求后,合法的 Google-Agent 请求仍被屏蔽,请执行以下操作:
- 规则优先级:确认您的允许规则优先于宽泛的云或数据中心 ASN 屏蔽、托管式机器人规则以及类别级 AI 智能体屏蔽政策,并且在评估顺序上也先于这些规则和政策,因为这些政策可能会覆盖已验证的机器人设置。
- 互动式盘查:确认您的规则除了跳过 HTTP 屏蔽外,还会跳过互动式人机验证和 JavaScript 盘查;这包括在搜索或表单提交时触发的独立页内人机验证小组件。
-
交互流程中的操作和 API:确认允许的请求范围不仅涵盖初始首页加载,还包括站内搜索、筛选、点击进入详情页、加入购物车、预订等操作,以及这些操作所调用的底层 XHR、GraphQL 或
api.*端点。 -
共享 IP 速率限制:确认单 IP 速率限制规则已将已验证的
Google-AgentIP 范围纳入考量或对其予以豁免,因为来自多用户的并发请求会共享同一个出站流量池。 - IP 范围更新:确认基于 IP 的规则与 user-triggered-agents.json 中的最新范围保持同步。
-
代理标头:确认负载均衡器和中间代理会保留原始客户端 IP、
User-Agent标头,以及(对于签名请求)Signature、Signature-Input和Signature-Agent标头。