允許 Google-Agent 流量

Google-Agent 是 Google 基礎架構上代管的代理所使用的名稱,可瀏覽網路並根據使用者要求執行動作。在內容傳遞網路 (CDN)、網頁應用程式防火牆 (WAF) 或漫遊器偵測服務中明確允許 Google-Agent 流量,有助於防止合法要求遭到封鎖,同時保留現有的安全控管措施。

Google-Agent 如何識別要求

每個 Google-Agent 要求都包含 User-Agent HTTP 要求標頭,其中含有「Google-Agent」(請參閱「Google 使用者觸發的擷取程式」),且來自 user-triggered-agents.json 的 IP 位址。

Google 也正在實驗 Web Bot Auth 通訊協定,使用的是 https://agent.bot.goog 身分。在這項實驗中,Google 會使用 HTTP 訊息簽章標準 (RFC 9421) 簽署 Google-Agent 發出的要求。參與的要求包括:

  • Signature-Agent 標頭設為 g="https://agent.bot.goog"
  • Signature 和 Signature-Input 標頭標示為 g

用於驗證這些簽章的公開金鑰集位於:https://agent.bot.goog/.well-known/http-message-signatures-directory

在 CDN、防火牆或漫遊器偵測服務中允許流量

部分漫遊器偵測服務、CDN 和防火牆提供驗證 Google-Agent 使用者代理程式所發出要求的方法,並允許這些要求。請洽詢供應商瞭解確切步驟。

如果服務未自動驗證 Google-Agent 要求,您可以使用下列規則驗證並允許要求:

  • 確認 User-Agent 標頭包含 Google-Agent。
  • 確認 IP 位址位於 user-triggered-agents.json 中。
  • 如有提供,請根據 Web Bot Auth 驗證 Signature-Agent: g="https://agent.bot.goog" 的 Signature 和 Signature-Input 標頭,確認已簽署的要求。
  • 如果是已驗證的要求,請略過漫遊器驗證。

疑難排解

如果允許這些要求後,合法的 Google-Agent 要求仍遭到封鎖:

  • 規則優先順序:確認允許規則的優先順序高於 (且在之前評估) 廣泛的雲端或資料中心 ASN 區塊、代管漫遊器規則,或類別層級 AI 代理封鎖政策,這些政策可能會覆寫已驗證的漫遊器設定。
  • 互動式驗證:確認規則除了 HTTP 區塊外,還會略過互動式人機驗證 (Captcha) 和 JavaScript 驗證,包括在搜尋或提交表單時觸發的獨立頁面內人機驗證小工具。
  • 使用者歷程中的動作和 API:確認允許這些要求涵蓋初始首頁載入以外的動作,包括站內搜尋、篩選、點選進入詳細資料頁面、加入購物車、預訂,以及基礎 XHR、GraphQL 或 api.* 端點。
  • 共用 IP 頻率限制:確認每個 IP 的頻率限制規則會考量或排除已驗證的 Google-Agent IP 範圍,因為多位使用者的並行要求會共用相同的輸出集區。
  • IP 範圍更新:確認以 IP 為基礎的規則與 user-triggered-agents.json 中的最新範圍保持同步。
  • Proxy 標頭:確認負載平衡器和中介 Proxy 會保留原始用戶端 IP、User-Agent 標頭,以及 (針對已簽署的要求) Signature、Signature-Input 和 Signature-Agent 標頭。