允許 Google-Agent 流量
Google-Agent 是 Google 基礎架構上代管的代理所使用的名稱,可瀏覽網路並根據使用者要求執行動作。在內容傳遞網路 (CDN)、網頁應用程式防火牆 (WAF) 或漫遊器偵測服務中明確允許 Google-Agent 流量,有助於防止合法要求遭到封鎖,同時保留現有的安全控管措施。
Google-Agent 如何識別要求
每個 Google-Agent 要求都包含 User-Agent HTTP 要求標頭,其中含有「Google-Agent」(請參閱「Google 使用者觸發的擷取程式」),且來自 user-triggered-agents.json 的 IP 位址。
Google 也正在實驗 Web Bot Auth 通訊協定,使用的是 https://agent.bot.goog 身分。在這項實驗中,Google 會使用 HTTP 訊息簽章標準 (RFC 9421) 簽署 Google-Agent 發出的要求。參與的要求包括:
Signature-Agent標頭設為g="https://agent.bot.goog"Signature和Signature-Input標頭標示為g
用於驗證這些簽章的公開金鑰集位於:https://agent.bot.goog/.well-known/http-message-signatures-directory
在 CDN、防火牆或漫遊器偵測服務中允許流量
部分漫遊器偵測服務、CDN 和防火牆提供驗證 Google-Agent 使用者代理程式所發出要求的方法,並允許這些要求。請洽詢供應商瞭解確切步驟。
如果服務未自動驗證 Google-Agent 要求,您可以使用下列規則驗證並允許要求:
- 確認
User-Agent標頭包含Google-Agent。 - 確認 IP 位址位於 user-triggered-agents.json 中。
-
如有提供,請根據 Web Bot Auth 驗證
Signature-Agent: g="https://agent.bot.goog"的Signature和Signature-Input標頭,確認已簽署的要求。 - 如果是已驗證的要求,請略過漫遊器驗證。
疑難排解
如果允許這些要求後,合法的 Google-Agent 要求仍遭到封鎖:
- 規則優先順序:確認允許規則的優先順序高於 (且在之前評估) 廣泛的雲端或資料中心 ASN 區塊、代管漫遊器規則,或類別層級 AI 代理封鎖政策,這些政策可能會覆寫已驗證的漫遊器設定。
- 互動式驗證:確認規則除了 HTTP 區塊外,還會略過互動式人機驗證 (Captcha) 和 JavaScript 驗證,包括在搜尋或提交表單時觸發的獨立頁面內人機驗證小工具。
-
使用者歷程中的動作和 API:確認允許這些要求涵蓋初始首頁載入以外的動作,包括站內搜尋、篩選、點選進入詳細資料頁面、加入購物車、預訂,以及基礎 XHR、GraphQL 或
api.*端點。 -
共用 IP 頻率限制:確認每個 IP 的頻率限制規則會考量或排除已驗證的
Google-AgentIP 範圍,因為多位使用者的並行要求會共用相同的輸出集區。 - IP 範圍更新:確認以 IP 為基礎的規則與 user-triggered-agents.json 中的最新範圍保持同步。
-
Proxy 標頭:確認負載平衡器和中介 Proxy 會保留原始用戶端 IP、
User-Agent標頭,以及 (針對已簽署的要求)Signature、Signature-Input和Signature-Agent標頭。