Traffic von Google-Agent zulassen

Google-Agent ist der Name, der von Agenten verwendet wird, die auf der Google-Infrastruktur gehostet werden, um im Web zu surfen und auf Nutzeranfrage Aktionen auszuführen. Wenn Sie Traffic von Google-Agent in Ihrem Content Delivery Network (CDN), Ihrer Web Application Firewall (WAF) oder Ihrem Bot-Erkennungsdienst explizit zulassen, können Sie verhindern, dass legitime Anfragen blockiert werden, während Ihre vorhandenen Sicherheitsmaßnahmen beibehalten werden.

So identifiziert der Google-Agent Anfragen

Jede Google-Agent-Anfrage enthält einen User-Agent-HTTP-Anfrageheader mit „Google-Agent“ (siehe Vom Nutzer ausgelöste Fetcher von Google) und stammt von einer IP-Adresse aus user-triggered-agents.json.

Google testet auch das Web Bot Auth-Protokoll mit der Identität https://agent.bot.goog. In diesem Experiment signiert Google Anfragen von Google-Agent mit dem Standard für HTTP-Nachrichtensignaturen (RFC 9421). Teilnehmende Anfragen umfassen:

  • Ein Signature-Agent-Header, der auf g="https://agent.bot.goog" festgelegt ist
  • Signature- und Signature-Input-Header mit dem Label g

Der öffentliche Schlüsselsatz zur Überprüfung dieser Signaturen ist unter https://agent.bot.goog/.well-known/http-message-signatures-directory verfügbar.

Traffic in Ihrem CDN, Ihrer Firewall oder Ihrem Bot-Erkennungsdienst zulassen

Einige Bot-Erkennungsdienste, CDNs und Firewalls bieten Möglichkeiten, Anfragen des Google-Agent-User-Agents zu überprüfen und zuzulassen. Die genauen Schritte erfahren Sie von Ihrem Anbieter.

Wenn Ihr Dienst Google-Agent-Anfragen nicht automatisch überprüft, können Sie Anfragen möglicherweise mithilfe der folgenden Regeln überprüfen und zulassen:

  • Prüfen Sie, ob der User-Agent-Header Google-Agent enthält.
  • Prüfen Sie, ob die IP-Adresse in user-triggered-agents.json enthalten ist.
  • Falls angegeben, bestätigen Sie die signierte Anfrage, indem Sie die Header Signature und Signature-Input für Signature-Agent: g="https://agent.bot.goog" gemäß Web Bot Auth überprüfen.
  • Überspringen Sie bei bestätigten Anfragen Bot-Sicherheitsabfragen.

Fehlerbehebung

Wenn legitime Google-Agent-Anfragen auch nach dem Zulassen dieser Anfragen weiterhin blockiert werden:

  • Regelpriorität: Prüfen Sie, ob Ihre Zulassungsregel eine höhere Priorität als allgemeine Cloud- oder ASN-Blockierungen für Rechenzentren, verwaltete Bot-Regeln oder Blockierungsrichtlinien für KI-Agenten auf Kategorieebene hat und vor diesen ausgewertet wird, da diese eine bestätigte Bot-Einstellung überschreiben könnten.
  • Interaktive Sicherheitsabfragen: Prüfen Sie, ob Ihre Regel neben HTTP-Blockierungen auch interaktive CAPTCHAs und JavaScript Challenges überspringt, einschließlich eigenständiger CAPTCHA-Widgets auf der Seite, die bei der Suche oder beim Senden von Formularen ausgelöst werden.
  • Aktionen während der User-Journey und APIs: Prüfen Sie, ob das Zulassen dieser Anfragen auch Aktionen über das erste Laden der Startseite hinaus abdeckt, z. B. die Suche auf der Website, das Filtern, das Klicken auf Detailseiten, das Hinzufügen zum Einkaufswagen, das Buchen und die zugrunde liegenden XHR-, GraphQL- oder api.*-Endpunkte.
  • Ratenlimits für gemeinsam genutzte IP-Adressen: Prüfen Sie, ob bei Regeln zur Ratenbegrenzung pro IP-Adresse verifizierte Google-Agent-IP-Bereiche berücksichtigt oder ausgenommen werden, da gleichzeitige Anfragen von mehreren Nutzern denselben Pool für ausgehenden Traffic verwenden.
  • Aktualisierungen von IP-Bereichen: Prüfen Sie, ob IP-basierte Regeln mit den neuesten Bereichen in user-triggered-agents.json synchronisiert bleiben.
  • Proxy-Header: Prüfen Sie, ob Load Balancer und Zwischenproxys die ursprüngliche Client-IP-Adresse, den User-Agent-Header und (bei signierten Anfragen) die Header Signature, Signature-Input und Signature-Agent beibehalten.