Autoriser le trafic Google-Agent

Google-Agent est le nom utilisé par les agents hébergés sur l'infrastructure Google pour naviguer sur le Web et effectuer des actions à la demande de l'utilisateur. Autoriser explicitement le trafic Google-Agent dans votre réseau de diffusion de contenu (CDN), votre pare-feu d'application Web (WAF) ou votre service de détection de robots permet d'éviter que les requêtes légitimes soient bloquées tout en préservant vos contrôles de sécurité existants.

Comment Google-Agent identifie les requêtes

Chaque requête Google-Agent inclut un en-tête de requête HTTP User-Agent contenant "Google-Agent" (voir Extracteurs Google déclenchés par l'utilisateur) et provient d'une adresse IP de user-triggered-agents.json.

Google teste également le protocole Web Bot Auth en utilisant l'identité https://agent.bot.goog. Dans cette expérience, Google signe les requêtes effectuées par Google-Agent avec la norme de signatures de messages HTTP (RFC 9421). Les requêtes participantes incluent :

  • Un en-tête Signature-Agent défini sur g="https://agent.bot.goog"
  • Des en-têtes Signature et Signature-Input libellés g

L'ensemble de clés publiques permettant de vérifier ces signatures est disponible à l'adresse suivante : https://agent.bot.goog/.well-known/http-message-signatures-directory

Autoriser le trafic dans votre CDN, votre pare-feu ou votre service de détection de robots

Certains services de détection de robots, CDN et pare-feu permettent de vérifier les requêtes effectuées par l'user-agent Google-Agent et de les autoriser. Pour connaître la procédure exacte, contactez votre fournisseur.

Si votre service ne valide pas automatiquement les requêtes Google-Agent, vous pouvez les valider et les autoriser en suivant les règles suivantes :

  • Vérifiez que l'en-tête User-Agent contient Google-Agent.
  • Vérifiez que l'adresse IP figure dans user-triggered-agents.json.
  • Le cas échéant, confirmez la requête signée en vérifiant les en-têtes Signature et Signature-Input pour Signature-Agent: g="https://agent.bot.goog" conformément à Web Bot Auth.
  • Pour les requêtes validées, ignorez les défis anti-robot.

Dépannage

Si les requêtes Google-Agent légitimes sont toujours bloquées après avoir été autorisées :

  • Priorité des règles : vérifiez que votre règle d'autorisation est prioritaire sur les blocs ASN de cloud ou de centre de données généraux, sur les règles de robot gérées et sur les règles de blocage d'agent IA au niveau de la catégorie qui pourraient remplacer un paramètre de bot validé, et qu'elle est évaluée avant ces différentes règles.
  • Défis interactifs : vérifiez que votre règle ignore les CAPTCHA interactifs et les défis JavaScript en plus des blocs HTTP, y compris les widgets CAPTCHA autonomes sur la page déclenchés lors de la recherche ou de l'envoi de formulaires.
  • Actions du parcours utilisateur et API : vérifiez que l'autorisation de ces requêtes couvre les actions au-delà du chargement initial de la page d'accueil, y compris la recherche sur le site, le filtrage, les clics sur les pages d'informations, l'ajout au panier, la réservation, et les points de terminaison XHR, GraphQL ou api.* sous-jacents.
  • Limites de débit d'adresses IP partagées : vérifiez que les règles de limitation du débit par adresse IP tiennent compte des plages d'adresses IP Google-Agent validées ou les exemptent, car les requêtes simultanées de plusieurs utilisateurs partagent le même pool de sortie.
  • Mises à jour des plages d'adresses IP : vérifiez que les règles basées sur l'adresse IP restent synchronisées avec les dernières plages de user-triggered-agents.json.
  • En-têtes de proxy : vérifiez que les équilibreurs de charge et les proxys intermédiaires conservent l'adresse IP du client d'origine, l'en-tête User-Agent et, pour les requêtes signées, les en-têtes Signature, Signature-Input et Signature-Agent.