Autoriser le trafic Google-Agent
Google-Agent est le nom utilisé par les agents hébergés sur l'infrastructure Google pour naviguer sur le Web et effectuer des actions à la demande de l'utilisateur. Autoriser explicitement le trafic Google-Agent dans votre réseau de diffusion de contenu (CDN), votre pare-feu d'application Web (WAF) ou votre service de détection de robots permet d'éviter que les requêtes légitimes soient bloquées tout en préservant vos contrôles de sécurité existants.
Comment Google-Agent identifie les requêtes
Chaque requête Google-Agent inclut un en-tête de requête HTTP User-Agent contenant "Google-Agent" (voir Extracteurs Google déclenchés par l'utilisateur) et provient d'une adresse IP de user-triggered-agents.json.
Google teste également le protocole Web Bot Auth en utilisant l'identité https://agent.bot.goog.
Dans cette expérience, Google signe les requêtes effectuées par Google-Agent avec la norme de signatures de messages HTTP (RFC 9421).
Les requêtes participantes incluent :
- Un en-tête
Signature-Agentdéfini surg="https://agent.bot.goog" - Des en-têtes
SignatureetSignature-Inputlibellésg
L'ensemble de clés publiques permettant de vérifier ces signatures est disponible à l'adresse suivante : https://agent.bot.goog/.well-known/http-message-signatures-directory
Autoriser le trafic dans votre CDN, votre pare-feu ou votre service de détection de robots
Certains services de détection de robots, CDN et pare-feu permettent de vérifier les requêtes effectuées par l'user-agent Google-Agent et de les autoriser. Pour connaître la procédure exacte, contactez votre fournisseur.
Si votre service ne valide pas automatiquement les requêtes Google-Agent, vous pouvez les valider et les autoriser en suivant les règles suivantes :
- Vérifiez que l'en-tête
User-AgentcontientGoogle-Agent. - Vérifiez que l'adresse IP figure dans user-triggered-agents.json.
-
Le cas échéant, confirmez la requête signée en vérifiant les en-têtes
SignatureetSignature-InputpourSignature-Agent: g="https://agent.bot.goog"conformément à Web Bot Auth. - Pour les requêtes validées, ignorez les défis anti-robot.
Dépannage
Si les requêtes Google-Agent légitimes sont toujours bloquées après avoir été autorisées :
- Priorité des règles : vérifiez que votre règle d'autorisation est prioritaire sur les blocs ASN de cloud ou de centre de données généraux, sur les règles de robot gérées et sur les règles de blocage d'agent IA au niveau de la catégorie qui pourraient remplacer un paramètre de bot validé, et qu'elle est évaluée avant ces différentes règles.
- Défis interactifs : vérifiez que votre règle ignore les CAPTCHA interactifs et les défis JavaScript en plus des blocs HTTP, y compris les widgets CAPTCHA autonomes sur la page déclenchés lors de la recherche ou de l'envoi de formulaires.
-
Actions du parcours utilisateur et API : vérifiez que l'autorisation de ces requêtes couvre les actions au-delà du chargement initial de la page d'accueil, y compris la recherche sur le site, le filtrage, les clics sur les pages d'informations, l'ajout au panier, la réservation, et les points de terminaison XHR, GraphQL ou
api.*sous-jacents. -
Limites de débit d'adresses IP partagées : vérifiez que les règles de limitation du débit par adresse IP tiennent compte des plages d'adresses IP
Google-Agentvalidées ou les exemptent, car les requêtes simultanées de plusieurs utilisateurs partagent le même pool de sortie. - Mises à jour des plages d'adresses IP : vérifiez que les règles basées sur l'adresse IP restent synchronisées avec les dernières plages de user-triggered-agents.json.
-
En-têtes de proxy : vérifiez que les équilibreurs de charge et les proxys intermédiaires conservent l'adresse IP du client d'origine, l'en-tête
User-Agentet, pour les requêtes signées, les en-têtesSignature,Signature-InputetSignature-Agent.