Consenti il traffico di Google-Agent
Google-Agent è il nome utilizzato dagli agenti ospitati sull'infrastruttura Google per navigare sul web ed eseguire azioni su richiesta dell'utente. Consentire esplicitamente il traffico di Google-Agent nella tua rete CDN (Content Delivery Network), nel web application firewall (WAF) o nel servizio di rilevamento dei bot aiuta a evitare che le richieste legittime vengano bloccate, preservando al contempo i controlli di sicurezza esistenti.
In che modo Google-Agent identifica le richieste
Ogni richiesta Google-Agent include un'intestazione della richiesta HTTP User-Agent contenente "Google-Agent" (vedi Fetcher di Google attivati dall'utente) e proviene da un indirizzo IP di user-triggered-agents.json.
Google sta anche sperimentando il protocollo Web Bot Auth usando l'identità https://agent.bot.goog.
In questo esperimento, Google firma le richieste effettuate da Google-Agent con lo standard HTTP Message Signatures (RFC 9421).
Le richieste partecipanti includono:
- Un'intestazione
Signature-Agentimpostata sug="https://agent.bot.goog" - Intestazioni
SignatureeSignature-Inputetichettate comeg
Il set di chiavi pubbliche per la verifica di queste firme è disponibile all'indirizzo: https://agent.bot.goog/.well-known/http-message-signatures-directory
Consenti il traffico nella CDN, nel firewall o nel servizio di rilevamento dei bot
Alcuni servizi di rilevamento dei bot, CDN e firewall forniscono modi per verificare le richieste effettuate dallo user agent Google-Agent e consentirle. Consulta il tuo provider per conoscere i passaggi esatti.
Se il tuo servizio non verifica in automatico le richieste Google-Agent, puoi provare a convalidarle e ad autorizzarle applicando le regole riportate di seguito
- Verifica che l'intestazione
User-AgentcontengaGoogle-Agent. - Verifica che l'indirizzo IP sia presente in user-triggered-agents.json.
-
Se fornita, conferma la richiesta firmata verificando le intestazioni
SignatureeSignature-InputperSignature-Agent: g="https://agent.bot.goog"in base a Web Bot Auth. - Per le richieste verificate, salta le verifiche dei bot.
Risoluzione dei problemi
Se le richieste Google-Agent legittime continuano a essere bloccate dopo averle consentite:
- Priorità delle regole: accertati che la tua regola di autorizzazione abbia una priorità superiore (e venga elaborata prima) rispetto ai blocchi ASN generici per cloud o data center, alle regole per i bot gestiti o alle politiche di blocco degli agenti IA a livello di categoria che rischiano di ignorare l'impostazione per i bot verificati.
- Test interattivi: verifica che la regola ignori i CAPTCHA interattivi e i JavaScript Challenge, oltre ai blocchi HTTP, inclusi i widget CAPTCHA autonomi in-page attivati dalla ricerca o dall'invio di moduli.
-
Azioni e API durante il percorso: accertati che l'abilitazione di queste richieste includa anche le operazioni successive al caricamento iniziale della home page, quali ricerche interne, filtri, passaggi alle schede prodotto, aggiunte al carrello, prenotazioni e i relativi endpoint XHR, GraphQL o
api.*. -
Limiti di frequenza per IP condivisi: verifica che le regole di limitazione di frequenza per IP tengano conto o esentino gli intervalli IP
Google-Agentverificati, poiché le richieste in parallelo di più utenti condividono lo stesso pool in uscita. - Aggiornamenti degli intervalli IP: verifica che le regole basate su IP rimangano sincronizzate con gli intervalli più recenti in user-triggered-agents.json.
-
Intestazioni proxy: verifica che i bilanciatori del carico e i proxy intermedi conservino l'IP client originale, l'intestazione
User-Agente (per le richieste firmate) le intestazioniSignature,Signature-InputeSignature-Agent.