Consenti il traffico di Google-Agent

Google-Agent è il nome utilizzato dagli agenti ospitati sull'infrastruttura Google per navigare sul web ed eseguire azioni su richiesta dell'utente. Consentire esplicitamente il traffico di Google-Agent nella tua rete CDN (Content Delivery Network), nel web application firewall (WAF) o nel servizio di rilevamento dei bot aiuta a evitare che le richieste legittime vengano bloccate, preservando al contempo i controlli di sicurezza esistenti.

In che modo Google-Agent identifica le richieste

Ogni richiesta Google-Agent include un'intestazione della richiesta HTTP User-Agent contenente "Google-Agent" (vedi Fetcher di Google attivati dall'utente) e proviene da un indirizzo IP di user-triggered-agents.json.

Google sta anche sperimentando il protocollo Web Bot Auth usando l'identità https://agent.bot.goog. In questo esperimento, Google firma le richieste effettuate da Google-Agent con lo standard HTTP Message Signatures (RFC 9421). Le richieste partecipanti includono:

  • Un'intestazione Signature-Agent impostata su g="https://agent.bot.goog"
  • Intestazioni Signature e Signature-Input etichettate come g

Il set di chiavi pubbliche per la verifica di queste firme è disponibile all'indirizzo: https://agent.bot.goog/.well-known/http-message-signatures-directory

Consenti il traffico nella CDN, nel firewall o nel servizio di rilevamento dei bot

Alcuni servizi di rilevamento dei bot, CDN e firewall forniscono modi per verificare le richieste effettuate dallo user agent Google-Agent e consentirle. Consulta il tuo provider per conoscere i passaggi esatti.

Se il tuo servizio non verifica in automatico le richieste Google-Agent, puoi provare a convalidarle e ad autorizzarle applicando le regole riportate di seguito

  • Verifica che l'intestazione User-Agent contenga Google-Agent.
  • Verifica che l'indirizzo IP sia presente in user-triggered-agents.json.
  • Se fornita, conferma la richiesta firmata verificando le intestazioni Signature e Signature-Input per Signature-Agent: g="https://agent.bot.goog" in base a Web Bot Auth.
  • Per le richieste verificate, salta le verifiche dei bot.

Risoluzione dei problemi

Se le richieste Google-Agent legittime continuano a essere bloccate dopo averle consentite:

  • Priorità delle regole: accertati che la tua regola di autorizzazione abbia una priorità superiore (e venga elaborata prima) rispetto ai blocchi ASN generici per cloud o data center, alle regole per i bot gestiti o alle politiche di blocco degli agenti IA a livello di categoria che rischiano di ignorare l'impostazione per i bot verificati.
  • Test interattivi: verifica che la regola ignori i CAPTCHA interattivi e i JavaScript Challenge, oltre ai blocchi HTTP, inclusi i widget CAPTCHA autonomi in-page attivati dalla ricerca o dall'invio di moduli.
  • Azioni e API durante il percorso: accertati che l'abilitazione di queste richieste includa anche le operazioni successive al caricamento iniziale della home page, quali ricerche interne, filtri, passaggi alle schede prodotto, aggiunte al carrello, prenotazioni e i relativi endpoint XHR, GraphQL o api.*.
  • Limiti di frequenza per IP condivisi: verifica che le regole di limitazione di frequenza per IP tengano conto o esentino gli intervalli IP Google-Agent verificati, poiché le richieste in parallelo di più utenti condividono lo stesso pool in uscita.
  • Aggiornamenti degli intervalli IP: verifica che le regole basate su IP rimangano sincronizzate con gli intervalli più recenti in user-triggered-agents.json.
  • Intestazioni proxy: verifica che i bilanciatori del carico e i proxy intermedi conservino l'IP client originale, l'intestazione User-Agent e (per le richieste firmate) le intestazioni Signature, Signature-Input e Signature-Agent.