Autentica le richieste con Web Bot Auth (sperimentale)

Google sta testando l'uso dell'Internet Draft dell'IETF Web Bot Auth, un nuovo protocollo di crittografia che aiuta i siti web a convalidare l'autenticità dei bot. Stiamo testando il protocollo con alcuni agenti AI ospitati sull'infrastruttura di Google. Questa guida spiega cos'è Web Bot Auth, il suo stato attuale e come puoi implementare la verifica nella fase sperimentale.

Che cos'è Web Bot Auth?

Web Bot Auth è un protocollo di crittografia sperimentale usato per autenticare le richieste inviate dai bot. Invece di basarsi esclusivamente su intestazioni e indirizzi IP auto-dichiarati, Web Bot Auth consente agli agenti di firmare tramite crittografia le loro richieste.

L'uso di Web Bot Auth aiuta i proprietari di siti web a identificare il traffico automatizzato sui propri siti e impedisce che agenti affidabili siano oggetto di spoofing. Web Bot Auth può offrire i seguenti vantaggi:

  • Certezza crittografica: non basarti solo su intestazioni che possono facilmente essere oggetto di spoofing, ma ottieni un'identità verificata e separa l'identità dell'agente dagli indirizzi IP.
  • Migliore osservabilità: ottieni insight più chiari su come gli agenti interagiscono con i tuoi contenuti.
  • Orientamento al futuro: contribuisci a creare un web in cui i provider di agenti e i siti web possano fidarsi gli uni degli altri e prendere decisioni di accesso consapevoli.

Stato attuale di Web Bot Auth: sperimentale

L'implementazione di Web Bot Auth da parte di Google è attualmente in fase sperimentale per i seguenti motivi:

  • Web Bot Auth è attualmente una bozza di specifica sviluppata dal gruppo di lavoro WBA dell'IETF e potrebbe cambiare nel tempo. Google continua a collaborare attivamente alle attività del gruppo di lavoro.
  • La verifica dei bot basata su user agent e IP è attualmente lo standard de facto, con decenni di sistemi, norme e best practice creati intorno a questo metodo. La modifica di questi elementi richiede tempo e un approccio misurato. Siamo ancora in una fase iniziale, in cui valutiamo le caratteristiche tecniche e le potenziali implicazioni del protocollo per l'ecosistema.

Che cosa significa?

Lo stato sperimentale indica che:

  • Non tutti gli user agent Google usano Web Bot Auth.
  • Google non firma ancora tutte le richieste degli agenti che usano il protocollo.
  • Ti consigliamo di affiancare ancora a Web Bot Auth l'uso di indirizzi IP, DNS inverso e stringhe dello user agent durante la graduale implementazione del traffico firmato.

Per chi desidera partecipare alla fase sperimentale, forniamo indicazioni su come riconoscere e includere nella lista consentita gli agenti AI di Google.

Come includere gli agenti AI di Google nella lista consentita usando Web Bot Auth

Se sei uno sviluppatore o un amministratore di sistema e vuoi inserire nella lista consentita i nostri agenti AI sperimentali, puoi implementare la verifica tramite il protocollo Web Bot Auth:

Usa un prodotto o un servizio che supporti Web Both Auth

I servizi di rilevamento dei bot, le CDN e i WAF principali supportano Web Bot Auth. Alcuni servizi di infrastruttura forniscono modi per cercare lo user agent Google-Agent e inserirlo nella lista consentita. Consulta il tuo provider per conoscere i passaggi esatti. Un sottoinsieme di richieste effettuate da Google-Agent sono firmate con Web Bot Auth: in questi casi, le richieste vengono autenticate come https://agent.bot.goog. Se il tuo provider supporta il protocollo, probabilmente la verifica avviene in modo automatico.

Verifica le richieste autonomamente

Se vuoi autenticare le nostre richieste autonomamente, consulta la specifica dell'architettura per il traffico automatizzato HTTP Message Signatures e gli esempi di implementazione su GitHub. In generale, i passaggi principali del protocollo sono:

  1. Recupera l'insieme di chiavi pubbliche del nostro agente da https://agent.bot.goog/.well-known/http-message-signatures-directory e memorizzale nella cache in base all'intestazione Cache-Control.
  2. Per le richieste che partecipano alla fase sperimentale inviate al tuo server, l'intestazione della richiesta HTTP Signature-Agent sarà impostata su g="https://agent.bot.goog" (prendi nota dell'etichetta g=).
  3. Verifica l'intestazione Signature in base a Signature-Input, seguendo lo standard HTTP Message Signatures (RFC 9421). Usa le intestazioni Signature e Signature-Input etichettate come g.
  4. Non dimenticare di utilizzare la verifica basata sull'IP, in quanto non tutte le richieste sono firmate.
Procedura di verifica di Web Bot Auth

Per le richieste sensibili alla latenza, puoi restituire la risposta in anticipo e convalidare la firma entro la finestra di scadenza. In questo caso, eventuali misure restrittive saranno applicate successivamente e potranno essere estese alle richieste future del chiamante.

Passaggi successivi