Permitir o tráfego do Google-Agent

Google-Agent é o nome usado por agentes hospedados na infraestrutura do Google para navegar na web e realizar ações a pedido do usuário. Permitir explicitamente o tráfego do Google-Agent na sua rede de fornecimento de conteúdo (CDN), no firewall de aplicativos da web (WAF) ou no serviço de detecção de bots ajuda a evitar que solicitações legítimas sejam bloqueadas, preservando os controles de segurança atuais.

Como o Google-Agent identifica solicitações

Cada solicitação do Google-Agent inclui um cabeçalho da solicitação HTTP User-Agent que contém "Google-Agent" (consulte Coletores acionados pelo usuário do Google) e vem de um endereço IP de user-triggered-agents.json.

O Google também está testando o protocolo Web Bot Auth usando a identidade https://agent.bot.goog. Nesse experimento, o Google assina solicitações feitas pelo Google-Agent com o padrão de assinaturas de mensagens HTTP (RFC 9421). As solicitações participantes incluem:

  • Um cabeçalho Signature-Agent definido como g="https://agent.bot.goog"
  • Cabeçalhos Signature e Signature-Input rotulados como g

O conjunto de chaves públicas para verificar essas assinaturas está disponível em: https://agent.bot.goog/.well-known/http-message-signatures-directory

Permitir o tráfego na sua CDN, no firewall ou no serviço de detecção de bots

Alguns serviços de detecção de bots, CDNs e firewalls oferecem maneiras de verificar e permitir solicitações feitas pelo user agent Google-Agent. Consulte seu provedor para saber as etapas exatas.

Se o serviço não verificar automaticamente as solicitações do Google-Agent, talvez seja possível verificar e permitir solicitações usando as seguintes regras:

  • Confirme se o cabeçalho User-Agent contém Google-Agent.
  • Confirme se o endereço IP está em user-triggered-agents.json.
  • Se fornecido, confirme a solicitação assinada verificando os cabeçalhos Signature e Signature-Input de Signature-Agent: g="https://agent.bot.goog" de acordo com o Web Bot Auth.
  • Para solicitações verificadas, pule os desafios de bot.

Solução de problemas

Se as solicitações legítimas do Google-Agent ainda forem bloqueadas depois de permitir essas solicitações:

  • Prioridade da regra: confirme se a regra de permissão tem prioridade maior do que (e é avaliada antes de) blocos ASN amplos de nuvem ou de data center, regras de bot gerenciadas ou políticas de bloqueio de agentes de IA no nível da categoria que podem substituir uma configuração de bot verificada.
  • Desafios interativos: confirme se a regra ignora CAPTCHAs interativos e desafios de JavaScript, além de blocos HTTP, incluindo widgets de CAPTCHA independentes na página acionados na pesquisa ou no envio de formulários.
  • Ações durante a jornada e APIs: confirme se permitir essas solicitações abrange ações além do carregamento inicial da página inicial, incluindo pesquisa no site, filtragem, clique em páginas de detalhes, adição ao carrinho, reserva e endpoints XHR, GraphQL ou api.* subjacentes.
  • Limites de taxa de IPs compartilhados: confirme se as regras de limitação de taxa por IP consideram ou isentam intervalos de IP verificados do Google-Agent, já que solicitações simultâneas de vários usuários compartilham o mesmo pool de saída.
  • Atualizações de intervalo de IP: confirme se as regras baseadas em IP permanecem sincronizadas com os intervalos mais recentes em user-triggered-agents.json.
  • Cabeçalhos de proxy: confirme se os balanceadores de carga e os proxies intermediários preservam o IP do cliente original, o cabeçalho User-Agent e, para solicitações assinadas, os cabeçalhos Signature, Signature-Input e Signature-Agent.