Cómo permitir el tráfico de Google-Agent

Google-Agent es el nombre que usan los agentes alojados en la infraestructura de Google para navegar por la Web y realizar acciones según la solicitud del usuario. Permitir de forma explícita el tráfico de Google-Agent en tu red de distribución de contenidos (CDN), firewall de aplicaciones web (WAF) o servicio de detección de bots ayuda a evitar que se bloqueen las solicitudes legítimas y, al mismo tiempo, conserva tus controles de seguridad existentes.

Cómo Google-Agent identifica las solicitudes

Cada solicitud de Google-Agent incluye un encabezado de solicitud HTTP User-Agent que contiene "Google-Agent" (consulta los recuperadores activados por el usuario de Google) y proviene de una dirección IP de user-triggered-agents.json.

Google también está experimentando con el protocolo Web Bot Auth con la identidad https://agent.bot.goog. En este experimento, Google firma las solicitudes que realiza Google-Agent con el estándar de firmas de mensajes HTTP (RFC 9421). Las solicitudes participantes incluyen lo siguiente:

  • Un encabezado Signature-Agent establecido en g="https://agent.bot.goog"
  • Encabezados Signature y Signature-Input etiquetados como g

El conjunto de claves públicas para verificar estas firmas está disponible en https://agent.bot.goog/.well-known/http-message-signatures-directory.

Cómo permitir el tráfico en tu CDN, firewall o servicio de detección de bots

Algunos servicios de detección de bots, CDN y firewalls proporcionan formas de verificar las solicitudes que realiza el usuario-agente Google-Agent y permitir estas solicitudes. Consulta a tu proveedor para conocer los pasos exactos.

Si tu servicio no verifica automáticamente las solicitudes de Google-Agent, es posible que puedas verificarlas y permitirlas con las siguientes reglas:

  • Confirma que el encabezado User-Agent contenga Google-Agent.
  • Confirma que la dirección IP esté en user-triggered-agents.json.
  • Si se proporciona, confirma la solicitud firmada verificando los encabezados Signature y Signature-Input para Signature-Agent: g="https://agent.bot.goog" según Web Bot Auth.
  • En el caso de las solicitudes verificadas, omite los desafíos de bots.

Solución de problemas

Si las solicitudes legítimas de Google-Agent se siguen bloqueando después de permitirlas, haz lo siguiente:

  • Prioridad de las reglas: Confirma que tu regla de permiso tenga una prioridad más alta que los bloqueos de ASN de centros de datos o nubes amplios, las reglas de bots administradas o las políticas de bloqueo de agentes de IA a nivel de categoría que podrían anular un parámetro de configuración de bot verificado (y que se evalúe antes que estos).
  • Desafíos interactivos: Confirma que tu regla omita los desafíos interactivos de CAPTCHA y JavaScript, además de los bloqueos de HTTP, incluidos los widgets de CAPTCHA independientes en la página que se activan en la búsqueda o el envío de formularios.
  • Acciones del recorrido del usuario y APIs: Confirma que permitir estas solicitudes abarque acciones más allá de las cargas iniciales de la página principal, incluidas la búsqueda en el sitio, el filtrado, los clics en las páginas de detalles, la adición al carrito, la reserva y los extremos subyacentes de XHR, GraphQL o api.*.
  • Límites de frecuencia de IP compartida: Confirma que las reglas de límite de frecuencia por IP tengan en cuenta o eximan los rangos de IP verificados de Google-Agent, ya que las solicitudes simultáneas de varios usuarios comparten el mismo grupo de salida.
  • Actualizaciones de rangos de IP: Confirma que las reglas basadas en IP se mantengan sincronizadas con los rangos más recientes en user-triggered-agents.json.
  • Encabezados de proxy: Confirma que los balanceadores de cargas y los proxies intermedios conserven la IP del cliente original, el encabezado User-Agent y (para las solicitudes firmadas) los encabezados Signature, Signature-Input y Signature-Agent.