Permitir el tráfico de Google-Agent
Google-Agent es el nombre que usan los agentes alojados en la infraestructura de Google para navegar por la Web y realizar acciones a petición del usuario. Si permites explícitamente el tráfico de Google-Agent en tu red de distribución de contenido (CDN), cortafuegos de aplicación web (WAF) o servicio de detección de robots, evitarás que se bloqueen las solicitudes legítimas y, al mismo tiempo, conservarás los controles de seguridad que ya tengas.
Cómo identifica Google-Agent las solicitudes
Cada solicitud de Google-Agent incluye un encabezado de solicitud HTTP User-Agent que contiene "Google-Agent" (consulta los fetchers activados por el usuario de Google) y procede de una dirección IP de user-triggered-agents.json.
Google también está experimentando con el protocolo Web Bot Auth, que usa la identidad https://agent.bot.goog.
En este experimento, Google firma las solicitudes realizadas por Google-Agent con el estándar de firmas de mensajes HTTP (RFC 9421).
Las solicitudes participantes incluyen lo siguiente:
- Un encabezado
Signature-Agentcon el valorg="https://agent.bot.goog" - Encabezados
SignatureySignature-Inputetiquetados comog
El conjunto de claves públicas para verificar estas firmas está disponible en https://agent.bot.goog/.well-known/http-message-signatures-directory.
Permitir el tráfico en tu CDN, cortafuegos o servicio de detección de robots
Algunos servicios de detección de robots, CDNs y cortafuegos ofrecen formas de verificar las solicitudes realizadas por el user-agent Google-Agent y de permitir estas solicitudes. Consulta a tu proveedor para saber los pasos exactos.
Si tu servicio no verifica automáticamente las solicitudes de Google-Agent, puedes verificarlas y permitirlas con las siguientes reglas:
- Confirma que el encabezado
User-AgentcontengaGoogle-Agent. - Confirma que la dirección IP esté en user-triggered-agents.json.
-
Si se proporciona, confirma la solicitud firmada verificando los encabezados
SignatureySignature-InputdeSignature-Agent: g="https://agent.bot.goog"según Web Bot Auth. - En el caso de las solicitudes verificadas, omite los desafíos de robots.
Solución de problemas
Si se siguen bloqueando las solicitudes legítimas de Google-Agent después de permitir estas solicitudes:
- Prioridad de las reglas: confirma que tu regla de permiso tenga una prioridad más alta que los bloqueos de ASN de nube o de centro de datos amplios, las reglas de robots gestionadas o las políticas de bloqueo de agentes de IA a nivel de categoría (y que se evalúe antes que ellos), ya que podrían anular una configuración de robots verificada.
- Desafíos interactivos: confirma que tu regla omita los CAPTCHAs interactivos y las verificaciones de JavaScript, además de los bloqueos HTTP, incluidos los widgets de CAPTCHA independientes in-page que se activan al hacer búsquedas o enviar formularios.
-
Acciones en el recorrido del usuario y APIs: confirma que, al permitir estas solicitudes, se cubran acciones que van más allá de las cargas iniciales de la página principal, como la búsqueda en el sitio, el filtrado, los clics en páginas de detalles, la adición al carrito, las reservas y los endpoints XHR, GraphQL o
api.*subyacentes. -
Límites de frecuencia de IP compartidas: confirma que las reglas de límite de uso por IP tengan en cuenta o eximan los intervalos de IP de
Google-Agentverificados, ya que las solicitudes simultáneas de varios usuarios comparten el mismo grupo de salida. - Actualizaciones de intervalos de IP: confirma que las reglas basadas en IP estén sincronizadas con los intervalos más recientes de user-triggered-agents.json.
-
Encabezados de proxy: confirma que los balanceadores de carga y los proxies intermedios conserven la IP del cliente original, el encabezado
User-Agenty (en el caso de las solicitudes firmadas) los encabezadosSignature,Signature-InputySignature-Agent.