Cómo permitir el tráfico de Google-Agent
Google-Agent
es el nombre que usan los agentes alojados en la infraestructura de Google para navegar por la Web y realizar acciones
según la solicitud del usuario. Permitir de forma explícita el tráfico de Google-Agent en tu red de distribución de
contenidos (CDN), firewall de aplicaciones web (WAF) o servicio de detección de bots ayuda a evitar que se bloqueen las solicitudes legítimas
y, al mismo tiempo, conserva tus controles de seguridad existentes.
Cómo Google-Agent identifica las solicitudes
Cada solicitud de Google-Agent incluye un encabezado de solicitud HTTP
User-Agent que contiene "Google-Agent" (consulta
los recuperadores activados por el usuario de Google)
y proviene de una dirección IP de
user-triggered-agents.json.
Google también está experimentando con el
protocolo Web Bot Auth con la
identidad https://agent.bot.goog.
En este experimento, Google firma las solicitudes que realiza Google-Agent
con el estándar de firmas de mensajes HTTP
(RFC 9421).
Las solicitudes participantes incluyen lo siguiente:
- Un encabezado
Signature-Agentestablecido eng="https://agent.bot.goog" - Encabezados
SignatureySignature-Inputetiquetados comog
El conjunto de claves públicas para verificar estas firmas está disponible en https://agent.bot.goog/.well-known/http-message-signatures-directory.
Cómo permitir el tráfico en tu CDN, firewall o servicio de detección de bots
Algunos servicios de detección de bots, CDN y firewalls proporcionan formas de verificar las solicitudes que realiza el
usuario-agente Google-Agent y permitir estas solicitudes. Consulta a tu proveedor para conocer los
pasos exactos.
Si tu servicio no verifica automáticamente las solicitudes de Google-Agent, es posible que puedas
verificarlas y permitirlas con las siguientes reglas:
- Confirma que el encabezado
User-AgentcontengaGoogle-Agent. - Confirma que la dirección IP esté en user-triggered-agents.json.
-
Si se proporciona, confirma la solicitud firmada verificando los encabezados
SignatureySignature-InputparaSignature-Agent: g="https://agent.bot.goog"según Web Bot Auth. - En el caso de las solicitudes verificadas, omite los desafíos de bots.
Solución de problemas
Si las solicitudes legítimas de Google-Agent se siguen bloqueando después de permitirlas, haz lo siguiente:
- Prioridad de las reglas: Confirma que tu regla de permiso tenga una prioridad más alta que los bloqueos de ASN de centros de datos o nubes amplios, las reglas de bots administradas o las políticas de bloqueo de agentes de IA a nivel de categoría que podrían anular un parámetro de configuración de bot verificado (y que se evalúe antes que estos).
- Desafíos interactivos: Confirma que tu regla omita los desafíos interactivos de CAPTCHA y JavaScript, además de los bloqueos de HTTP, incluidos los widgets de CAPTCHA independientes en la página que se activan en la búsqueda o el envío de formularios.
-
Acciones del recorrido del usuario y APIs: Confirma que permitir estas solicitudes abarque acciones más allá de las cargas
iniciales de la página principal, incluidas la búsqueda en el sitio, el filtrado, los clics en las páginas de detalles,
la adición al carrito, la reserva y los extremos subyacentes de XHR, GraphQL o
api.*. -
Límites de frecuencia de IP compartida: Confirma que las reglas de límite de frecuencia por IP tengan en cuenta o eximan los rangos de IP
verificados de
Google-Agent, ya que las solicitudes simultáneas de varios usuarios comparten el mismo grupo de salida. - Actualizaciones de rangos de IP: Confirma que las reglas basadas en IP se mantengan sincronizadas con los rangos más recientes en user-triggered-agents.json.
-
Encabezados de proxy: Confirma que los balanceadores de cargas y los proxies intermedios conserven la IP del cliente original,
el encabezado
User-Agenty (para las solicitudes firmadas) los encabezadosSignature,Signature-InputySignature-Agent.