Autentica solicitudes con Web Bot Auth (experimental)

Google está probando el uso del borrador de Internet de la IETF Web Bot Auth, que es un nuevo protocolo criptográfico que ayuda a los sitios web a validar que los bots sean auténticos. Estamos probando el protocolo con algunos agentes de IA alojados en la infraestructura de Google. En esta guía, se explica qué es Web Bot Auth, cuál es su estado actual y cómo puedes implementar la verificación en la fase experimental.

¿Qué es Web Bot Auth?

Web Bot Auth es un protocolo criptográfico experimental que se usa para autenticar las solicitudes enviadas por bots. En lugar de depender únicamente de los encabezados y las direcciones IP autoinformados, Web Bot Auth permite que los agentes firmen sus solicitudes criptográficamente.

El uso de Web Bot Auth ayuda a los propietarios de sitios web a identificar el tráfico automatizado en sus sitios y evita que otros actores intenten suplantar agentes confiables. Web Bot Auth puede brindar los siguientes beneficios:

  • Certeza criptográfica: Ve más allá de los encabezados falsificados fácilmente y obtén una identidad verificada, además de desacoplar la identidad de los agentes de las direcciones IP.
  • Mejor observabilidad: Obtén información más clara sobre cómo interactúan los agentes con tu contenido.
  • Preparación para el futuro: Ayudamos a establecer una Web en la que los proveedores de agentes y los sitios web puedan generar confianza mutua y tomar decisiones de acceso fundamentadas.

Estado actual de Web Bot Auth: experimental

Actualmente, la implementación de Web Bot Auth de Google es experimental por los siguientes motivos:

  • Actualmente, Web Bot Auth es un borrador de especificación desarrollado por el Grupo de trabajo de WBA de la IETF, y puede cambiar con el tiempo. Google sigue participando en el Grupo de trabajo a medida que evoluciona.
  • Actualmente, la verificación de bots basada en la dirección IP y el usuario-agente es el estándar de facto, y se han creado sistemas, políticas y prácticas recomendadas durante décadas en torno a ella. Cambiar estos parámetros requiere tiempo y un enfoque cuidadoso, y aún estamos en una etapa inicial, evaluando las características técnicas y las posibles implicaciones del protocolo en el ecosistema.

¿Qué significa esto?

El estado experimental significa lo siguiente:

  • No todos los usuarios-agentes de Google utilizan Web Bot Auth.
  • Google aún no firma todas las solicitudes de los agentes que usan el protocolo.
  • Te recomendamos que, además de Web Bot Auth, sigas utilizando direcciones IP, DNS inversos y cadenas de usuario-agente a medida que lancemos gradualmente el tráfico firmado.

Para quienes deseen participar durante la fase experimental, proporcionamos orientación sobre cómo reconocer y agregar a la lista de entidades permitidas a los agentes de IA de Google.

Cómo incluir en la lista de entidades permitidas a los agentes de IA de Google con Web Bot Auth

Si eres desarrollador o administrador de sistemas, y quieres incluir en la lista de entidades permitidas a nuestros agentes experimentales basados en IA, puedes implementar la verificación a través del protocolo de Web Bot Auth:

Usa un producto o servicio que admita Web Bot Auth

Los principales servicios de detección de bots, las CDN y los WAF admiten Web Bot Auth. Algunos servicios de infraestructura proporcionan formas de buscar el usuario-agente Google-Agent y agregarlo a la lista de entidades permitidas. Consulta a tu proveedor para conocer los pasos exactos. Un subconjunto de las solicitudes realizadas por Google-Agent se firman con Web Bot Auth. En estos casos, se autentican como https://agent.bot.goog. Si tu proveedor admite el protocolo, es probable que lo verifique automáticamente.

Verifica las solicitudes por tu cuenta

Si deseas autenticar nuestras solicitudes por tu cuenta, consulta la especificación de arquitectura de firmas de mensajes HTTP para tráfico automatizado y las implementaciones de ejemplo en GitHub. En general, los pasos clave del protocolo son los siguientes:

  1. Recupera el conjunto de claves públicas de nuestro agente desde https://agent.bot.goog/.well-known/http-message-signatures-directory y almacénalas en caché según el encabezado Cache-Control.
  2. Las solicitudes participantes que se envíen a tu servidor tendrán el encabezado de la solicitud HTTP Signature-Agent establecido en g="https://agent.bot.goog" (ten en cuenta la etiqueta g=).
  3. Verifica el encabezado Signature según Signature-Input, siguiendo el estándar de firmas de mensajes HTTP (RFC 9421). Usa los encabezados Signature y Signature-Input etiquetados como g.
  4. No olvides recurrir a la verificación basada en IP, ya que no todas las solicitudes están firmadas.
Pasos para la verificación de Web Bot Auth

En el caso de las solicitudes sensibles a la latencia, puedes devolver la respuesta por adelantado y validar la firma dentro de su período de vencimiento. En este caso, la sanción se aplicará después del hecho, y podrás aplicarla a las solicitudes futuras del emisor de la llamada.

Próximos pasos