Viernes 30 de octubre de 2026
Hoy anunciamos nuestros planes para respaldar un control de entrenamiento de IA compartido en robots.txt. Esto ayudará a los sitios web a expresar sus preferencias de entrenamiento de IA con múltiples proveedores de IA en un solo paso y se basa en el trabajo del grupo de trabajo AIPREF de Internet Engineering Task Force (IETF). Esto se suma a nuestra larga trayectoria de proporcionar a los propietarios de sitios web controles claros, incluido Google-Extended, el control de entrenamiento de IA que ofrecemos desde 2023.
Cómo funcionará el nuevo control
En lugar de administrar instrucciones independientes para cada desarrollador de IA, los propietarios de sitios web podrán usar un "token de política" compartido en robots.txt para establecer preferencias generales para todos los proveedores de IA participantes.
Cuando un sitio web use este token de política para inhabilitar el entrenamiento en su archivo robots.txt (y no se especifique Google-Extended de forma explícita), Google planea interpretar eso como si el publicador hubiera rechazado Google-Extended. Otros proveedores de IA pueden manejarlo de manera similar, lo que facilita que los propietarios de sitios web inhabiliten todos los proveedores o elijan los que deseen.
Los controles existentes específicos de la empresa seguirán funcionando junto con este nuevo indicador conjunto. Por lo tanto, los propietarios de sitios web pueden expresar fácilmente una elección amplia con el indicador de la industria y, al mismo tiempo, adaptar sus instrucciones a desarrolladores de IA individuales, como Google, a través de controles como Google-Extended. Los sitios web que permiten específicamente Google-Extended son aptos para aparecer en las respuestas y recibir clics a través del anclaje en las Apps con Gemini.
El nuevo mecanismo brinda a los propietarios de sitios web el beneficio de la definición de entrenamiento de IA desarrollada en la IETF, mientras continúan las conversaciones de múltiples partes interesadas sobre el resto del vocabulario de AIPREF. A medida que más actores de la industria adopten este mecanismo, los propietarios de sitios web tendrán acceso amplio y anticipado al indicador de preferencia.
Este borrador de propuesta refleja los comentarios de publicadores, grupos de la sociedad civil, reguladores y otras partes interesadas que solicitaron controles a toda la industria con respecto al entrenamiento de IA. La compatibilidad con esta propuesta en los principales proveedores de IA permitirá un estándar futuro que sea sólido, duradero y que abarque toda la industria. Esta propuesta es coherente con el Código de buenas prácticas de la UE para proveedores de modelos de IA de uso general (GPAI) en virtud de la Ley de IA de la UE, que reconoce robots.txt como un método principal para que los publicadores web expresen preferencias legibles por máquinas. Seguiremos trabajando con estas partes interesadas para definir mejor y estandarizar esto a través del grupo de trabajo de la IETF.
Nuestro objetivo es admitir este nuevo control junto con otros proveedores de IA en 2027, y proporcionaremos actualizaciones sobre nuestro progreso.