Viernes, 30 de octubre del 2026
Hoy presentamos nuestros planes para integrar un control de entrenamiento de IA compartido en robots.txt. Esto ayudará a los sitios web a expresar sus preferencias de entrenamiento de IA en varios proveedores de IA en un solo paso y se basa en el trabajo del grupo de trabajo AIPREF del Internet Engineering Task Force (IETF). Esto se fundamenta en nuestro largo historial de ofrecer a los propietarios de sitios web controles claros, como Google-Extended, el control de entrenamiento de IA que ofrecemos desde el 2023.
Cómo funcionará el nuevo control
En lugar de gestionar instrucciones independientes para cada desarrollador de IA, los propietarios de sitios web podrán usar un token de política compartido en robots.txt para definir preferencias generales en todos los proveedores de IA participantes.
Cuando un sitio web use este token de política para inhabilitar el entrenamiento en su archivo robots.txt (y no se especifique explícitamente Google-Extended), Google tiene previsto interpretarlo como si el editor hubiera rechazado Google-Extended. Otros proveedores de IA pueden gestionarlo de forma similar, lo que facilita que los propietarios de sitios web puedan inhabilitar todos los proveedores o elegir los que quieran.
Los controles específicos de cada empresa seguirán funcionando junto con esta nueva señal conjunta. De esta forma, los propietarios de sitios web pueden expresar fácilmente una opción general mediante la señal del sector y, al mismo tiempo, adaptar sus instrucciones a desarrolladores de IA concretos, como Google, mediante controles como Google-Extended. Los sitios web que permiten específicamente Google-Extended pueden aparecer en las respuestas y recibir clics a través de la fundamentación en las aplicaciones de Gemini.
El nuevo mecanismo ofrece a los propietarios de sitios web la ventaja de la definición de entrenamiento de IA desarrollada en el IETF, mientras continúan los debates entre las distintas partes interesadas sobre el resto del vocabulario de AIPREF. A medida que más agentes del sector adopten este mecanismo, los propietarios de sitios web tendrán un acceso anticipado y cada vez mayor a la señal de preferencia.
Esta propuesta preliminar refleja los comentarios de editores, grupos de la sociedad civil, organismos reguladores y otras partes interesadas que han pedido controles para todo el sector sobre el entrenamiento de la IA. El apoyo a esta propuesta por parte de los principales proveedores de IA permitirá crear un estándar futuro que sea intersectorial, sólido y duradero. Esta propuesta es coherente con el Código de buenas prácticas de la UE para proveedores de modelos de IA de uso general (GPAI) en virtud de la Ley de IA de la UE, que reconoce el archivo robots.txt como un método principal para que los editores web expresen sus preferencias legibles por máquinas. Seguiremos trabajando con estas partes interesadas para perfeccionar y estandarizar este proceso a través del grupo de trabajo de IETF.
Nuestro objetivo es ofrecer este nuevo control junto con otros proveedores de IA en el 2027, y proporcionaremos actualizaciones sobre nuestro progreso.