Vendredi 30 octobre 2026
Aujourd'hui, nous annonçons notre intention de prendre en charge un contrôle de l'entraînement de l'IA partagé dans le fichier robots.txt. Cela permettra aux sites Web d'exprimer leurs préférences concernant l'entraînement de l'IA auprès de plusieurs fournisseurs d'IA en une seule étape. Cette fonctionnalité est basée sur les travaux du groupe de travail AIPREF de l'Internet Engineering Task Force (IETF). Cela s'inscrit dans notre longue tradition de fournir aux propriétaires de sites Web des commandes claires, y compris via Google-Extended, la commande d'entraînement de l'IA que nous proposons depuis 2023.
Fonctionnement du nouveau paramètre
Au lieu de gérer des instructions distinctes pour chaque développeur d'IA, les propriétaires de sites Web pourront utiliser un "jeton de règle" partagé dans le fichier robots.txt pour définir des préférences générales pour les fournisseurs d'IA participants.
Lorsqu'un site Web utilise ce jeton de règle pour désactiver l'entraînement dans son fichier robots.txt (et que Google-Extended n'est pas explicitement spécifié), Google prévoit d'interpréter cela comme si l'éditeur avait interdit Google-Extended. D'autres fournisseurs d'IA peuvent procéder de la même manière, ce qui permet aux propriétaires de sites Web de désactiver facilement l'entraînement de l'IA pour tous les fournisseurs ou de choisir ceux qu'ils souhaitent autoriser.
Les contrôles existants spécifiques à l'entreprise continueront de fonctionner en parallèle de ce nouveau signal conjoint. Les propriétaires de sites Web peuvent ainsi facilement exprimer un choix général à l'aide du signal du secteur, tout en adaptant leurs instructions aux développeurs d'IA individuels, comme Google, via des commandes telles que Google-Extended. Les sites Web qui autorisent spécifiquement Google-Extended peuvent apparaître dans les réponses et recevoir des clics via l'ancrage dans les applications Gemini.
Le nouveau mécanisme permet aux propriétaires de sites Web de bénéficier de la définition de l'entraînement de l'IA développée par l'IETF, tandis que les discussions multipartites se poursuivent sur le reste du vocabulaire AIPREF. À mesure que d'autres acteurs du secteur adoptent ce mécanisme, les propriétaires de sites Web bénéficient d'un accès anticipé et étendu au signal de préférence.
Ce brouillon de proposition reflète les commentaires des éditeurs, des groupes de la société civile, des organismes de réglementation et d'autres personnes concernées qui ont demandé des contrôles à l'échelle du secteur sur l'entraînement de l'IA. La prise en charge de cette proposition par les principaux fournisseurs d'IA permettra d'établir une future norme intersectorielle, robuste et durable. Cette proposition est conforme au code de conduite de l'UE pour les fournisseurs de modèles d'IA à usage général (IAUG) en vertu du règlement européen sur l'IA, qui reconnaît le fichier robots.txt comme une méthode principale permettant aux éditeurs Web d'exprimer leurs préférences lisibles par machine. Nous continuerons à collaborer avec ces personnes concernées pour affiner et standardiser cette approche par le biais du groupe de travail de l'IETF.
Nous prévoyons de prendre en charge ce nouveau contrôle, ainsi que d'autres fournisseurs d'IA, en 2027. Nous vous tiendrons informé de nos progrès.