Sexta-feira, 30 de outubro de 2026
Hoje, anunciamos nossos planos de oferecer suporte a um controle compartilhado de treinamento de IA no robots.txt. Isso vai ajudar os sites a expressar as preferências de treinamento de IA em vários provedores em uma única etapa e se baseia no trabalho do grupo de trabalho AIPREF da Internet Engineering Task Force (IETF, na sigla em inglês). Isso se baseia no nosso longo histórico de oferecer aos proprietários de sites controles claros, inclusive com o Google-Extended, o controle de treinamento de IA que oferecemos desde 2023.
Como o novo controle vai funcionar
Em de vez de gerenciar instruções separadas para cada desenvolvedor de IA, os proprietários de sites poderão usar um "token de política" compartilhado no robots.txt para definir preferências amplas entre os provedores de IA participantes.
Quando um site usa esse token de política para desativar o treinamento no arquivo robots.txt (e o Google-Extended não é especificado explicitamente), o Google planeja interpretar isso como se o publisher tivesse proibido o Google-Extended. Outros provedores de IA podem lidar com isso de maneira semelhante, facilitando para os proprietários de sites desativar todos os provedores ou escolher um deles.
Os controles específicos da empresa vão continuar funcionando com esse novo sinal conjunto. Assim, os proprietários de sites podem expressar facilmente uma escolha ampla usando o sinal do setor, além de personalizar as instruções para desenvolvedores de IA individuais, como o Google, usando controles como o Google-Extended. Os sites que permitem especificamente o Google-Extended estão qualificados para aparecer nas respostas e receber cliques pela ancoragem nos apps do Gemini.
O novo mecanismo oferece aos proprietários de sites o benefício da definição de treinamento de IA desenvolvida na IETF, enquanto as discussões com várias partes interessadas continuam sobre o restante do vocabulário AIPREF. À medida que mais players do setor adotam esse mecanismo, os proprietários de sites têm acesso antecipado e cada vez maior ao sinal de preferência.
Essa proposta de rascunho reflete o feedback de publishers, grupos da sociedade civil, reguladores e outras partes interessadas que pediram controles para todo o setor sobre o treinamento de IA. O suporte a essa proposta entre os principais provedores de IA vai permitir um padrão futuro que seja intersetorial, robusto e durável. Essa proposta está de acordo com o Código de Condutas da UE para provedores de modelos de IA de uso geral (GPAI) de acordo com a Lei de IA da UE, que reconhece o robots.txt como um método principal para que os publishers da web expressem preferências legíveis por máquina. Vamos continuar trabalhando com essas partes interessadas para refinar e padronizar isso por meio do grupo de trabalho da IETF.
Nosso objetivo é oferecer suporte a esse novo controle, junto com outros provedores de IA, em 2027, e vamos fornecer atualizações sobre nosso progresso.