2026 年 10 月 30 日，星期五
今天，我们宣布计划在 robots.txt 中支持共享的 AI 训练控制选项。这将有助于网站通过一个简单的步骤，向多个 AI 提供商表达其 AI 训练偏好；该功能基于互联网工程任务组 (IETF) AIPREF 工作组的研究成果。我们长期以来一直致力于为网站所有者提供清晰的控制选项，包括自 2023 年起提供的 AI 训练控制选项 Google-Extended。
新控制选项的运作方式
网站所有者无需再为每个 AI 开发者单独管理指令，只需在 robots.txt 中使用一个共享的“政策令牌”，即可面向所有参与的 AI 提供商设置广泛的偏好。
当网站使用此政策令牌在其 robots.txt 文件中选择不参与训练（并且未明确指定 Google-Extended）时，Google 计划将其解读为发布商已禁止 Google-Extended。其他 AI 提供商也可以采用类似的处理方式，让网站所有者可以轻松选择不参与所有提供商的训练，也可以选择性地参与。
现有的公司特定控制选项将继续与这一新的联合信号并行运作。因此，网站所有者可以使用行业信号轻松表达广泛的选择，同时还可以通过 Google-Extended 等控制选项，针对 Google 等各个 AI 开发者量身定制指令。明确允许 Google-Extended 的网站将有资格出现在 Gemini 应用的回答中，并能通过其中的引用链接获得点击。
这一新机制让网站所有者能够受益于 IETF 制定的 AI 训练定义，与此同时，多方利益相关者也将继续就 AIPREF 词汇表的其余部分展开讨论。随着越来越多的行业参与者采用此机制，网站所有者可以尽早且更广泛地使用偏好信号。
此提案草案吸纳了发布商、民间社会团体、监管机构及其他利益相关方的反馈意见，他们此前呼吁针对 AI 训练建立全行业通用的控制机制。各大 AI 提供商对该提案的支持将推动未来形成一个跨行业、稳健且持久的标准。该提案符合《欧盟 AI 法案》中针对通用 AI (GPAI) 模型提供商的欧盟行为准则，该准则将 robots.txt 视为网站发布商表达机器可读偏好的主要方法。我们将继续与这些利益相关方合作，通过 IETF 工作组完善和标准化此提案。
我们的目标是在 2027 年与其他 AI 提供商一起支持这一新的控制选项，并将及时提供最新进展。