2026 年 10 月 30 日，星期五
今天，我們宣布計劃在 robots.txt 中支援共用 AI 訓練控制項。這項功能以網際網路工程任務組 (IETF) AIPREF 工作小組的研究成果為基礎，可協助網站透過單一步驟，向多個 AI 供應商表達 AI 訓練偏好。這項新功能以我們長期以來為網站擁有者提供明確控制項的經驗為基礎，包括自 2023 年起提供的 AI 訓練控制項 Google-Extended。
新控制項的運作方式
網站擁有者不必為每位 AI 開發人員管理個別指令，而是在 robots.txt 中使用共用的「政策權杖」，在參與的 AI 供應商之間設定整體偏好。
如果網站使用這個政策權杖，在 robots.txt 檔案中選擇不參與訓練 (且未明確指定 Google-Extended)，Google 預計將其解讀為發布商已設為不允許 Google-Extended。其他 AI 供應商也可以採取類似做法，讓網站擁有者輕鬆選擇退出所有供應商的訓練，或自行挑選。
現有的公司專屬控制項將繼續與這項新的聯合信號並存。因此，網站擁有者可以輕鬆使用業界信號表達整體偏好，同時透過 Google-Extended 等控制項，為個別 AI 開發人員 (例如 Google) 量身打造指令。明確允許 Google-Extended 的網站，有資格出現在 Gemini 應用程式的回覆中，並透過連結真實資料獲得點擊。
這項新機制可讓網站擁有者受益於 IETF 開發的 AI 訓練定義，同時多方利害關係人會繼續討論 AIPREF 詞彙表的其他部分。隨著越來越多業界人士採用這項機制，網站擁有者將能及早且更廣泛地存取偏好信號。
這項草案反映了發布商、公民社會團體、監管機構和其他利害關係人的意見，他們呼籲對 AI 訓練進行全業界的控管。主要 AI 供應商對這項提案的支持，將有助於未來制定跨產業、穩健且持久的標準。這項提案符合歐盟《人工智慧法》中，通用 AI (GPAI) 模型供應商《實踐準則》的規定，該準則認可 robots.txt 是網路發布商表達機器可讀偏好的主要方法。我們將繼續與這些利害關係人合作，透過 IETF 工作小組精進及標準化這項機制。
我們的目標是在 2027 年與其他 AI 供應商一起支援這項新控制項，並會提供最新進度。