2026 年 10 月 30 日（金曜日）
このたび、robots.txt で共有 AI トレーニング コントロールをサポートする計画を発表しました。これにより、ウェブサイトは複数の AI プロバイダに対して AI トレーニングの設定を 1 つのステップで表現できるようになります。これは、インターネット技術特別調査委員会（IETF）の AIPREF ワーキング グループの取り組みに基づいています。これは、2023 年から提供している AI トレーニング コントロールである Google-Extended など、ウェブサイトの所有者に明確な管理機能を提供してきた Google の長い歴史に基づいています。
新しいコントロールの仕組み
ウェブサイトの所有者は、AI デベロッパーごとに個別の指示を管理する代わりに、robots.txt 内で共有の「ポリシー トークン」を使用して、参加している AI プロバイダ全体に幅広い設定を適用できるようになります。
ウェブサイトがこのポリシー トークンを使用して robots.txt ファイルでトレーニングをオプトアウトしている場合（かつ Google-Extended が明示的に指定されていない場合）、Google は、パブリッシャーが Google-Extended を許可しないと解釈する予定です。他の AI プロバイダも同様に処理できるため、ウェブサイトの所有者は、すべてのプロバイダをオプトアウトすることも、個別に選択して設定することも簡単にできます。
既存の企業固有のコントロールは、この新しい共同シグナルと並行して引き続き機能します。そのため、ウェブサイトの所有者は、業界のシグナルを使用して幅広い選択肢を簡単に表現できるだけでなく、Google-Extended といったコントロールを使用して、Google などの個々の AI デベロッパーに対して指示をカスタマイズすることもできます。Google-Extended を明示的に許可しているウェブサイトは、Gemini アプリのグラウンディングを通じて回答に表示され、クリックされる可能性があります。
この新しいメカニズムにより、ウェブサイトの所有者は IETF で開発された AI トレーニングの定義のメリットを享受できます。一方、AIPREF の残りの語彙については、複数の関係者による議論が続けられています。このメカニズムを採用する業界関係者が増えるにつれて、ウェブサイトの所有者は、設定シグナルに早期にアクセスできるようになり、その範囲も拡大していきます。
このドラフト提案は、AI トレーニングに関する業界全体の管理を求めているパブリッシャー、市民社会団体、規制当局、その他の関係者からのフィードバックを反映したものです。主要な AI プロバイダがこの提案をサポートすることで、業界横断的で堅牢かつ長期にわたって機能する、将来の標準が実現します。この提案は、EU AI 規則に基づく EU の汎用 AI（GPAI）モデル プロバイダ向けの行動規範に沿ったものです。この規範では、ウェブ パブリッシャーが機械で読み取り可能な設定を表明するための主な方法として robots.txt が認められています。Google は、これらの関係者と引き続き協力し、IETF ワーキング グループを通じてこの標準の改良と標準化に取り組んでいきます。
Google は、2027 年に他の AI プロバイダとともにこの新しいコントロールをサポートすることを目指しています。進捗状況については随時お知らせします。