Freitag, 30. Oktober 2026
Heute kündigen wir unsere Pläne an, eine gemeinsame Steuerung des KI-Trainings in robots.txt zu unterstützen. So können Websites ihre Einstellungen für das KI-Training bei mehreren KI-Anbietern in einem einzigen Schritt festlegen. Dies basiert auf der Arbeit der AIPREF-Arbeitsgruppe der Internet Engineering Task Force (IETF). Dies baut auf unserer langjährigen Tradition auf, Websiteinhabern klare Steuerungsmöglichkeiten zu bieten, unter anderem durch Google-Extended, die Steuerung des KI-Trainings, die wir seit 2023 anbieten.
So funktioniert die neue Steuerung
Anstatt separate Anweisungen für jeden KI-Entwickler zu verwalten, können Websiteinhaber ein gemeinsames „Policy-Token“ in robots.txt verwenden, um allgemeine Einstellungen für alle teilnehmenden KI-Anbieter festzulegen.
Wenn eine Website dieses Policy-Token verwendet, um das Training in ihrer robots.txt-Datei zu deaktivieren (und Google-Extended nicht explizit angegeben ist), plant Google, dies so zu interpretieren, als hätte der Publisher Google-Extended nicht zugelassen. Andere KI-Anbieter können ähnlich vorgehen, sodass Websiteinhaber das Training bei allen Anbietern deaktivieren oder einzelne Anbieter auswählen können.
Bestehende unternehmensspezifische Steuerelemente funktionieren weiterhin neben diesem neuen gemeinsamen Signal. So können Websiteinhaber mithilfe des Branchensignals ganz einfach eine allgemeine Auswahl treffen und gleichzeitig ihre Anweisungen für einzelne KI-Entwickler wie Google über Steuerelemente wie Google-Extended anpassen. Websites, die Google-Extended ausdrücklich zulassen, können in Antworten angezeigt werden und Klicks über Grounding in Gemini-Apps erhalten.
Der neue Mechanismus bietet Websiteinhabern den Vorteil der bei der IETF entwickelten Definition für KI-Training, während die Diskussionen mit mehreren Interessengruppen über den Rest des AIPREF-Vokabulars fortgesetzt werden. Da immer mehr Branchenteilnehmer diesen Mechanismus übernehmen, erhalten Websiteinhaber frühzeitig und zunehmend Zugriff auf das Präferenzsignal.
Dieser Entwurf spiegelt das Feedback von Publishern, zivilgesellschaftlichen Gruppen, Aufsichtsbehörden und anderen Interessengruppen wider, die branchenweite Kontrollen für das KI-Training gefordert haben. Die Unterstützung dieses Vorschlags durch die wichtigsten KI-Anbieter wird einen branchenübergreifenden, robusten und langlebigen zukünftigen Standard ermöglichen. Dieser Vorschlag steht im Einklang mit dem EU-Verhaltenskodex für Anbieter von Modellen für KI für allgemeine Zwecke (GPAI) im Rahmen des EU-Gesetzes zur künstlichen Intelligenz, in dem robots.txt als primäre Methode für Webpublisher zur Angabe maschinenlesbarer Einstellungen anerkannt wird. Wir werden weiterhin mit diesen Interessengruppen zusammenarbeiten, um dies über die IETF-Arbeitsgruppe zu verfeinern und zu standardisieren.
Wir möchten diese neue Steuerung zusammen mit anderen KI-Anbietern im Jahr 2027 unterstützen und werden Sie über unsere Fortschritte auf dem Laufenden halten.