Venerdì 30 ottobre 2026
Oggi annunciamo i nostri piani per supportare un controllo di addestramento dell'AI condiviso in robots.txt. In questo modo, i siti web potranno definire le proprie preferenze di addestramento dell'AI per più provider in un solo passaggio, facendo leva sul contributo del gruppo di studio AIPREF in seno all'Internet Engineering Task Force (IETF). Questi risultati si basano sulla nostra lunga esperienza nel fornire ai proprietari di siti web controlli chiari, anche tramite Google-Extended, il controllo dell'addestramento dell'AI che offriamo dal 2023.
Come funzionerà il nuovo controllo
Anziché gestire istruzioni separate per ciascuno sviluppatore di AI, i proprietari dei siti web potranno impiegare un "token di policy" condiviso nel file robots.txt per definire preferenze generali valide per tutti i fornitori di AI aderenti.
Quando un sito web utilizza questo token di policy per disattivare l'addestramento nel file robots.txt (e Google-Extended non è specificato esplicitamente), Google prevede di interpretarlo come se l'editore avesse disattivato Google-Extended. Altri fornitori di AI potranno comportarsi in modo analogo, semplificando la vita ai proprietari di siti web che desiderino escludere tutti i provider in un solo colpo o selezionarli individualmente.
I controlli esistenti specifici per l'azienda continueranno a funzionare insieme a questo nuovo indicatore congiunto. In questo modo, i proprietari di siti web potranno definire con facilità un orientamento generale tramite lo standard di settore, senza rinunciare a personalizzare le istruzioni per i singoli sviluppatori di AI come Google attraverso strumenti come Google-Extended. I siti web che consentono specificamente Google-Extended sono idonei a essere visualizzati nelle risposte e a ricevere clic tramite il grounding nelle app Gemini.
Grazie a questo nuovo meccanismo, i proprietari di siti web potranno subito beneficiare della definizione di addestramento dell'AI sviluppata in sede IETF, in attesa che il confronto tra i diversi stakeholder giunga a termine sul resto del vocabolario AIPREF. Man mano che un numero maggiore di operatori del settore adotta questo meccanismo, i proprietari dei siti web ottengono un accesso tempestivo e sempre più ampio all'indicatore di preferenza.
Questa bozza di proposta riflette il feedback di publisher, gruppi della società civile, autorità di regolamentazione e altri stakeholder che hanno chiesto controlli a livello di settore sull'addestramento dell'AI. Il supporto di questa proposta da parte dei principali fornitori di AI consentirà di creare uno standard futuro intersettoriale, solido e duraturo. Questa proposta s'allinea al Codice di condotta dell'UE per i fornitori di modelli di intelligenza artificiale generale (GPAI) nell'ambito dell'AI Act dell'Unione europea, che individua nel file robots.txt lo strumento d'elezione con cui gli editori web possono esprimere preferenze leggibili da macchina. Continueremo a collaborare con questi stakeholder per perfezionare e standardizzare questo aspetto tramite il gruppo di lavoro IETF.
Il nostro obiettivo è supportare questo nuovo controllo insieme ad altri fornitori di AI nel 2027 e forniremo aggiornamenti sui nostri progressi.