Jumat, 30 Oktober 2026
Hari ini, kami mengumumkan rencana kami untuk mendukung kontrol pelatihan AI bersama di robots.txt. Langkah ini akan memudahkan situs untuk menyatakan preferensi pelatihan AI mereka di berbagai penyedia AI sekaligus, serta didasarkan pada upaya dari kelompok kerja AIPREF di Internet Engineering Task Force (IETF). Langkah ini melanjutkan komitmen jangka panjang kami dalam menyediakan kontrol yang jelas bagi pemilik situs, termasuk melalui Google-Extended, yaitu kontrol pelatihan AI yang telah kami tawarkan sejak tahun 2023.
Cara kerja kontrol baru
Alih-alih harus mengelola petunjuk terpisah untuk setiap developer AI, pemilik situs kini dapat menggunakan satu 'token kebijakan' bersama di dalam robots.txt untuk menetapkan preferensi umum bagi seluruh penyedia AI yang berpartisipasi.
Jika sebuah situs menggunakan token kebijakan ini untuk menolak pelatihan AI dalam file robots.txt miliknya (dan Google-Extended tidak ditentukan secara eksplisit), Google akan menafsirkannya seolah-olah penayang telah melarang Google-Extended. Penyedia AI lainnya dapat menerapkan hal serupa, sehingga memudahkan pemilik situs untuk menolak pelatihan di semua penyedia, atau memilih penyedia tertentu saja.
Kontrol spesifik per perusahaan yang sudah ada akan tetap berfungsi bersama dengan sinyal gabungan yang baru ini. Dengan demikian, pemilik situs dapat dengan mudah menerapkan pilihan secara luas menggunakan sinyal industri, sekaligus menyesuaikan petunjuk bagi masing-masing developer AI seperti Google melalui kontrol seperti Google-Extended. Situs yang secara khusus mengizinkan Google-Extended berhak untuk muncul dalam respons dan menerima klik melalui grounding di Aplikasi Gemini.
Mekanisme baru ini memberikan manfaat bagi pemilik situs berupa definisi pelatihan AI yang disusun oleh IETF, selagi diskusi multipihak mengenai kosakata AIPREF lainnya terus berjalan. Seiring dengan semakin banyaknya pelaku industri yang mengadopsi mekanisme ini, pemilik situs akan mendapatkan akses awal dan luas ke sinyal preferensi tersebut.
Draf proposal ini mencerminkan masukan dari para penayang, kelompok masyarakat sipil, badan pengatur, dan pemangku kepentingan lainnya yang telah menyerukan adanya kontrol pelatihan AI di seluruh industri. Dukungan terhadap proposal ini dari berbagai penyedia AI besar akan mewujudkan standar masa depan yang bersifat lintas industri, andal, dan berkelanjutan. Proposal ini sejalan dengan Kode Praktik Uni Eropa bagi Penyedia Model AI Serbaguna (GPAI) berdasarkan EU AI Act, yang mengakui robots.txt sebagai metode utama bagi penayang web untuk menyampaikan preferensi yang dapat dibaca mesin. Kami akan terus bekerja sama dengan para pemangku kepentingan ini untuk menyempurnakan dan menstandarkan mekanisme tersebut melalui kelompok kerja IETF.
Kami menargetkan untuk mendukung kontrol baru ini bersama dengan penyedia AI lainnya pada tahun 2027, dan akan memberikan info terbaru mengenai perkembangan kami.