Пятница, 30 октября 2026 г.
Сегодня мы объявляем о планах внедрить поддержку общего параметра управления обучением ИИ в файле robots.txt. Это позволит сайтам указывать свои предпочтения в отношении обучения ИИ сразу для нескольких поставщиков ИИ. Проект основан на работе группы AIPREF в Инженерном совете Интернета (IETF). Он дополняет наши давние усилия по предоставлению владельцам сайтов удобных инструментов для управления обучением ИИ, таких как параметр Google-Extended, который мы предлагаем с 2023 года.
Как будет работать новый параметр
Вместо того чтобы создавать отдельные инструкции для каждого разработчика ИИ, владельцы сайтов смогут с помощью общего управляющего токена в файле robots.txt устанавливать единые настройки для всех участвующих поставщиков ИИ.
Если в файле robots.txt есть такой токен, который не позволяет использовать контент сайта для обучения моделей, и при этом явно не указан токен Google-Extended, Google будет интерпретировать это как запрет доступа для Google-Extended. Другие поставщики ИИ смогут понимать его аналогичным образом, что позволит владельцам сайтов легко блокировать всех поставщиков или выбирать нужных.
Существующие настройки для определенных компаний будут действовать наряду с новым общим сигналом. В результате владельцы сайтов смогут легко обозначать свой выбор, используя универсальный отраслевой параметр, а также разрешать доступ отдельным разработчикам ИИ (например, Google) с помощью таких токенов, как Google-Extended. Сайты, которые разрешают доступ для Google-Extended, могут появляться в ответах и получать клики благодаря обоснованию в приложениях Gemini.
Новый механизм позволяет владельцам сайтов использовать определение обучения ИИ, разработанное IETF, пока продолжаются обсуждения остальной части словаря AIPREF. Владельцы сайтов могут начать использовать этот сигнал управления уже сейчас, а по мере того как все больше участников отрасли будут внедрять этот механизм, область его применения будет постоянно расширяться.
Этот проект предложения отражает отзывы издателей, групп гражданского общества, регулирующих органов и других заинтересованных сторон, которые призывали к введению общеотраслевых мер контроля за обучением ИИ. Поддержка этого предложения основными поставщиками ИИ позволит создать надежный и долговечный межотраслевой стандарт. Это предложение соответствует отраслевому своду правил ЕС для поставщиков моделей ИИ общего назначения (GPAI) в рамках закона ЕС об ИИ, в котором robots.txt признается основным методом, позволяющим веб-издателям выражать свои предпочтения в машиночитаемом виде. Мы продолжим сотрудничать с этими заинтересованными сторонами, чтобы совершенствовать и стандартизировать этот процесс в рамках рабочей группы IETF.
Мы планируем внедрить этот новый инструмент управления вместе с другими поставщиками ИИ в 2027 году и будем сообщать о ходе работы.