2026년 10월 30일 금요일
오늘 Google은 robots.txt에서 공유 AI 학습 제어를 지원할 계획을 발표합니다. 이를 통해 웹사이트는 한 번의 설정으로 여러 AI 제공업체에 AI 학습 관련 선호도를 표시할 수 있습니다. 이 기능은 인터넷 엔지니어링 태스크포스(IETF)의 AIPREF 작업 그룹이 진행한 작업을 기반으로 합니다. 이는 2023년부터 제공해 온 AI 학습 제어 기능인 Google-Extended를 비롯하여 웹사이트 소유자에게 명확한 제어 기능을 제공해 온 Google의 오랜 경험을 바탕으로 합니다.
새로운 설정의 작동 방식
웹사이트 소유자는 모든 AI 개발자에 대한 별도의 지침을 관리하는 대신 robots.txt 내에서 공유 '정책 토큰'을 사용하여 참여하는 AI 제공업체 전반에 걸쳐 광범위한 환경설정을 지정할 수 있습니다.
웹사이트가 robots.txt 파일에서 이 정책 토큰을 사용하여 학습을 선택 해제하고 Google-Extended가 명시적으로 지정되지 않은 경우 Google은 게시자가 Google-Extended를 허용하지 않은 것으로 해석할 계획입니다. 다른 AI 제공업체도 이와 유사하게 처리할 수 있으므로 웹사이트 소유자는 모든 제공업체에 대해 학습을 선택 해제하거나 원하는 제공업체만 선택 해제할 수 있습니다.
기존의 회사별 관리 기능은 이 새로운 공동 신호와 함께 계속 작동합니다. 따라서 웹사이트 소유자는 업계 신호를 사용하여 광범위한 선택을 쉽게 표현하는 동시에 Google-Extended와 같은 제어 기능을 통해 Google과 같은 개별 AI 개발자에게 맞춤형 지침을 제공할 수 있습니다. Google-Extended를 명시적으로 허용하는 웹사이트는 Gemini 앱의 응답에 그라운딩을 통해 표시되고 클릭을 받을 수 있는 대상이 됩니다.
새로운 메커니즘은 IETF에서 개발한 AI 학습 정의의 이점을 웹사이트 소유자에게 제공하는 한편, 나머지 AIPREF 어휘에 대한 여러 이해관계자 간 논의는 계속 진행됩니다. 더 많은 업계 참여자가 이 메커니즘을 채택함에 따라 웹사이트 소유자는 선호도 신호를 더 일찍 이용할 수 있으며, 이용 범위도 확대됩니다.
이 초안은 AI 학습에 대한 업계 전반의 제어를 요구하는 게시자, 시민 사회 단체, 규제 기관, 기타 이해관계자의 의견을 반영합니다. 주요 AI 제공업체에서 이 제안을 지원하면 업계 전반에 걸쳐 강력하고 지속 가능한 미래 표준이 마련될 것입니다. 이 제안은 웹 게시자가 기계 가독형 선호도를 표현하는 기본 방법으로 robots.txt를 인정하는 EU AI법에 따른 EU 범용 AI(GPAI) 모델 제공업체 행동 강령과 일치합니다. Google은 IETF 작업 그룹을 통해 이러한 이해관계자들과 지속적으로 협력하여 이 제안을 개선하고 표준화해 나갈 것입니다.
Google은 2027년에 다른 AI 제공업체와 함께 이 새로운 관리 기능을 지원하는 것을 목표로 하고 있으며, 진행 상황에 대한 업데이트를 제공할 예정입니다.