Thứ Sáu, ngày 30 tháng 10 năm 2026
Hôm nay, chúng tôi xin thông báo về kế hoạch hỗ trợ một chế độ kiểm soát chung đối với hoạt động huấn luyện AI trong robots.txt. Chế độ kiểm soát này sẽ giúp các trang web thể hiện lựa chọn ưu tiên về hoạt động huấn luyện AI trên nhiều nhà cung cấp AI chỉ trong một bước, dựa trên thành quả lao động của nhóm công tác AIPREF tại Lực lượng chuyên trách kỹ thuật Internet (IETF). Chế độ kiểm soát này này được xây dựng dựa trên nỗ lực lâu dài của chúng tôi trong việc cung cấp cho chủ sở hữu trang web các chế độ kiểm soát rõ ràng, trong đó có cả Google-Extended, quyền kiểm soát huấn luyện AI mà chúng tôi cung cấp từ năm 2023.
Cách thức hoạt động của chế độ kiểm soát mới
Thay vì quản lý các hướng dẫn riêng cho từng nhà phát triển AI, chủ sở hữu trang web sẽ có thể sử dụng một "mã thông báo chính sách" chung trong tệp robots.txt để thiết lập lựa chọn ưu tiên trên diện rộng đối với các nhà cung cấp AI có tham gia.
Khi một trang web dùng mã thông báo chính sách này để chọn không tham gia huấn luyện trong tệp robots.txt (và không chỉ định rõ Google-Extended), Google dự định sẽ diễn giải thao tác đó như thể nhà xuất bản đã không cho phép Google-Extended. Các nhà cung cấp AI khác có thể xử lý theo cách tương tự, giúp chủ sở hữu trang web dễ dàng chọn không tham gia đối với tất cả nhà cung cấp hoặc tham gia có chọn lọc.
Hiện tại các chế độ kiểm soát dành riêng cho công ty sẽ tiếp tục hoạt động cùng với tín hiệu chung mới này. Vì vậy , chủ sở hữu trang web có thể dễ dàng thể hiện lựa chọn trên diện rộng bằng tín hiệu chung của ngành, đồng thời điều chỉnh hướng dẫn cho từng nhà phát triển AI như Google thông qua các chế độ kiểm soát như Google-Extended. Những trang web cho phép Google-Extended một cách cụ thể sẽ đủ điều kiện xuất hiện trong câu trả lời và nhận được lượt nhấp thông qua quy trình đối chiếu thực tế trong các Ứng dụng Gemini.
Cơ chế mới này mang làm lợi cho chủ sở hữu trang web thông qua quy trình xác định rõ hoạt động huấn luyện AI được phát triển tại IETF, trong khi nhiều bên liên quan vẫn tiếp tục thảo luận về phần còn lại của hệ thống từ vựng AIPREF. Khi có thêm nhiều công ty trong ngành áp dụng cơ chế này, chủ sở hữu trang web sẽ có quyền truy cập sớm và ngày càng mở rộng với tín hiệu lựa chọn ưu tiên.
Đề xuất dự thảo này phản ánh ý kiến phản hồi của các nhà xuất bản, nhóm xã hội dân sự, cơ quan quản lý và các bên liên quan khác từng lên tiếng về các chế độ kiểm soát trên toàn ngành đối với hoạt động huấn luyện AI. Việc hỗ trợ đề xuất này trên các nhà cung cấp AI lớn sẽ tạo điều kiện cho một tiêu chuẩn tương lai mang tính chất liên ngành, mạnh mẽ và lâu bền. Đề xuất này nhất quán với Quy tắc hành nghề của Liên minh Châu Âu dành cho nhà cung cấp mô hình AI đa dụng (GPAI) theo Đạo luật AI của Liên minh Châu Âu, trong đó công nhận tệp robots.txt là phương thức chính để nhà xuất bản web thể hiện các lựa chọn ưu tiên mà máy có thể đọc được. Chúng tôi sẽ tiếp tục làm việc với các bên liên quan này để tinh chỉnh và chuẩn hoá thông qua nhóm công tác IETF.
Chúng tôi đặt mục tiêu hỗ trợ chế độ kiểm soát mới này cùng với các nhà cung cấp AI khác vào năm 2027 và sẽ cung cấp thông tin cập nhật về tiến trình của chúng tôi.