Cho phép lưu lượng truy cập của Google-Agent
Google-Agent
là tên được dùng bởi các tác nhân được lưu trữ trên cơ sở hạ tầng của Google để duyệt web và thực hiện các thao tác
theo yêu cầu của người dùng. Việc cho phép lưu lượng truy cập của Google-Agent một cách rõ ràng trong mạng phân phối nội dung (CDN), tường lửa ứng dụng web (WAF) hoặc dịch vụ phát hiện bot sẽ giúp ngăn được việc các yêu cầu
hợp lệ bị chặn, đồng thời duy trì các chế độ kiểm soát bảo mật hiện tại.
Cách Google-Agent xác định yêu cầu
Mỗi yêu cầu của Google-Agent đều có tiêu đề yêu cầu HTTP User-Agent
chứa "Google-Agent" (xem phần
Trình tìm nạp do người dùng kích hoạt của Google)
và đến từ một địa chỉ IP trong
user-triggered-agents.json.
Google cũng đang thử nghiệm
giao thức Web Bot Auth bằng
danh tính https://agent.bot.goog.
Trong quá trình thử nghiệm này, Google ký các yêu cầu do Google-Agent
thực hiện bằng tiêu chuẩn Chữ ký thông điệp HTTP
(RFC 9421).
Các yêu cầu tham gia bao gồm:
- Tiêu đề
Signature-Agentđược thiết lập thànhg="https://agent.bot.goog" - Tiêu đề
SignaturevàSignature-Inputđược gắn nhãn làg
Bộ khoá công khai để xác minh các chữ ký này có tại: https://agent.bot.goog/.well-known/http-message-signatures-directory
Cho phép lưu lượng truy cập trong CDN, tường lửa hoặc dịch vụ phát hiện bot
Một số dịch vụ phát hiện bot, CDN và tường lửa cung cấp các phương pháp để xác minh yêu cầu do
tác nhân người dùng Google-Agent thực hiện và cho phép các yêu cầu này; hãy liên hệ với nhà cung cấp của bạn
để biết các bước chính xác.
Nếu dịch vụ của bạn không tự động xác minh các yêu cầu của Google-Agent, thì bạn có thể
xác minh và cho phép các yêu cầu bằng những quy tắc sau:
- Xác nhận tiêu đề
User-Agentcó chứaGoogle-Agent. - Xác nhận địa chỉ IP có trong user-triggered-agents.json.
-
Nếu được cung cấp, hãy xác nhận yêu cầu đã ký bằng cách xác minh tiêu đề
SignaturevàSignature-InputchoSignature-Agent: g="https://agent.bot.goog"theo Web Bot Auth. - Đối với các yêu cầu đã xác minh, hãy bỏ qua thử thách bot.
Khắc phục sự cố
Nếu đã cho phép các yêu cầu hợp lệ của Google-Agent nhưng các yêu cầu này vẫn bị chặn, hãy làm như sau:
- Mức độ ưu tiên của quy tắc: Xác nhận rằng quy tắc cho phép của bạn có mức độ ưu tiên cao hơn (và được đánh giá trước) các quy tắc chặn ASN trên đám mây hoặc trung tâm dữ liệu, quy tắc bot được quản lý hoặc chính sách chặn tác nhân AI ở cấp danh mục có thể ghi đè chế độ cài đặt bot đã xác minh.
- Thử thách tương tác: Ngoài các quy tắc chặn HTTP, hãy xác nhận rằng quy tắc của bạn bỏ qua các thử thách CAPTCHA và JavaScript tương tác, kể cả các tiện ích CAPTCHA độc lập trên trang được kích hoạt khi tìm kiếm hoặc gửi biểu mẫu.
-
Thao tác trong hành trình trải nghiệm và API: Hãy xác nhận rằng việc cho phép các yêu cầu này bao gồm cả các thao tác ngoài
tải trang chủ ban đầu, kể cả cả các thao tác tìm kiếm trên trang web, lọc, nhấp vào trang thông tin chi tiết,
thêm vào giỏ hàng, đặt chỗ và các điểm cuối XHR, GraphQL hoặc
api.*cơ bản. -
Giới hạn tần suất theo IP dùng chung: Hãy xác nhận rằng các quy tắc giới hạn tần suất theo IP tính đến hoặc miễn trừ
các dải IP đã xác minh của
Google-Agent, vì các yêu cầu đồng thời của nhiều người dùng có chung một nhóm IP đầu ra. - Cập nhật dải IP: Xác nhận rằng các quy tắc dựa trên IP luôn được đồng bộ hoá với các dải IP mới nhất trong user-triggered-agents.json.
-
Tiêu đề proxy: Hãy xác nhận rằng trình cân bằng tải và proxy trung gian giữ nguyên IP
ban đầu của ứng dụng khách, tiêu đề
User-Agentvà (đối với các yêu cầu đã ký) tiêu đềSignature,Signature-InputvàSignature-Agent.