Cho phép lưu lượng truy cập của Google-Agent

Google-Agent là tên được dùng bởi các tác nhân được lưu trữ trên cơ sở hạ tầng của Google để duyệt web và thực hiện các thao tác theo yêu cầu của người dùng. Việc cho phép lưu lượng truy cập của Google-Agent một cách rõ ràng trong mạng phân phối nội dung (CDN), tường lửa ứng dụng web (WAF) hoặc dịch vụ phát hiện bot sẽ giúp ngăn được việc các yêu cầu hợp lệ bị chặn, đồng thời duy trì các chế độ kiểm soát bảo mật hiện tại.

Cách Google-Agent xác định yêu cầu

Mỗi yêu cầu của Google-Agent đều có tiêu đề yêu cầu HTTP User-Agent chứa "Google-Agent" (xem phần Trình tìm nạp do người dùng kích hoạt của Google) và đến từ một địa chỉ IP trong user-triggered-agents.json.

Google cũng đang thử nghiệm giao thức Web Bot Auth bằng danh tính https://agent.bot.goog. Trong quá trình thử nghiệm này, Google ký các yêu cầu do Google-Agent thực hiện bằng tiêu chuẩn Chữ ký thông điệp HTTP (RFC 9421). Các yêu cầu tham gia bao gồm:

  • Tiêu đề Signature-Agent được thiết lập thành g="https://agent.bot.goog"
  • Tiêu đề Signature và Signature-Input được gắn nhãn là g

Bộ khoá công khai để xác minh các chữ ký này có tại: https://agent.bot.goog/.well-known/http-message-signatures-directory

Cho phép lưu lượng truy cập trong CDN, tường lửa hoặc dịch vụ phát hiện bot

Một số dịch vụ phát hiện bot, CDN và tường lửa cung cấp các phương pháp để xác minh yêu cầu do tác nhân người dùng Google-Agent thực hiện và cho phép các yêu cầu này; hãy liên hệ với nhà cung cấp của bạn để biết các bước chính xác.

Nếu dịch vụ của bạn không tự động xác minh các yêu cầu của Google-Agent, thì bạn có thể xác minh và cho phép các yêu cầu bằng những quy tắc sau:

  • Xác nhận tiêu đề User-Agent có chứa Google-Agent.
  • Xác nhận địa chỉ IP có trong user-triggered-agents.json.
  • Nếu được cung cấp, hãy xác nhận yêu cầu đã ký bằng cách xác minh tiêu đề Signature và Signature-Input cho Signature-Agent: g="https://agent.bot.goog" theo Web Bot Auth.
  • Đối với các yêu cầu đã xác minh, hãy bỏ qua thử thách bot.

Khắc phục sự cố

Nếu đã cho phép các yêu cầu hợp lệ của Google-Agent nhưng các yêu cầu này vẫn bị chặn, hãy làm như sau:

  • Mức độ ưu tiên của quy tắc: Xác nhận rằng quy tắc cho phép của bạn có mức độ ưu tiên cao hơn (và được đánh giá trước) các quy tắc chặn ASN trên đám mây hoặc trung tâm dữ liệu, quy tắc bot được quản lý hoặc chính sách chặn tác nhân AI ở cấp danh mục có thể ghi đè chế độ cài đặt bot đã xác minh.
  • Thử thách tương tác: Ngoài các quy tắc chặn HTTP, hãy xác nhận rằng quy tắc của bạn bỏ qua các thử thách CAPTCHA và JavaScript tương tác, kể cả các tiện ích CAPTCHA độc lập trên trang được kích hoạt khi tìm kiếm hoặc gửi biểu mẫu.
  • Thao tác trong hành trình trải nghiệm và API: Hãy xác nhận rằng việc cho phép các yêu cầu này bao gồm cả các thao tác ngoài tải trang chủ ban đầu, kể cả cả các thao tác tìm kiếm trên trang web, lọc, nhấp vào trang thông tin chi tiết, thêm vào giỏ hàng, đặt chỗ và các điểm cuối XHR, GraphQL hoặc api.* cơ bản.
  • Giới hạn tần suất theo IP dùng chung: Hãy xác nhận rằng các quy tắc giới hạn tần suất theo IP tính đến hoặc miễn trừ các dải IP đã xác minh của Google-Agent, vì các yêu cầu đồng thời của nhiều người dùng có chung một nhóm IP đầu ra.
  • Cập nhật dải IP: Xác nhận rằng các quy tắc dựa trên IP luôn được đồng bộ hoá với các dải IP mới nhất trong user-triggered-agents.json.
  • Tiêu đề proxy: Hãy xác nhận rằng trình cân bằng tải và proxy trung gian giữ nguyên IP ban đầu của ứng dụng khách, tiêu đề User-Agent và (đối với các yêu cầu đã ký) tiêu đề Signature, Signature-Input và Signature-Agent.