Xác minh Googlebot

Bạn có thể xác minh liệu một trình thu thập dữ liệu web truy cập vào máy chủ của bạn có thật sự là Googlebot (hay một tác nhân người dùng khác của Google) hay không. Cách này sẽ hữu ích trong trường hợp bạn lo ngại rằng những kẻ gây rối hoặc dùng mánh khóe để tăng thứ hạng tìm kiếm đang giả mạo Googlebot để truy cập vào trang web của bạn. Google không đăng công khai danh sách địa chỉ IP để các chủ sở hữu trang web có thể đưa vào danh sách cho phép. Điều này là do những dải địa chỉ IP này có thể thay đổi, từ đó gây vấn đề cho những chủ sở hữu trang web đã mã hóa cứng những dải địa chỉ IP đó. Vì thế, bạn phải chạy quy trình tra cứu DNS theo mô tả tiếp sau đây.

Xác minh xem một trình thu thập dữ liệu có đúng là Googlebot hay không

Dùng công cụ dòng lệnh

  1. Chạy quy trình tra cứu DNS ngược trên địa chỉ IP truy cập trong nhật ký của bạn bằng lệnh host.
  2. Xác minh rằng tên miền đó là googlebot.com hoặc google.com.
  3. Chạy quy trình tra cứu DNS tiến trên tên miền truy xuất được trong bước 1 bằng cách dùng lệnh host đối với tên miền đã truy xuất. Xác minh rằng địa chỉ này giống với địa chỉ IP truy cập ban đầu trong nhật ký của bạn.

Ví dụ 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Ví dụ 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Dùng giải pháp tự động

Google không cung cấp những thư viện phần mềm có thể xác định trình thu thập dữ liệu của Google. Bạn có thể dùng một thư viện nguồn mở để xác minh Googlebot.