Xác minh Googlebot

Bạn có thể xác minh liệu một trình thu thập dữ liệu web truy cập vào máy chủ của bạn có thật sự là Googlebot (hay một tác nhân người dùng khác của Google) hay không. Cách này sẽ hữu ích trong trường hợp bạn lo ngại rằng những kẻ gây rối hoặc dùng mánh khóe để tăng thứ hạng tìm kiếm đang giả mạo Googlebot để truy cập vào trang web của bạn. Google không đăng công khai danh sách địa chỉ IP để các chủ sở hữu trang web có thể đưa vào danh sách cho phép. Điều này là do những dải địa chỉ IP này có thể thay đổi, từ đó gây vấn đề cho những chủ sở hữu trang web đã mã hóa cứng những dải địa chỉ IP đó. Vì thế, bạn phải chạy quy trình tra cứu DNS theo mô tả tiếp sau đây.

Cách xác minh rằng một trình thu thập dữ liệu là Googlebot:

  1. Chạy quy trình tra cứu DNS ngược trên địa chỉ IP truy cập trong nhật ký của bạn bằng cách dùng lệnh host.
  2. Xác minh rằng tên miền đó là googlebot.com hoặc google.com.
  3. Chạy quy trình tra cứu DNS tiến trên tên miền truy xuất được trong bước 1 bằng cách dùng lệnh host đối với tên miền đã truy xuất. Xác minh rằng địa chỉ này giống với địa chỉ IP truy cập ban đầu trong nhật ký của bạn.

Ví dụ 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Ví dụ 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77