验证 Googlebot 和其他 Google 抓取工具

您可以验证访问您服务器的网页抓取工具是否确实是 Google 抓取工具,例如 Googlebot。如果您担心自称是 Googlebot 的垃圾内容发布者或其他麻烦制造者在访问您的网站,则会发现该方法非常有用。

验证 Google 抓取工具的方法有两种:

  • 手动验证:如果是一次性查找,请使用命令行工具。对于大多数用例,此方法足以满足需求。
  • 自动验证:如果是大规模查找,请使用自动解决方案将抓取工具的 IP 地址与已发布的 Googlebot IP 地址列表进行比对。

使用命令行工具

  1. 使用 host 命令对日志中访问服务器的 IP 地址运行 DNS 反向查找。
  2. 验证域名是 googlebot.com 还是 google.com
  3. 使用 host 命令对在第 1 步中检索到的域名运行 DNS 正向查找。
  4. 验证该域名与日志中访问服务器的原始 IP 地址是否一致。

示例 1

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

示例 2

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

使用自动解决方案

或者,您也可以通过将抓取工具的 IP 地址与 Googlebot IP 地址列表进行比对,按 IP 地址识别 Googlebot。对于所有其他 Google 抓取工具,将抓取工具的 IP 地址与 Google IP 地址的完整列表进行比对。