サーバーへのウェブクローラからのアクセスが本当に Googlebot（または別の Google のユーザー エージェント）によるものかどうかを確認できます。この方法は、スパマーなどが Googlebot であると称してサイトにアクセスしていないかを知りたい場合に便利です。Google では、ウェブサイトの所有者がホワイトリストに登録する IP アドレスの公開リストを掲載していません。こうした IP アドレスの範囲には変更の可能性があり、ウェブサイトの所有者が IP アドレスを直接入力すると問題が発生するからです。そのため、次のようにして DNS ルックアップを実施する必要があります。
Googlebot が呼び出し元であることを確認するには:
- ログにアクセスが記録されている IP アドレスについて、
hostコマンドを使用して DNS リバース ルックアップを実施します。 - ドメイン名が googlebot.com または google.com であることを確認します。
- 最初の手順で取得したドメイン名で
hostコマンドを使用して、取得したドメイン名について DNS フォワード ルックアップを実施します。これがログにアクセスが記録されていた元の IP アドレスと同じかどうかを確認します。
例 1:
> host 66.249.66.1 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com. > host crawl-66-249-66-1.googlebot.com crawl-66-249-66-1.googlebot.com has address 66.249.66.1
例 2:
> host 66.249.90.77 77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com. > host rate-limited-proxy-66-249-90-77.google.com rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77