Googlebot prüfen

Du kannst prüfen, ob es sich bei dem Web-Crawler, der auf deinen Server zugreift, um den Googlebot oder einen anderen User-Agent von Google handelt. Das ist hilfreich, wenn du befürchtest, dass Spammer oder bösartige Nutzer auf deine Website zugreifen und sich dabei als Googlebot ausgeben. Google stellt keine öffentliche Liste mit IP-Adressen zur Verfügung, die Websiteinhaber auf die Zulassungsliste setzen können. Der Grund hierfür ist, dass sich die IP-Adressbereiche ändern können und dies für Websiteinhaber, die sie hartcodiert haben, zu Problemen führt. Daher musst du einen DNS-Lookup wie im Folgenden beschrieben ausführen.

So kannst du prüfen, ob der Googlebot der Crawler ist:

  1. Führe einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse aus deinen Protokollen mithilfe des host-Befehls aus.
  2. Überprüfe, ob der Domainname entweder googlebot.com oder google.com lautet.
  3. Führe einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wende dazu den host-Befehl auf den abgerufenen Domainnamen an. Bestätige, dass es sich um die ursprüngliche Zugriffs-IP-Adresse aus deinen Logs handelt.

Beispiel 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Beispiel 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77