Googlebot und andere Google-Crawler prüfen

Du kannst prüfen, ob es sich bei dem Web-Crawler, der auf deinen Server zugreift, um einen Google-Crawler wie z. B. den Googlebot handelt. Das ist hilfreich, wenn du befürchtest, dass Spammer oder bösartige Nutzer auf deine Website zugreifen und sich dabei als Googlebot ausgeben. Google stellt keine öffentliche Liste mit IP-Adressen zur Verfügung, die Websiteinhaber auf die Zulassungsliste setzen können. Der Grund hierfür ist, dass sich die IP-Adressbereiche ändern können und dies für Websiteinhaber, die sie hartcodiert haben, zu Problemen führt. Daher musst du einen DNS-Lookup wie im Folgenden beschrieben ausführen.

Prüfen, ob der Googlebot (oder ein anderer Google-Crawler) der Crawler ist

Befehlszeilentools verwenden

  1. Führe aus deinen Protokollen einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse mithilfe des host-Befehls aus.
  2. Überprüfe, ob der Domainname entweder googlebot.com oder google.com lautet.
  3. Führe einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wende dazu den host-Befehl auf den abgerufenen Domainnamen an. Bestätige, dass es sich um die ursprüngliche Zugriffs-IP-Adresse aus deinen Protkollen handelt.

Beispiel 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Beispiel 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

Automatische Lösungen verwenden

Google stellt keine Softwarebibliotheken zur Verfügung, die Crawler von Google identifizieren können. Mit einer Open-Source-Bibliothek kannst du den Googlebot prüfen.