Googlebot überprüfen

Sie können überprüfen, ob es sich bei dem Web-Crawler, der auf Ihren Server zugreift, um den Googlebot oder einen anderen User-Agent von Google handelt. Das ist hilfreich, wenn du befürchtest, dass Spammer oder bösartige Nutzer auf deine Website zugreifen und sich dabei als Googlebot ausgeben. Google stellt keine öffentliche Liste mit IP-Adressen zur Verfügung, die Websiteinhaber auf die weiße Liste setzen können. Der Grund hierfür ist, dass sich die IP-Adressbereiche ändern können und das für Websiteinhaber, die sie hartcodiert haben, zu Problemen führt. Daher musst du einen DNS-Lookup wie im Folgenden beschrieben ausführen.

So verifizierst du den Googlebot als den Anrufer:

  1. Führe einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse aus deinen Protokollen mithilfe des host-Befehls aus.
  2. Überprüfe, ob der Domainname entweder googlebot.com oder google.com lautet.
  3. Führe einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wende dazu den host-Befehl auf den abgerufenen Domainnamen an. Überprüfe, ob es sich bei diesem Domainnamen um die ursprüngliche zugreifende IP-Adresse aus deinen Protokollen handelt.

Beispiel 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Beispiel 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77