Weryfikowanie Googlebota

Możesz zweryfikować, czy robot indeksujący uzyskujący dostęp do Twojego serwera, to na pewno Googlebot (lub inny klient użytkownika Google). Ta procedura jest przydatna, gdy obawiasz się, że z Twojej witryny mogą korzystać spamerzy lub inni oszuści podający się za Googlebota. Google nie udostępnia publicznej listy adresów IP, które właściciele witryn mogliby dodać do swoich białych list. Bierze się to stąd, że zakresy adresów IP mogą się zmienić, powodując problemy u wszystkich właścicieli witryn, którzy zdecydowali się zakodować je na stałe. W rezultacie musisz uruchomić wyszukiwanie DNS zgodnie z poniższą procedurą.

Aby sprawdzić, czy to Googlebot stara się uzyskać dostęp:

  1. Uruchom odwrotne wyszukiwanie DNS adresu IP, który jest w Twoich dziennikach oznaczony jako nawiązujący połączenie, przy pomocy polecenia host.
  2. Sprawdź, czy nazwa domeny to googlebot.com lub google.com.
  3. Przeprowadź zwykłe wyszukiwanie DNS nazwy domeny odczytanej w kroku 1 przy pomocy polecenia host. Sprawdź, czy nazwa jest taka sama jak adres, który, zgodnie z informacjami w Twoich dziennikach, nawiązywał połączenie.

Przykład 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Przykład 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77