Проверка подлинности робота Googlebot

Вы можете проверить, сканирует ли ваш сайт именно робот Googlebot (или иной поисковый робот Google). Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники. Google не публикует для владельцев сайтов общедоступные списки заслуживающих доверия IP-адресов. Они могут меняться, и это вызывало бы проблемы на сайтах, владельцы которых задали бы такие IP-адреса в коде. Поэтому для проверки требуется выполнять DNS-запросы, как описано ниже.

Как убедиться, что сайт сканируется роботом Googlebot

  1. С помощью команды host выполните обратный DNS-запрос по IP-адресу, который найдете в журнале.
  2. Убедитесь, что в результате получено доменное имя googlebot.com или google.com.
  3. С помощью команды host выполните прямой DNS-запрос на преобразование доменного имени, которое вы узнали на шаге 1. Полученный IP-адрес должен совпадать с исходным.

Пример 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Пример 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77