Если контент на страницах вашего сайта меняется в зависимости от региональных настроек посетителя, возможно, Google просканирует, проиндексирует и проранжирует не все материалы на разных языках и/или для разных регионов. Причина заключается в том, что по умолчанию робот Googlebot отправляет HTTP-запросы с IP-адресов, которые относятся к США. Кроме того, в запросах этого робота отсутствует значение заголовка Accept-Language.
Сканирование по географическим районам
Googlebot использует IP-адреса, находящиеся не только в США, но и за их пределами.
Мы неизменно советуем отвечать на запросы робота Googlebot из определенной страны так же, как на запросы любого обычного пользователя оттуда же. К примеру, если вы запрещаете доступ к своему контенту пользователям из США, но разрешаете просматривать его пользователям из Австралии, те же самые настройки должны применяться к роботам Googlebot из этих двух стран.
Прочие сведения
- У робота Googlebot одна и та же строка агента пользователя независимо от конфигурации сканирования. Подробнее о строках агентов пользователя, которые идентифицируют поисковых роботов Google…
- Вы можете проверить, Googlebot ли обращается к вашему сайту из определенного региона, с помощью обратного DNS-запроса.
- Убедитесь, что стандарт исключений для роботов последовательно применяется на вашем сайте с учетом региональных настроек. Директивы в тегах robots (
meta) и в файле robots.txt должны быть одинаковыми для всех регионов.