Сканирование страниц с региональными настройками

Если контент на страницах вашего сайта меняется в зависимости от региональных настроек посетителя, возможно, Google просканирует, проиндексирует и проранжирует не все материалы на разных языках и/или для разных регионов. Причина заключается в том, что по умолчанию робот Googlebot отправляет HTTP-запросы с IP-адресов, которые относятся к США. Кроме того, в запросах этого робота отсутствует значение заголовка Accept-Language.

Сканирование по географическим районам

Googlebot использует IP-адреса, находящиеся не только в США, но и за их пределами.

Мы неизменно советуем отвечать на запросы робота Googlebot из определенной страны так же, как на запросы любого обычного пользователя оттуда же. К примеру, если вы запрещаете доступ к своему контенту пользователям из США, но разрешаете просматривать его пользователям из Австралии, те же самые настройки должны применяться к роботам Googlebot из этих двух стран.

Прочие сведения