Сканирование страниц с региональными настройками

Если контент на страницах вашего сайта меняется в зависимости от региональных настроек посетителя, некоторые языковые версии могут остаться непросканированными. Причина заключается в том, что по умолчанию робот Googlebot отправляет HTTP-запросы с американских IP-адресов и не использует заголовок запросов Accept-Language.

Региональные настройки и робот Googlebot

Googlebot использует IP-адреса, относящиеся не только к США, но и к другим странам.

Мы советуем отвечать на запросы робота Googlebot из определенной страны так же, как на запросы обычных пользователей. К примеру, если вы запрещаете доступ к своему контенту пользователям из США, но разрешаете просматривать его жителям Австралии, те же самые настройки должны применяться к роботам Googlebot из этих двух стран.

Дополнительные рекомендации