Блокировка доступа для робота Googlebot

Робот Googlebot не может сканировать и индексировать материалы сайта, доступ к которому для него запрещен. Это может ухудшить позицию сайта в результатах поиска Google. Многие владельцы сайтов запрещают доступ случайно, даже не подозревая об этом, так как в подобном случае робот Googlebot не может следовать инструкциям из файла robots.txt.

Обнаружив эту проблему, мы можем отправить вам уведомление.

Список всех заблокированных таким образом страниц можно посмотреть в отчете об индексировании. Вы также можете проверить конкретную страницу с помощью инструмента проверки URL.