Блокировка индексирования при помощи директивы noindex

Вы можете заблокировать показ страницы или другого ресурса в Google Поиске, добавив директиву noindex в метатег на странице или в заголовок HTTP-ответа. Робот Googlebot проигнорирует страницу, обнаружив такой метатег или заголовок во время ее сканирования, даже если на эту страницу ссылаются другие сайты.

Директива noindex позволяет управлять доступом к отдельным страницам сайта. Это может быть полезно, если у вас нет доступа к корневому каталогу на сервере.

Как применять директиву noindex

Применить директиву noindex можно двумя способами: как метатег или как заголовок HTTP-ответа. Они работают одинаково, поэтому выбор подходящего способа будет зависеть от вашего сайта и типа контента, расположенного на нем.

Тег <meta>

Чтобы запретить большинству поисковых роботов индексировать определенную страницу вашего сайта, добавьте в ее раздел <head> следующий метатег:

<meta name="robots" content="noindex">

Если вы хотите закрыть доступ к странице только роботам Google, используйте такой код:

<meta name="googlebot" content="noindex">

Учитывайте, что некоторые поисковые системы могут иначе интерпретировать директиву noindex и показывать в результатах поиска страницу, на которой она используется.

Подробнее о метатеге noindex

Заголовок HTTP-ответа

Вместо метатега в ответе можно возвращать заголовок X-Robots-Tag со значением noindex или none. Вы можете использовать этот способ для файлов, формат которых отличается от HTML, например PDF, видео и изображений. Вот пример HTTP-ответа с заголовком X-Robots-Tag, который запрещает поисковым роботам индексировать страницу:

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

Подробнее о заголовках ответов с директивой noindex

Как помочь роботам Googlebot обнаруживать метатеги

Чтобы обнаружить метатеги и HTTP-заголовки, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ее после добавления тега. Воспользуйтесь инструментом проверки URL, чтобы запросить повторное сканирование страницы роботом Google. Другая возможная причина: файл robots.txt запрещает роботу Googlebot доступ к URL и не дает ему обнаружить метатег. Чтобы предоставить роботам Google доступ к вашей странице, вам необходимо изменить файл robots.txt. Это можно сделать с помощью специального инструмента.