О сканировании и индексировании

На этой странице приведены ссылки на статьи о сканировании и индексировании сайтов роботами Google. Из них вы узнаете, как настроить сайт так, чтобы его контент появлялся в результатах поиска Google и в других наших сервисах, а также как предотвратить сканирование тех или иных материалов на сайте.

Ниже приводятся краткие описания всех тем. Подробные сведения о сканировании и индексировании доступны в руководстве по принципам работы Поиска.

Темы
Файлы Sitemap	С помощью этого файла вы можете сообщить Google о новых и измененных страницах своего сайта.
Файл robots.txt	Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно обрабатывать, а какие – нельзя.
Метатеги	Google поддерживает несколько тегов, от которых зависит, как будет выглядеть ваш контент в результатах поиска и какие функции будут к нему применяться.
Работа с поисковыми роботами	Как запросить повторное сканирование страниц Как снизить частоту сканирования сайта роботом Googlebot Как убедиться, что ваш сайт сканируют именно Googlebot или другие поисковые роботы Руководство по управлению лимитом на сканирование для владельцев крупных сайтов Как коды статуса HTTP, а также ошибки сети и DNS влияют на результаты поиска Google Поисковые роботы Google
Удаление	Как контролировать, какая информация с вашего сайта будет доступна Google Как удалить информацию из Google Как удалить изображения, размещенные на сайте, из результатов поиска Как запретить показ контента с вашего сайта в Google Адресах и других сервисах Google
Дублирующийся контент	Указывайте Google на свои страницы с идентичным контентом, чтобы предотвратить избыточное сканирование. В статьях на эту тему описывается, как Google автоматически распознает идентичные материалы, обрабатывает их и соотносит дублирующиеся страницы c канонической.
Перенос и изменение сайтов	Переадресация и Google Поиск Перенос сайта Отключение сайта или временная приостановка его работы
Мультирегиональные и многоязычные сайты	Узнайте, как помочь Google проанализировать ваш сайт, если он содержит контент на нескольких языках или материалы, адаптированные для пользователей из разных регионов.
Контент JavaScript	При создании страниц и приложений вам нужно учитывать особенности обработки контента с кодом JavaScript поисковыми роботами.