О сканировании и индексировании

На этой странице приведены ссылки на статьи о сканировании и индексировании сайтов роботами Google. Из них вы узнаете, как настроить сайт так, чтобы его контент появлялся в результатах поиска Google и в других наших сервисах, а также как предотвратить сканирование тех или иных материалов на сайте.

Ниже приводятся краткие описания всех тем. Подробные сведения о сканировании и индексировании доступны в углубленном руководстве по принципам работы Поиска.

Темы
Файлы Sitemap	С помощью этого файла вы можете сообщить Google о новых и измененных страницах своего сайта.
Файл robots.txt	Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно обрабатывать, а какие – нельзя.
Метатеги	Google поддерживает несколько тегов, от которых зависит, как будет выглядеть ваш контент в результатах поиска и какие функции будут к нему применяться.
Работа с поисковыми роботами	Как запросить повторное сканирование страниц Снижение частоты сканирования сайта роботом Googlebot Как убедиться, что ваш сайт сканирует именно робот Googlebot Руководство по управлению лимитом на сканирование для владельцев крупных сайтов Поисковые роботы Google
Удаление	Как контролировать, какая информация с вашего сайта будет доступна Google Как удалить информацию из Google Как удалить изображения, размещенные на сайте, из результатов поиска Отказ от показа контента в Google Адресах и других сервисах Google
Дублирующийся контент	Указывайте Google на свои страницы с идентичным контентом, чтобы предотвратить избыточное сканирование. В статьях на эту тему описывается, как Google автоматически распознает идентичные материалы, обрабатывает их и соотносит дублирующиеся страницы c канонической.
Перенос и изменение сайтов	Переадресация и Google Поиск Перенос сайта Отключение сайта или временная приостановка его работы Ложные ошибки 404
Мультирегиональные и многоязычные сайты	Узнайте, как помочь Google проанализировать ваш сайт, если он содержит контент на нескольких языках или материалы, адаптированные для пользователей из разных регионов.
Контент JavaScript	При создании страниц и приложений вам нужно учитывать некоторые ограничения, связанные с особенностями обработки контента с кодом JavaScript поисковыми роботами.