Обзор тем статей про сканирование и индексирование

Перечисленные здесь темы касаются того, как можно настроить способы обнаружения и обработки контента роботами Google для его показа в Поиске и других наших сервисах. В список также включены страницы со сведениями о том, как предотвратить сканирование тех или иных материалов на сайте.

Ниже приводятся краткие описания всех тем. Есть и более подробная информация.

Тема	Описание
Управление файлами Sitemap	Сообщайте Google о новых и измененных страницах своего сайта.
Блокировка доступа к контенту	Вы можете запретить Google доступ к материалам своего сайта, а также их показ в Поиске и других наших сервисах. Выберите наиболее подходящий для вас способ.
Удаление сведений из Google	При необходимости удаляйте размещенный на вашем сайте контент, который появляется в Google.
Объединение повторяющихся URL	Указывайте Google на свои страницы с идентичным контентом, чтобы предотвратить избыточное сканирование. В статьях на эту тему описывается, как Google автоматически распознает идентичные материалы, обрабатывает их и выбирает среди повторяющихся страниц каноническую.
Отправка запроса на повторное сканирование страниц	Это может потребоваться, если вы опубликуете важную новую или измененную страницу и вам нужно будет, чтобы робот Googlebot быстро ее нашел.
Блокировка доступа для робота Googlebot	Убедитесь, что у робота Googlebot есть доступ ко всем страницам вашего сайта, которые вы хотите показывать в Поиске.
Создание собственной страницы 404	Сведения о том, как правильно создать собственную страницу 404, чтобы она отвечала интересам пользователей и корректно обрабатывалась роботом Googlebot.
Сведения о переносе сайта	Информация о том, как перенести сайт в другой домен с минимальным ущербом для позиций в результатах поиска.
Мультирегиональные и многоязычные сайты	Узнайте, как помочь Google проанализировать ваш сайт, если он содержит контент на нескольких языках или разные материалы для пользователей из разных регионов.
Особые теги, которые поддерживаются в Google	Google поддерживает несколько тегов, которые определяют вид и функции результатов поиска.
Поисковые роботы Google	Информация о поисковых роботах, которые выполняют разные задачи.
Отчет о статистике сканирования сайтов	Этот отчет содержит сведения о том, когда и как часто робот Googlebot сканировал ваш сайт.
Настройка частоты сканирования сайта роботом Googlebot	Если вдруг окажется, что Google слишком часто запрашивает страницы вашего сайта для сканирования, вы сможете ограничить частоту отправки таких запросов.