Обзор тем статей про сканирование и индексирование
Перечисленные здесь темы касаются того, как можно настроить способы обнаружения и обработки контента роботами Google для его показа в Поиске и других наших сервисах. В список также включены страницы со сведениями о том, как предотвратить сканирование тех или иных материалов на сайте.
Ниже приводятся краткие описания всех тем. Есть и более подробная информация.
Тема | Описание |
---|---|
Управление файлами Sitemap | Сообщайте Google о новых и измененных страницах своего сайта. |
Блокировка доступа к контенту | Вы можете запретить Google доступ к материалам своего сайта, а также их показ в Поиске и других наших сервисах. Выберите наиболее подходящий для вас способ. |
Удаление сведений из Google | При необходимости удаляйте размещенный на вашем сайте контент, который появляется в Google. |
Объединение повторяющихся URL | Указывайте Google на свои страницы с идентичным контентом, чтобы предотвратить избыточное сканирование. В статьях на эту тему описывается, как Google автоматически распознает идентичные материалы, обрабатывает их и выбирает среди повторяющихся страниц каноническую. |
Отправка запроса на повторное сканирование страниц | Это может потребоваться, если вы опубликуете важную новую или измененную страницу и вам нужно будет, чтобы робот Googlebot быстро ее нашел. |
Блокировка доступа для робота Googlebot | Убедитесь, что у робота Googlebot есть доступ ко всем страницам вашего сайта, которые вы хотите показывать в Поиске. |
Создание собственной страницы 404 | Сведения о том, как правильно создать собственную страницу 404, чтобы она отвечала интересам пользователей и корректно обрабатывалась роботом Googlebot. |
Сведения о переносе сайта | Информация о том, как перенести сайт в другой домен с минимальным ущербом для позиций в результатах поиска. |
Мультирегиональные и многоязычные сайты | Узнайте, как помочь Google проанализировать ваш сайт, если он содержит контент на нескольких языках или разные материалы для пользователей из разных регионов. |
Особые теги, которые поддерживаются в Google | Google поддерживает несколько тегов, которые определяют вид и функции результатов поиска. |
Поисковые роботы Google | Информация о поисковых роботах, которые выполняют разные задачи. |
Отчет о статистике сканирования сайтов | Этот отчет содержит сведения о том, когда и как часто робот Googlebot сканировал ваш сайт. |
Настройка частоты сканирования сайта роботом Googlebot | Если вдруг окажется, что Google слишком часто запрашивает страницы вашего сайта для сканирования, вы сможете ограничить частоту отправки таких запросов. |