Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.

О сканировании и индексировании

На этой странице приведены ссылки на статьи о сканировании и индексировании сайтов роботами Google. Из них вы узнаете, как настроить сайт так, чтобы его контент появлялся в результатах поиска Google и в других наших сервисах, а также как предотвратить сканирование тех или иных материалов на сайте.

Ниже приводятся краткие описания всех тем. Подробные сведения о сканировании и индексировании доступны в руководстве по принципам работы Поиска.

Темы
Какие типы файлов может индексировать Google Google может обрабатывать веб-страницы и файлы практически любого формата. Ознакомьтесь со списком наиболее распространенных типов файлов, которые могут быть проиндексированы роботами Google.
Структура URL Попробуйте упорядочить контент так, чтобы структура URL могла быть понятна человеку.
Файлы Sitemap С помощью этих файлов вы можете сообщить Google о новых и измененных страницах своего сайта.
Работа с поисковыми роботами
Файл robots.txt Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно обрабатывать, а какие – нельзя.
Канонические URL Указывайте Google на свои страницы с идентичным контентом, чтобы предотвратить избыточное сканирование. В статьях на эту тему описывается, как Google автоматически распознает идентичные материалы, обрабатывает их и соотносит дублирующиеся страницы c канонической.
Сайты для мобильных устройств Прочитайте, как оптимизировать сайт для мобильных устройств и правильно настроить сканирование с индексацией.
Страница AMP Если на вашем сайте есть страницы AMP, обратите внимание на правила вывода AMP-контента в Google Поиске.
JavaScript При создании страниц и приложений вам нужно учитывать особенности обработки контента с кодом JavaScript поисковыми роботами.
Метаданные страниц и контента
Удаление
Перенос и изменение сайтов
Мультирегиональные и многоязычные сайты Узнайте, как помочь Google проанализировать ваш сайт, если он содержит контент на нескольких языках или материалы, адаптированные для пользователей из разных регионов.