О сканировании и индексировании

Здесь перечислены статьи о сканировании и индексировании сайтов роботами Google. Из них вы узнаете, как настроить сайт так, чтобы его контент появлялся в результатах поиска Google и в других наших сервисах, и как предотвратить сканирование тех или иных материалов на сайте.

Ниже приводятся краткие описания всех тем. Общая информация о сканировании и индексировании приведена в руководстве по принципам работы Поиска.

Темы
Какие типы файлов может индексировать Google	Google может индексировать страницы и файлы практически любого формата. Ознакомьтесь со списком наиболее распространенных типов файлов, которые могут быть проиндексированы роботами Google.
Структура URL	Попробуйте упорядочить контент так, чтобы структура URL могла быть понятна человеку.
Файлы Sitemap	С помощью этого файла вы можете сообщить Google о новых и измененных страницах своего сайта.
Работа с поисковыми роботами	Как запросить повторное сканирование страниц Как снизить частоту сканирования сайта роботом Googlebot Как убедиться, что ваш сайт сканируют именно Googlebot или другие поисковые роботы Руководство по управлению лимитом на сканирование для владельцев крупных сайтов Как коды статуса HTTP, а также ошибки сети и DNS влияют на результаты поиска Google Поисковые роботы Google
Файл robots.txt	Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно обрабатывать, а какие нельзя.
Канонические URL	Сообщайте Google о своих страницах с идентичным контентом, чтобы предотвратить избыточное сканирование. В статьях на эту тему описывается, как Google автоматически распознает идентичные материалы, обрабатывает их и соотносит дублирующиеся страницы c канонической.
Сайты для мобильных устройств	Прочитайте, как оптимизировать сайт для мобильных устройств и правильно настроить сканирование и индексирование.
Страница AMP	Если на вашем сайте есть AMP-страницы, узнайте, как технология AMP используется в Google Поиске.
JavaScript	При создании страниц и приложений вам нужно учитывать особенности обработки контента с кодом JavaScript поисковыми роботами.
Метаданные страниц и контента	Важность использования корректного HTML-кода в метаданных страницы Метатеги, которые распознаются роботами Google Спецификации метатега Robots, атрибута data-nosnippet и HTTP-заголовка X-Robots-Tag Блокировка индексирования при помощи директивы noindex Рекомендации по работе с Безопасным поиском Как обеспечить сканирование ссылок Как предоставить Google сведения об исходящих ссылках на вашем ресурсе при помощи атрибутов rel
Удаление	Как контролировать, какая информация с вашего сайта будет доступна Google Как удалить информацию из Google Как удалить изображения, размещенные на сайте, из результатов поиска Как исключить из Google Поиска информацию, удаленную из документов
Перенос и изменение сайтов	Переадресация и Google Поиск Перенос сайта Как снизить влияние A/B-тестирования на позиции сайта в Google Поиске Отключение сайта или временная приостановка его работы