Общие сведения о сканировании и индексировании

Здесь перечислены статьи о сканировании и индексировании сайтов роботами Google. Из них вы узнаете, как настроить сайт так, чтобы его контент появлялся в результатах поиска Google и в других наших сервисах, и как предотвратить сканирование тех или иных материалов на сайте.

Ниже приводятся краткие описания всех тем. Общая информация о сканировании и индексировании приведена в руководстве по принципам работы Поиска.

Темы
Какие типы файлов может индексировать Google	Google может обрабатывать веб-страницы и файлы практически любого формата. Ознакомьтесь со списком наиболее распространенных типов файлов, которые могут быть проиндексированы роботами Google.
Структура URL	Попробуйте упорядочить контент так, чтобы структура URL могла быть понятна человеку.
Файлы Sitemap	С помощью этого файла вы можете сообщить Google об изменении страниц своего сайта или о добавлении новых.
Работа с поисковыми роботами	Как запросить повторное сканирование страниц Как управлять сканированием URL с фасетной навигацией Руководство по управлению лимитом на сканирование для владельцев крупных сайтов Как коды статуса HTTP, а также ошибки сети и DNS влияют на результаты поиска Google Поисковые роботы Google
Файл robots.txt	Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно обрабатывать, а какие  – нет.
Нормализация	Узнайте о том, что такое нормализация URL и как сообщить Google о наличии на вашем сайте одинаковых страниц, чтобы избежать лишнего сканирования. В статьях на эту тему описывается, как Google автоматически распознает страницы с идентичным контентом, обрабатывает их и назначает канонический URL обнаруженным группам одинаковых страниц.
Мобильные сайты	Прочитайте, как оптимизировать сайт для мобильных устройств и правильно настроить сканирование и индексирование.
Страница AMP	Если на вашем сайте есть AMP-страницы, узнайте, как технология AMP используется в Google Поиске.
JavaScript	При создании страниц и приложений вам нужно учитывать особенности обработки контента с кодом JavaScript поисковыми роботами.
Метаданные страниц и контента	Почему важно, чтобы HTML-код в метаданных страницы был корректным Метатеги, которые распознаются роботами Google Спецификации метатега Robots, атрибута data-nosnippet и HTTP-заголовка X-Robots-Tag Блокировка индексирования при помощи тега noindex (meta) Как обеспечить сканирование ссылок Как предоставить Google сведения об исходящих ссылках на вашем ресурсе при помощи атрибутов rel
Удаление	Как контролировать, какая информация с вашего сайта будет доступна Google Как удалить из Google страницу, размещенную на вашем сайте Как удалить изображения, размещенные на вашей странице, из результатов поиска Как исключить из Google Поиска информацию, удаленную из документов
Перенос и изменение сайтов	Переадресация и Google Поиск Перенос сайта Как снизить влияние A/B-тестирования на позиции сайта в Google Поиске Отключение сайта или временная приостановка его работы