Общие сведения о сканировании и индексировании

Здесь перечислены статьи о сканировании и индексировании сайтов роботами Google. Из них вы узнаете, как настроить сайт так, чтобы его контент появлялся в результатах поиска Google и в других наших сервисах, и как предотвратить сканирование тех или иных материалов на сайте.

Ниже приводятся краткие описания всех тем. Общая информация о сканировании и индексировании приведена в руководстве по принципам работы Поиска.

Темы
Какие типы файлов может индексировать Google Google может обрабатывать веб-страницы и файлы практически любого формата. Ознакомьтесь со списком наиболее распространенных типов файлов, которые могут быть проиндексированы роботами Google.
Структура URL Попробуйте упорядочить контент так, чтобы структура URL могла быть понятна человеку.
Файлы Sitemap С помощью этого файла вы можете сообщить Google об изменении страниц своего сайта или о добавлении новых.
Работа с поисковыми роботами
Файл robots.txt Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно обрабатывать, а какие  – нет.
Нормализация Узнайте о том, что такое нормализация URL и как сообщить Google о наличии на вашем сайте одинаковых страниц, чтобы избежать лишнего сканирования. В статьях на эту тему описывается, как Google автоматически распознает страницы с идентичным контентом, обрабатывает их и назначает канонический URL обнаруженным группам одинаковых страниц.
Мобильные сайты Прочитайте, как оптимизировать сайт для мобильных устройств и правильно настроить сканирование и индексирование.
Страница AMP Если на вашем сайте есть AMP-страницы, узнайте, как технология AMP используется в Google Поиске.
JavaScript При создании страниц и приложений вам нужно учитывать особенности обработки контента с кодом JavaScript поисковыми роботами.
Метаданные страниц и контента
Удаление
Перенос и изменение сайтов