О сканировании и индексировании

На этой странице приведены ссылки на статьи о сканировании и индексировании сайтов роботами Google. Из них вы узнаете, как настроить сайт так, чтобы его контент появлялся в результатах поиска Google и в других наших сервисах, а также как предотвратить сканирование тех или иных материалов на сайте.

Если вас интересует более подробная информация по теме, ознакомьтесь с этой статьей.

Темы
Файлы Sitemap С помощью этого файла вы можете сообщить Google о новых и измененных страницах своего сайта.
Файл robots.txt Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно обрабатывать, а какие – нельзя.
Метатеги Google поддерживает несколько тегов, от которых зависит, как будет выглядеть ваш контент в результатах поиска и какие функции будут к нему применяться.
Работа с поисковыми роботами
Удаление
Дублирующийся контент Указывайте Google на свои страницы с идентичным контентом, чтобы предотвратить избыточное сканирование. В статьях на эту тему описывается, как Google автоматически распознает идентичные материалы, обрабатывает их и соотносит дублирующиеся страницы c канонической.
Перенос и изменение сайтов
Мультирегиональные и многоязычные сайты Узнайте, как помочь Google проанализировать ваш сайт, если он содержит контент на нескольких языках или материалы, адаптированные для пользователей из разных регионов.
Контент JavaScript При создании страниц и приложений вам нужно учитывать некоторые ограничения, связанные с особенностями обработки контента с кодом JavaScript поисковыми роботами.