О сканировании и индексировании
На этой странице приведены ссылки на статьи о сканировании и индексировании сайтов роботами Google. Из них вы узнаете, как настроить сайт так, чтобы его контент появлялся в результатах поиска Google и в других наших сервисах, а также как предотвратить сканирование тех или иных материалов на сайте.
Ниже приводятся краткие описания всех тем. Подробные сведения о сканировании и индексировании доступны в руководстве по принципам работы Поиска.
| Темы | |
|---|---|
| Файлы Sitemap | С помощью этого файла вы можете сообщить Google о новых и измененных страницах своего сайта. |
| Файл robots.txt | Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно обрабатывать, а какие – нельзя. |
| Метатеги | Google поддерживает несколько тегов, от которых зависит, как будет выглядеть ваш контент в результатах поиска и какие функции будут к нему применяться. |
| Работа с поисковыми роботами | |
| Удаление | |
| Дублирующийся контент | Указывайте Google на свои страницы с идентичным контентом, чтобы предотвратить избыточное сканирование. В статьях на эту тему описывается, как Google автоматически распознает идентичные материалы, обрабатывает их и соотносит дублирующиеся страницы c канонической. |
| Перенос и изменение сайтов | |
| Мультирегиональные и многоязычные сайты | Узнайте, как помочь Google проанализировать ваш сайт, если он содержит контент на нескольких языках или материалы, адаптированные для пользователей из разных регионов. |
| Контент JavaScript | При создании страниц и приложений вам нужно учитывать особенности обработки контента с кодом JavaScript поисковыми роботами. |