Из этой статьи вы узнаете, как создать файл Sitemap и предоставить доступ к нему роботам Google. Подробнее о файлах Sitemap…
- Решите, какие страницы вашего сайта должны сканировать поисковые роботы Google, и определите канонические URL для каждой из них.
- Выберите подходящий формат файла Sitemap. Создавать файлы Sitemap можно как вручную, так и автоматически с помощью сторонних инструментов.
- Сделайте файл Sitemap доступным для Google. Для этого добавьте ссылку на него в файл robots.txt или отправьте его непосредственно в Google с помощью Search Console.
Форматы файлов Sitemap
Google поддерживает несколько форматов файлов Sitemap — они описаны ниже. Во всех форматах следует использовать стандартный протокол. В настоящее время Google не учитывает в файлах Sitemap атрибут <priority>
.
Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать и отправить в Google индекс Sitemap, который содержит данные об отдельных файлах Sitemap. При необходимости можно отправить несколько файлов или индексов Sitemap.
XML
Вот пример простого XML-файла Sitemap с одним URL:
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://www.example.com/foo.html</loc> <lastmod>2018-06-04</lastmod> </url> </urlset>
Подробную документацию и более сложные примеры вы можете найти на сайте sitemaps.org.
Также предлагаем изучить примеры файлов Sitemap с указанием версий страниц на разных языках и файлов для новостей, изображений и видео.
RSS, mRSS и Atom 1.0
Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap. Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что в нем может быть представлена информация только о последних URL.
- Google допускает использование фидов RSS 2.0 и Atom 1.0.
- Отправить в Google сведения о видеоконтенте можно также с помощью фида mRSS (media RSS).
Текст
Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:
http://www.example.com/file1.html http://www.example.com/file2.html
Правила создания текстовых файлов Sitemap:
- Необходимо использовать кодировку UTF-8.
- В файл Sitemap можно добавлять только URL.
- Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение .txt (например, sitemap.txt).
Google Сайты
Если вы создали сайт и подтвердили право собственности на него с помощью сервиса "Google Сайты", файл Sitemap будет создан автоматически. Его не получится изменить, но можно будет отправить в Google, чтобы сведения о нем появились в отчете о файлах Sitemap. Обратите внимание: если у вас есть подкаталоги, в которых содержится более 1000 страниц, данные файла Sitemap могут показываться некорректно.
-
Если ваши страницы размещены в сервисе Google Сайты, файл Sitemap должен находиться по адресу
http://sites.google.com/site/yoursitename/system/feeds/sitemap
. -
Если сайт создан в аккаунте Google Workspace, URL файла Sitemap должен быть таким:
https://sites.google.com/yourdomain/yoursitename/system/feeds/sitemap
.
Файлы Sitemap с расширенным синтаксисом
Google поддерживает расширенный синтаксис файлов Sitemap для перечисленных ниже MIME-типов. С помощью дополнительных элементов можно описывать видео, изображения и другой плохо поддающийся анализу контент, чтобы они лучше индексировались.
Общие рекомендации по файлам Sitemap
-
Используйте полные URL, которые согласуются друг с другом. Google будет сканировать в точности те URL, которые вы перечислите.
Например, если адрес сайта –
https://www.example.com/
, не указывайте URLhttps://example.com/
(безwww
) или./mypage.html
(относительный). - Файл Sitemap хоть и может быть размещен в любой части сайта, но влияет только на каталоги уровнем ниже родительского. Поэтому, чтобы файл Sitemap действовал на весь сайт, мы рекомендуем располагать его на корневом уровне.
- Не указывайте в добавляемых URL идентификаторы сеансов, поскольку это может привести к избыточному сканированию страниц.
- Отмечайте иноязычные версии страницы атрибутом hreflang.
- Файлы Sitemap должны создаваться в кодировке UTF-8, а в URL необходимо применять экранирование.
- Разбивайте большие файлы Sitemap на файлы поменьше. Файл Sitemap может содержать до 50 000 URL и не должен занимать больше 50 МБ в несжатом виде. Вместо отдельных файлов Sitemap отправляйте в Google их индекс.
-
Включайте в файлы Sitemap только канонические URL. Если у вас две версии страницы, укажите только ту, которая должна появляться в результатах поиска. Если у вас две версии сайта (например, с префиксом www и без него), выберите основную и разместите файл Sitemap в ней, а на страницы второго сайта добавьте атрибут
rel=canonical
или реализуйте на них переадресацию. - Если у мобильной и обычной версии страницы разные URL, советуем указывать только одну из них. Если все же требуется включить в файл оба URL, добавьте для них аннотации, чтобы версии распознавались.
- Используйте файлы Sitemap с расширенным синтаксисом для указания дополнительных MIME-типов, в частности изображений, видео и новостей.
- Если существуют версии страницы на других языках или для других регионов, вы можете указать их с помощью атрибута hreflang в файле Sitemap или тегах HTML.
-
Символы помимо букв латинского алфавита и цифр требуют особого обращения.
Файл Sitemap обязательно должен быть в кодировке UTF-8 (обычно ее можно выбрать при сохранении). Как и в любых других XML-файлах, при вводе значений (включая URL) необходимо экранировать символы в соответствии с приведенной ниже таблицей. Файл Sitemap может содержать только символы ASCII. В нем не должно быть расширенных символов ASCII, определенных управляющих кодов и специальных символов, таких как
*
и{}
. Если они содержатся в URL, то при попытке его добавить появится сообщение об ошибке.Символ Экранированная последовательность Амперсанд &
&
Одинарные кавычки '
'
Двойные кавычки "
"
Больше чем >
>
Меньше чем <
<
Пример URL, в котором содержится символ, не относящийся к кодировке ASCII (ü
), а также символ, требующий экранирования (&
):
http://www.example.com/ümlat.html&q=name
Тот же URL в кодировке ISO-8859-1 (для размещения на сервере, использующем эту кодировку) и с примененным экранированием:
http://www.example.com/%FCmlat.html&q=name
Тот же URL в кодировке UTF-8 (для размещения на сервере, использующем эту кодировку) и с примененным экранированием:
http://www.example.com/%C3%BCmlat.html&q=name
Тот же URL с экранированной последовательностью вместо символа амперсанда:
http://www.example.com/%C3%BCmlat.html&q=name
- Мы не гарантируем сканирование каждого URL в файле Sitemap. Такие файлы лишь помогают Google определить, какие страницы вы считаете важными.
-
Значения в тегах
<priority>
и<changefreq>
игнорируются. -
В Google используется значение в теге
<lastmod>
, если оно всегда является гарантированно точным (например, если его точность проверяется путем сравнения с последней измененной версией страницы). - Позиция того или иного URL в файле Sitemap не важна. Google сканирует URL, не учитывая их порядок в этом файле.
Как сделать файл Sitemap доступным для Google
Файл Sitemap анализируется только при первом его обнаружении, а не при каждом сканировании сайта. Чтобы файл был обработан повторно, сообщите нам, что данные в нем изменились. Это делается с помощью запроса ping. Не добавляйте несколько раз одинаковые файлы Sitemap и не отправляйте запросы ping, если в файл не вносились изменения и он не новый.
Предоставить Google доступ к файлу Sitemap можно несколькими способами:
- Отправьте его в Google через Search Console.
-
Вставьте в любом месте файла
robots.txt
строку с путем к файлу Sitemap:
Sitemap: http://example.com/sitemap_location.xml
-
Сообщите в Google о том, что файл Sitemap нужно просканировать, с помощью запроса ping. Для этого отправьте такой HTTP-запрос GET:
http://www.google.com/ping?sitemap=<complete_url_of_sitemap>
. Пример:
http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
.
Устранение неполадок, возникающих при обработке файлов Sitemap
Ознакомьтесь с этим руководством.