Как создать список URL

Чтобы обнаружить ваш контент, нашим системам нужны URL, указывающие на него. Как можно прочитать в руководстве по индексированию, поисковые роботы способны сканировать контент на сайтах самостоятельно, следуя запрограммированным алгоритмам. Возможно, для ваших целей этого достаточно.

Но если на ваш контент не ведут ссылки с других страниц или он размещен так, что его трудно обнаружить, вы можете упростить задачу нашим системам, создав файл Sitemap со списком URL. Часто этого хватает для того, чтобы найти последний вариант вашей разметки и показывать в поиске расширенные результаты для вашего контента.

Типы URL

Есть две основные категории URL, которые вы отправляете Google:

  • Канонические URL – основные URL для вашего контента.

    Чаще всего именно канонический URL является предпочтительным для доступа к определенному материалу на сайте. Например, если разные URL указывают на обычную HTML-страницу с контентом и ее AMP-версию, а обычная версия является для вас предпочтительной, именно ее URL надо задать в качестве канонического. Если же ваш сайт полностью создан с использованием технологии AMP без аналогичных HTML-страниц, тогда URL AMP-страницы должен быть каноническим, поскольку он единственный. Подробнее о канонических URL

  • Альтернативные URL – дополнительные URL по отношению к основным источникам контента.

    Как правило, альтернативные URL следует указывать, если есть несколько адресов, по которым можно перейти к одному и тому же контенту, например существуют AMP-версии или перевод на другой язык. Если такие URL связаны, нашим роботам проще определять рейтинг для похожего контента и правильно подбирать пользователям подходящие ресурсы, например выдавать AMP-страницы на запросы с мобильных устройств.

Подробнее о том, как связывать онлайн-ресурсы

Как создать простой файл Sitemap

Самый простой вариант файла Sitemap – это текстовый файл, в котором перечислены канонические URL. Вы можете самостоятельно создать такой список и разместить его на сайте. Каждый URL должен быть расположен на отдельной строке, например:

http://www.example.com/dogs/poodles/poodle1.html
http://www.example.com/dogs/poodles/poodle2.html

Упростить этот процесс могут генераторы файлов Sitemap. Они встроены во многие системы управления контентом, такие как WordPress и Drupal. Генераторы обычно создают файлы Sitemap в формате XML, который мы тоже поддерживаем.

Функции текстовых файлов Sitemap заканчиваются на том, что они помогают обнаруживать контент. Сообщить нашим системам время обновления контента они не могут, поскольку не содержат необходимых для этого дополнительных метаданных. В таких файлах нет и списка альтернативных URL. Указывать на альтернативный контент в таком случае следует, разместив на канонической странице ссылку на него. Выполняйте при этом наши рекомендации по связыванию онлайн-ресурсов и следите за тем, чтобы на альтернативных страницах были обратные ссылки, указывающие на канонические URL.

Подробнее о файлах Sitemap рассказывается в Справочном центре Search Console.

Как создать файл Sitemap в формате XML

Если вы хотите предоставлять обновляемую информацию об URL и устанавливать отношения между каноническими и альтернативными URL, используйте файл Sitemap в формате XML. В нем можно перечислить URL обоих типов и указать даты изменений.

Ниже приведен пример простого файла Sitemap в формате XML с записью об одной странице. Эта запись содержит канонический URL, URL AMP-страницы и время изменения контента.

<?xml version="1.0" encoding="utf-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>http://example.com/dogs/poodles/poodle1.html</loc>
    <xhtml:link rel="amphtml" href="http://example.com/dogs/poodles/poodle1.amp.html"/>
    <lastmod>2016-01-13T18:30:02Z</lastmod>
  </url>
</urlset>

Временная метка должна быть в специальном формате, который позволяет при необходимости не указывать время и обозначать дату в виде ГГГГ-ММ-ДД.

Рекомендации по файлам Sitemap

Советуем в качестве формата для файлов Sitemap использовать обычный текст или код XML. Один файл должен содержать не более 50 000 URL и занимать не более 50 МБ до сжатия. Если у вас большее число URL, распределите их между несколькими файлами.

Все рекомендации по работе с файлами Sitemap можно найти в Справочном центре Search Console в разделе Как создавать и отправлять файлы Sitemap.