Структура URL

Структура URL сайта должна быть по возможности простой. Попробуйте упорядочить контент так, чтобы она могла быть понятна человеку.

По возможности используйте в URL осмысленные слова, а не длинные цифровые идентификаторы.

Рекомендуется использовать в URL простые слова, которые описывают контент на странице:

https://en.wikipedia.org/wiki/Aviation

Рекомендуется указывать в URL транслитерированные слова на вашем языке, если это возможно.

https://www.example.com/lebensmittel/pfefferminz

Рекомендуется при необходимости использовать кодировку UTF-8. Ниже показан пример использования кодировки UTF-8 для арабских символов в URL:

https://www.example.com/%D9%86%D8%B9%D9%86%D8%A7%D8%B9/%D8%A8%D9%82%D8%A7%D9%84%D8%A9

В этом примере кодировка UTF-8 используется для китайских символов:

example.com/%E6%9D%82%E8%B4%A7/%E8%96%84%E8%8D%B7

В этом – для умлаутов (двоеточий над гласными):

https://www.example.com/gem%C3%BCse

А в этом – для эмодзи:

example.com/%F0%9F%A6%99%E2%9C%A8

Не рекомендуется использовать в URL символы, не относящиеся к кодировке ASCII:

https://www.example.com/نعناع

https://www.example.com/杂货/薄荷

https://www.example.com/gemüse

https://www.example.com/🦙✨

Не рекомендуется использовать в URL длинные цифровые идентификаторы, которые не будут понятны пользователю:

https://www.example.com/index.php?id_sezione=360&sid=3a5ebc944f41daa6f849f730f1

Если ваш сайт посещают люди из разных регионов, используйте такую структуру URL, которая позволит легко выделить фрагменты, указывающие на регион. Другие примеры структурирования URL можно найти в инструкции Указание региона в URL.

Рекомендуется использовать домен страны:

example.de

Рекомендуется использовать подкаталог, обозначающий ту или иную страну:

example.com/de/

Чтобы разделять слова в URL, можно использовать дефисы. В этом случае пользователям и поисковым системам будет проще определять, к чему относится тот или иной URL. Используйте в URL дефисы (-), а не символы подчеркивания (_).

Рекомендуется использовать в URL дефисы (-):

https://www.example.com/summer-clothing/filter?color-profile=dark-grey

Не рекомендуется использовать для разделения символ подчеркивания (_):

https://www.example.com/summer_clothing/filter?color_profile=dark_grey

Не рекомендуется объединять ключевые слова в URL:

https://www.example.com/greendress

Если URL сайта слишком сложные, например содержат много параметров, то разные URL могут указывать на страницы с одним и тем же или похожим контентом. Это затрудняет сканирование. В результате робот Googlebot может создавать значительную нагрузку на ваш сервер. Кроме того, есть вероятность, что ему не удастся полностью просканировать весь контент сайта.

Основные причины возникновения этой проблемы

Наличие избыточного количества URL может быть связано с самыми разными факторами. Некоторые из них описаны ниже.

• Добавочная фильтрация набора элементов. На многих сайтах имеются разные представления одного и того же набора элементов или результатов поиска, с помощью которых пользователь может фильтровать его по определенным критериям (например, "показать гостиницы на побережье"). Если фильтры можно сочетать (например, "гостиницы на побережье с фитнес-центром"), на этих сайтах значительно увеличивается количество URL (представлений данных). Совсем необязательно создавать множество практически одинаковых списков гостиниц, поскольку роботу Googlebot достаточно изучить совсем небольшое количество списков, с помощью которых он сможет перейти на страницу каждой гостиницы. Пример:
  • Гостиницы по выгодной цене:

    https://www.example.com/hotel-search-results.jsp?Ne=292&N=461

  • Гостиницы по выгодной цене на побережье:

    https://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240

  • Гостиницы с фитнес-центром по выгодной цене на побережье:

    https://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240+4294967270

• Динамически создаваемые документы. Такие документы могут незначительно отличаться друг от друга из-за добавления счетчиков, меток времени или объявлений.
• Параметры в URL, способные вызвать проблемы. Некоторые факторы, например идентификаторы сеансов, могут приводить к частому дублированию URL и значительному росту их количества.
• Упорядочивание параметров. Некоторые крупные интернет-магазины предусматривают разные способы упорядочивания одних и тех же элементов. В результате создается большое количество URL. Пример:

  https://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance&search_category=25

• Нерелевантные параметры в URL, такие как параметры источника перехода. Пример:

  https://www.example.com/search/noheaders?click=6EE2BF1AF6A3D705D5561B7C3564D9C2&clickPage=OPD+Product+Page&cat=79

  https://www.example.com/discuss/showthread.php?referrerid=249406&threadid=535913

  https://www.example.com/products/products.asp?N=200063&Ne=500955&ref=foo%2Cbar&Cn=Accessories.

• Проблемы, связанные с календарем. Динамически создаваемый календарь может генерировать ссылки на последующие и предшествующие даты без ограничения по началу и окончанию периода. Пример:

  https://www.example.com/calendar.php?d=13&m=8&y=2011

• Неработающие относительные ссылки. Подобные элементы нередко приводят к появлению бесконечных пространств. Зачастую эта проблема вызвана повторяющимися элементами пути. Пример:

  https://www.example.com/index.shtml/discuss/category/school/061121/html/interview/category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm

Решение проблемы

Чтобы избежать возможных проблем, связанных со структурой URL, следуйте рекомендациям ниже.

• Заблокируйте доступ к проблемным URL для робота Googlebot с помощью файла robots.txt. Как правило, следует блокировать динамические URL, такие как страницы результатов поиска или URL, создающие бесконечные пространства (например, календари). С помощью регулярных выражений в файле robots.txt можно без труда заблокировать большое количество URL.
• Старайтесь не использовать в URL идентификаторы сеансов. Вместо них рекомендуется применять файлы cookie.
• По возможности укоротите URL, удалив из них ненужные параметры.
• Если на сайте есть бесконечный календарь, добавьте атрибут nofollow в ссылки на страницы, которые динамически создаются календарем и относятся к будущему.
• Убедитесь, что все относительные ссылки на сайте работают правильно.