Структура URL

Структура URL сайта должна быть по возможности простой. Попробуйте упорядочить контент так, чтобы она могла быть понятна человеку.

По возможности используйте в URL осмысленные слова, а не длинные цифровые идентификаторы.

Рекомендуется создавать простые описательные URL:

http://en.wikipedia.org/wiki/Aviation

Не рекомендуется применять сложные неинформативные URL:

http://www.example.com/index.php?id_sezione=360&sid=3a5ebc944f41daa6f849f730f1

Используйте в URL знаки препинания. Так пользователям и поисковым системам будет проще выявлять ключевые слова, содержащиеся в них.

Рекомендуется разделять ключевые слова в URL знаками пунктуации:

http://www.example.com/green-dress.html

Не рекомендуется объединять ключевые слова в URL:

http://www.example.com/greendress.html

Используйте в URL дефисы (-), а не символы подчеркивания (_).

Рекомендуется указывать в URL дефисы (-):

http://www.example.com/summer-clothing/filter?color-profile=dark-grey

Не рекомендуется использовать для разделения символ подчеркивания (_):

http://www.example.com/summer_clothing/filter?color_profile=dark_grey

Если URL сайта слишком сложные, например содержат много параметров, то разные URL могут указывать на страницы с одним и тем же или похожим контентом. Это затрудняет сканирование. В результате робот Googlebot может создавать значительную нагрузку на ваш сервер. Кроме того, есть вероятность, что ему не удастся полностью просканировать весь контент сайта.

Основные причины возникновения этой проблемы

Наличие избыточного количества URL может быть связано с самыми разными факторами. Некоторые из них описаны ниже.

  • Добавочная фильтрация набора элементов. На многих сайтах имеются разные представления одного и того же набора элементов или результатов поиска, с помощью которых пользователь может фильтровать его по определенным критериям (например, "показать гостиницы на побережье"). Если фильтры можно сочетать (например, "гостиницы на побережье с фитнес-центром"), на этих сайтах значительно увеличивается количество URL (представлений данных). Не создавайте множество почти одинаковых списков гостиниц, поскольку роботу Googlebot достаточно изучить совсем небольшое количество списков, с помощью которых он сможет перейти на страницу каждой гостиницы. Пример:
    • Гостиницы по выгодной цене:
      http://www.example.com/hotel-search-results.jsp?Ne=292&N=461
    • Гостиницы по выгодной цене на побережье:
      http://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240
    • Гостиницы с фитнес-центром по выгодной цене на побережье:
      http://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240+4294967270
  • Динамически создаваемые документы. Такие документы могут незначительно отличаться друг от друга из-за добавления счетчиков, меток времени или объявлений.
  • Параметры в URL, способные вызвать проблемы. Некоторые факторы, например идентификаторы сеансов, могут приводить к частому дублированию URL и значительному росту их количества.
  • Упорядочивание параметров. Некоторые крупные интернет-магазины предусматривают разные способы упорядочивания одних и тех же элементов. В результате создается большое количество URL. Пример:
    http://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance&search_category=25
  • Нерелевантные параметры в URL, такие как параметры источника перехода. Пример:
    http://www.example.com/search/noheaders?click=6EE2BF1AF6A3D705D5561B7C3564D9C2&clickPage=OPD+Product+Page&cat=79
    http://www.example.com/discuss/showthread.php?referrerid=249406&threadid=535913
    http://www.example.com/products/products.asp?N=200063&Ne=500955&ref=foo%2Cbar&Cn=Accessories.
  • Проблемы, связанные с календарем. Динамически создаваемый календарь может генерировать ссылки на последующие и предшествующие даты без ограничения по началу и окончанию периода. Пример:
    http://www.example.com/calendar.php?d=13&m=8&y=2011
    http://www.example.com/calendar/cgi?2008&month=jan
  • Неработающие относительные ссылки. Подобные элементы нередко приводят к появлению бесконечных пространств. Зачастую эта проблема вызвана повторяющимися элементами пути. Пример:
    http://www.example.com/index.shtml/discuss/category/school/061121/html/interview/category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm

Решение проблемы

Чтобы избежать возможных проблем, связанных со структурой URL, следуйте рекомендациям ниже.

  • Заблокируйте доступ к проблемным URL для робота Googlebot с помощью файла robots.txt. Как правило, следует блокировать динамические URL, такие как страницы результатов поиска или URL, создающие бесконечные пространства (например, календари). С помощью регулярных выражений в файле robots.txt можно без труда заблокировать большое количество URL.
  • Старайтесь не использовать в URL идентификаторы сеансов. Вместо них рекомендуется применять файлы cookie. Дополнительная информация доступна в рекомендациях для веб-мастеров.
  • По возможности укоротите URL, удалив из них ненужные параметры.
  • Если на сайте есть бесконечный календарь, добавьте атрибут nofollow в ссылки на страницы, которые динамически создаются календарем и относятся к будущему.
  • Убедитесь, что все относительные ссылки на сайте работают правильно.