Структура URL

Структура URL сайта должна быть предельно простой. Попробуйте организовать контент так, чтобы URL имели логическую структуру и были понятны для человека (по возможности используйте слова, а не идентификаторы, состоящие из множества цифр). Например, при поиске информации об авиации URL типа example.com/aviacia поможет оценить релевантность ссылки. Гораздо сложнее привлечь внимание пользователей с помощью URL типа http://www.example.com/index.php?id_sezione=360&sid=3a5ebc944f41daa6f849f730f1.

Используйте знаки препинания в URL. Адрес http://www.example.com/green-dress.html более удобен, чем http://www.example.com/greendress.html. Мы рекомендуем использовать в URL-адресах дефисы (-), а не символы подчеркивания (_).

Слишком сложные URL (особенно включающие несколько параметров), могут затруднять работу поисковых роботов, так как создается чрезмерное количество URL, указывающих на один и тот же или похожий контент на сайте. В результате робот Googlebot может использовать гораздо больше ресурсов канала передачи данных, чем это необходимо. Кроме того, есть вероятность, что он не сможет просканировать весь контент сайта.

Основные причины возникновения этой проблемы

Наличие избыточного количества URL может быть связано с самыми разными факторами. Часть из них перечислена ниже.

  • Дополнительная фильтрация группы элементов. На многих сайтах имеются разные представления одного и того же набора элементов или результатов поиска, с помощью которых пользователь может фильтровать его по определенным критериям (например, "показать гостиницы на побережье"). Если фильтры можно добавлять друг к другу (например, "гостиницы на побережье с фитнес-центром"), на этих сайтах значительно увеличивается количество URL (представлений данных). Совсем необязательно создавать множество списков гостиниц, мало отличающихся друг от друга, поскольку роботу Googlebot достаточно изучить совсем небольшое количество списков, с помощью которых он сможет перейти на страницу каждой гостиницы. Примеры:
    • Гостиницы по выгодной цене:
      http://www.example.com/hotel-search-results.jsp?Ne=292&N=461
    • Гостиницы по выгодной цене на побережье:
      http://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240
    • Гостиницы с фитнес-центром по выгодной цене на побережье:
      http://www.example.com/hotel-search-results.jsp?Ne=292&N=461+4294967240+4294967270
  • Динамически создаваемые документы. Такие документы могут незначительно отличаться друг от друга из-за добавления счетчиков, меток времени или объявлений.
  • Проблемные параметры в URL. Например, идентификаторы сеансов могут вызывать очень много повторений и резко увеличивать количество URL.
  • Упорядочивание параметров. Некоторые крупные интернет-магазины предусматривают разные способы упорядочивания одних и тех же элементов, в результате чего создается большое количество URL. Пример:
    http://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance
       &search_category=25
  • Нерелевантные параметры в URL, такие как параметры источника перехода. Пример:
    http://www.example.com/search/noheaders?click=6EE2BF1AF6A3D705D5561B7C3564D9C2&clickPage=
       OPD+Product+Page&cat=79
    http://www.example.com/discuss/showthread.php?referrerid=249406&threadid=535913
    http://www.example.com/products/products.asp?N=200063&Ne=500955&ref=foo%2Cbar&Cn=Accessories.
  • Проблемы, связанные с календарем. Динамически создаваемый календарь может генерировать ссылки на последующие и предшествующие даты без ограничения по началу и окончанию периода. Пример:
    http://www.example.com/calendar.php?d=13&m=8&y=2011
    http://www.example.com/calendar/cgi?2008&month=jan
  • Неработающие относительные ссылки. Неработающие относительные ссылки нередко приводят к появлению бесконечных пространств. Зачастую эта проблема вызвана повторяющимися элементами пути. Пример:
    http://www.example.com/index.shtml/discuss/category/school/061121/html/interview/
      category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm
Как решить эту проблему

Чтобы избежать возможных проблем, связанных со структурой URL, следуйте рекомендациям ниже.

  • Заблокируйте доступ к проблемным URL для робота Googlebot с помощью файла robots.txt. Как правило, следует блокировать динамические URL, такие как страницы результатов поиска или URL, создающие бесконечные пространства (например, календари). С помощью регулярных выражений в файле robots.txt можно без труда заблокировать большое количество URL.
  • Старайтесь не использовать в URL идентификаторы сеансов. Вместо них рекомендуется применять файлы cookie. Дополнительную информацию можно получить в рекомендациях для веб-мастеров.
  • По возможности укоротите URL, удалив из них ненужные параметры.
  • Если на сайте есть бесконечный календарь, добавьте атрибут nofollow в ссылки на будущие страницы, динамически создаваемые календарем.
  • Убедитесь, что все относительные ссылки на сайте работают правильно.