Перенос сайта с изменением URL

Из этой статьи вы узнаете, как изменить URL страниц вашего сайта, не ухудшив при этом его положение в результатах поиска Google. В частности, речь идет о следующих вариантах переноса сайта:

  • Изменение URL с HTTP на HTTPS.
  • Изменение доменного имени, например с example.com на example.net, или объединение нескольких доменов или имен хостов.
  • Изменение путей URL, например с example.com/page.php?id=1 на example.com/widget или с example.com/page.html на example.com/page.htm.

Общие сведения

  1. Ознакомьтесь с основными сведениями о переносе сайтов. Изучите, как перенос повлияет на пользователей вашего сайта и его положение в результатах поиска. Если вы переходите с HTTP на HTTPS, ознакомьтесь с этими рекомендациями.
  2. Подготовьте новый сайт и тщательно его протестируйте.
  3. Сопоставьте текущие URL с новыми.
  4. Запустите перенос сайта, настроив сервер для переадресации со старых URL на новые.
  5. Отслеживайте трафик как старых, так и новых URL.

Ответы на часто задаваемые вопросы о переносе сайта с изменением URL

  • Не противоречит ли рекомендациям Google перенос сайта по частям?
    Нет, не противоречит.
  • Как узнать, сколько страниц проиндексировано?
    Выберите нужный ресурс в Search Console и откройте отчет об индексировании, в котором приводится общая статистика. Чтобы узнать, сколько страниц из перечисленных в файлах Sitemap было проиндексировано, воспользуйтесь специальным отчетом.
  • Сколько времени потребуется Google, чтобы распознать изменения URL?
    Точный срок назвать невозможно, поскольку он зависит от размера сайта и скорости сканирования. URL сайта переносятся поочередно.
  • Не перестанут ли ссылки учитываться при оценке моих страниц, если я настрою переадресацию на новые URL?
    Нет. Переадресация 301 или 302 не приводит к ухудшению оценки в системе PageRank.

Переход с HTTP на HTTPS

  • Ознакомьтесь с рекомендациями по использованию HTTPS.
  • Обязательно добавьте HTTPS-ресурс в Search Console. Помните, что Search Console расценивает ресурсы HTTP и HTTPS как разные, поэтому данные по ним не совпадают. Если на вашем сайте используются оба протокола, то в Search Console следует добавить два ресурса.

Часто задаваемые вопросы

Изменятся ли позиции моего сайта в результатах поиска после перехода на HTTPS?

Позиции сайта могут меняться, как и в случае с другими вариантами переноса страниц. Чтобы избежать проблем, связанных именно с HTTPS, изучите рекомендации по работе с этим протоколом.

После перехода на HTTPS позиции сайта в результатах поиска повышаются, но незначительно. При ранжировании использование этого протокола расценивается как положительный фактор, однако он далеко не единственный и сейчас имеет меньший вес, чем качество материалов сайта. Это означает, что в краткосрочной перспективе не стоит ждать от перехода на HTTPS впечатляющих результатов. В дальнейшем значимость этого фактора может вырасти.

Можно ли перевести на HTTPS только несколько страниц сайта?

Да. Начните с нескольких страниц, оцените результаты и продолжите перенос в удобном для вас темпе.

Если вы переводите сайт с HTTP на HTTPS по частям и пока не хотите индексировать новые URL, рекомендуем использовать вместо переадресации атрибут rel=canonical, поскольку протестировать страницы с переадресацией вы не сможете.

Может ли тег rel=canonical служить гарантией того, что тот или иной URL с протоколом HTTP будет проиндексирован?

Нет, но он считается очень важным сигналом при обработке проиндексированного URL.

Какой сертификат рекомендован компанией Google?

Для Google Поиска подойдет любой сертификат, поддерживаемый современными браузерами.

Будут ли веб-страницы после перехода на протокол HTTPS показываться в результатах поиска Google по другим ключевым словам?

Да. Вы по-прежнему сможете получать в Search Console данные о поисковых запросах.

Как узнать, сколько страниц проиндексировано?

По отдельности изучите в Search Console данные о страницах, на которых используются протоколы HTTP и HTTPS, а затем в отчете об индексировании найдите сведения о том, какие страницы были проиндексированы.

Сколько времени потребуется для переноса ресурса с HTTP на HTTPS?

Точный срок назвать невозможно, поскольку он зависит от размера сайта и скорости сканирования. URL сайта переносятся поочередно.

Если в файле robots.txt указаны файлы Sitemap для HTTP-страниц, нужно ли добавить в него файлы Sitemap для HTTPS-страниц?

Мы рекомендуем вам обновить файлы robots.txt, чтобы указать на HTTPS-версию файлов Sitemap. Мы также рекомендуем указывать в файлах Sitemap только URL с протоколом HTTPS.

Помните, что если вы меняете протокол каждого URL вашего сайта с HTTP на HTTPS, поисковым роботам Google все равно будет доступен только один файл robots.txt. Например, если URL http://example.com/robots.txt выполняет перенаправление на https://example.com/robots.txt, то контент HTTP-версии не будет доступен Google и другим поисковым системам.

В каком файле Sitemap должна содержаться информация о страницах, переведенных на HTTPS для тестирования?

Вы можете создать для перенесенных страниц сайта отдельный файл Sitemap, чтобы получать более точные данные об их индексировании. Проверьте, не указаны ли адреса этих страниц в других файлах Sitemap.

Какие URL следует включить в файлы Sitemap, если настроена переадресация с HTTP на HTTPS или наоборот?

Перечислите все новые URL с протоколом HTTPS в файле Sitemap и удалите прежние URL с протоколом HTTP. Если вы хотите создать новый файл Sitemap, перечислите там только новые URL с протоколом HTTPS.

Нужно ли указать в файле robots.txt ещё какие-либо директивы, предназначенные специально для HTTPS-версии?

Нет.

Нужно ли использовать технологию HSTS?

Технология HSTS повышает уровень безопасности, но усложняет процедуру отката. Подробнее об этом рассказано в рекомендациях по использованию HTTPS…

Я использую один файл Sitemap для Google Новостей, который относится ко всему моему сайту. Что нужно предпринять при переносе сайта по частям?

Чтобы использовать со страницами HTTPS файл Sitemap для Google Новостей, сначала сообщите команде Google Новостей о том, что вы переходите на другой протокол. Затем отправляйте новый файл Sitemap для Google Новостей через HTTPS-ресурс в Search Console каждый раз, когда будете переводить на этот протокол очередной раздел своего сайта.

Какие рекомендации в отношении работы с Центром издателей Google Новостей нужно выполнять при переводе сайта на протокол HTTPS?

Центр издателей Google Новостей самостоятельно определяет сайты, которые были переведены с HTTP на HTTPS. Вам не нужно ничего дополнительно предпринимать, если только вы не используете файлы Sitemap для Google Новостей. В этом случае сообщите команде Google Новостей о внесенных вами изменениях. Вы также можете сообщить о переводе на HTTPS отдельной части сайта, например о том, что собираетесь сменить URL с https://example.com/section на https://example.com/section.

Подготовьте сайт

Процедура подготовки сайта может быть разной в зависимости от его содержания и структуры, однако обычно она включает следующие этапы:

  • Настройка новой системы управления контентом (CMS) и добавление в нее контента.
  • Перенос изображений и файлов для скачивания (например, PDF-документов) с прежнего сайта.
    Возможно, они уже привлекают трафик из Google Поиска или со страниц, содержащих ссылки на ваш сайт. По этой причине мы рекомендуем уведомить пользователей и робота Googlebot о новом расположении таких файлов.
  • При переходе на протокол HTTPS – получение и настройка необходимых сертификатов TLS на сервере.

Настройте файл robots.txt для нового сайта

В файле robots.txt вы можете указать, какие разделы сайта разрешено сканировать роботу Googlebot. Убедитесь, что в файле robots.txt для нового сайта корректно указаны страницы, которые не нужно сканировать.

Обратите внимание, что некоторые владельцы сайтов полностью блокируют сканирование сайта на время его разработки. Если вы хотите поступить так же, обязательно подготовьте файл robots.txt до переноса сайта. А если на этапе создания сайта вы используете функцию noindex, подготовьте список URL страниц, с которых потом нужно будет удалить директиву noindex.

Создайте страницы ошибок для удаленного или объединенного контента

Убедитесь, что URL, по которым был доступен контент прежнего сайта, не перемещенный на новый сайт, выводят код ошибки HTTP 404 или 410. Вы можете задать код ошибки либо для старого URL (это делается на панели управления новым сайтом), либо для нового URL, предварительно настроив переадресацию на него.

Правильно настройте Search Console

Успех переноса сайта зависит от правильности и актуальности настроек Search Console.

Вы должны быть подтвержденным владельцем старого и нового сайтов в этом сервисе, причем заявить права на все версии обоих сайтов. Например, нужно подтвердить право собственности одновременно на www.example.com и example.com, а также на версиях сайта с протоколом HTTP и HTTPS, если имеются страницы HTTPS.

Проверьте права на сайт в Search Console

Проследите, чтобы право собственности на сайт после его переноса осталось подтвержденным в Search Console. Если вы подтверждали свои права другим способом, имейте в виду, что при изменении URL токены подтверждения могут также измениться.

Если для подтверждения вы используете файл HTML, убедитесь, что в новую копию сайта включена текущая версия этого файла.

Если вы использовали метатег или код Google Аналитики, добавьте его и в новую версию сайта в системе управления контентом.

Проверьте все настройки в Search Console

Если вы меняли настройки прежнего сайта в Search Console, выполните аналогичные действия для нового. Пример:

  • Параметры URL. Если вы настроили параметры URL для управления сканированием или индексированием прежних страниц, убедитесь, что те же настройки применяются и к новому сайту (если это необходимо).
  • Геотаргетинг. Если ваш прежний сайт предназначался для пользователей из определенного региона и это было отражено в его домене или в национальном домене верхнего уровня (например, .co.uk), настройте такой же геотаргетинг и для нового сайта. Если же вы переносите сайт, чтобы развивать свой бизнес без привязки к отдельной стране или региону, выберите вариант Нет в списке в раскрывающемся меню на странице "Настройки сайта".
  • Частота сканирования. Мы рекомендуем не ограничивать в Search Console частоту сканирования ни старых, ни новых URL. В целом изменять эту настройку допустимо только в том случае, если сканирование создает слишком высокую нагрузку на ваш сайт. Если вы задавали ограничение частоты сканирования для прежнего сайта, откажитесь от этой настройки. Наши алгоритмы позволяют автоматически определить, что сайт был перемещен, и скорректировать режим сканирования, чтобы быстро обновить наш индекс.
  • Отклоненные обратные ссылки. Если для прежнего сайта вы загрузили файл со списком ссылок, которые нужно отклонить, рекомендуем сделать это снова в аккаунте Search Console, связанном с новым сайтом.

Устраните проблемы в недавно приобретенном домене

Если новый сайт будет располагаться на недавно приобретенном домене, убедитесь, что от предыдущего владельца не осталось нерешенных проблем. Проверьте следующее:

Работайте с веб-аналитикой

Во время переноса важно анализировать данные об использовании как прежнего, так и нового сайта. В этом вам помогут средства веб-аналитики. Как правило, конфигурация с применением веб-аналитики подразумевает добавление на ваши страницы кода JavaScript. Параметры отслеживания показателей различных сайтов зависят от используемого средства и от его настроек, связанных с ведением журналов, обработкой данных и фильтрацией. При необходимости обратитесь за помощью к поставщику средства аналитики. Если вы собирались изменить настройки аналитики, то перенос сайта – подходящий повод это сделать. Если вы используете Google Аналитику и хотите четко разделить отчеты по двум сайтам, создайте в сервисе новый профиль.

Убедитесь, что у сервера есть достаточно вычислительных ресурсов

После переноса Google станет чаще сканировать страницы вашего нового сайта. Это связано с тем, что ваш сервер будет перенаправлять со старого сайта на новый весь трафик, включая обращения нашего робота. Убедитесь, что у вашего нового сайта достаточно ресурсов, чтобы обрабатывать увеличенный объем трафика от Google.

Обновите информацию Маркера

Если вы использовали Маркер для разметки старых страниц, разметьте так же и новые.

Как только ваши страницы HTTPS будут готовы, обновите все ссылки, которые предназначены для открытия веб-страниц из результатов поиска Google в определенном приложении. После переноса сайта переадресация для этих ссылок перестанет работать. Если вы не укажете в ссылках новые URL с протоколом HTTPS, то при нажатии на них на мобильном устройстве страницы будут открываться в браузере.

Важно сопоставить URL прежнего и нового сайта. В этом разделе описываются основные подходы к анализу и сопоставлению URL на двух сайтах. Особенности процедуры зависят от инфраструктуры сайта и способа его переноса.

Сопоставьте старые URL с новыми

Важно сопоставить URL прежнего и нового сайта. В этом разделе описываются основные подходы к анализу и сопоставлению URL на двух сайтах. Особенности процедуры зависят от инфраструктуры сайта и способа его переноса.

Подготовьте список прежних URL

В самом простом случае переноса сайта вам вряд ли понадобится список старых URL. Если вы меняете только домен сайта, например переходите с example.com на example.net, можно использовать серверную переадресацию с применением подстановочных знаков.

В более сложных случаях необходимо создавать список прежних URL и сопоставлять их с новыми. Способ создания этого списка зависит от конфигурации текущего сайта, однако существуют рекомендации, которые помогут вам решить эту задачу:

  • Начните с важных URL. Как их найти:
    • Проверьте свои файлы Sitemap, поскольку с их помощью обычно отправляются в Search Console самые важные URL.
    • По журналам серверов или с помощью средства аналитики определите, на какие URL приходится больше всего трафика.
    • Найдите в разделе Ссылки на ваш сайт в Search Console те страницы, на которые ведут внутренние и внешние ссылки.
  • В системе управления контентом просмотрите список всех URL, на которых представлены какие-либо материалы.
  • Найдите в журналах серверов URL, по которым недавно хотя бы один раз переходили пользователи. Просмотрите данные за наиболее показательный для вашего сайта период времени с учетом сезонных колебаний трафика.
  • Не забудьте об изображениях и видео. При планировании переноса сайта помните о URL видео, изображений, фрагментов кода JavaScript и файлов CSS. Этот контент тоже необходимо переместить на новый сайт.

Сопоставьте старые URL с новыми

Получив список старых страниц, определите, на какие URL нужно перенаправлять пользователей с каждой из них. Дальнейшие действия будут зависеть от того, как настроен ваш сервер и как вы переносите сайт. Например, вы можете сохранить сопоставления в базе данных или настроить правила переопределения URL-адресов.

Обновите все URL

После сопоставления выполните перечисленные ниже действия, чтобы завершить подготовку конечных URL к переносу сайта.

  1. Обновите аннотации с указанием новых URL в HTML или записи в файлах Sitemap для каждой страницы:
    1. На каждой целевой странице должен быть тег rel="canonical" <link>, содержащий URL самой страницы.
    2. Если на перемещаемом сайте есть многоязычные страницы с аннотациями rel-alternate-hreflang, не забудьте обновить URL в этих аннотациях.
    3. Если у перемещаемого сайта есть версия для мобильных устройств, обновите аннотации rel-alternate-media с указанием новых URL. Подробнее о разных URL…
  2. Обновите внутренние ссылки.
    Измените URL во внутренних ссылках на новом сайте. Чтобы делать это было удобнее, можете использовать созданные ранее сопоставленные списки.
  3. Сохраните следующее:
    • Файл Sitemap, содержащий новые URL в сопоставлении. С информацией о создании файла Sitemap можно ознакомиться в нашей документации.
    • Список сайтов, содержащих ссылки на ваши старые URL. Ссылки на свой сайт вы можете найти в Search Console.

Подготовьте переадресацию 301

После сопоставления URL и подготовки нового сайта необходимо настроить на сервере переадресацию HTTP 301 со старых URL на новые.

На что следует обратить внимание:

  • Используйте переадресацию HTTP 301. Хотя робот Googlebot поддерживает несколько видов переадресации, рекомендуется по возможности использовать HTTP 301.
  • Избегайте цепочек переадресации. Хотя робот Googlebot способен обработать до 10 переходов в цепочке переадресаций (например, страница 1 > страница 2 > страница 3), мы советуем перенаправлять пользователей непосредственно на конечный URL. Если это невозможно, сведите количество переходов в цепочке к минимуму. Пусть их будет максимум четыре, а лучше три или два. Длинные цепочки переадресации замедляют загрузку страниц и поддерживаются не всеми агентами пользователя или браузерами.
  • Проверьте каждую переадресацию. Для обработки отдельных страниц можно использовать инструмент проверки URL, а если веб-адресов много – инструменты командной строки или скрипты.

Начните перенос

После сопоставления URL и настройки корректной переадресации можно начать перенос сайта.

  1. Решите, как вам удобнее переносить страницы, – все сразу или по частям:
    • Если у вас сайт небольшого или среднего размера, мы рекомендуем перенести сразу все URL. Это облегчит пользователям взаимодействие с сайтом, а также поможет алгоритмам Google определить, что состоялся перенос, и быстрее обновить индекс.
    • Если у вас крупный сайт, можете переносить его по частям. Так вам будет проще выявлять и устранять неполадки.
  2. Обновите файлы robots.txt:
    • На старом сайте удалите все директивы robots.txt. Это позволит роботу Googlebot обнаружить все переадресации на новый сайт и внести изменения в индекс. Помните, что как только вы выполните перенаправление, содержимое прежних файлов robots.txt будет недоступно поисковым роботам.
    • На новом сайте сделайте так, чтобы в файле robots.txt не блокировалось сканирование никаких объектов, в том числе изображений, таблиц CSS и кода JavaScript. Исключение – URL, которые вы точно не хотите сканировать.
  3. Настройте переадресацию пользователей и робота Googlebot с исходного сайта на новый на основе сопоставленных списков URL.
  4. Отправьте запрос на изменение адреса прежнего сайта в Search Console.

  5. Не отменяйте переадресацию как можно дольше, по крайней мере год. За этот срок Google сможет связать все сигналы с новыми URL, выполнит повторное сканирование и переназначение ссылок на других сайтах, которые указывают на ваши старые URL.

    Для удобства пользователей советуем сохранить перенаправление. Помните, что при переадресации страницы загружаются дольше, поэтому рекомендуется задать настройки так, чтобы ваши собственные ссылки и ссылки с популярных сторонних сайтов указывали на обновленные URL.

  6. Отправьте новый файл Sitemap в Search Console. Это поможет Google узнать о существовании новых URL. На данном этапе вы сможете удалить прежний файл Sitemap, поскольку в будущем Google будет использовать новый файл.

Время, необходимое роботу Googlebot и нашим системам для обнаружения и обработки всех URL при переносе сайта, зависит от скорости ваших серверов и количества URL. Как правило, большинство страниц сайта среднего размера обрабатывается за несколько недель. Перенос крупного сайта занимает больше времени. Скорость, с которой робот Googlebot и наши системы обнаруживают и обрабатывают перемещенные URL, зависит от скорости серверов и количества URL.

Чтобы пользователям было по-прежнему удобно работать с ресурсом, а нагрузка на сервер не оказалась чрезмерной, сразу после начала переноса сайта постарайтесь обновить все ведущие на него ссылки, в том числе:

  • Внешние ссылки. Попросите владельцев других сайтов обновить ссылки на ваш контент. В первую очередь сосредоточьтесь на ссылках с большим количеством переходов.
  • Ссылки в профилях, например в Facebook, LinkedIn и Твиттере.
  • Рекламные ссылки (они должны указывать на новые целевые страницы).

Отслеживайте трафик

После начала переноса следите за тем, как изменяется трафик поисковых роботов и пользователей на новом сайте и на старом. Желательно, чтобы на новом сайте трафик рос, а на старом – уменьшался. Отслеживать действия роботов и посетителей на сайте можно с помощью Search Console и других инструментов.

Отслеживайте трафик с помощью Search Console

В Search Console есть много функций, которые позволяют следить за тем, как выполняется перенос сайта:

  • Файлы Sitemap. Отправьте нам два таких файла, ранее сохраненных при сопоставлении URL. Первоначально в файле Sitemap с новыми URL нет проиндексированных страниц, тогда как в файле Sitemap со старыми URL таких страниц много. По мере индексации новых URL число проиндексированных страниц из файла Sitemap со старыми URL упадет до нуля.
  • Отчет об индексировании. Перенос сайта отражается на диаграммах. Число проиндексированных URL на прежнем сайте упадет, а на новом – увеличится. Регулярно проверяйте, не возникло ли непредвиденных ошибок сканирования.
  • Поисковые запросы. По мере того как страницы нового сайта будут индексироваться и оцениваться системой PageRank, в отчетах по поисковым запросам станут появляться новые URL с указанием количества показов и кликов в результатах поиска.

Используйте другие инструменты для отслеживания трафика

Периодически просматривайте журналы обращений к серверам и ошибок, проверяйте результаты сканирования страниц роботом Googlebot, выявляйте URL, которые необоснованно выводят коды ошибок HTTP, и отслеживайте обычный пользовательский трафик.

Если вы установили на сайте средство веб-аналитики или если аналитику выполняет ваша система управления контентом, рекомендуем дополнительно изучать данные, полученные таким способом. Это позволит вам отмечать, как идет переориентация трафика на новый сайт. В частности, вы можете использовать сервис "Google Аналитика". В нем доступны отчеты в режиме реального времени, а это особенно важно на начальном этапе переноса сайта. Вы должны быть готовы к тому, что трафик прежнего сайта уменьшится, а нового – увеличится.

Устранение неполадок при переносе сайта

Ниже перечислены некоторые распространенные ошибки при переносе сайта с изменением URL (включая смену протокола с HTTP на HTTPS). Из-за этих ошибок могут возникнуть проблемы с индексированием вашего нового сайта.

Распространенные ошибки

Директива noindex и блокировка доступа через robots.txt

Не забудьте удалить директивы noindex и убрать блокировку в файле robots.txt, если они были нужны только на время переноса.

На сайте может не быть файла robots.txt, но необходимо должным образом настроить отправку кода ошибки 404, если запрашивается отсутствующий файл robots.txt.

Инструкции:

  • Проверьте, не нужно ли что-то изменить в файле robots.txt на вашем сайте HTTPS.
  • Если определенных страниц нового сайта нет в результатах поиска Google, воспользуйтесь инструментом проверки URL.

Неправильная переадресация

Проверьте настройки переадресации со старого сайта на новый. Возможно, вы неверно указали URL.

Другие ошибки сканирования

Изучите отчет об индексировании вашего нового сайта на предмет резкого роста числа ошибок во время переноса.

Недостаточный объем ресурсов

После переноса Google станет чаще сканировать страницы вашего нового сайта. Причина в том, что ваш сервер будет перенаправлять со старого сайта на новый весь трафик, включая обращения нашего робота. Убедитесь, что у вашего сайта достаточно ресурсов, чтобы обрабатывать увеличенный объем трафика от Google.

Если вы используете ссылки, предназначенные для открытия веб-страниц в приложении, обновите их, прежде чем настраивать переадресацию. В противном случае Google Поиск не будет предлагать открыть страницу в приложении. Вместо этого пользователи будут перенаправляться на сайт в браузере.

Устаревшие файлы Sitemap

Проверьте, правильно ли указаны URL в файлах Sitemap.

Устаревшая информация Маркера

Если вы использовали Маркер для разметки старых страниц, вам нужно разметить так же и новые.