Как перенести сайт

Из этой статьи вы узнаете, как изменить URL страниц вашего сайта, чтобы свести к минимуму негативные последствия для его позиции в результатах поиска Google. В частности, речь идет о следующих вариантах переноса сайта:

• изменение URL с HTTP на HTTPS;
• изменение доменного имени, например с example.com на example.net, или объединение нескольких доменов или имен хостов;
• изменение путей URL, например с example.com/page.php?id=1 на example.com/widget или с example.com/page.html на example.com/page.htm.

Чтобы перенести сайт без изменения URL, например при внесении изменений в инфраструктуру сайта (такая ситуация возможна при смене хостинг-провайдера), следуйте инструкциям в этой статье.

Обзор

1. Общие рекомендации по переносу сайтов. Изучите, как перенос повлияет на пользователей вашего сайта и его положение в результатах поиска. Если вы переходите с HTTP на HTTPS, ознакомьтесь с этими рекомендациями.
2. Подготовьте новый сайт и тщательно его протестируйте.
3. Сопоставьте старые URL с новыми.
4. Запустите перенос сайта, настроив сервер для переадресации со старых URL на новые.
5. Отслеживайте трафик как старых, так и новых URL.

Общие рекомендации по переносу сайтов

• Разбейте процесс переноса на несколько этапов, подходящих для вашего сайта.
  Если у вас большой сайт и если у вас есть техническая возможность, рекомендуем сначала перенести небольшую часть сайта, чтобы проверить, как это отразится на трафике и индексировании в Google Поиске. После этого перенесите оставшиеся страницы полностью или по частям. Для первого переноса выберите страницы, контент которых редко меняется и не зависит от частых или непредсказуемых событий. Помните: результаты переноса отдельных страниц не всегда совпадают с последствиями переноса всего сайта. Чем больше страниц вы перенесете, тем выше вероятность, что возникнут новые проблемы, требующие решения. Тщательно планируйте перенос, чтобы уменьшить число неполадок.
• Вносите изменения постепенно.
  Составьте поэтапный план внесения изменений на сайт. Например, если вы хотите перенести сайт на новый домен, изменить систему управления контентом и оформление сайта, делайте это поэтапно: сначала перенесите сайт на новый домен, а затем меняйте его оформление.
• Выполняйте перенос, когда посетителей немного.
  Если трафик вашего сайта зависит от сезона или дня недели, то перенос стоит проводить во время минимального трафика. В этом случае неудобства испытает меньше людей, а робот Googlebot получит больше серверных ресурсов для сканирования вашего сайта.
• Помните о том, что при переносе сайта может меняться его положение в результатах поиска.
  Это связано с тем, что робот Googlebot выполняет сканирование и индексирование страниц заново. Как правило, полное индексирование сайта среднего размера занимает несколько недель. Чем больше сайт, тем продолжительнее этот период. Скорость, с которой робот Googlebot и наши системы обнаруживают и обрабатывают перемещенные URL, во многом зависит от скорости ваших серверов и количества URL. Чтобы ускорить эту процедуру, можно отправить нам файл Sitemap и переносить сайт по частям.
• Не переживайте о снижении ценности ссылок.
  Переадресации 301, 302 и другие переадресации на стороне сервера не приводят к ухудшению оценки в системе PageRank.
• Пользуйтесь Search Console.
  Search Console – полезный инструмент, в том числе при переносе сайта. Выберите нужный ресурс в Search Console и откройте отчет об индексировании, в котором приводится общая статистика. Чтобы узнать, сколько страниц из перечисленных в файлах Sitemap было проиндексировано, воспользуйтесь специальным отчетом.
• Проявите терпение, перенос сайта займет какое-то время.
  Этот процесс завершится, когда робот Googlebot посетит каждую страницу вашего старого и нового сайта как минимум один раз. Точный срок назвать невозможно, поскольку он зависит от размера сайта и скорости сканирования. URL сайта переносятся поочередно.

Подготовьте новый сайт

Процедура подготовки сайта может быть разной в зависимости от его содержания и структуры, однако обычно она включает следующие этапы:

• Настройка системы управления контентом (CMS) (рекомендуется использовать ту же CMS, что и на старом сайте) и импорт контента со старого сайта.
• Перенос изображений и файлов для скачивания (например, PDF-документов) с прежнего сайта.
  Возможно, они уже привлекают трафик из Google Поиска или со страниц, содержащих ссылки на ваш сайт. По этой причине мы рекомендуем уведомить пользователей и робота Googlebot о новом расположении таких файлов.
• При переходе на протокол HTTPS – получение и настройка необходимых сертификатов TLS на сервере.

• Подготовка файла robots.txt для нового сайта. Правила, указанные в этом файле, должны точно отражать, какие страницы сайта должны быть недоступны для сканирования.

  Обратите внимание, что некоторые владельцы сайтов полностью блокируют сканирование сайта на время его разработки. Если вы хотите поступить так же, обязательно подготовьте файл robots.txt до переноса сайта. А если на этапе создания сайта вы используете правило noindex, подготовьте список URL страниц, с которых потом нужно будет удалить это правило.

• Подготовка кодов ответов сервера для удаленных или объединенных страниц, если не весь контент с прежнего сайта переносится на новый. Убедитесь, что при запросе этих URL сервер возвращает код ошибки HTTP 404 или 410.

• Проверка корректности настроек Search Console. Этот инструмент может оказаться полезным при переносе сайта.

  Если вы ещё не подтвердили право собственности на старый и новый сайт в Search Console, сделайте это для всех версий обоих сайтов. Например, нужно подтвердить право собственности одновременно на www.example.com и example.com, а также на версии сайта с протоколом HTTP и HTTPS, у вас есть страницы HTTPS.

  • Проверка прав на сайт в Search Console

    Проследите, чтобы право собственности на сайт после его переноса осталось подтвержденным в Search Console. Если вы подтверждали свои права другим способом, имейте в виду, что при изменении URL токены подтверждения могут также измениться.

    Если для подтверждения вы используете файл HTML, убедитесь, что в новую копию сайта включена текущая версия этого файла.

    Если вы использовали метатег или код Google Аналитики, добавьте его и в новую версию сайта в системе управления контентом.

  • Проверка в Search Console всех настроек, которые были заданы для старого сайта, и внесение соответствующих изменений в настройки нового сайта. Пример:

    • Частота сканирования. Разрешите роботу Googlebot определять частоту сканирования как старого, так и нового сайта.
    • Отклоненные обратные ссылки. Если для прежнего сайта вы загрузили файл со списком ссылок, которые нужно отклонить, рекомендуем сделать это снова в аккаунте Search Console, связанном с новым сайтом.

  • Устранение проблем в недавно приобретенном домене. Убедитесь, что от предыдущего владельца домена не осталось нерешенных проблем. Проверьте следующее:

    • Меры, принятые вручную. Возможно, из домена раньше распространялся спам. Если к новому сайту применяются меры, принятые вручную, устраните проблемы, которые привели к этой ситуации, и запросите повторную проверку.
    • Удаленные URL. Проверьте, не осталось ли после предыдущего владельца запросов на удаление URL, особенно в масштабе всего сайта.

• Использование средств веб-аналитики. Во время переноса важно анализировать данные об использовании как прежнего, так и нового сайта. Как правило, конфигурация с применением веб-аналитики подразумевает добавление на ваши страницы кода JavaScript. Параметры отслеживания показателей различных сайтов зависят от используемого средства и его настроек, связанных с ведением журналов, обработкой данных и фильтрацией. При необходимости обратитесь за помощью к поставщику средства аналитики. Если вы собирались изменить настройки аналитики, то перенос сайта – подходящий момент. Если вы используете Google Аналитику и хотите четко разделить отчеты по двум сайтам, создайте в сервисе новый профиль.

• Вычислительные мощности сервера. В течение какого-то времени после переноса сайта Google будет сканировать новый сайт более интенсивно. Это связано с тем, что ваш сервер будет перенаправлять со старого сайта на новый весь трафик, включая обращения нашего робота. Убедитесь, что у вашего нового сайта достаточно ресурсов, чтобы обрабатывать возросший объем трафика от Google. Если ваш сайт очень большой, обратитесь к хостинг-провайдерам и сообщите им, что вы планируете перенос сайта.

Сопоставьте старые URL с новыми

Важно сопоставить URL прежнего и нового сайта. В этом разделе описываются основные подходы к анализу и сопоставлению URL на двух сайтах. Особенности процедуры зависят от инфраструктуры сайта и способа его переноса.

Подготовьте список прежних URL

В самом простом случае переноса сайта вам вряд ли понадобится список прежних URL. Если вы меняете только домен сайта, например переходите с example.com на example.net, можно использовать серверную переадресацию с применением подстановочных знаков.

В более сложных случаях необходимо создавать список прежних URL и сопоставлять их с новыми. Способ создания этого списка зависит от конфигурации текущего сайта, однако существуют рекомендации, которые помогут вам решить эту задачу:

• Начните с важных URL. Как их найти:
  • Проверьте свои файлы Sitemap, поскольку с их помощью в Search Console обычно отправляются самые важные URL.
  • По журналам серверов или с помощью средства аналитики определите, на какие URL приходится больше всего трафика.
  • Найдите в разделе Ссылки на ваш сайт в Search Console те страницы, на которые ведут внутренние и внешние ссылки.
• Воспользуйтесь своей системой управления контентом для получения списка всех URL, по которым доступны какие-либо материалы.
• Найдите в журналах серверов URL, по которым недавно хотя бы один раз переходили пользователи. Выберите актуальный для вашего сайта период времени с учетом сезонных колебаний трафика.
• Примите во внимание изображения и видео. При планировании переноса сайта не забывайте о URL такого контента, как видео, изображения, код JavaScript и файлы CSS. Этот контент тоже необходимо переместить на новый сайт.

Сопоставьте старые URL с новыми

Получив список старых страниц, определите, на какие URL нужно перенаправлять пользователей с каждой из них. Дальнейшие действия будут зависеть от того, как настроен ваш сервер и как вы переносите сайт. Например, вы можете сохранить сопоставления в базе данных или настроить правила переопределения URL-адресов.

Обновите все сведения о URL в новой версии сайта

После сопоставления выполните перечисленные ниже действия, чтобы завершить подготовку конечных URL к предстоящему трафику.

1. Обновите аннотации с указанием новых URL в HTML или записи в файлах Sitemap для каждой страницы:
   1. На каждой новой странице должен быть тег rel="canonical" <link>, содержащий URL самой страницы.
   2. Если на перемещаемом сайте есть многоязычные страницы с аннотациями rel-alternate-hreflang, не забудьте обновить URL в этих аннотациях.
2. Обновите внутренние ссылки.
   Измените URL во внутренних ссылках на новом сайте. Чтобы делать это было удобнее, можете использовать созданные ранее списки сопоставления.
3. Сохраните следующее:
   
   • Файл Sitemap, содержащий новые URL в сопоставлении. С информацией о создании файла Sitemap можно ознакомиться в нашей документации.
   • Список сайтов, содержащих ссылки на ваши старые URL. Ссылки на свой сайт вы можете найти в Search Console.

Разработайте стратегию переадресации

После сопоставления URL и подготовки нового сайта необходимо разработать стратегию переадресации. Рекомендуем настроить постоянную переадресацию на стороне сервера со старых URL на новые в соответствии со списком сопоставления. Проконсультируйтесь с администратором сервера (или хостинг-провайдером) о том, какой тип переадресации на стороне сервера возможен в вашем случае. Это могут быть правила переадресации в ваших файлах .htaccess, если на сервере используется HTTP-сервер Apache, или функции переадресации в вашей системе управления контентом.

Если настроить переадресацию на стороне сервера невозможно, то в качестве крайней меры можно настроить переадресацию на стороне клиента.

Решите, как вам удобнее переносить страницы, – все сразу или по частям:

• Если у вас сайт небольшого или среднего размера, мы рекомендуем перенести сразу все URL. Это облегчит пользователям взаимодействие с сайтом, а также поможет алгоритмам Google определить, что состоялся перенос, и быстрее обновить индекс.
• Если у вас крупный сайт, можете переносить его по частям. Так вам будет проще выявлять и устранять неполадки.

На что следует обратить внимание:

• По возможности используйте постоянную переадресацию на стороне сервера. Хотя робот Googlebot поддерживает несколько видов переадресации, рекомендуем использовать постоянные переадресации HTTP 301 и 308.
• Избегайте цепочек переадресации. Хотя робот Googlebot способен обработать до 10 переходов в цепочке переадресаций (например, страница 1 > страница 2 > страница 3), мы советуем перенаправлять пользователей непосредственно на конечный URL. Если это невозможно, сведите количество переходов в цепочке к минимуму. Пусть их будет не больше четырех, а лучше три или два. Длинные цепочки переадресации замедляют загрузку страниц и поддерживаются не всеми агентами пользователя или браузерами.

Начните перенос

После сопоставления URL и составления плана переадресации вы можете приступить к переносу сайта.

1. Внедрите или включите перенаправления. В зависимости от выбранной вами стратегии переадресации вы можете либо обновить файлы конфигурации сервера, либо обновить систему управления контентом путем добавления собственного кода.
   Избегайте переадресации на страницы, не имеющие отношения к исходным.

   Мы не рекомендуем настраивать переадресацию с нескольких старых URL на одну страницу, контент которой не имеет к ним отношения, например на главную страницу нового сайта. Это может вводить пользователей в заблуждение и рассматриваться как ошибка soft 404. В то же время переадресация с нескольких URL на одну страницу приемлема, если вы объединили на ней материалы с прежних страниц.

2. Проверьте аннотации link с атрибутом rel="canonical" и правила robots meta rules. Когда переадресации станут активными, убедитесь, что в аннотациях link с атрибутом rel="canonical" на новом сайте используются новые URL. Кроме того, если вы добавили на новый сайт правила noindex robots meta, чтобы не допустить преждевременного индексирования новых URL, обновите их.
3. Проверьте каждую переадресацию. Для тестирования нескольких страниц можно использовать инструмент проверки URL, а если страниц очень много – инструменты командной строки или скрипты.
4. Отправьте запрос на изменение адреса прежнего сайта в Search Console.
   При переходе с HTTP на HTTPS не требуется использовать инструмент Изменение адреса.

5. Не отменяйте переадресацию как можно дольше, по крайней мере год. За этот срок Google сможет связать все сигналы с новыми URL, выполнит повторное сканирование и переназначение ссылок на других сайтах, которые указывают на ваши старые URL.

   Для удобства пользователей советуем сохранить перенаправление. Помните, что при переадресации страницы загружаются дольше, поэтому рекомендуется задать настройки так, чтобы ваши собственные ссылки и ссылки с популярных сторонних сайтов указывали на обновленные URL.

6. Отправьте новый файл Sitemap в Search Console. Это поможет Google узнать о существовании новых URL. На данном этапе вы сможете удалить прежний файл Sitemap, поскольку в будущем Google будет использовать новый файл.

Время, необходимое роботу Googlebot и нашим системам для обнаружения и обработки всех URL при переносе сайта, зависит от скорости ваших серверов и количества URL. Как правило, большинство страниц сайта от небольшого до среднего размера обрабатывается за несколько недель. Перенос крупного сайта занимает больше времени. Скорость, с которой робот Googlebot и наши системы обнаруживают и обрабатывают перемещенные URL, зависит от скорости серверов и количества URL.

Обратите внимание, что позиции ваших страниц в Google Поиске при переносе могут быть нестабильными. Это нормально и со временем прекратится.

Обновите ссылки

Чтобы пользователям было по-прежнему удобно работать с ресурсом, а нагрузка на сервер не оказалась чрезмерной, сразу после начала переноса сайта постарайтесь обновить как можно больше ссылок. Некоторые из них описаны ниже.

• Внутренние ссылки. Опираясь на ранее созданное вами сопоставление URL, замените все URL, которые указывают на страницы вашего сайта.
• Внешние ссылки. Попросите владельцев других сайтов обновить ссылки на ваш контент. В первую очередь сосредоточьтесь на ссылках с большим количеством переходов.
• Ссылки в профилях, например в Facebook, LinkedIn и Твиттере.
• Рекламные ссылки (они должны указывать на новые целевые страницы).

Отслеживайте трафик

После начала переноса следите за тем, как изменяется трафик поисковых роботов и пользователей на новом сайте и на старом. Желательно, чтобы на новом сайте трафик рос, а на старом – уменьшался. Отслеживать действия роботов и посетителей на сайте можно с помощью Search Console и других инструментов.

Отслеживайте трафик с помощью Search Console

В Search Console есть много функций, которые позволяют следить за тем, как выполняется перенос сайта:

• Файлы Sitemap. Отправьте нам два таких файла, ранее сохраненных при сопоставлении URL. Первоначально в файле Sitemap с новыми URL нет проиндексированных страниц, тогда как в файле Sitemap со старыми URL таких страниц много. По мере индексирования новых URL число проиндексированных страниц из файла Sitemap со старыми URL упадет до нуля. Помните, что в Search Console могут появляться предупреждения относительно переадресации старых URL в файлах Sitemap. Это нормально, и вы можете игнорировать эти предупреждения, поскольку вы фактически осуществляете переход на новые URL.
• Отчет об индексировании. Перенос сайта отражается на диаграммах. Число проиндексированных URL на прежнем сайте упадет, а на новом – увеличится. Регулярно проверяйте, не возникло ли непредвиденных ошибок сканирования.
• Поисковые запросы. По мере того как страницы нового сайта будут индексироваться и оцениваться системой PageRank, в отчетах по поисковым запросам станут появляться новые URL с указанием количества показов и кликов в результатах поиска.

Используйте другие инструменты для отслеживания трафика

Периодически просматривайте журналы обращений к серверам и ошибок, проверяйте результаты сканирования страниц роботом Googlebot, выявляйте URL, которые необоснованно выводят коды ошибок HTTP, и отслеживайте обычный пользовательский трафик.

Если вы установили на сайте средство веб-аналитики или если аналитику выполняет ваша система управления контентом, рекомендуем дополнительно изучать данные, полученные таким способом. Это позволит вам отмечать, как идет переориентация трафика на новый сайт. В частности, вы можете использовать сервис "Google Аналитика". В нем доступны отчеты в режиме реального времени, а это особенно важно на начальном этапе переноса сайта. Вы должны быть готовы к тому, что трафик прежнего сайта уменьшится, а нового – увеличится.

Дополнительные ресурсы

Перенос сайта может представлять собой весьма сложный процесс, поэтому следует учесть множество факторов, прежде чем приступить к его осуществлению. В этой связи мы рекомендуем ознакомиться с контрольными списками Алейды Солис по переносу сайта, а также с инструкцией по использованию инструмента Screaming Frog.

Если на каком-то этапе у вас возникла проблема, которую вы не можете устранить, попробуйте найти решение в Центре Google Поиска.
Смотрите полезные рекомендации в нашем Справочном центре, а также ответы на вопросы на справочных форумах. Если найти ответ не удалось, вы можете пообщаться с нашими специалистами по Google Поиску во время видеовстреч.

Устранение неполадок при переносе сайта

Ниже перечислены некоторые распространенные ошибки при переносе сайта с изменением URL (включая смену протокола с HTTP на HTTPS). Из-за этих ошибок могут возникнуть проблемы с индексированием вашего нового сайта.

Распространенные ошибки
Директива noindex и блокировка доступа через robots.txt	Не забудьте удалить директивы noindex и убрать блокировку в файле robots.txt, если они были нужны только на время переноса. На сайте может не быть файла robots.txt, но необходимо должным образом настроить отправку кода статуса HTTP 404, если запрашивается отсутствующий файл robots.txt. Инструкции: проверьте, не нужно ли что-то изменить в файле robots.txt на вашем сайте HTTPS; если определенных страниц нового сайта нет в результатах поиска Google, воспользуйтесь инструментом проверки URL.
Неправильная переадресация	Проверьте настройки переадресации со старого сайта на новый. Возможно, вы неверно указали URL. При помощи Search Console вы можете узнать количество ошибок "Не найдено", а при помощи других инструментов, таких как Screaming Frog, вы можете просканировать свой сайт и проверить, правильно ли настроены переадресации.
Другие ошибки сканирования	Изучите отчет об индексировании вашего нового сайта на предмет резкого роста числа ошибок во время переноса.
Недостаточные серверные мощности	После переноса Google станет чаще сканировать страницы вашего нового сайта. Это связано с тем, что ваш сервер будет перенаправлять со старого сайта на новый весь трафик, включая обращения нашего робота. Убедитесь, что у вашего сайта достаточно ресурсов, чтобы обрабатывать увеличенный объем трафика от Google.
Устаревшие файлы Sitemap	Проверьте, правильно ли указаны URL в файлах Sitemap.