Среда, 11 ноября 2026 г.
Сеть доставки контента (CDN) распределяет ресурсы сайта по быстрым, глобально распределенным пограничным серверам, расположенным ближе к пользователям. Это может стать важным обновлением для любого растущего сайта: снижается задержка для посетителей и защищается сервер-источник (внутренний источник, содержащий исходный контент) от интенсивного трафика.
Звучит идеально, правда? Ну… Переходный этап может быть немного странным.
Иногда владельцы сайтов сообщают нам, что сразу после подключения CDN трафик от поисковых роботов на их серверы резко возрастает, хотя они пытались добиться противоположного результата. Пока кеш на этих серверах не заполнен, запросы от пользователей и поисковых роботов по-прежнему будут направляться непосредственно на исходный сервер.
При переходе на CDN полезно изучить, как работает лимит на сканирование и как снизить частоту сканирования Google в экстренных случаях. В этой записи блога мы расскажем, чего ожидать от такого перехода и с какими трудностями вы можете столкнуться. Мы также подготовили для вас пятый выпуск видеосерии The Non-Canonical Cabinet, в котором рассказываем о переходе. Если вы когда-либо переходили на CDN и задавались вопросом о новом трафике или если вы хотите избежать случайного удаления своего сайта из Поиска, эта статья для вас.
Так почему же сканируется все везде и сразу?
При переходе на CDN трафик поисковых роботов может резко возрасти из-за того, как инфраструктура сканирования Google рассчитывает скорость сканирования вашего сайта (также известную как нагрузка на хост):
- Если сервер отвечает все медленнее, частота сканирования снижается. Автоматизированная инфраструктура сканирования Google постоянно отслеживает работоспособность и скорость ответа вашего хост-сервера. Если время ответа увеличивается, наши поисковые роботы замедляют работу, чтобы не перегружать сервер и не ухудшать работу сайта для пользователей.
- Быстрые и стабильные ответы ускоряют сканирование. Если сервер отвечает быстро и стабильно, наши системы интерпретируют эту скорость как признак исправной и мощной инфраструктуры. Если потребность в сканировании высока, то скорость сканирования постепенно увеличивается.
Как только DNS начнет указывать на быструю пограничную сеть CDN, время подключения и ответа значительно сократится. Нашим системам сканирования кажется, что вы значительно улучшили аппаратное обеспечение сервера, поэтому наши поисковые роботы начинают увеличивать частоту запросов, чтобы соответствовать этому.
Проблема. Нет совпадения в кеше на пограничных серверах.
Более высокая частота сканирования не была бы проблемой, если бы CDN поглощала все эти запросы на границе. Однако новая сеть CDN начинает работу с пустым кешем.
При первом запросе URL на пограничном сервере у CDN ещё нет копии ресурса (HTML-документов, CSS, JavaScript, изображений и т. д.). Это называется нет совпадения в кеше. Чтобы выполнить запрос, пограничный сервер должен обратиться к серверу-источнику, получить ответ, сохранить копию для кеширования и затем передать ее клиенту. Только последующие запросы к тому же кешированному URL будут считаться совпадениями в кеше и обрабатываться непосредственно на периферии без обращения к источнику. (В нашем видео пограничный сервер был представлен резиновой курицей, бегающей туда-сюда к стопке стикеров. Сетевые диаграммы субъективны.)
По сути, реальным узким местом при запуске CDN по-прежнему является сервер-источник.
Посетители обычно просматривают относительно небольшой набор популярных страниц (главную страницу, популярные статьи или текущие промоакции), которые быстро загружаются в кеш CDN. Поисковые роботы делают прямо противоположное. Их задача — систематически сканировать все URL вашего сайта.
Теперь объедините эти два поведения:
- Быстрые ответы от пограничных серверов сигнализируют поисковым роботам Google, что можно сканировать быстрее.
- Когда поисковые роботы впервые обрабатывают большое количество URL, каждый некешированный URL вызывает ошибку кеша, которая передается непосредственно на сервер-источник.
Поисковые роботы не увеличивают частоту сканирования сразу, а многие сети доставки контента имеют встроенные механизмы регулирования скорости подключения, которые помогают сгладить всплески трафика. Однако пока пограничные кеши не заполнены, CDN не может защитить сервер-источник от высокой нагрузки.
Ты не пройдешь! Когда защита от ботов заходит слишком далеко
Неожиданный всплеск автоматических запросов в журналах сервера-источника сразу после переноса может вызвать у администраторов беспокойство, если они не понимают, почему это происходит. Когда кеш прогревается, на графиках запросов могут появляться пики. В таких случаях у вас может возникнуть желание войти в панель управления CDN и включить общую защиту от роботов. Как говорит Черри, "Боты не пройдут!"
Проблема с общими правилами безопасности заключается в том, что они не предусматривают исключений и одинаково обрабатывают весь автоматизированный трафик, в том числе трафик от поисковых роботов, которые вам нужны. Когда CDN или брандмауэр для веб-приложений (WAF) помечает автоматические запросы и перехватывает их с помощью проверки, например CAPTCHA, поисковые роботы Google не проходят проверку. (У робота Googlebot много талантов, но распознавать светофоры и куриц он не умеет. Иногда даже Гэри не может их решить.)
Если вы не добавите проверенных поисковых роботов в список исключений, они будут попадать на страницу ошибки, которая не содержит полезной информации для Поиска и других продуктов, использующих данные сканирования. Похоже, что доступ к вашему сайту намеренно ограничен или он не работает. Если вы не сделаете этого, наши поисковые роботы перестанут сканировать ваш сайт, а ваши страницы, предложения товаров и фотографии кур начнут исчезать из результатов поиска.
Как настроить CDN (не перегружая источник)
Вам не нужно нанимать пожарного инспектора, чтобы развернуть CDN. Нужно иметь правильные ожидания и план действий, например:
- Если вам нужно заблокировать ботов, разрешите проверенных ботов в настройках CDN и брандмауэра. Большинство крупных CDN и WAF предлагают встроенный переключатель или управляемое правило, позволяющее разрешить известных/проверенных ботов, давая возможность предпочитаемым вами поисковым роботам обходить проверки CAPTCHA и при этом фильтровать нежелательный трафик (вы можете идентифицировать наших поисковых роботов по опубликованным диапазонам IP-адресов Google). Ещё лучше настроить файл robots.txt или использовать правила, чтобы блокировать только нежелательных роботов, а не всех автоматизированных клиентов.
- Прогрейте кеш, прежде чем открывать шлюзы. Прежде чем направлять весь трафик через новую CDN, программно получите страницы с самым высоким трафиком, страницы, на которых ожидается пиковый трафик (например, страницы рекламных акций или сезонных запусков), и наиболее часто сканируемые URL через CDN в контролируемом темпе, чтобы пограничные кеши были готовы к обслуживанию трафика. Или, если у вас, в отличие от Гэри, есть друзья, попросите их перейти по двум разным URL. Это тоже сработает.
-
Если вам нужен временный перерыв, используйте
429или503. Если объем сканирования по-прежнему создает критическую нагрузку на источник, пока кеши прогреваются, настройте сервер или правила ограничения частоты запросов CDN так, чтобы в течение короткого периода (несколько часов или максимум 1–2 дня) возвращался код статуса HTTP429 (Too Many Requests)или503 (Service Unavailable), как описано в нашем руководстве по срочному снижению частоты сканирования Google.
Краткое изложение (кто помещает TL;DR в конец?!)
Прежде чем обмотать серверный шкаф кабелем Ethernet и закончить на этом, запомните три вещи, которые нужно сделать при переходе на CDN:
- Быстрые ответы ускоряют сканирование. Низкая задержка на границе CDN сигнализирует поисковым роботам Google, что ваш сайт работает нормально и может обрабатывать более высокую частоту сканирования.
- Кеширование защищает только при повторном посещении. При холодном кеше первый запрос для каждого уникального URL — это промах кеша, который направляется непосредственно на исходный сервер. По возможности предварительно прогревайте кеш.
-
При необходимости добавьте подтвержденных поисковых роботов в исключения. Не допускайте, чтобы общие правила WAF или CAPTCHA блокировали поисковых роботов Google с помощью страниц с кодом
403или проверочных страниц. Добавьте подтвержденных роботов в исключения и используйте временные ответы429или503, если вашему серверу действительно нужна передышка.
Вам скучно? Посмотрите серию!
Посмотрите последнюю серию первого сезона (серия 5) The Non-Canonical Cabinet. Мы объясняем архитектуру сети, используя пластиковую строительную каску, дымящуюся картотеку и резиновую курицу в качестве пограничного сервера. Мы уверены, что ничего из этого не было в наших первоначальных должностных инструкциях.
Хотите посмотреть весь первый сезон? Мы попытались нарушить работу URL и файла robots.txt. Мы обсудили 404 и переадресацию.
Посмотрите все пять серий.
Недостаток куриц вам не грозит.
У вас есть странный пограничный случай, который нужно достать из (слегка поджаренного) шкафа в следующем сезоне (бюджет неизвестен)? Оставьте комментарий к видео.
Держите кеши в тепле, брандмауэры в порядке, а резиновых куриц в пузырчатой пленке!