Как снизить частоту сканирования сайта роботами Google

Инфраструктура сканирования Google использует сложные алгоритмы, позволяющие определить оптимальную частоту сканирования того или иного сайта. Мы стремимся к тому, чтобы наша система обрабатывала как можно больше страниц на вашем сайте за один сеанс, не оказывая излишней нагрузки на сервер. В некоторых случаях сканирование вашего сайта роботами Google может привести к чрезмерной нагрузке на вашу инфраструктуру или непредвиденным расходам, связанным с перебоями в работе ресурса. Если вы столкнулись с подобными проблемами, попробуйте сократить количество запросов, выполняемых поисковыми роботами Google.

Почему частота сканирования может резко увеличиться

Это быть обусловлено проблемами с сайтом, например непродуманной его структурой. Ниже перечислены некоторые из подобных проблем, о которых нам удалось узнать.

• Неэффективная конфигурация URL на сайте, обычно обусловленная его функционалом. Вот ее примеры:
  • Фасетная навигация или иные функции сортировки и фильтрации.
  • Календарь, содержащий множество URL для тех или иных дат.
• Цели динамических поисковых объявлений.

Мы настоятельно рекомендуем вам обратиться в вашу хостинговую компанию и изучить журналы доступа к серверу, чтобы проанализировать источники трафика и узнать, какие из них могли быть причиной резкого увеличения частоты сканирования. После этого изучите наши руководства по оптимизации эффективности сканирования и управлению сканированием URL фасетной навигации.

Как срочно сократить трафик от поисковых роботов (для экстренных случаев)

Внимание! Если снизить частоту сканирования роботами Google, это будет иметь ряд последствий. В частности, робот Googlebot будет обнаруживать меньше новых страниц для Google Поиска, существующие страницы станут обновляться реже (например, цены и данные о наличии товара могут появляться в результатах поиска Google с запозданием), а удаленные страницы будут дольше оставаться в индексе. Ваши кампании Google Рекламы могут быть отменены или приостановлены, а объявления перестанут показываться.

Чтобы срочно снизить частоту сканирования на небольшой период времени (например, на несколько часов или дней), передавайте в ответ на запросы сканирования код статуса HTTP-ответа 500, 503 или 429, а не 200.

Если на сайте много URL, которые возвращают коды статуса HTTP-ответа 500, 503 или 429 (такое может произойти, если вы полностью отключили сайт), то:

• Частота сканирования снижается для всего имени хоста (например, subdomain.example.com), включая URL, которые возвращают как коды ошибок, так и контент.
• Частота сканирования будет увеличена автоматически, когда количество этих ошибок сократится.

При возврате кода статуса 503 или 429 вы также можете включить HTTP-заголовок Retry-After (как определено в RFC 9110 HTTP Semantics), чтобы указать, когда поисковые роботы Google могут повторить запрос. Для этого можно использовать:

• Задержку в секундах.

  HTTP/1.1 503 Service Unavailable
  Retry-After: 120

• Абсолютную дату и время по UTC.

  HTTP/1.1 503 Service Unavailable
  Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

Внимание! Мы не рекомендуем применять этот вариант дольше двух дней, поскольку при этом могут возникнуть проблемы с показом контента вашего сайта в продуктах Google. Например, если при сборе данных для Google Поиска один и тот же URL возвращает эти коды статуса в течение нескольких дней, то он может быть удален из индекса Google.

Запросы на снижение частоты сканирования (в исключительных случаях)

Если ваша инфраструктура не позволяет возвращать коды ошибок поисковым роботам Google, отправьте нам специальный запрос, чтобы сообщить о проблемах с чрезмерной частотой сканирования и указать ее оптимальное значение для вашего сайта. Обратите внимание, что на обработку и выполнение такого запроса может потребоваться несколько дней, и при этом запросить увеличение частоты сканирования невозможно.