Снижение частоты сканирования сайта роботом Googlebot

Иногда сканирование вашего сайта роботами Google может вызвать чрезмерную нагрузку на инфраструктуру или даже перебои в работе. Мы стараемся не допускать этого и используем сложные алгоритмы, которые помогают определять, сколько страниц можно обрабатывать, не оказывая излишней нагрузки на сервер. Однако вы можете самостоятельно сократить количество запросов, выполняемых нашими роботами.

Если вы считаете, что эта мера принесет пользу вашему сайту, то можете сделать следующее:

Как уменьшить частоту сканирования в настройках Search Console (рекомендуется)

Вы можете непосредственно в интерфейсе Search Console сообщить роботу Googlebot о том, что ваш сайт нужно сканировать реже. Обычно подобные изменения вступают в силу в течение нескольких дней. Прежде чем сделать это, необходимо подтвердить право собственности на сайт. Не выбирайте частоту сканирования, которая будет слишком низкой для вашего сайта. Подробнее о том, как действия, выполняемые роботом Googlebot, зависят от лимита на сканирование

Как разрешить Google уменьшать частоту сканирования автоматически

Если вам нужно срочно снизить частоту сканирования на небольшой период времени (например, на несколько часов или дней), показывайте вместо контента информационную страницу с кодом статуса 500, 503 или 429. Если на сайте много URL, которые возвращают такие коды (такое случается, например, если вы полностью отключили сайт), робот Googlebot будет сканировать ваш ресурс реже. Новая частота сканирования будет действовать как для URL с указанными выше кодами ошибок, так и для всего сайта. Если количество этих ошибок сократится, частота сканирования автоматически начнет увеличиваться.