Вторник, 31 марта 2026 г.
Если вы слушали 105-й выпуск подкаста Search Off the Record, то, возможно, слышали, как мы подробно обсуждали тему, которая нам очень близка (и нашим серверам тоже): внутреннее устройство робота Googlebot.
Долгое время название Googlebot ассоциировалось с образом отдельного неутомимого робота, который систематически сканирует интернет. Но на самом деле всё чуть сложнее и намного интереснее. Сегодня мы хотим подробно рассказать о нашей инфраструктуре сканирования, уделив особое внимание тому, что заставляет нас самих поломать голову: ограничениям на размер страниц.
Во-первых, Googlebot – это не одна программа
Сначала давайте разберемся с названием, которое вызывает путаницу. В начале 2000-х годов у Google был только один продукт, поэтому нам требовался только один поисковый робот, и название "Googlebot" прижилось. Однако сегодня Googlebot — это лишь пользователь системы, которая напоминает централизованную платформу сканирования.
Записи журналов сервера, в которых упоминается "Googlebot", относятся лишь к Google Поиску. Десятки других клиентов, таких как Google Покупки и AdSense, направляют запросы на сканирование через ту же инфраструктуру, но под другими именами роботов. Самые крупные роботы описаны на сайте инфраструктуры роботов Google.
Ограничение в 2 МБ: что происходит с вашими данными
И вот здесь начинается самое запутанное. Каждый клиент инфраструктуры поисковых роботов должен задать определенные настройки для своих запросов. Эти настройки включают строку агента пользователя, токены агента пользователя, которые робот будут искать в файле robots.txt, и количество байтов, которые будут извлекаться из одного URL.
В настоящее время Googlebot скачивает до 2 МБ для каждого URL (кроме PDF-файлов). Это означает, что он сканирует только первые 2 МБ ресурса, включая HTTP-заголовок. Для PDF-файлов ограничение составляет 64 МБ.
У роботов для сканирования изображений и видео обычно широкий диапазон пороговых значений, который во многом зависит от продукта, для которого собираются данные. Например, для получения значка сайта может быть установлено очень строгое ограничение, в отличие от поиска картинок.
Для всех остальных поисковых роботов, у которых нет явного ограничения, по умолчанию используется значение 15 МБ независимо от типа контента.
Что это значит для данных, которые ваш сервер отправляет по сети?
-
Частичное сканирование. Если размер HTML-файла превышает 2 МБ, Googlebot не отклоняет страницу. Вместо этого скачивание прекращается, когда объем переданных данных достигает 2 МБ. Обратите внимание, что в это ограничение входят заголовки HTTP-ответов
запросов. - Обработка обрезанного файла. Скачанная часть (первые 2 МБ) передается нашим системам индексирования и сервису отрисовки веб-страниц (WRS) как полный файл.
- Недоступные байты. Любые байты, которые находятся после порога в 2 МБ, полностью игнорируются. Эти данные не извлекаются, не обрабатываются и не индексируются.
- Скачивание ресурсов. Все ресурсы, на которые есть ссылки в HTML-коде (кроме медиафайлов, шрифтов и некоторых других файлов), будут извлечены сервисом WRS с помощью Googlebot, как и основной HTML-код. У этих ресурсов есть собственный счетчик байтов для каждого URL. Эти байты не учитываются при определении размера родительской страницы.
Для подавляющего большинства сайтов в интернете HTML-нагрузка размером 2 МБ является огромной, и вы вряд ли выйдете за этот предел. Однако если на странице есть большие встроенные изображения в формате base64, крупные блоки встроенного CSS/JavaScript или меню вверху, занимающие несколько мегабайт, то текстовый контент или важные структурированные данные могут оказаться за пределами лимита в 2 МБ. Если эти важные байты не будут получены, считайте, что для робота Googlebot их просто не существует.
Обработка байтов
После того как поисковый робот извлечет данные (в пределах лимита), он передает эстафету сервису WRS. WRS обрабатывает JavaScript и выполняет клиентский код, как это делают современные браузеры, чтобы проанализировать итоговое визуальное и текстовое состояние страницы. При отрисовке извлекаются и выполняются файлы JavaScript и CSS, а также обрабатываются запросы XHR, чтобы лучше понять текстовый контент и структуру страницы (изображения и видео не запрашиваются). Для каждого запрашиваемого ресурса также действует ограничение в 2 МБ.
Однако помните, что сервис WRS может выполнять только тот код, который был получен роботом. Кроме того, WRS работает без отслеживания состояния – сервис очищает локальное хранилище и данные сеанса между запросами. Это может повлиять на то, как наши системы интерпретируют динамические элементы, зависящие от JavaScript.
Рекомендации по подготовке данных
Чтобы робот Googlebot мог эффективно получать и интерпретировать ваш контент, следуйте приведенным ниже рекомендациям.
- Оптимизируйте HTML-код. Размещайте объемный код CSS и JavaScript во внешних файлах. Хотя размер исходного HTML-документа не должен превышать 2 МБ, внешние скрипты и таблицы стилей извлекаются отдельно (для них действуют собственные ограничения).
-
Порядок имеет значение. Размещайте наиболее важные элементы, такие как метатеги, элементы
<title>, элементы<link>, URL канонических страницы и основные структурированные данные, в верхней части HTML-документа. Так они с меньшей вероятностью будут пропущены роботом. - Отслеживайте журналы сервера. Следите за временем ответа сервера. Если сервер медленно передает байты, наши поисковые роботы автоматически снизят частоту сканирования, чтобы не перегружать вашу инфраструктуру.
Обратите внимание, что это ограничение не является постоянным и может меняться со временем по мере развития интернета и увеличения или уменьшения размера HTML-страниц (надеемся, что он уменьшится).
Сканирование – это не волшебство, а сложный и масштабный процесс обмена байтами. Понимание того, как наша центральная инфраструктура извлекает эти байты и ограничивает их количество, поможет вам убедиться, что роботы получают самый важный контент вашего сайта.
Желаем успехов с оптимизацией!
Хотите узнать больше? Послушайте 105-й выпуск подкаста Search Off the Record на YouTube или на другой платформе.