Как разрешить трафик Google-Agent
Google-Agent — это название, которое используют агенты, размещенные на инфраструктуре Google, для перехода по веб-страницам и выполнения действий по запросу пользователя. Если вы явно разрешите трафик Google-Agent в сети доставки контента (CDN), брандмауэре для веб-приложений (WAF) или службе обнаружения роботов, это поможет предотвратить блокировку легитимных запросов, не препятствуя работе имеющихся средств обеспечения безопасности.
Как Google-Agent идентифицирует запросы
Каждый запрос Google-Agent содержит HTTP-заголовок User-Agent со значением Google-Agent (см. Загрузчики Google, запускаемые пользователем) и поступает с IP-адреса, указанного в файле user-triggered-agents.json.
Google также тестирует протокол Web Bot Auth, используя идентификатор https://agent.bot.goog.
В рамках этого эксперимента Google подписывает запросы от Google-Agent в соответствии со стандартом HTTP Message Signatures (RFC 9421).
Запросы, участвующие в эксперименте, включают:
- Заголовок
Signature-Agentсо значениемg="https://agent.bot.goog". - Заголовки
SignatureиSignature-Inputс пометкойg.
Набор открытых ключей для проверки этих подписей доступен на странице https://agent.bot.goog/.well-known/http-message-signatures-directory.
Как разрешить трафик в CDN, брандмауэре или службе обнаружения роботов
Некоторые службы обнаружения роботов, CDN и брандмауэры позволяют проверять запросы, отправленные агентом пользователя Google-Agent, и разрешать их. Чтобы узнать, как это сделать, обратитесь к поставщику.
Если это не делается автоматически, вы можете проверять и разрешать запросы Google-Agent вручную согласно следующим правилам:
- Убедитесь, что заголовок
User-AgentсодержитGoogle-Agent. - Убедитесь, что IP-адрес указан в файле user-triggered-agents.json.
-
Если запрос содержит подпись, подтвердите его, проверив заголовки
SignatureиSignature-InputдляSignature-Agent: g="https://agent.bot.goog"в соответствии с протоколом Web Bot Auth. - Для проверенных запросов пропускайте проверку на роботов.
Устранение неполадок
Если легитимные запросы Google-Agent по-прежнему блокируются после того, как вы их разрешили, сделайте следующее:
- Приоритет правил. Убедитесь, что ваше разрешающее правило имеет более высокий приоритет (и срабатывает раньше), чем широкие блокировки ASN облачных провайдеров или центров обработки данных, управляемые правила для роботов или правила блокировки ИИ-агентов на уровне категорий, которые могут переопределять настройки для проверенных роботов.
- Интерактивные проверки. Убедитесь, что ваше правило пропускает не только HTTP-блокировки, но и интерактивные проверочные коды и проверки с использованием JavaScript, включая отдельные виджеты с проверочным кодом на страницах, которые срабатывают при поиске или отправке форм.
-
Действия в рамках пользовательского пути и API. Убедитесь, что разрешение запросов охватывает не только загрузку главной страницы, но и все последующие шаги: поиск на сайте, фильтрацию, переход на страницы с дополнительной информацией, добавление в корзину, бронирование, а также сопутствующие конечные точки XHR, GraphQL или
api.*. -
Лимиты для общих IP-адресов. Убедитесь, что правила ограничения частоты запросов для отдельных IP-адресов учитывают или исключают проверенные диапазоны
Google-Agent, так как параллельные запросы от множества пользователей поступают из одного и того же пула исходящего трафика. - Обновление диапазонов IP-адресов. Убедитесь, что правила на основе IP-адресов синхронизированы с актуальными диапазонами из файла user-triggered-agents.json.
-
Заголовки прокси-серверов. Убедитесь, что балансировщики нагрузки и промежуточные прокси-серверы сохраняют исходный IP-адрес клиента, заголовок
User-Agentи (для подписанных запросов) заголовкиSignature,Signature-InputиSignature-Agent.