В этом документе описывается трафик, получаемый от поисковых роботов Google Transport, измеряющих точность цен.
Примечание по количеству запросов
Например, если мы согласились отправлять 5000 запросов в день, это означает, что 5000 раз в день (равномерно распределенных в течение дня, то есть примерно один раз в 17 секунд) наш поисковый робот выполняет все следующие действия, которые выполнил бы обычный пользователь:
начните с поиска Google и нажмите на партнерскую ссылку
выберите предполагаемый маршрут путешествия (если он еще не выбран)
нажимайте «продолжить», пока не дойдете до страницы, где пользователю нужно будет ввести личные/платежные данные
читайте подробности окончательной цены на странице
Поисковый робот фильтрует полученные ресурсы.
Сканер извлекает только те ресурсы, которые требуются для получения интересующей нас информации о ценах и доступности. В частности, это означает, что обычно он извлекает только ресурсы с веб-сайта партнера (т. е. мы разрешаем только URL-адреса из того же домена). Кроме того, мы избегаем извлечения любых ресурсов, которые не требуются для чтения правильных данных о ценах, таких как изображения.
В частности, это означает, что сканер не загружает и не выполняет скрипты третьих лиц (Google Analytics, Facebook, Criteo...), поэтому трафик сканера следует исключить из этой аналитики.
Кэширование
В целях снижения нагрузки на сайт партнера наши краулеры обычно настроены на соблюдение всех стандартных заголовков кэширования http, присутствующих в ответе. Это означает, что для правильно настроенных сайтов мы избегаем повторной выборки контента, который редко меняется (например, библиотеки JavaScript).
Поиск неисправностей
Корректная работа наших проверок качества нашей сети краулеров зависит от наличия доступа к веб-сайту партнера. Информацию о том, как это сделать, можно найти в этой статье справочного центра .