Ce document vise à décrire le trafic généré par les robots d'exploration de la précision des prix de Google Transport.
Remarque concernant le nombre de requêtes
Par exemple, si nous avons convenu d'envoyer 5 000 requêtes par jour, cela signifie que 5 000 fois par jour (réparties uniformément sur la journée, soit environ une toutes les 17 secondes), notre robot d'exploration effectue toutes les actions suivantes qu'un utilisateur régulier effectuerait :
commencer par la recherche Google, puis cliquer sur le lien du partenaire ;
sélectionnez l'itinéraire de voyage prévu (s'il n'est pas déjà sélectionné) ;
Cliquez sur "Continuer" jusqu'à ce que l'utilisateur arrive sur la page où il doit saisir des informations personnelles / de paiement.
lire les détails du prix final sur la page ;
Le robot d'exploration filtre les ressources récupérées.
Le robot d'exploration ne récupère que les ressources nécessaires pour obtenir les informations qui nous intéressent, à savoir les prix et les détails de disponibilité. En particulier, cela signifie qu'il ne récupère généralement que les ressources du site Web du partenaire (c'est-à-dire que nous n'autorisons que les URL du même domaine). De plus, nous évitons d'extraire des ressources qui ne sont pas nécessaires pour lire les données de prix correctes, telles que les images.
Cela signifie en particulier que le robot d'exploration ne charge ni n'exécute pas de scripts tiers (Google Analytics, Facebook, Criteo, etc.). Le trafic du robot d'exploration doit donc être exclu de ces données analytiques.
Mise en cache
Afin de réduire la charge sur le site Web du partenaire, nos robots d'exploration sont généralement configurés pour respecter tous les en-têtes de mise en cache HTTP standards présents dans la réponse. Cela signifie que pour les sites Web correctement configurés, nous évitons d'extraire à plusieurs reprises du contenu qui change rarement (par exemple, des bibliothèques JavaScript).
Dépannage
Le bon fonctionnement de nos contrôles de qualité de notre réseau d'exploration dépend de l'accès au site Web du partenaire. Pour en savoir plus, consultez cet article du Centre d'aide.