Ce document a pour objectif de décrire le trafic des robots d'exploration de l'exactitude des prix de Google Transport.
Remarque sur le nombre de requêtes
Par exemple, si nous avons convenu d'envoyer 5 000 requêtes par jour, cela signifie que 5 000 fois par jour (réparties de manière uniforme tout au long de la journée, soit environ une toutes les 17 secondes), notre robot d'exploration effectue toutes les actions suivantes qu'un utilisateur normal effectuerait :
commencer par une recherche Google, puis cliquer sur le lien du partenaire ;
sélectionnez l'itinéraire de voyage souhaité (si ce n'est pas déjà fait) ;
cliquer sur "Continuer" jusqu'à atteindre la page où l'utilisateur doit saisir ses informations personnelles / de paiement
lire les détails du prix final sur la page ;
Le robot d'exploration filtre les ressources récupérées
Le robot d'exploration n'extrait que les ressources nécessaires pour obtenir les informations qui nous intéressent : les détails sur le prix et la disponibilité. En particulier, cela signifie qu'il n'extrait généralement que les ressources du site Web du partenaire (c'est-à-dire que nous n'autorisons que les URL du même domaine). De plus, nous évitons de récupérer les ressources qui ne sont pas nécessaires pour lire les données de prix correctes, comme les images.
En particulier, cela signifie que le robot d'exploration ne charge ni n'exécute les scripts de tiers (Google Analytics, Facebook, Criteo, etc.). Le trafic du robot d'exploration doit donc être exclu de ces données analytiques.
Mise en cache
Afin de réduire la charge sur le site Web du partenaire, nos robots d'exploration sont généralement configurés pour respecter tous les en-têtes de mise en cache HTTP standards présents dans la réponse. Cela signifie que pour les sites Web correctement configurés, nous évitons de récupérer à plusieurs reprises du contenu qui change rarement (par exemple, les bibliothèques JavaScript).
Dépannage
Les contrôles de qualité de notre réseau de robots d'exploration dépendent de l'accès au site Web du partenaire. Pour en savoir plus, consultez cet article du Centre d'aide.