In diesem Dokument wird der Traffic von Google Transport-Crawlern zur Preisgenauigkeit beschrieben.
Hinweis zur Anzahl der Abfragen
Wenn wir beispielsweise vereinbart haben, 5.000 Anfragen pro Tag zu senden, bedeutet das, dass unser Crawler 5.000 Mal pro Tag (gleichmäßig über den Tag verteilt, also etwa einmal alle 17 Sekunden) alle der folgenden Aktionen ausführt, die ein normaler Nutzer ausführen würde:
über die Google Suche und klicken Sie auf den Partnerlink.
Wählen Sie die gewünschte Reiseroute aus, falls sie nicht bereits ausgewählt ist.
Klicken Sie auf „Weiter“, bis Sie die Seite erreichen, auf der der Nutzer persönliche Daten / Zahlungsdetails eingeben muss.
Details zum Endpreis auf der Seite lesen
Der Crawler filtert abgerufene Ressourcen
Der Crawler ruft nur die Ressourcen ab, die für die Informationen erforderlich sind, die uns interessieren: Preis- und Verfügbarkeitsdetails. Das bedeutet insbesondere, dass in der Regel nur Ressourcen von der Partnerwebsite abgerufen werden (d.h., wir autorisieren nur URLs aus derselben Domain). Außerdem werden keine Ressourcen abgerufen, die nicht zum Lesen der korrekten Preisdaten erforderlich sind, z. B. Bilder.
Das bedeutet insbesondere, dass der Crawler keine Skripts von Drittanbietern (Google Analytics, Facebook, Criteo usw.) lädt und ausführt. Der Crawler-Traffic sollte daher aus diesen Analysen ausgeschlossen werden.
Caching
Um die Last auf der Partnerwebsite zu reduzieren, sind unsere Crawler in der Regel so konfiguriert, dass sie alle Standard-HTTP-Caching-Header in der Antwort berücksichtigen. Das bedeutet, dass wir bei korrekt konfigurierten Websites nicht wiederholt Inhalte abrufen, die sich selten ändern, z.B. JavaScript-Bibliotheken.
Fehlerbehebung
Die Qualitätsprüfungen unseres Crawler-Netzwerks hängen vom Zugriff auf die Partnerwebsite ab. Weitere Informationen