In diesem Dokument wird der Traffic von Crawlern beschrieben, die die Richtigkeit der Preise für Google Transit prüfen.
Hinweis zur Anzahl der Abfragen
Wenn wir beispielsweise vereinbart haben, 5.000 Abfragen pro Tag zu senden, bedeutet das, dass unser Crawler 5.000 Mal pro Tag (gleichmäßig über den Tag verteilt, also etwa alle 17 Sekunden) alle folgenden Aktionen ausführt, die ein normaler Nutzer ausführen würde:
Starten Sie in der Google Suche und klicken Sie auf den Partnerlink.
Wählen Sie den gewünschten Reiseplan aus, falls noch nicht geschehen.
Klicken Sie auf „Weiter“, bis Sie die Seite erreichen, auf der der Nutzer personenbezogene Daten / Zahlungsdetails eingeben muss.
Details zum Endpreis von der Seite lesen
Der Crawler filtert abgerufene Ressourcen
Der Crawler ruft nur die Ressourcen ab, die für die Informationen erforderlich sind, die wir zu Preis und Verfügbarkeit benötigen. Das bedeutet insbesondere, dass normalerweise nur Ressourcen von der Partnerwebsite abgerufen werden (d.h. wir autorisieren nur URLs aus derselben Domain). Außerdem werden keine Ressourcen abgerufen, die nicht zum Lesen der korrekten Preisdaten erforderlich sind, z. B. Bilder.
Das bedeutet insbesondere, dass der Crawler keine Scripts von Drittanbietern (Google Analytics, Facebook, Criteo usw.) lädt und ausführt. Der Crawler-Traffic sollte daher aus diesen Analysen ausgeschlossen werden.
Caching
Um die Auslastung der Partnerwebsite zu reduzieren, sind unsere Crawler in der Regel so konfiguriert, dass alle in der Antwort vorhandenen Standard-HTTP-Cache-Header berücksichtigt werden. Das bedeutet, dass bei korrekt konfigurierten Websites Inhalte, die sich selten ändern (z.B. JavaScript-Bibliotheken), nicht wiederholt abgerufen werden.
Fehlerbehebung
Für die ordnungsgemäße Funktion unserer Qualitätskontrollen für unser Crawler-Netzwerk ist der Zugriff auf die Website des Partners erforderlich. Weitere Informationen