Lo scopo di questo documento è descrivere il traffico proveniente dai crawler per l'accuratezza dei prezzi di Google Transport.
Nota sul numero di query
Ad esempio, se abbiamo accettato di inviare 5000 query al giorno, significa che 5000 volte al giorno (distribuite uniformemente nell'arco della giornata, ovvero circa una ogni 17 secondi), il nostro crawler esegue tutte le seguenti azioni che un utente normale eseguirebbe:
inizia dalla Ricerca Google e fai clic sul link del partner
Seleziona l'itinerario di viaggio previsto (se non è già selezionato).
Fai clic su "Continua" fino a raggiungere la pagina in cui l'utente deve inserire i dettagli personali / di pagamento
leggere i dettagli del prezzo finale dalla pagina
Il crawler filtra le risorse recuperate
Il crawler recupera solo le risorse necessarie per ottenere le informazioni su prezzo e disponibilità che ci interessano. In particolare, significa che in genere recupera solo le risorse dal sito web del partner (ovvero autorizziamo solo gli URL dello stesso dominio). Inoltre, evitiamo di recuperare eventuali risorse non necessarie per leggere i dati di prezzo corretti, come le immagini.
In particolare, significa che il crawler non carica ed esegue script di terze parti (Google Analytics, Facebook, Criteo e così via), pertanto il traffico del crawler deve essere escluso da queste analisi.
Memorizzazione nella cache
Al fine di ridurre il carico sul sito web del partner, i nostri crawler sono generalmente configurati per rispettare tutte le intestazioni di memorizzazione nella cache http standard presenti nella risposta. Ciò significa che, per i siti web configurati correttamente, evitiamo di recuperare ripetutamente contenuti che cambiano raramente (ad es. librerie JavaScript).
Risoluzione dei problemi
Il corretto funzionamento dei nostri controlli di qualità della nostra rete di crawler dipende dall'accesso al sito web del partner. Puoi trovare le informazioni necessarie in questo articolo del Centro assistenza.