Ten dokument opisuje ruch pochodzący z robotów Google sprawdzających dokładność cen transportu.
Uwaga dotycząca liczby zapytań
Jeśli na przykład zgodzimy się na wysyłanie 5000 zapytań dziennie, oznacza to, że 5000 razy dziennie (równomiernie rozłożonych w ciągu dnia, czyli mniej więcej co 17 sekund) nasz robot wykonuje wszystkie te czynności, które wykonuje zwykły użytkownik:
zacząć od wyszukiwarki Google i kliknąć link partnera,
wybrać plan podróży (jeśli nie jest jeszcze wybrany);
klikaj „Dalej”, aż dojdziesz do strony, na której użytkownik musi wpisać dane osobowe lub dane do płatności;
odczytywać szczegóły ceny końcowej ze strony,
Wyszukiwarka filtruje pobrane zasoby
Wyszukiwarka pobiera tylko zasoby wymagane do uzyskania informacji, które nas interesują: szczegółów ceny i dostępności. Oznacza to w szczególności, że zwykle pobiera zasoby tylko z witryny partnera (czyli autoryzujemy tylko adresy URL z tej samej domeny). Unikamy też pobierania zasobów, które nie są potrzebne do odczytania prawidłowych danych o cenie, np. obrazów.
Oznacza to w szczególności, że robot nie wczytuje ani nie wykonuje skryptów pochodzących od podmiotów zewnętrznych (Google Analytics, Facebook, Criteo…), więc ruch generowany przez robota powinien być wykluczany z tych statystyk.
Buforowanie
Aby zmniejszyć obciążenie witryny partnera, nasze roboty są zwykle skonfigurowane tak, aby uwzględniać wszystkie standardowe nagłówki pamięci podręcznej HTTP w odpowiedzi. Oznacza to, że w przypadku prawidłowo skonfigurowanych witryn unikamy wielokrotnego pobierania treści, które rzadko się zmieniają (np. bibliotek JavaScript).
Rozwiązywanie problemów
Testy jakości w naszej sieci robotów zależą od dostępu do witryny partnera. Informacje o tym, jak to zrobić, znajdziesz w tym artykule w Centrum pomocy.