Trình thu thập thông tin về mức độ chính xác về giá của Google Transport

Tài liệu này nhằm mục đích mô tả lưu lượng truy cập từ trình thu thập dữ liệu độ chính xác về giá của Google Transport.

Lưu ý về số lượng truy vấn

Ví dụ: nếu chúng tôi đồng ý gửi 5.000 truy vấn mỗi ngày, thì có nghĩa là 5.000 lần mỗi ngày (phân bổ đồng đều trong ngày, tức là khoảng 1 lần mỗi 17 giây), trình thu thập dữ liệu của chúng tôi sẽ thực hiện tất cả các thao tác sau mà người dùng thông thường sẽ thực hiện:

  • bắt đầu từ Google Tìm kiếm và nhấp vào đường liên kết của đối tác

  • chọn hành trình du lịch dự định (nếu chưa chọn)

  • nhấp vào "tiếp tục" cho đến khi đến trang mà người dùng phải nhập thông tin cá nhân / thông tin thanh toán

  • đọc thông tin chi tiết về giá cuối cùng trên trang

Trình thu thập dữ liệu lọc các tài nguyên đã tìm nạp

Trình thu thập dữ liệu chỉ tìm nạp những tài nguyên cần thiết để lấy thông tin mà chúng tôi quan tâm: thông tin chi tiết về giá và tình trạng còn hàng. Cụ thể, điều này có nghĩa là trình thu thập dữ liệu thường chỉ tìm nạp tài nguyên từ trang web của đối tác (tức là chúng tôi chỉ cho phép các URL từ cùng một miền). Ngoài ra, chúng tôi tránh tìm nạp mọi tài nguyên không cần thiết để đọc dữ liệu giá chính xác, chẳng hạn như hình ảnh.

Cụ thể, điều này có nghĩa là trình thu thập dữ liệu không tải và thực thi tập lệnh từ các bên thứ ba (Google Analytics, Facebook, Criteo...), vì vậy, lưu lượng truy cập của trình thu thập dữ liệu phải được loại trừ khỏi những số liệu phân tích đó.

Lưu vào bộ nhớ đệm

Để giảm tải cho trang web của đối tác, trình thu thập dữ liệu của chúng tôi thường được định cấu hình để tuân thủ tất cả các tiêu đề lưu vào bộ nhớ đệm HTTP tiêu chuẩn có trong phản hồi. Điều đó có nghĩa là đối với các trang web được định cấu hình chính xác, chúng tôi tránh tìm nạp lặp đi lặp lại nội dung ít thay đổi (ví dụ: thư viện JavaScript).

Khắc phục sự cố

Việc kiểm tra chất lượng mạng trình thu thập dữ liệu của chúng tôi phụ thuộc vào quyền truy cập vào trang web của đối tác. Bạn có thể tìm thấy thông tin để thực hiện việc này trong bài viết này trên trung tâm trợ giúp.