เอกสารนี้มีไว้เพื่ออธิบายการเข้าชมจาก Crawler ตรวจสอบความถูกต้องของราคาขนส่งของ Google
หมายเหตุเกี่ยวกับจํานวนการค้นหา
ตัวอย่างเช่น หากเราตกลงที่จะส่งการค้นหา 5,000 ครั้งต่อวัน หมายความว่า Crawler จะดําเนินการต่อไปนี้ทั้งหมดของผู้ใช้ทั่วไป 5,000 ครั้งต่อวัน (กระจายอย่างสม่ำเสมอตลอดทั้งวัน ซึ่งเท่ากับประมาณ 1 ครั้งทุกๆ 17 วินาที)
เริ่มต้นจาก Google Search แล้วคลิกลิงก์พาร์ทเนอร์
เลือกแผนการเดินทางที่ต้องการ (หากยังไม่ได้เลือก)
คลิก "ต่อไป" จนกว่าจะถึงหน้าเว็บที่ผู้ใช้ต้องป้อนรายละเอียดส่วนบุคคล / การชำระเงิน
อ่านรายละเอียดราคาสุดท้ายจากหน้าเว็บ
Crawler จะกรองทรัพยากรที่ดึงข้อมูล
Crawler จะดึงข้อมูลเฉพาะแหล่งข้อมูลที่จําเป็นต่อการรับข้อมูล เราสนใจรายละเอียดราคาและความพร้อมจำหน่าย กล่าวโดยละเอียดคือ โดยทั่วไปแล้ว ฟีเจอร์นี้จะดึงข้อมูลจากเว็บไซต์ของพาร์ทเนอร์เท่านั้น (กล่าวคือ เราจะให้สิทธิ์เฉพาะ URL จากโดเมนเดียวกัน) นอกจากนี้ เรายังหลีกเลี่ยงการดึงข้อมูลแหล่งที่มาที่ไม่จำเป็นต่อการอ่านข้อมูลราคาที่ถูกต้อง เช่น รูปภาพ
โดยเฉพาะอย่างยิ่ง หมายความว่า Crawler จะไม่โหลดและเรียกใช้สคริปต์จากบุคคลที่สาม (Google Analytics, Facebook, Criteo...) ดังนั้นการเข้าชมของ Crawler ควรถูกยกเว้นจากข้อมูลวิเคราะห์เหล่านั้น
การแคช
โดยทั่วไปแล้ว โปรแกรมรวบรวมข้อมูลของเราได้รับการกำหนดค่าให้ยึดตามส่วนหัวการแคช HTTP มาตรฐานทั้งหมดที่แสดงในการตอบกลับเพื่อลดภาระในเว็บไซต์ของพาร์ทเนอร์ ซึ่งหมายความว่าสำหรับเว็บไซต์ที่กําหนดค่าอย่างถูกต้อง เราจะหลีกเลี่ยงการดึงข้อมูลเนื้อหาที่เปลี่ยนแปลงน้อยครั้ง (เช่น ไลบรารี JavaScript) ซ้ำๆ
การแก้ปัญหา
การดำเนินการที่ถูกต้องของการตรวจสอบคุณภาพเครือข่าย Crawler ขึ้นอยู่กับการเข้าถึงเว็บไซต์ของพาร์ทเนอร์ ดูข้อมูลเกี่ยวกับวิธีดำเนินการดังกล่าวได้ในบทความนี้ในศูนย์ช่วยเหลือ