این سند برای توصیف ترافیک حاصل از خزندههای دقت قیمت حمل و نقل گوگل در نظر گرفته شده است.
به تعداد سوالات توجه کنید
برای مثال، اگر ما توافق کنیم که روزانه ۵۰۰۰ پرسوجو ارسال کنیم، به این معنی است که ۵۰۰۰ بار در روز (که به طور مساوی در طول روز توزیع شده است، یعنی تقریباً هر ۱۷ ثانیه یک پرسوجو)، خزنده ما تمام اقدامات زیر را که یک کاربر معمولی انجام میدهد، انجام میدهد:
از جستجوی گوگل شروع کنید و روی لینک همکار کلیک کنید
برنامه سفر مورد نظر خود را انتخاب کنید (اگر قبلاً انتخاب نشده است)
روی «ادامه» کلیک کنید تا به صفحهای برسید که کاربر باید اطلاعات شخصی/پرداخت خود را وارد کند.
جزئیات قیمت نهایی را از صفحه بخوانید
خزنده منابع واکشی شده را فیلتر میکند
خزنده فقط منابعی را که برای دریافت اطلاعات مورد نظر ما لازم است، مانند جزئیات قیمت و موجودی، دریافت میکند. به طور خاص، این بدان معناست که معمولاً فقط منابع را از وبسایت همکار دریافت میکند (یعنی ما فقط URLها را از همان دامنه مجاز میکنیم). علاوه بر این، ما از دریافت منابعی که برای خواندن دادههای صحیح قیمت مانند تصاویر لازم نیستند، اجتناب میکنیم.
به طور خاص، این بدان معناست که خزنده اسکریپتهای اشخاص ثالث (گوگل آنالیتیکس، فیسبوک، کریتیو...) را بارگیری و اجرا نمیکند، بنابراین ترافیک خزنده باید از آن تجزیه و تحلیلها مستثنی شود.
ذخیره سازی
به منظور کاهش بار روی وبسایت همکار، خزندههای ما عموماً طوری پیکربندی شدهاند که به تمام هدرهای استاندارد ذخیرهسازی http موجود در پاسخ احترام بگذارند. این بدان معناست که برای وبسایتهای پیکربندیشدهی صحیح، از واکشی مکرر محتوایی که به ندرت تغییر میکند (مانند کتابخانههای جاوا اسکریپت) خودداری میکنیم.
عیبیابی
بررسیهای کیفی شبکه خزنده ما به دسترسی به وبسایت شریک بستگی دارد. اطلاعات لازم برای انجام این کار را میتوانید در این مقاله مرکز راهنما بیابید.