خزنده های دقت قیمت Google Transport

این سند برای توصیف ترافیک خزنده‌های دقت قیمت Google Transport در نظر گرفته شده است.

به تعداد درخواست ها توجه کنید

به عنوان مثال، اگر ما موافقت کردیم که 5000 درخواست در روز ارسال کنیم، به این معنی است که 5000 بار در روز (به طور مساوی در طول روز توزیع شده است، یعنی تقریباً یک مورد در هر 17 ثانیه)، خزنده ما تمام اقدامات زیر را که یک کاربر معمولی انجام می دهد انجام می دهد:

  • از جستجوی Google شروع کنید و روی پیوند شریک کلیک کنید

  • برنامه سفر مورد نظر را انتخاب کنید (اگر قبلاً انتخاب نشده است)

  • روی "ادامه" کلیک کنید تا به صفحه ای برسد که کاربر باید جزئیات شخصی / پرداخت را وارد کند

  • جزئیات قیمت نهایی را از صفحه بخوانید

خزنده منابع واکشی شده را فیلتر می کند

خزنده فقط منابعی را واکشی می کند که برای به دست آوردن اطلاعات مورد نیاز ما در مورد جزئیات قیمت و در دسترس بودن مورد نیاز است. به طور خاص، به این معنی است که معمولاً فقط منابع را از وب سایت شریک واکشی می کند (یعنی ما فقط URL ها را از همان دامنه مجاز می کنیم). علاوه بر این، از واکشی منابعی که برای خواندن اطلاعات قیمت صحیح لازم نیست، مانند تصاویر، اجتناب می‌کنیم.

به طور خاص، به این معنی است که خزنده اسکریپت های اشخاص ثالث (Google Analytics، Facebook، Criteo...) را بارگیری و اجرا نمی کند، بنابراین ترافیک خزنده باید از آن تجزیه و تحلیل حذف شود.

ذخیره سازی

به منظور کاهش بار در وب‌سایت شریک، خزنده‌های ما معمولاً به گونه‌ای پیکربندی شده‌اند که به تمام سرصفحه‌های ذخیره‌سازی http استاندارد موجود در پاسخ، احترام بگذارند. این بدان معناست که برای وب‌سایت‌هایی که به درستی پیکربندی شده‌اند، از واکشی مکرر محتوایی که به ندرت تغییر می‌کند اجتناب می‌کنیم (مثلاً کتابخانه‌های جاوا اسکریپت).

عیب یابی

عملکرد صحیح بررسی های کیفیت شبکه خزنده ما به دسترسی به وب سایت شریک بستگی دارد. اطلاعات مربوط به انجام این کار را می توان در این مقاله مرکز راهنمایی یافت.