الأربعاء 11 نوفمبر 2026
إنّ نشر شبكة توصيل المحتوى (CDN) لتوزيع أصول موقعك الإلكتروني على خوادم طرفية سريعة وموزّعة عالميًا وأقرب إلى المستخدمين يمكن أن يشكّل ترقية كبيرة لأي موقع إلكتروني متنامٍ، إذ يقلّل من وقت استجابة الزوّار ويحمي خادم المصدر (مصدر البيانات في الخلفية الذي يحتوي على المحتوى الأصلي) من الزيارات الكثيفة.
يبدو هذا مثاليًا، أليس كذلك؟ قد تكون المرحلة الانتقالية غريبة بعض الشيء.
يخبرنا مالكي المواقع الإلكترونية أحيانًا أنّه بعد وضع موقعهم الإلكتروني خلف شبكة توصيل المحتوى مباشرةً، يرتفع عدد زيارات برامج الزحف إلى خادمهم على الفور تقريبًا، وهذا هو بالضبط ما كانوا يحاولون إصلاحه. قبل أن تملأ هذه الخوادم الطرفية ذاكرة التخزين المؤقت، يجب جلب زيارات المستخدمين وطلبات برامج الزحف مباشرةً من خادم المصدر.
عند الانتقال إلى شبكة توصيل المحتوى، من المفيد مراجعة طريقة عمل ميزانية الزحف وكيفية خفض معدّل الزحف في Google في حالات الطوارئ. يهدف منشور المدوّنة هذا إلى إرشادك خلال ما يمكن توقّعه من هذه الخطوة وبعض التحديات التي تنطوي عليها. لهذا السبب أيضًا، استعددنا (مع خوذة صلبة وخرطوم إطفاء) لإرشادك خلال عملية الانتقال في الحلقة 5 من The Non-Canonical Cabinet. إذا سبق لك الانتقال إلى شبكة توصيل محتوى وتساءلت عن كل الزيارات الجديدة، أو إذا أردت تجنُّب إزالة موقعك الإلكتروني من "بحث Google" عن طريق الخطأ، فهذه المقالة مخصّصة لك.
لماذا تزداد عمليات الزحف في كل مكان في الوقت نفسه؟
عند الانتقال إلى شبكة توصيل المحتوى، قد يحدث هذا الارتفاع في عدد زيارات برامج الزحف بسبب طريقة احتساب البنية الأساسية للزحف في Google للحد الأقصى لسعة الزحف في موقعك الإلكتروني (المعروف أيضًا باسم تحميل المضيف):
- تؤدي الردود الأبطأ إلى خفض معدّل الزحف. تراقب البنية الأساسية للزحف الآلي في Google باستمرار حالة الخادم المضيف ومدى استجابته. عندما تزيد أوقات الاستجابة، تصبح برامج الزحف لدينا بطيئة كي لا يتم تحميل الخادم عبئًا زائدًا ولتجنُّب التأثير على تجربة المستخدم على موقعك الإلكتروني.
- تؤدي الردود السريعة والمستقرة إلى تسريع عملية الزحف. عندما يستجيب الخادم بسرعة وبشكل متّسق، تفسّر أنظمتنا هذه السرعة على أنّها علامة على بنية أساسية سليمة وفعّالة. في حال توفّر طلب زحف، يرتفع الحد الأقصى لسعة الزحف تدريجيًا.
في اللحظة التي يشير فيها نظام أسماء النطاقات إلى شبكة طرفية سريعة لشبكة توصيل المحتوى، تنخفض أوقات الاتصال والاستجابة بشكل كبير. بالنسبة إلى أنظمة الزحف لدينا، يبدو أنّ خادمك قد حصل للتو على ترقية كبيرة للأجهزة، لذا تبدأ برامج الزحف لدينا في زيادة معدّل طلباتها لمواكبة ذلك.
المشكلة. البيانات غير متوفرة في ذاكرة التخزين المؤقت على الخوادم الطرفية.
لن يمثّل ارتفاع معدّل الزحف مشكلة إذا استوعبت شبكة توصيل المحتوى كل هذه الطلبات في الخادم الطرفي. المشكلة هي أنّ شبكة توصيل المحتوى الجديدة تبدأ بذاكرة تخزين مؤقت فارغة (باردة).
عند تقديم أول طلب لعنوان URL في موقع طرفي، لا تملك شبكة توصيل المحتوى نسخة من هذا الأصل (مستندات HTML وCSS وJavaScript والصور وما إلى ذلك) بعد، ما يعني أنّ البيانات غير متوفرة في ذاكرة التخزين المؤقت. لتلبية الطلب، يجب أن "ينتقل" الخادم الطرفي إلى خادم المصدر، ويجلب الردّ، ويخزّن نسخة قابلة للتخزين المؤقت، ثم يعرضها للعميل. تصبح الطلبات اللاحقة لعنوان URL نفسه المخزّن مؤقتًا نتائج ذاكرة التخزين المؤقت التي يتم عرضها مباشرةً من الخادم الطرفي بدون التأثير على خادم المصدر. (في الفيديو، تم تمثيل الخادم الطرفي بدجاجة مطاطية تركض ذهابًا وإيابًا بين مجموعة من الملاحظات اللاصقة. مخطّطات الاتصال بالشبكات ذاتية.)
بشكل عام، لا يزال خادم المصدر هو المؤثِّر السلبي أثناء إطلاق شبكة توصيل المحتوى.
يتجمّع الزوّار عادةً حول مجموعة صغيرة نسبيًا من الصفحات الرائجة (صفحتك الرئيسية أو أهم المقالات أو الإعلانات الترويجية النشطة) التي يتم تجهيزها في ذاكرة التخزين المؤقت لشبكة توصيل المحتوى بسرعة. تفعل برامج الزحف العكس تمامًا. مهمتها هي استكشاف نطاق مخزون عناوين URL بشكل منهجي.
والآن، لنجمع هذين السلوكين:
- تشير ردود الخوادم الطرفية السريعة إلى برامج الزحف في Google بأنّه من الآمن الزحف بشكل أسرع.
- بينما تعمل برامج الزحف على معالجة هذه الأعداد الكبيرة من عناوين URL للمرة الأولى، يؤدي كل عنوان URL غير مخزّن مؤقتًا إلى عدم توفّر البيانات في ذاكرة التخزين المؤقت، ما يؤدي إلى نقله مباشرةً إلى خادم المصدر.
لا تزيد برامج الزحف معدّل الزحف على الفور، وتتضمّن العديد من شبكات توصيل المحتوى ميزة مدمجة لتنظيم الاتصال تساعد في تخفيف ارتفاع عدد الزيارات. ومع ذلك، إلى أن يتم ملء ذاكرة التخزين المؤقت الطرفية (تجهيزها)، لن تعمل شبكة توصيل المحتوى كحماية، وسيظل خادم المصدر يؤدي المهام الصعبة.
يجب عدم الزحف. عندما تكون الحماية الشاملة ضد برامج التتبُّع مفرطة
إن الارتفاع غير المتوقّع في الطلبات الآلية في سجلّات خادم المصدر بعد نقل البيانات مباشرةً يمكن أن يثير قلق المشرفين، إذا لم يكن سبب ذلك واضحًا لهم. يميل البعض إلى النظر إلى الرسوم البيانية للطلبات المتزايدة عندما يتم تجهيز ذاكرة التخزين المؤقت، ومحاولة معالجة ذلك من خلال تسجيل الدخول إلى لوحة بيانات شبكة توصيل المحتوى وتفعيل الحماية الشاملة ضد برامج التتبع. على حدّ تعبير "تشيري"، "لن تمرّ برامج التتبع"!
المشكلة في قواعد الأمان الشاملة تكمن في اسمها: بدون استثناءات، تتعامل هذه القواعد مع جميع الزيارات الآلية بالطريقة نفسها، بما في ذلك الزيارات من برامج الزحف التي تهمّك. عندما تضع شبكة توصيل المحتوى أو جدار حماية تطبيقات الويب (WAF) علامة على الطلبات الآلية وتعترضها من خلال اختبار مثل CAPTCHA، تفشل برامج الزحف في Google في الاختبار. (يتمتع Googlebot بالعديد من المواهب، ولكن رصد إشارات المرور والدجاج ليس من بينها. في الواقع، حتى غاري لا يمكنه حلّها أحيانًا).
إنّ إبقاء الحماية الشاملة ضد برامج التتبع مفعَّلة بدون استثناء برامج الزحف التي تم التحقّق منها يؤدي إلى توقّف برامج الزحف بشكل أساسي في صفحة خطأ غير مفيدة في "بحث Google" أو المنتجات الأخرى التي تعتمد على البيانات التي تم الزحف إليها. من وجهة نظرنا، يبدو موقعك الإلكتروني مقيّدًا أو معطّلاً عن قصد. إذا لم يتم حلّ هذه المشكلة، ستتراجع برامج الزحف لدينا، وستبدأ صفحاتك وبيانات المنتج وصور الدجاج في الاختفاء من "بحث Google".
كيفية تدريب شبكة توصيل المحتوى (بدون التأثير في خادم المصدر)
لست بحاجة إلى توظيف مسؤول إطفاء لنشر شبكة توصيل محتوى، بل تحتاج إلى التوقّعات الصحيحة وخطة عمل، مثل:
- إذا كنت بحاجة إلى حظر برامج التتبع، اسمح ببرامج التتبع التي تم التحقّق منها في إعدادات شبكة توصيل المحتوى وجدار الحماية. توفّر معظم شبكات توصيل المحتوى (CDN) وجدران حماية تطبيقات الويب (WAF) الرئيسية زر تبديل مدمجًا أو قاعدة مُدارة للسماح ببرامج التتبع المعروفة أو التي تم التحقّق منها، ما يتيح لبرامج الزحف المفضّلة لديك تجاوز اختبارات CAPTCHA مع الاستمرار في فلترة الزيارات غير المرغوب فيها (يمكنك تحديد برامج الزحف لدينا من خلال نطاقات عناوين IP المنشورة في Google). أو الأفضل من ذلك، يمكنك ضبط ملف robots.txt أو استخدام القواعد لاستهداف برامج تتبع معيّنة غير مرغوب فيها بدلاً من حظر جميع البرامج الآلية.
- جهِّز ذاكرة التخزين المؤقت مسبقًا قبل السماح بتدفق الزيارات. قبل توجيه جميع الزيارات من خلال شبكة توصيل المحتوى الجديدة، يمكنك جلب الصفحات التي تحقّق أكبر عدد من الزيارات والصفحات التي ستحقّق ذروة الزيارات في المستقبل (مثل عمليات الإطلاق الموسمية أو الترويجية) وعناوين URL للزحف بشكل متكرّر من خلال شبكة توصيل المحتوى بوتيرة مضبوطة كي تكون ذاكرة التخزين المؤقت الطرفية جاهزة لعرض الزيارات. أو إذا كان لديك أصدقاء، على عكس غاري، اطلب منهم الوصول إلى عنوانَي URL مختلفَين لكل منهم، فهذا حلّ فعّال أيضًا.
-
استخدِم
429أو503إذا كنت بحاجة إلى فترة توقف مؤقتة. إذا كان حجم الزحف لا يزال يفرض حملاً كبيرًا على خادم المصدر أثناء تجهيز ذاكرة التخزين المؤقت، يمكنك ضبط قواعد تحديد معدّل نقل البيانات في الخادم أو شبكة توصيل المحتوى لعرض رمز حالة HTTP429 (Too Many Requests)أو503 (Service Unavailable)لفترة قصيرة (بضع ساعات أو يوم أو يومَين على الأكثر) كما هو موضّح في دليلنا حول خفض معدّل الزحف في Google بشكل عاجل.
النص المختصر (TL;DR) (من يضع النص المختصر (TL;DR) في النهاية؟!)
قبل لفّ كابل إيثرنت حول خزانة الخادم وإنهاء العمل، تذكَّر ثلاثة أمور عند الانتقال إلى شبكة توصيل المحتوى:
- تعني الردود الأسرع زحفًا أسرع: يشير وقت الاستجابة المنخفض في الخادم الطرفي لشبكة توصيل المحتوى إلى برامج الزحف في Google بأنّ موقعك الإلكتروني يعمل بكفاءة ويمكنه التعامل مع معدّل زحف أعلى.
- تحميك ذاكرة التخزين المؤقت في الزيارة الثانية فقط: في ذاكرة التخزين المؤقت الباردة، يكون الطلب الأول لكل عنوان URL فريد عبارة عن بيانات غير متوفرة في ذاكرة التخزين المؤقت ويتم نقله مباشرةً إلى خادم المصدر. جهِّز ذاكرة التخزين المؤقت مسبقًا حيثما أمكن.
-
إذا لزم الأمر، استثنِ برامج الزحف التي تم التحقّق منها من اختبارات برامج التتبع: لا تسمح لقواعد جدار حماية تطبيقات الويب أو اختبارات CAPTCHA
الشاملة بحظر برامج الزحف في Google باستخدام جدران
403أو صفحات الاختبار، بل استخدِم استثناءات برامج التتبع التي تم التحقّق منها، واعتمد على ردود429أو503المؤقتة إذا كان خادم المصدر بحاجة إلى استراحة.
ألا يعجبك المحتوى؟ شاهِد الحلقة.
شاهِد الحلقة الختامية من الموسم 1 (الحلقة 5) من The Non-Canonical Cabinet. نشرح بنية الشبكة باستخدام خوذة بلاستيكية صلبة وخزانة ملفات تصدر دخانًا ودجاجة مطاطية تعمل كخادم طرفي، ونحن متأكدون من أنّ أيًا منها لم يكن ضمن أوصاف وظائفنا الأصلية.
هل تود مشاهدة الموسم 1 كاملاً؟ لقد حاولنا تقسيم عناوين URL وملف robots.txt. وتحدّثنا عن أخطاء
404
وعمليات إعادة التوجيه.
شاهِد الحلقات الخمس كلها.
نضمن لك مشاهدة الكثير من الدجاج.
هل لديك حالة استثنائية غريبة تريد أن عرضها في الموسم القادم (في انتظار الميزانية)؟ اترك تعليقًا على الفيديو.
احرص على إبقاء ذاكرة التخزين المؤقت دافئة وجدران الحماية مرتّبة والدجاج المطاطي مغلّفًا بالفقاعات.