تحسين ميزانية الزحف

يشرح هذا الدليل طريقة تحسين زحف Google إلى المواقع الإلكترونية الكبيرة جدًا والتي يتم إجراء تعديلات عليها بشكل متكرّر.

إذا كان موقعك الإلكتروني لا يتضمّن عددًا كبيرًا من الصفحات السريعة التغيّر أو إذا كان الزحف إلى صفحاتك يتم في اليوم نفسه الذي تُنشر فيه، لا تحتاج إلى قراءة هذا الدليل. بالنسبة إلى "بحث Google" تحديدًا، يكفي إبقاء خريطة الموقع محدّثة والتحقّق من تغطية الفهرس بانتظام.

الفئات المعنيّة بهذا الدليل

على الرغم من أنّ الاقتراحات الواردة في هذا الدليل هي ممارسات جيدة بشكل عام، إلا أنّ هذا الدليل متقدّم ومخصّص في الأساس لأنواع المواقع الإلكترونية التالية:

• المواقع الإلكترونية الكبيرة (التي تتضمّن أكثر من مليون صفحة فريدة) والتي تعرض محتوًى يتغيّر بوتيرة معتدلة (مرة كل أسبوع)
• المواقع الإلكترونية المتوسطة أو الكبيرة (التي تتضمن أكثر من 10,000 صفحة فريدة) والتي تعرض محتوًى سريع التغيّر (يوميًا)
• المواقع الإلكترونية التي يصنّف Search Console قدرًا كبيرًا من إجمالي عناوين URL الخاصة بها ضمن الفئة تم اكتشاف الصفحة - لم تتم فهرستها حتى الآن

الأرقام الواردة هنا هي تقدير تقريبي يهدف إلى مساعدتك في تصنيف موقعك الإلكتروني، وهي ليست أرقامًا دقيقة.

النظرية العامة للزحف

الويب هو مساحة كبيرة جدًا تكاد تكون غير متناهية، لذا يتعذّر على محرّك بحث Google استكشاف وفهرسة جميع عناوين URL المتاحة. ونتيجةً لذلك، يتم تطبيق حدود على الوقت الذي يمكن أن تقضيه برامج زحف Google في الزحف إلى أي موقع إلكتروني فردي، حيث يتم تحديد الموقع الإلكتروني من خلال اسم المضيف. على سبيل المثال، https://www.example.com/ وhttps://code.example.com/ هما اسما مضيف مختلفان، وبالتالي يكون لكل منهما ميزانية زحف منفصلة. ويُشار عادةً إلى مقدار الوقت والموارد التي تخصّصها Google للزحف إلى موقع إلكتروني بعبارة ميزانية الزحف إلى الموقع الإلكتروني، ويتم تحديدها استنادًا إلى عنصرَين أساسيَين، هما: الحد الأقصى لسعة الزحف وطلب الزحف.

بالنسبة إلى "بحث Google"، لن تتم بالضرورة فهرسة كل صفحة يتم الزحف إليها. بعد الزحف، يجب تقييم كل صفحة ودمجها لتحديد ما إذا كانت مناسبة للفهرس.

الحد الأقصى لسعة الزحف

يهدف محرّك بحث Google إلى الزحف إلى موقعك الإلكتروني بدون تحميل الخوادم عبئًا زائدًا. ولتحقيق ذلك، تحتسب برامج الزحف من Google الحد الاقصى لسعة الزحف، وهو الحد الأقصى لعدد الاتصالات المتوازية والمتزامنة التي يمكن لبرامج الزحف من Google استخدامها للزحف إلى موقع إلكتروني، بالإضافة إلى مدة التأخير الفاصلة بين عمليات جلب البيانات. ويتم احتساب ذلك لتوفير تغطية لكل المحتوى المهم الذي تعرضه بدون تحميل خوادم موقعك الإلكتروني عبئًا زائدًا.

قد يرتفع أو ينخفض الحدّ الأقصى لسعة الزحف استنادًا إلى بضعة عوامل:

• سلامة الزحف: إذا استجاب الموقع الإلكتروني بسرعة عالية لبعض الوقت، سيرتفع الحدّ الأقصى، أي أنّه يمكن استخدام المزيد من الاتصالات للزحف. وإذا كانت استجابة الموقع الإلكتروني بطيئة أو كانت تشير إلى أخطاء في الخادم، سينخفض الحدّ الأقصى لمعدّل الزحف وسيزحف Google بمعدّل أقل.
• حدود الزحف لدى Google: تملك Google العديد من الأجهزة، ولكن ليس بكمية لا متناهية. وبالتالي، علينا تحديد الخيارات باستخدام الموارد المتاحة لنا.

طلب الزحف

لكل زاحف "طلب" خاص به عندما يتعلق الأمر بالزحف إلى الويب. على سبيل المثال، يكون طلب AdsBot أعلى بشكل عام عندما يستخدِم الموقع الإلكتروني استهدافات إعلانات ديناميكية، فيما يكون طلب Google Shopping أعلى عندما يتضمّن الموقع الإلكتروني منتجات في خلاصات التاجر، ويتفاوت طلب Googlebot استنادًا إلى حجم الموقع الإلكتروني ومعدل التحديثات وجودة الصفحة ومدى ملاءمة المحتوى للمستخدمين مقارنةً بمواقع أخرى.

بشكل عام، تشمل العوامل التي تؤدي دورًا مهمًا في تحديد طلب الزحف ما يلي:

• عناوين URL المخزّنة التي يتم رصدها: في حال لم تقدّم أي إرشادات إلى Google، سيحاول الزحف إلى جميع أو معظم عناوين URL التي يرصدها على موقعك الإلكتروني. وإذا كان العديد من عناوين URL هذه نسخًا مكرّرة أو كنت لا تريد أن يتم الزحف إليها لسبب آخر (تمت إزالتها أو أنّها غير مهمة وما شابه)، سيؤدي ذلك إلى إهدار الكثير من الوقت الذي يخصّصه Google للزحف إلى موقعك الإلكتروني. وهذا أكثر عامل يمكن التحكّم به بصورة إيجابية.
• مدى الرواج: يتم عادةً الزحف بوتيرة أسرع إلى عناوين URL الأكثر رواجًا على الإنترنت بهدف إبقائها محدَّثة في أنظمتنا.
• مدى القِدم: تريد أنظمتنا إعادة الزحف إلى المستندات بشكل متكرّر بما يكفي لرصد أي تغييرات.

بالإضافة إلى ذلك، قد تؤدي الأحداث التي تتم على مستوى الموقع الإلكتروني، مثل عمليات نقل الموقع الإلكتروني، إلى زيادة طلب الزحف لإعادة معالجة المحتوى ضمن عناوين URL الجديدة.

الخلاصة

استنادًا إلى سعة الزحف وطلب الزحف معًا، يعرّف Google ميزانية الزحف للموقع الإلكتروني كمجموعة عناوين URL التي يستطيع ويريد Google الزحف إليها. إذا كانت وتيرة طلب الزحف منخفضة، سيزحف Google إلى موقعك الإلكتروني بمعدّل أقل حتى إذا لم يتم بلوغ الحدّ الأقصى لسعة الزحف.

أفضل الممارسات

لتحسين كفاءة الزحف إلى أقصى حدّ، اتّبِع أفضل الممارسات التالية:

• إدارة عناوين URL المخزّنة: استخدِم الأدوات المناسبة لإبلاغ Google بالصفحات المطلوب الزحف إليها والصفحات التي لا ينبغي الزحف إليها. إذا قضى Google الكثير من الوقت في الزحف إلى عناوين URL غير مناسبة، قد تستنتج زواحف Google أنّه من غير المجدي تخصيص وقت للاطّلاع على بقية أجزاء موقعك الإلكتروني (أو زيادة ميزانيتك لإجراء ذلك).
  • دمج المحتوى المكرّر: أزِل المحتوى المكرّر للتركيز على الزحف إلى محتوى فريد بدلاً من عناوين URL فريدة.
  • حظر الزحف إلى عناوين URL باستخدام ملف robots.txt: قد تكون بعض الصفحات مهمة للمستخدمين، ولكنّك لا تريدها بالضرورة أن تظهر على مساحات عرض Google، أو لا تريد أن تعيد أنظمة Google معالجتها. على سبيل المثال، صفحات التمرير اللانهائي التي تكرّر المعلومات على الصفحات المرتبطة، أو النُسخ المتعدّدة من الصفحة ذاتها والمرتّبة بشكل مختلف. إذا لم تتمكن من دمج المحتوى المكرّر كما هو موضّح في النقطة الأولى، احظر هذه الصفحات غير المهمة باستخدام ملف robots.txt. يؤدي حظر عناوين URL باستخدام ملف robots.txt إلى منع Google من الزحف إليها، ويقلّل بشكل كبير من احتمال معالجة عناوين URL هذه بواسطة أنظمة Google الأخرى (مثل فهرستها بواسطة "بحث Google").
    لا تستخدم علامة noindex، لأنّ Google سيظل يطلب الزحف إلى الصفحة ثم سيزيلها من نتائج البحث عندما يرى العنوان أو علامة meta المسماة noindex في استجابة HTTP، ما يؤدي إلى إهدار وقت الزحف. لا تستخدم ملف robots.txt لإعادة تخصيص ميزانية الزحف مؤقتًا للصفحات الأخرى، بل استخدِمه لحظر الصفحات أو الموارد التي لا تريد من Google أن يزحف إليها أبدًا. ولن يحوّل Google ميزانية الزحف المتاحة حديثًا إلى صفحات أخرى ما لم يبلغ حدّ العرض الأقصى لمحتوى موقعك الإلكتروني.
  • عرض رمز الحالة 404 أو 410 للصفحات التي تمت إزالتها نهائيًا: لن ينسى Google عنوان URL اطّلع عليه سابقًا، ولكنّ رمز الحالة 404 هو إشارة قوية بعدم الزحف إلى عنوان URL هذا مجددًا. وستبقى عناوين URL المحظورة جزءًا من قائمة انتظار الزحف لفترة أطول، وستتم إعادة الزحف إليها عند إزالة الحظر.
  • إزالة أخطاء soft 404: سيتواصل الزحف إلى الصفحات التي تعرض الخطأ soft 404، ما يؤدي إلى إهدار ميزانيتك. تحقّق من تقرير "تغطية الفهرس" بحثًا عن أخطاء soft 404.
  • تعديل خرائط الموقع باستمرار: يقرأ Google خريطة الموقع بانتظام، لذا تأكَّد من تضمين كل المحتوى الذي تريد أن يزحف Google إليه. إذا كان موقعك الإلكتروني يتضمّن محتوًى تم تعديله، ننصحك بتضمين العلامة <lastmod>.
  • تجنُّب سلاسل إعادة التوجيه الطويلة التي تؤثّر سلبًا في عملية الزحف
• تحسين صفحاتك ليتم تحميلها بشكل أسرع: إذا كان بإمكان Google تحميل صفحاتك وعرضها بشكل أسرع، قد نتمكّن من قراءة المزيد من المحتوى على موقعك الإلكتروني.
• تحديد المشاكل المتعلّقة بميزانية الزحف وحلّها تأكَّد من أنّ موقعك الإلكتروني خالٍ من أي مشاكل في مدى التوفّر أثناء عملية الزحف، وابحث عن طرق لجعل عملية الزحف أكثر فعالية.

كيف يمكنني زيادة ميزانية الزحف؟

تتوفّر طريقتان لزيادة ميزانية الزحف:

• إضافة المزيد من موارد الخادم: إذا تعذّر الزحف إلى موقعك الإلكتروني بسبب سعة الخادم من جهتك (على سبيل المثال، إذا ظهرت لك الرسالة تم تجاوز الحد الأقصى لتحميل المضيف في أداة فحص عنوان URL)، يمكنك إضافة المزيد من موارد الخادم إذا كان ذلك مناسبًا لعملك التجاري.
• تحسين جودة المحتوى لمنتج Google الذي تستهدفه: يحدّد محرّك بحث Google موارد الزحف المخصّصة لكل موقع إلكتروني من خلال أخذ العناصر ذات الصلة بمنتج Google المحدّد في الاعتبار. على سبيل المثال، بالنسبة إلى "بحث Google"، يشمل ذلك عوامل مثل مدى رواج المحتوى وقيمته الإجمالية بالنسبة إلى المستخدمين ومدى فرادته وسعة العرض.