دليل مالكي المواقع الإلكترونية الكبيرة لإدارة ميزانية الزحف

يشرح هذا الدليل طريقة تحسين زحف Google إلى المواقع الإلكترونية الكبيرة جدًا والتي يتم إجراء تعديلات عليها بشكل متكرّر.

إذا كان موقعك الإلكتروني لا يتضمّن عددًا كبيرًا من الصفحات السريعة التغيّر أو إذا تبيّن لك أنّ الزحف إلى صفحاتك يتم في اليوم نفسه الذي تُنشر فيه، لا تحتاج إلى قراءة هذا الدليل. في تلك الحالة، يكفي أن تعدّل خريطة الموقع باستمرار وأن تتحقّق من تغطية الفهرس بانتظام.

إذا كان المحتوى الخاص بك متاحًا منذ فترة ولكن لم يسبق أن تمت فهرسته، تكون هذه مشكلة مختلفة. وفي تلك الحالة، استخدِم أداة فحص عنوان URL لمعرفة سبب عدم فهرسة صفحتك.

الفئات المعنيّة بهذا الدليل

هذا الدليل متقدّم وهو مخصّص للفئات التالية:

• المواقع الإلكترونية الكبيرة (التي تتضمّن أكثر من مليون صفحة فريدة) والتي تعرض محتوًى يتغيّر بوتيرة معتدلة (مرة كل أسبوع)
• المواقع الإلكترونية المتوسطة أو الكبيرة (التي تتضمن أكثر من 10,000 صفحة فريدة) والتي تعرض محتوى سريع التغيّر (يوميًا)
• المواقع الإلكترونية التي يتم تصنيف قدر كبير من إجمالي عناوين URL الخاصة بها من خلال Search Console ضمن الفئة تم اكتشاف الصفحة - لم تتم فهرستها حتى الآن

الأرقام الواردة هنا هي تقدير تقريبي يهدف إلى مساعدتك في تصنيف موقعك الإلكتروني، وهي ليست أرقامًا دقيقة.

النظرية العامة للزحف

الويب هو مساحة كبيرة جدًا تكاد تكون غير متناهية، بحيث يتعذّر على محرّك بحث Google استكشاف وفهرسة جميع عناوين URL المتاحة. ونتيجةً لذلك، يتم تطبيق حدود على الوقت الذي يمكن أن يقضيه Googlebot في الزحف إلى أي موقع إلكتروني فردي. ويُشار عادةً إلى المقدار الذي تخصّصه Google من الوقت والموارد للزحف إلى موقع إلكتروني بعبارة ميزانية الزحف إلى الموقع الإلكتروني. ويُرجى العِلم بأنه لن تتم بالضرورة فهرسة جميع الصفحات التي يتم الزحف إليها على موقعك الإلكتروني، لأنه يجب تقييم كل صفحة ودمجها لتحديد ما إذا كانت ستتم فهرستها بعد الزحف إليها.

يتم تحديد ميزانية الزحف استنادًا إلى عنصرَين أساسيَين: الحد الأقصى لسعة الزحف وطلب الزحف.

الحد الأقصى لسعة الزحف

يهدف Googlebot إلى الزحف إلى موقعك الإلكتروني بدون تحميل الخوادم عبئًا زائدًا. ولتحقيق ذلك، يحتسب Googlebot الحد الاقصى لسعة الزحف، وهو الحد الأقصى لعدد الاتصالات المتوازية والمتزامنة التي يمكن لبرنامج Googlebot استخدامها للزحف إلى موقع إلكتروني، بالإضافة إلى مدة التأخير الفاصلة بين عمليات جلب البيانات. ويتم احتساب ذلك لتوفير تغطية لكل المحتوى المهم الذي تعرضه بدون تحميل خوادم موقعك الإلكتروني عبئًا زائدًا.

قد يرتفع أو ينخفض الحدّ الأقصى لسعة الزحف استنادًا إلى بضعة عوامل:

• سلامة الزحف: إذا استجاب الموقع الإلكتروني بسرعة عالية لبعض الوقت، سيرتفع الحدّ الأقصى، أي أنه يمكن استخدام المزيد من الاتصالات للزحف. إذا كانت استجابة الموقع الإلكتروني بطيئة أو كانت تشير إلى أخطاء في الخادم، سينخفض الحدّ الأقصى لسعة الزحف وسيزحف Googlebot بمعدّل أقل.
• الحدّ الأقصى الذي ضبطه مالك الموقع الإلكتروني في Search Console: بإمكان مالكي المواقع الإلكترونية خفض معدّل زحف Googlebot إلى مواقعهم الإلكترونية بشكل اختياري. ويُرجى العلم بأنّ ضبط حدّ أعلى للزحف لن يؤدي إلى زيادة معدّل الزحف تلقائيًا.
• حدود الزحف لدى Google: تملك Google العديد من الأجهزة، ولكن ليس بكمية لا متناهية. وبالتالي، علينا تحديد الخيارات باستخدام الموارد المتاحة لنا.

طلب الزحف

يخصّص محرّك بحث Google عادةً وقتًا كافيًا للزحف إلى موقع إلكتروني استنادًا إلى حجمه ومعدّل تعديله وجودة الصفحة ومدى الصلة بالموضوع مقارنةً بمواقع أخرى.

تشمل العوامل التي تؤدي دورًا مهمًا في تحديد طلب الزحف ما يلي:

• عناوين URL المخزّنة التي يتم رصدها: في حال لم تقدّم أي إرشادات إلى Googlebot، سيحاول الزحف إلى جميع أو معظم عناوين URL التي يرصدها على موقعك الإلكتروني. وإذا كان العديد من عناوين URL هذه نسخًا مكرّرة أو كنت لا تريد أن يتم الزحف إليها لسبب آخر (تمت إزالتها أم أنّها غير مهمة وما شابه)، سيؤدي ذلك إلى إهدار الكثير من الوقت الذي يخصّصه محرّك بحث Google للزحف إلى موقعك الإلكتروني. وهذا أكثر عامل يمكن التحكّم به بصورة إيجابية.
• مدى الرواج: يتم عادةً الزحف بمعدّل أعلى إلى عناوين URL الأكثر رواجًا على الإنترنت بهدف تعديلها باستمرار في فهرسنا.
• مدى القِدم: تريد أنظمتنا إعادة الزحف إلى المستندات بشكل متكرّر بما يكفي لرصد أي تغييرات.

بالإضافة إلى ذلك، قد تؤدي الأحداث التي تتم على مستوى الموقع الإلكتروني، مثل عمليات نقل بيانات الموقع الإلكتروني، إلى زيادة معدّل طلب الزحف لإعادة فهرسة المحتوى ضمن عناوين URL الجديدة.

الخلاصة

استنادًا إلى سعة الزحف وطلب الزحف معًا، يعرّف محرّك بحث Google ميزانية الزحف للموقع الإلكتروني كمجموعة عناوين URL التي يستطيع ويريد برنامج Googlebot الزحف إليها. إذا كانت وتيرة طلب الزحف منخفضة، سيزحف Googlebot إلى موقعك الإلكتروني بمعدّل أقل حتى إذا لم يتم بلوغ الحدّ الأقصى لسعة الزحف.

كيف يمكنني زيادة ميزانية الزحف؟
يحدّد محرّك بحث Google مقدار الموارد المخصصة لعملية الزحف التي سيتم منحها لكل موقع إلكتروني استنادًا إلى مدى رواجه وقيمته للمستخدمين ومدى فرادته وسعة العرض لديه. ولا يمكن زيادة ميزانية الزحف إلّا من خلال زيادة سعة العرض لعمليات الزحف، والأهم من ذلك، زيادة قيمة المحتوى المقدَّم على موقعك للمستخدمين.

أفضل الممارسات

يمكنك اتّباع أفضل الممارسات التالية لتحسين كفاءة الزحف إلى أقصى حدّ:

• إدارة عناوين URL المخزّنة: استخدِم الأدوات المناسبة لإبلاغ محرّك بحث Google بالصفحات المطلوب الزحف إليها والصفحات التي لا ينبغي الزحف إليها. إذا قضى محرّك بحث Google الكثير من الوقت في الزحف إلى عناوين URL غير مناسبة للفهرس، قد يستنتج برنامج Googlebot أنّه من غير المجدي تخصيص وقت للاطّلاع على بقية أجزاء موقعك الإلكتروني (أو زيادة ميزانيتك لإجراء ذلك).
  • دمج المحتوى المكرّر: أزِل المحتوى المكرّر للتركيز على الزحف إلى محتوى فريد بدلاً من عناوين URL فريدة.
  • حظر الزحف إلى عناوين URL باستخدام ملف robots.txt: قد تكون بعض الصفحات مهمة للمستخدمين، ولكنك لا تريد بالضرورة ظهورها في نتائج "بحث Google". على سبيل المثال، صفحات التمرير اللانهائي التي تكرّر المعلومات على الصفحات المرتبطة، أو النُسخ المتعدّدة من الصفحة ذاتها والمرتّبة بشكل مختلف. إذا لم تتمكن من دمج المحتوى المكرّر كما هو موضّح في النقطة الأولى، احظر هذه الصفحات غير المهمة (للبحث) باستخدام ملف robots.txt. يؤدي حظر عناوين URL باستخدام ملف robots.txt إلى خفض احتمال فهرستها بشكل ملحوظ.
    لا تستخدم علامة noindex، لأنّ محرّك بحث Google سيظل يطلب الزحف إلى الصفحة ثم سيزيلها من نتائج البحث عندما يرى العنوان أو علامة meta المسماة noindex في استجابة HTTP، ما يؤدي إلى إهدار وقت الزحف. لا تستخدم ملف robots.txt لإعادة تخصيص ميزانية الزحف مؤقتًا للصفحات الأخرى، بل استخدِمه لحظر الصفحات أو الموارد التي لا تريد من محرّك بحث Google أن يزحف إليها أبدًا. ولن تحوّل Google ميزانية الزحف المتاحة حديثًا إلى صفحات أخرى ما لم يبلغ محرّك بحث Google حدّ العرض الأقصى لمحتوى موقعك الإلكتروني.
  • عرض رمز الحالة 404 أو 410 للصفحات التي تمت إزالتها نهائيًا: لن ينسى محرّك بحث Google عنوان URL اطّلع عليه سابقًا، ولكنّ رمز الحالة 404 هو إشارة قوية بعدم الزحف إلى عنوان URL هذا مجددًا. وستبقى عناوين URL المحظورة جزءًا من قائمة انتظار الزحف لفترة أطول، وستتم إعادة الزحف إليها عند إزالة الحظر.
  • إزالة أخطاء soft 404: سيتواصل الزحف إلى الصفحات التي تعرض الخطأ soft 404، ما يؤدي إلى إهدار ميزانيتك. تحقّق من تقرير "تغطية الفهرس" بحثًا عن أخطاء soft 404.
  • تعديل خرائط الموقع باستمرار: يقرأ محرّك بحث Google خريطة الموقع بانتظام، لذا تأكَّد من تضمين كل المحتوى الذي تريد أن يزحف Google إليه. إذا كان موقعك الإلكتروني يتضمّن محتوى تم تعديله، ننصحك بتضمين علامة <lastmod>.
  • تجنُّب سلاسل إعادة التوجيه الطويلة التي تؤثّر سلبًا في عملية الزحف
• تحسين صفحاتك ليتم تحميلها بشكل أسرع: إذا كان بإمكان محرّك بحث Google تحميل صفحاتك وعرضها بشكل أسرع، قد نتمكّن من قراءة المزيد من المحتوى على موقعك الإلكتروني.
• مراقبة عملية الزحف إلى موقعك الإلكتروني: تأكَّد من أنّ موقعك الإلكتروني خالٍ من أي مشاكل في مدى التوفّر أثناء عملية الزحف، وابحث عن طرق لجعل عملية الزحف أكثر فعالية.

مراقبة الزحف والفهرسة على موقعك الإلكتروني

في ما يلي الخطوات الأساسية لمراقبة ملف الزحف الخاص بموقعك الإلكتروني:

1. التحقّق مما إذا كان Googlebot يواجه مشاكل متعلّقة بمدى التوفّر على موقعك الإلكتروني
2. التحقّق مما إذا كانت لديك صفحات لا يتم الزحف إليها في حين أنّ ذلك ضروري
3. التحقّق مما إذا كان يجب زيادة سرعة الزحف إلى أي جزء من موقعك الإلكتروني
4. تحسين كفاءة الزحف إلى موقعك الإلكتروني
5. معالجة عمليات الزحف الزائدة إلى موقعك الإلكتروني

التحقّق مما إذا كان Googlebot يواجه مشاكل متعلّقة بمدى التوفّر على موقعك الإلكتروني

إنّ تحسين مدى توفّر موقعك الإلكتروني لن يؤدي بالضرورة إلى زيادة ميزانية الزحف، لأنّ محرّك بحث Google يحدّد أفضل معدّل زحف بناءً على طلب الزحف، كما هو موضّح سابقًا. والمشاكل المرتبطة بمدى التوفّر تمنع محرّك بحث Google من الزحف إلى موقعك الإلكتروني بالمعدّل الذي يريده.

التشخيص:

استخدِم تقرير إحصاءات الزحف للاطّلاع على سجلّ زحف Googlebot إلى موقعك الإلكتروني. يعرض التقرير الحالات التي واجه فيها محرّك بحث Google مشاكل مرتبطة بمدى التوفّر على موقعك الإلكتروني. إذا تم الإبلاغ عن أخطاء أو تحذيرات مرتبطة بمدى توفّر موقعك الإلكتروني، ابحث عن الحالات التي تجاوزت فيها طلبات Googlebot حدّ الخط الأحمر (الذي يمثّل الحدّ الأقصى) في الرسومات البيانية الخاصة بمدى توفّر المضيف، وانقر على الرسم البياني للاطّلاع على عناوين URL التي تعذّر الدخول إليها وحاوِل معرفة صلتها بالعناوين التي تتضمّن مشاكل على موقعك الإلكتروني.

الحلّ:

• الاطّلاع على مستندات تقرير إحصاءات الزحف للتعرّف على طريقة العثور على بعض المشاكل المرتبطة بمدى التوفّر وحلّها
• حظر الزحف إلى الصفحات التي لا تريد أن يتم الزحف إليها (راجِع إدارة مخزن بياناتك)
• زيادة سرعة تحميل وعرض الصفحة (راجِع تحسين كفاءة الزحف إلى موقعك الإلكتروني)
• زيادة سعة الخادم: إذا بدا لك أنّ محرّك بحث Google يزحف باستمرار إلى موقعك الإلكتروني وصولاً إلى الحدّ الأقصى لسعة العرض ولكن لا تزال لديك عناوين URL مهمة لا يتم الزحف إليها أو تعديلها بالمقدار المطلوب، قد يتمكّن محرّك بحث Google من طلب المزيد من الصفحات على موقعك الإلكتروني إذا تم توفير المزيد من موارد العرض. تحقَّق من سجلّ مدى توفر المضيف في تقرير إحصاءات الزحف لمعرفة ما إذا كان معدّل الزحف لمحرّك بحث Google يتجاوز خط الحدّ الأقصى بشكل متكرّر. في تلك الحالة، يمكنك زيادة موارد العرض لمدة شهر ورصد ما إذا كانت طلبات الزحف قد ازدادت خلال الفترة نفسها.

التحقّق مما إذا كانت لديك أجزاء على موقعك الإلكتروني لا يتم الزحف إليها في حين أنّ ذلك ضروري

يخصّص محرّك البحث Google وقتًا كافيًا حتى يفهرس كل المحتوى العالي الجودة والمفيد للمستخدمين الذي يجده على موقعك الإلكتروني. إذا كنت تعتقد أنّ Googlebot يفوته الزحف إلى بعض المحتوى المهم، قد يكون السبب أنّه لم يرصد المحتوى أو أنّ محرّك بحث Google محظور من الوصول إلى المحتوى أو أنّ مدى توفّر موقعك الإلكتروني يعيق إمكانية وصول محرّك بحث Google إلى المحتوى (أو أنّ محرّك بحث Google يحاول عدم زيادة الحمل على موقعك الإلكتروني).

تذكّر أنّ الزحف يختلف عن الفهرسة. تتناول هذه الصفحة معلومات حول كيفية مساعدة محرّك بحث Google في الزحف إلى موقعك الإلكتروني بكفاءة، ولا تتطرّق إلى ما إذا كانت الصفحات التي تم العثور عليها ستُضاف إلى الفهرس.

التشخيص:

لا توفّر خدمة Search Console سجلّ زحف إلى موقعك الإلكتروني قابلاً للفلترة حسب عنوان URL أو المسار، ولكن يمكنك فحص سجلّات موقعك الإلكتروني لمعرفة ما إذا كان Googlebot قد زحف إلى عناوين URL معيّنة. وما من رابط بين موضوع هذه المقالة وفهرسة أو عدم فهرسة عناوين URL التي تم الزحف إليها.

تذكَّر أنّه في معظم المواقع الإلكترونية، يستغرق اكتشاف الصفحات الجديدة عدة أيام كحدّ أدنى، ومن غير المتوقّع أن يتم الزحف إلى عناوين URL على المواقع الإلكترونية في اليوم نفسه باستثناء المواقع الحساسة للوقت، مثل مواقع الأخبار.

الحلّ:

إذا كنت تضيف صفحات إلى موقعك الإلكتروني ولا يتم الزحف إليها خلال فترة زمنية معقولة، يشير ذلك إلى أنّ محرّك بحث Google لا يعرف بها أو أنّ المحتوى محظور أو أنّ موقعك الإلكتروني قد وصل إلى الحد الأقصى لسعة العرض أو أنّ ميزانية الزحف قد نفدت لموقعك الإلكتروني.

1. أطلِع محرّك بحث Google على صفحاتك الجديدة: عدِّل خرائط الموقع من خلال تضمين عناوين URL الجديدة.
2. راجِع قواعد robots.txt للتأكد من أنّك لا تحظر صفحات عن طريق الخطأ.
3. راجِع أولويات الزحف (المعروفة أيضًا باستخدام ميزانية الزحف بطريقة فعالة). عليك إدارة مخزن البيانات وتحسين كفاءة الزحف إلى موقعك الإلكتروني.
4. تأكَّد من عدم نفاد سعة العرض لموقعك الإلكتروني. سيخفّض Googlebot معدّل الزحف إذا وجد أنّ الخوادم تواجه مشكلة في الاستجابة لطلبات الزحف.

يُرجى العِلم بأنّه قد لا يتم عرض الصفحات في نتائج البحث حتى إذا تم الزحف إليها في حال لم يكُن هناك قيمة كافية للمحتوى أو طلب من المستخدمين عليه.

التحقّق مما إذا كان الزحف إلى التعديلات يتم بسرعة كافية

إذا فاتتنا صفحات جديدة أو معدّلة على موقعك الإلكتروني، قد يكون السبب أننا لم نرَها أو لم نلاحظ أنّه تم تعديلها. ويمكنك مساعدتنا في الاطّلاع على تعديلات الصفحات على النحو التالي.

يُرجى العِلم أنّ محرّك بحث Google يعمل جاهدًا للتحقّق من الصفحات وفهرستها خلال وقت معقول. في معظم المواقع الإلكترونية، يستغرق ذلك ثلاثة أيام أو أكثر. ومن غير المتوقّع أن يفهرس محرّك بحث Google الصفحات في اليوم نفسه الذي تنشرها فيه إلا إذا كان لديك موقع إخباري أو كنت تعرض محتوى آخر عالي القيمة وحساسًا جدًا للوقت.

التشخيص:

تحقّق من سجلّات موقعك الإلكتروني لمعرفة الوقت الذي زحف فيه Googlebot إلى عناوين URL معيّنة.

لمعرفة تاريخ الفهرسة، استخدِم أداة فحص عنوان URL أو ابحث في Google عن عناوين URL التي عدّلتها.

الحلّ:

إجراءات محبَّذة:

• استخدِم خريطة موقع الأخبار إذا كان موقعك الإلكتروني يعرض محتوى إخباريًا. وأبلِغ Google عند نشر أو تغيير خريطة الموقع.
• استخدام علامة <lastmod> في خرائط الموقع الإلكتروني للإشارة إلى الوقت الذي تم فيه تعديل عنوان URL المفهرَس
• استخدِم بنية عنوان URL بسيطة لمساعدة محرّك بحث Google في العثور على صفحاتك
• نقترح عليك توفير روابط <a> عادية قابلة للزحف لمساعدة محرّك بحث Google في العثور على صفحاتك.

تجنَّب ما يلي:

• أن ترسل خريطة الموقع غير المعدّلة نفسها عدة مرات يوميًا.
• أن تتوقع أنّ Googlebot سيزحف إلى كل محتوى خريطة الموقع أو أنّه سيزحف إليه على الفور. فخرائط الموقع ليست شرطًا أساسيًا، بل تشكّل اقتراحات مفيدة لبرنامج Googlebot.
• تضمين عناوين URL التي لا تريدها أن تظهر في محرّك بحث Google في خرائط الموقع الإلكتروني: يمكن أن يؤدي هذا الإجراء إلى إهدار ميزانية الزحف على الصفحات التي لا تريد فهرستها.

تحسين كفاءة الزحف إلى موقعك الإلكتروني

زيادة سرعة تحميل الصفحة

تتأثّر عملية زحف محرّك البحث Google بعدّة عوامل، وهي معدّل نقل البيانات والوقت ومدى توفّر Googlebot. وفي حال كان خادمك يستجيب للطلبات بشكل أسرع، قد نتمكن من الزحف إلى المزيد من الصفحات على موقعك الإلكتروني. يريد محرّك البحث Google الزحف إلى محتوى عالي الجودة فقط، لذلك لن تؤدي زيادة سرعة الصفحات ذات الجودة المنخفضة إلى تشجيع Googlebot على الزحف إلى مزيد من الصفحات على موقعك الإلكتروني. وفي المقابل، إذا كنا نعتقد أنه يفوتنا الزحف إلى محتوى عالي الجودة على موقعك الإلكتروني، من المرجح أن نزيد ميزانية الزحف لموقعك الإلكتروني كي تزحف برامجنا إلى ذلك المحتوى.

إليك طريقة تحسين صفحاتك ومواردك لتعزيز عملية الزحف:

• امنع Googlebot من تحميل الموارد الكبيرة وغير المهمة باستخدام ملف robots.txt. احرص على حظر الموارد غير المهمة فقط، أي الموارد التي ليست أساسية لفهم معنى الصفحة (مثل الصور الواردة لأغراض الزينة).
• تأكّد من أنّ تحميل صفحاتك يتم بسرعة.
• تجنَّب استخدام سلاسل إعادة التوجيه الطويلة التي تؤثر سلبًا في عملية الزحف.
• يجب الأخذ بالاعتبار الوقت اللازم للاستجابة لطلبات الخادم والوقت اللازم لعرض الصفحات، بما في ذلك وقت التحميل والتنفيذ للموارد المضمّنة، مثل الصور والنصوص البرمجية. ويجب الانتباه إلى الموارد الكبيرة أو البطيئة المطلوبة للفهرسة.

تحديد التغييرات التي تطرأ على المحتوى باستخدام رموز حالة HTTP

يتيح محرّك بحث Google بشكل عام استخدام العنوانَين If-Modified-Since وIf-None-Match لطلبات HTTP في الزحف. لا ترسل برامج الزحف من Google العناوين مع كل محاولات الزحف، بل يعتمد ذلك على حالة الاستخدام للطلب (على سبيل المثال، يزيد احتمال ضبط AdsBot لعنوانَي If-Modified-Since وIf-None-Match لطلبات HTTP). إذا أرسلت برامج الزحف الخاصة بنا العنوان If-Modified-Since، تكون قيمة العنوان مطابقة للتاريخ والوقت اللذَين تم فيهما الزحف إلى المحتوى لآخر مرة. استنادًا إلى تلك القيمة، قد يختار الخادم عرض الرمز 304 (Not Modified) لحالة HTTP بدون نص للاستجابة، وسيعيد محرّك بحث Google في تلك الحالة استخدام نسخة المحتوى التي زحف إليها في آخر مرة. إذا كان المحتوى أحدث من التاريخ الذي حدّده برنامج الزحف في عنوان If-Modified-Since، قد يعرض الخادم الرمز 200 (OK) لحالة HTTP مع نص الاستجابة.

بصرف النظر عن عناوين الطلبات، يمكنك إرسال الرمز 304 (Not Modified) لحالة HTTP بدون نص استجابة لأي طلبات من Googlebot إذا لم يكُن المحتوى قد تغيّر منذ آخر مرة زار فيها Googlebot عنوان URL. وسيؤدي ذلك إلى تقليل الوقت المطلوب المعالجة والحد من استهلاك الموارد على الخادم الخاص بك، ما قد يؤدي بشكل غير مباشر إلى تحسين كفاءة الزحف.

إخفاء عناوين URL التي لا تريدها أن تظهر في نتائج البحث

قد يؤدي إهدار موارد الخادم على صفحات غير ضرورية إلى الحدّ من نشاط الزحف من الصفحات المهمة بالنسبة إليك، ما قد يؤدي إلى حدوث تأخير كبير في اكتشاف محتوى مهم جديد أو معدَّل على الموقع الإلكتروني.

إنّ حظر أو إخفاء الصفحات التي تم الزحف إليها سابقًا من عمليات إعادة الزحف لن يؤدي إلى نقل ميزانية الزحف إلى جزء آخر من موقعك الإلكتروني ما لم يبلغ محرّك بحث Google حدّ العرض الأقصى لموقعك الإلكتروني.

إنّ عرض العديد من عناوين URL التي لا تريد أن يزحف إليها محرّك بحث Google على موقعك الإلكتروني قد يؤثر سلبًا في عملية الزحف إلى الموقع الإلكتروني وفهرسته. وتندرج عناوين URL هذه عادةً ضمن الفئات التالية:

• البحث المتعدّد الأوجه ومعرّفات الجلسات: يكون عادةً البحث المتعدّد الأوجه محتوًى مكرّرًا من الموقع الإلكتروني، ومعرّفات الجلسات ومعلَمات عناوين URL الأخرى التي ترتّب أو تفلتر الصفحة فقط لا توفّر محتوًى جديدًا. استخدِم ملف robots.txt لحظر صفحات البحث المتعدّد الأوجه.
• المحتوى المكرّر: يمكنك مساعدة محرّك بحث Google في التعرّف على المحتوى المكرّر لتجنُّب الزحف غير الضروري.
• صفحات خطأ soft 404: اعرض رمز خطأ 404 عندما لا تعود الصفحة متوفّرة.
• الصفحات المخترَقة: تأكَّد من مراجعة تقرير "مشاكل الأمان" وحلّ المشاكل في أي صفحات مخترَقة تعثر عليها أو إزالة تلك الصفحات.
• المساحات اللامتناهية والخوادم الوكيلة: احظر الزحف إليها باستخدام ملف robots.txt.
• المحتوى المنخفض الجودة والمحتوى غير المرغوب فيه: من المفيد تجنّبه.
• صفحات سلة التسوّق وصفحات التمرير اللانهائي والصفحات التي تؤدي إلى اتخاذ إجراء (مثل صفحات "الاشتراك" أو "الشراء الآن")

إجراءات محبَّذة:

• استخدِم ملف robots.txt إذا كنت لا تريد أن يزحف محرّك بحث Google إلى مورد أو صفحة على الإطلاق.
• إذا تمت إعادة استخدام مورد شائع على عدة صفحات، (مثل صورة مشتركة أو ملف JavaScript)، أشِر إلى المورد باستخدام عنوان URL نفسه في كل صفحة كي يتمكّن محرّك البحث Google من تخزين المورد نفسه مؤقتًا وإعادة استخدامه بدون الحاجة إلى طلبه عدة مرات.

إجراءات غير محبَّذة:

• لا تضِف أو تزِل صفحات أو أدلة من ملف robots.txt بانتظام كطريقة لإعادة تخصيص ميزانية الزحف الخاصة بموقعك الإلكتروني. استخدِم ملف robots.txt فقط للصفحات أو الموارد التي لا تريدها أن تظهر في نتائج البحث على Google في المدى الطويل.
• لا تبدِّل خرائط الموقع أو تستخدم آليات إخفاء مؤقّت أخرى بهدف إعادة تخصيص ميزانية الزحف.

معالجة عمليات الزحف الزائدة إلى موقعك الإلكتروني (حالات الطوارئ)

يتضمّت Googlebot خوارزميات لمنعه من تحميل موقعك الإلكتروني عبئًا زائدًا من خلال طلبات الزحف، ولكن إذا وجدت أنّ Googlebot يزيد الحِمل على موقعك الإلكتروني، يمكنك تنفيذ بعض الإجراءات.

التشخيص:

راقِب الخادم للتأكّد من أنّ Googlebot لا يزيد الحِمل على موقعك الإلكتروني من خلال طلبات الزحف الزائدة.

الحلّ:

في حالات الطوارئ، ننصح باتّباع الخطوات التالية لإبطاء معدّل زحف Googlebot إذا كان يزيد الحِمل على الموقع الإلكتروني:

1. أعرض رمز الاستجابة 503 أو 429 لحالة HTTP مؤقتًا لطلبات برنامج Googlebot عندما يكون الحِمل زائدًا على الخادم. سيعيد Googlebot محاولة الزحف إلى عناوين URL هذه لمدة يومين تقريبًا. يُرجى العِلم بأنّ عرض رموز "عدم التوفّر" لأكثر من بضعة أيام سيؤدي إلى إبطاء أو إيقاف عملية زحف محرّك بحث Google إلى عناوين URL على موقعك الإلكتروني بشكلٍ دائم، لذا عليك اتّباع الخطوات الإضافية التالية.
2. اخفض معدّل زحف Googlebot إلى موقعك الإلكتروني. قد يستغرق هذا الإجراء يومَين كي يدخل حيّز التنفيذ، ويتطلّب أذونات مالك الموقع على Search Console. لا تنفِّذ هذا الإجراء إلا إذا لاحظت أنّ محرّك بحث Google يجري عمليات زحف زائدة ومتكرّرة لمدة طويلة في الرسم البياني مدى توفّر المضيف> استخدام المضيف ضمن تقرير "إحصاءات الزحف".
3. عندما ينخفض معدّل الزحف، أوقِف عرض رمز الاستجابة 503 أو 429 لحالة HTTP لطلبات الزحف، لأنّ عرض الرمز 503 أو 429 لفترة تتجاوز يومَين سيؤدي إلى إزالة عناوين URL هذه من الفهرس.
4. تتبَّع معدّل الزحف وسعة المضيف بمرور الوقت لمعرفة ما إذا كان من المناسب رفع معدّل الزحف مجددًا أو السماح بالعودة إلى معدّل الزحف التلقائي.
5. إذا كان برنامج الزحف الذي يسبّب المشكلة هو أحد برامج زحف AdsBot، من المحتمل أن تكون قد أنشأت استهدافات للإعلانات الديناميكية على شبكة البحث لموقعك الإلكتروني الذي يحاول محرّك بحث Google الزحف إليه. وستتكرّر عملية الزحف هذه كل أسبوعَين. إذا لم تتوفّر لديك سعة الخادم اللازمة للتعامل مع عمليات الزحف هذه، عليك إما الحدّ من استهدافات الإعلانات أو زيادة سعة العرض.

الحقائق والمعلومات الخاطئة حول عملية الزحف

اختبِر معلوماتك حول كيفية زحف Google إلى المواقع الإلكترونية وفهرستها.

يمكن أن يؤدي ضغط ملفات Sitemap إلى زيادة ميزانية الزحف.

صحيح

خطأ

هذا الاعتقاد غير صحيح. يجب جلب خرائط الموقع من الخادم حتى إذا كانت مضغوطة، وبالتالي لن يؤدي إرسالها إلى توفير الكثير من الوقت أو الجهد الذي يبذله محرّك بحث Google في الزحف.

يفضّل محرّك البحث Google عرض المحتوى الأحدث، لذلك من الأفضل أن أعدّل صفحتي باستمرار.

صحيح

خطأ

يتم تقييم المحتوى استنادًا إلى جودته، بغض النظر عن مدى قِدمه. يمكنك إنشاء المحتوى وتعديله عند الضرورة، ولكن لا قيمة إضافية لتجديد مظهر الصفحة بشكل مصطنع عن طريق إجراء تغييرات غير مهمة عليها وتعديل تاريخها.

يفضّل محرّك بحث Google المحتوى القديم (يوليه أهمية أكبر) مقارنةً بالمحتوى الجديد.

صحيح

خطأ

إذا كانت صفحتك مفيدة، يتم النظر إليها على أنها مفيدة سواء كانت جديدة أم قديمة.

يفضّل محرّك البحث Google عناوين URL الواضحة ولا يحبّذ معلَمات طلب البحث.

صحيح

خطأ

يمكننا الزحف إلى المعلَمات.

كلما ازدادت سرعة تحميل وعرض صفحاتك، ازدادت قدرة محرّك بحث Google على الزحف.

صحيح

صحيح، مع الأخذ في الاعتبار أنّ مواردنا تخضع لقيود الوقت وعدد برامج التتبّع المستخدمة في الزحف. إذا كان بإمكانك عرض المزيد من الصفحات في فترة زمنية محدّدة، سيكون بإمكاننا الزحف إلى المزيد منها. وقد نخصّص مزيدًا من الوقت للزحف إلى موقع إلكتروني يحتوي على معلومات أكثر أهمية، حتى إذا كانت سرعته أبطأ. وعلى الأرجح، قد تكون زيادة سرعة موقعك الإلكتروني للمستخدمين أكثر فائدة من زيادة سرعته لتحسين تغطية الزحف. ومن الأسهل أن تساعد محرّك بحث Google في الزحف إلى المحتوى المناسب بدلاً من الزحف في كل مرة إلى كل المحتوى الذي تعرضه. يُرجى العلم بأنّ الزحف إلى موقع إلكتروني يشمل عمليّتَي استرداد المحتوى وعرضه. ولا يقلّ الوقت المستغرَق في عرض الصفحة أهميةً عن الوقت المستغرَق في طلب الصفحة. بالتالي، ستؤدي زيادة سرعة عرض صفحاتك إلى زيادة سرعة الزحف أيضًا.

خطأ

لا يتم الزحف إلى المواقع الإلكترونية الصغيرة والكبيرة بالمعدّل نفسه.

صحيح

خطأ

إذا كان الموقع الإلكتروني يتضمّن محتوًى مهمًا يتغير باستمرار، سنزحف إليه بشكل متكرّر بغض النظر عن حجمه.

كلما كان المحتوى الذي تعرضه شبيهًا بالمحتوى المتوفّر على الصفحة الرئيسية، ازدادت أهميته بالنسبة إلى محرّك بحث Google.

صحيح

صحيح جزئيًا

غالبًا ما تكون الصفحة الرئيسية في موقعك الإلكتروني هي الصفحة الأكثر أهمية على الموقع، وبالتالي تُعتبر الصفحات التي ترتبط مباشرةً بالصفحة الرئيسية على أنّها أكثر أهمية ويتم الزحف إليها بمعدّل أعلى، لكنّ ذلك لا يدلّ على أنّ هذه الصفحات سيتم ترتيبها في موضع أعلى مقارنةً بالصفحات الأخرى على موقعك الإلكتروني.

خطأ

إنّ إنشاء نُسخ من عناوين URL هو وسيلة جيّدة لحثّ محرّك البحث Google على إعادة الزحف إلى صفحاتي.

صحيح

صحيح جزئيًا

من المرجّح أن يؤدي استخدام نسخة أخرى من عنوان URL لصفحتك إلى حثّ محرّك بحث Google على الزحف إليها مجددًا في وقت أقرب، ولكنّ هذا الإجراء غير ضروري في معظم الأحيان، وسيؤدي إلى إهدار موارد الزحف في حال عدم حدوث أي تغيير في الصفحة. إذا كنت تستخدم نُسخًا مختلفة من عناوين URL للإشارة إلى محتوى جديد، ننصحك بتغيير عنوان URL فقط عندما تتم إضافة معلومات مفيدة إلى محتوى الصفحة.

خطأ

تتأثر ميزانية الزحف بسرعة الموقع الإلكتروني وبالأخطاء.

صحيح

يؤدي تحسين سرعة الموقع الإلكتروني إلى تحسين تجربة المستخدمين وكذلك إلى زيادة معدّل الزحف. ويُعدّ الموقع الإلكتروني السريع إشارة إلى Googlebot على توفّر خوادم جيّدة، ما يتيح له الحصول على مزيد من المحتوى باستخدام عدد الاتصالات نفسه. في المقابل، إنّ عرض عدد كبير من رموز الاستجابة 5xx لحالة HTTP (أخطاء الخادم) أو انتهاء المهلة المحدّدة للاتصال يدلّان على عكس ذلك، ما يؤدّي إلى خفض سرعة الزحف. ننصحك بمراقبة تقرير "إحصاءات الزحف" في Search Console وإبقاء عدد أخطاء الخادم منخفضًا.

خطأ

الزحف هو عامل ترتيب.

صحيح

خطأ

لن يؤدي تحسين معدّل الزحف بالضرورة إلى تحسين موضع الصفحة في نتائج البحث. ويستخدِم محرّك البحث Google العديد من الإشارات لترتيب النتائج، والزحف هو عامل ضروري لظهور الصفحة في نتائج البحث، إلّا أنّه لا يتم الاعتماد عليه في ترتيب النتائج.

يتم احتساب عناوين URL البديلة والعناصر المضمّنة في ميزانية الزحف.

صحيح

بشكل عام، سيتم احتساب أي عنوان URL يزحف إليه برنامج Googlebot ضمن إطار ميزانية الزحف الخاصة بالموقع الإلكتروني. وقد يكون من الضروري الزحف إلى عناوين URL البديلة، مثل AMP أو hreflang، وكذلك إلى المحتوى المضمّن، مثل CSS وJavaScript، بما في ذلك عمليات استرجاع XHR، ما يستهلك ميزانية الزحف المخصصة للموقع الإلكتروني.

خطأ

يمكنني التحكّم في Googlebot باستخدام القاعدة crawl-delay.

صحيح

خطأ

لا يعالج Googlebot القاعدة crawl-delay غير العادية في ملف robots.txt.

تؤثر القاعدة nofollow في ميزانية الزحف.

صحيح

صحيح جزئيًا

يؤثّر أي عنوان URL يتم الزحف إليه في ميزانية الزحف، لذا حتى إذا كانت صفحتك تتضمن علامة nofollow لعنوان URL، سيتواصل الزحف إليه في حال لم تتضمّن صفحة أخرى على موقعك الإلكتروني أو أي صفحة على الويب علامة nofollow للرابط.

خطأ

يمكنني استخدام noindex للتحكم في ميزانية الزحف.

صحيح

صحيح جزئيًا

إنّ ميزانية الزحف تتأثر بأيّ عنوان URL يتم الزحف إليه، ويجب أن يزحف محرّك بحث Google إلى الصفحة للعثور على قاعدة noindex.

مع ذلك، يمكنك استخدام noindex لإبقاء المحتوى خارج الفهرس. وإذا أردت ضمان عدم إدراج تلك الصفحات في فهرس Google، تابِع استخدام noindex ولا تقلق بشأن ميزانية الزحف. يُرجى العِلم أيضًا أنّه إذا تمت إزالة عناوين URL من فهرس Google باستخدام noindex أو غير ذلك، سيصبح بإمكان Googlebot التركيز على عناوين URL الأخرى على موقعك الإلكتروني، أي أنّ استخدام noindex قد يؤدي بطريقة غير مباشرة إلى إخلاء بعض ميزانية الزحف لموقعك الإلكتروني على المدى الطويل.

خطأ

الصفحات التي تعرض رموز 4xx لحالة HTTP تؤدي إلى إهدار ميزانية الزحف.

صحيح

خطأ

إنّ الصفحات التي تعرض رموز 4xx لحالة HTTP (باستثناء 429) لا تؤدي إلى إهدار ميزانية الزحف. وهي تعني أنّ محرّك بحث Google حاول الزحف إلى الصفحة ولكنّه تلقّى رمز حالة بدون أي محتوى.