تحديد أخطاء الزحف في "بحث Google" وحلّها

في ما يلي الخطوات الأساسية لتحديد المشاكل المتعلقة بالزحف إلى موقعك الإلكتروني وحلّها في "بحث Google":

  1. التحقّق مما إذا كان Googlebot يواجه مشاكل متعلّقة بمدى التوفّر على موقعك الإلكتروني
  2. التحقّق مما إذا كانت لديك صفحات لا يتم الزحف إليها في حين أنّ ذلك ضروري
  3. التحقّق مما إذا كان يجب زيادة سرعة الزحف إلى أي جزء من موقعك الإلكتروني
  4. تحسين كفاءة الزحف إلى موقعك الإلكتروني
  5. معالجة عمليات الزحف الزائدة إلى موقعك الإلكتروني

التحقّق مما إذا كان Googlebot يواجه مشاكل متعلّقة بمدى التوفّر على موقعك الإلكتروني

إنّ تحسين توفُّر موقعك الإلكتروني لن يؤدي بالضرورة إلى زيادة ميزانية الزحف، لأنّ Google يحدّد أفضل معدّل زحف بناءً على طلب الزحف، كما هو موضّح سابقًا. والمشاكل المرتبطة بمدى التوفّر تمنع Google من الزحف إلى موقعك بالمعدّل الذي يريده.

التشخيص:

استخدِم تقرير إحصاءات الزحف للاطّلاع على سجلّ زحف Googlebot إلى موقعك الإلكتروني. يعرض التقرير الحالات التي واجه فيها Google مشاكل مرتبطة بالتوفّر على موقعك الإلكتروني. إذا تم الإبلاغ عن أخطاء أو تحذيرات مرتبطة بتوفّر موقعك الإلكتروني، ابحث في الرسوم البيانية الخاصة بتوفّر المضيف عن الحالات التي تجاوزت فيها طلبات Googlebot الخطّ الأحمر الذي يمثّل الحدّ الأقصى، وانقر على الرسم البياني للاطّلاع على عناوين URL التي أخفقت وحاوِل معرفة صلتها بالعناوين التي تتضمّن مشاكل على موقعك الإلكتروني.

بالإضافة إلى ذلك، يمكنك استخدام أداة فحص عنوان URL لاختبار بضعة عناوين URL على موقعك الإلكتروني. إذا عرضَت الأداة تحذيرات من نوع تم تجاوز الحد الأقصى لتحميل المضيف، هذا يعني أنّ Googlebot لا يمكنه الزحف إلى جميع عناوين URL التي رصدَها على موقعك الإلكتروني.

الحلّ:

  • يمكنك الاطّلاع على مستندات تقرير إحصاءات الزحف للتعرّف على طريقة رصد بعض المشاكل المرتبطة بمدى التوفّر وحلّها.
  • حظر الزحف إلى الصفحات التي لا تريد أن يتم الزحف إليها (راجِع إدارة مخزن بياناتك)
  • زيادة سرعة تحميل وعرض الصفحة (راجِع تحسين كفاءة الزحف إلى موقعك الإلكتروني)
  • زيادة سعة الخادم إذا بدا لك أنّ Google يزحف باستمرار إلى موقعك الإلكتروني وصولاً إلى الحدّ الأقصى لسعة العرض ولكن لا تزال لديك عناوين URL مهمة لا يتم الزحف إليها أو تعديلها بالمقدار المطلوب، قد يتمكّن Google من طلب المزيد من الصفحات على موقعك الإلكتروني إذا تم توفير المزيد من موارد العرض. تحقَّق من سجلّ توفر المضيف في تقرير إحصاءات الزحف لمعرفة ما إذا كان معدّل الزحف لمحرّك بحث Google يتجاوز خطّ الحدّ الأقصى بشكل متكرّر. في تلك الحالة، يمكنك زيادة موارد العرض لمدة شهر ومراقبة ما إذا كانت طلبات الزحف قد ازدادت خلال الفترة نفسها.

التحقّق مما إذا كانت لديك أجزاء على موقعك الإلكتروني لا يتم الزحف إليها في حين أنّ ذلك ضروري

يخصّص Google وقتًا كافيًا حتى يفهرس كل المحتوى العالي الجودة والمفيد للمستخدمين الذي يجده على موقعك الإلكتروني. إذا كنت تعتقد أنّ Googlebot يفوته الزحف إلى بعض المحتوى المهم، قد يكون السبب أنّه لم يرصد المحتوى أو أنّ Google محظور من الوصول إلى المحتوى أو أنّ مدى توفّر موقعك الإلكتروني يعيق إمكانية وصول Google إلى المحتوى (أو أنّ Google يحاول عدم زيادة الحمل على موقعك الإلكتروني).

التشخيص:

لا توفّر خدمة Search Console سجلّ زحف إلى موقعك الإلكتروني قابلاً للفلترة حسب عنوان URL أو المسار، ولكن يمكنك فحص سجلّات موقعك الإلكتروني لمعرفة ما إذا كان Googlebot قد زحف إلى عناوين URL معيّنة. وما من رابط بين هذا الموضوع وفهرسة أو عدم فهرسة عناوين URL التي تم الزحف إليها.

تذكَّر أنّه في معظم المواقع الإلكترونية، يستغرق اكتشاف الصفحات الجديدة عدة أيام كحدّ أدنى، ومن غير المتوقّع أن يتم الزحف إلى عناوين URL على المواقع الإلكترونية في اليوم نفسه باستثناء المواقع الحساسة للوقت، مثل مواقع الأخبار.

الحلّ:

إذا كنت تضيف صفحات إلى موقعك الإلكتروني ولا يتم الزحف إليها خلال فترة زمنية معقولة، يشير ذلك إلى أنّ Google لا يعرف بها أو أنّ المحتوى محظور أو أنّ موقعك الإلكتروني قد وصل إلى الحد الأقصى لسعة العرض أو أنّ ميزانية الزحف قد نفدت لموقعك الإلكتروني.

  1. أطلِع Google على صفحاتك الجديدة: عدِّل خرائط الموقع من خلال تضمين عناوين URL الجديدة.
  2. راجِع قواعد robots.txt للتأكد من أنّك لا تحظر صفحات عن طريق الخطأ.
  3. راجِع أولويات الزحف (أي استخدِم ميزانية الزحف بطريقة فعالة). عليك إدارة مخزن البيانات وتحسين كفاءة الزحف إلى موقعك الإلكتروني.
  4. تأكَّد من عدم نفاد سعة العرض لموقعك الإلكتروني. سيخفّض Googlebot معدّل الزحف إذا وجد أنّ الخوادم تواجه مشكلة في الاستجابة لطلبات الزحف.

يُرجى العِلم بأنّه قد لا يتم عرض الصفحات في نتائج البحث حتى إذا تم الزحف إليها ما لَم يكُن هناك قيمة كافية للمحتوى أو طلب من المستخدمين عليه.

التحقّق مما إذا كان الزحف إلى التعديلات يتم بسرعة كافية

إذا فاتتنا صفحات جديدة أو معدّلة على موقعك الإلكتروني، قد يكون السبب أنّنا لم نرَها أو لم نلاحظ أنّه تم تعديلها. ويمكنك مساعدتنا في الاطّلاع على التعديلات التي تتم في الصفحات على النحو التالي.

يعمل محرّك بحث Google جاهدًا للتحقّق من الصفحات وفهرستها خلال وقت معقول. في معظم المواقع الإلكترونية، يستغرق ذلك ثلاثة أيام أو أكثر. ومن غير المتوقّع أن يفهرس Google الصفحات في اليوم نفسه الذي تنشرها فيه إلا إذا كان لديك موقع إخباري أو كنت تعرض محتوى آخر عالي القيمة وحساسًا جدًا للوقت.

التشخيص:

تحقَّق من سجلّات موقعك الإلكتروني لمعرفة الوقت الذي زحف فيه Googlebot إلى عناوين URL معيّنة.

لمعرفة تاريخ الفهرسة، استخدِم أداة فحص عنوان URL أو ابحث في Google عن عناوين URL التي عدّلتها.

الحلّ:

إجراءات محبَّذة:

  • استخدام خريطة موقع لخدمة "أخبار Google" إذا كان موقعك الإلكتروني يعرض محتوًى إخباريًا
  • استخدام علامة <lastmod> في خرائط الموقع للإشارة إلى الوقت الذي تم فيه تعديل عنوان URL المفهرَس
  • استخدام بنية عنوان URL قابلة للزحف لمساعدة Google في العثور على صفحاتك
  • توفير روابط <a> قابلة للزحف وعادية لمساعدة Google في العثور على صفحاتك
  • إذا كان موقعك الإلكتروني يستخدم بروتوكول HTML منفصلاً للنُسخ المخصّصة لأجهزة الكمبيوتر والأخرى المخصَّصة للأجهزة الجوّالة، عليك توفير مجموعة الروابط نفسها في النسخة المخصَّصة للأجهزة الجوّالة كما هو الحال في النسخة المخصَّصة لأجهزة الكمبيوتر. وإذا لم يكن من الممكن توفير مجموعة الروابط نفسها في نسخة الموقع المخصَّصة للأجهزة الجوّالة، تأكَّد من تضمينها في ملف خريطة الموقع. لا يفهرس محرّك بحث Google سوى نُسخ الصفحات المخصَّصة للأجهزة الجوّالة، وبالتالي فإن تقييد الروابط المعروضة فيها قد يؤدي إلى إبطاء اكتشاف الصفحات الجديدة.

إجراءات غير محبَّذة:

  • أن ترسل خريطة الموقع غير المعدّلة نفسها عدة مرات يوميًا
  • أن تتوقع أنّ Googlebot سيزحف إلى كل محتوى خريطة الموقع أو أنّه سيزحف إليه على الفور. فخرائط الموقع ليست شرطًا أساسيًا، بل تشكّل اقتراحات مفيدة لبرنامج Googlebot
  • تضمين عناوين URL التي لا تريدها أن تظهر في محرّك بحث Google في خرائط الموقع الإلكتروني: يمكن أن يؤدي هذا الإجراء إلى إهدار ميزانية الزحف على الصفحات التي لا تريد فهرستها.

تحسين كفاءة الزحف إلى موقعك الإلكتروني

زيادة سرعة تحميل الصفحة

تتأثّر عملية زحف Google بعدّة عوامل، وهي معدّل نقل البيانات والوقت وتوفُّر Googlebot. وفي حال كان خادمك يستجيب للطلبات بشكل أسرع، قد نتمكن من الزحف إلى المزيد من الصفحات على موقعك الإلكتروني. يريد Google الزحف إلى محتوى عالي الجودة فقط، لذلك لن تؤدي زيادة سرعة الصفحات ذات الجودة المنخفضة إلى تشجيع Googlebot على الزحف إلى مزيد من الصفحات على موقعك الإلكتروني. وفي المقابل، إذا كنا نعتقد أنّه يفوتنا الزحف إلى محتوى عالي الجودة على موقعك، من المرجح أن نزيد ميزانية الزحف لموقعك كي تزحف برامجنا إلى ذلك المحتوى.

إليك طريقة تحسين صفحاتك ومواردك لتعزيز عملية الزحف:

  • امنع Googlebot من تحميل الموارد الكبيرة وغير المهمة باستخدام ملف robots.txt. احرص على حظر الموارد غير المهمة فقط، أي الموارد التي ليست أساسية لفهم معنى الصفحة (مثل الصور الواردة لأغراض الزينة).
  • تأكَّد من أنّ تحميل صفحاتك يتم بسرعة.
  • تجنَّب استخدام سلاسل إعادة التوجيه الطويلة التي تؤثر سلبًا في عملية الزحف.
  • يجب الأخذ في الاعتبار الوقت اللازم للاستجابة لطلبات الخادم والوقت اللازم لعرض الصفحات، بما في ذلك وقت التحميل والتنفيذ للموارد المضمّنة، مثل الصور والنصوص البرمجية. ويجب الانتباه إلى الموارد الكبيرة أو البطيئة المطلوبة للفهرسة.

تحديد التغييرات التي تطرأ على المحتوى باستخدام رموز حالة HTTP

يتيح Google بشكل عام استخدام العنوانَين If-Modified-Since وIf-None-Match لطلبات HTTP في الزحف. ولا ترسل برامج الزحف من Google العناوين مع كل محاولات الزحف، بل يعتمد ذلك على حالة الاستخدام للطلب (على سبيل المثال، يزيد احتمال ضبط AdsBot لعنوانَي If-Modified-Since وIf-None-Match لطلبات HTTP). إذا أرسلَت برامج الزحف الخاصة بنا العنوان If-Modified-Since، تكون قيمة العنوان مطابقة للتاريخ والوقت اللذَين تم فيهما الزحف إلى المحتوى لآخر مرة. استنادًا إلى تلك القيمة، قد يختار الخادم عرض الرمز 304 (Not Modified) لحالة HTTP بدون نص للاستجابة، وسيعيد Google في تلك الحالة استخدام نسخة المحتوى التي زحف إليها في آخر مرة. إذا كان المحتوى أحدث من التاريخ الذي حدّده برنامج الزحف في عنوان If-Modified-Since، قد يعرض الخادم الرمز 200 (OK) لحالة HTTP مع نص الاستجابة.

بصرف النظر عن عناوين الطلبات، يمكنك إرسال الرمز 304 (Not Modified) لحالة HTTP بدون نص استجابة لأي طلبات من Googlebot إذا لم يكُن المحتوى قد تغيّر منذ آخر مرة زار فيها Googlebot عنوان URL. وسيؤدي ذلك إلى تقليل الوقت المطلوب المعالجة والحد من استهلاك الموارد على الخادم الخاص بك، ما قد يؤدي بشكل غير مباشر إلى تحسين كفاءة الزحف.

إخفاء عناوين URL التي لا تريدها أن تظهر في نتائج البحث

قد يؤدي إهدار موارد الخادم على صفحات غير ضرورية إلى الحدّ من نشاط الزحف من الصفحات المهمة بالنسبة إليك، ما قد يؤدي بدوره إلى حدوث تأخير كبير في اكتشاف محتوى مهم جديد أو معدَّل على الموقع الإلكتروني.

عند عرض العديد من عناوين URL التي لا تريد أن يزحف إليها Google على موقعك الإلكتروني، قد يؤثر ذلك سلبًا في عملية الزحف إلى الموقع الإلكتروني وفهرسته. وتندرج عناوين URL هذه عادةً ضمن الفئات التالية:

إجراءات محبَّذة:

  • استخدِم ملف robots.txt إذا كنت لا تريد أن يزحف Google إلى مورد أو صفحة على الإطلاق.
  • إذا تمت إعادة استخدام مورد شائع على عدة صفحات، (مثل صورة مشتركة أو ملف JavaScript)، أشِر إلى المورد باستخدام عنوان URL نفسه في كل صفحة كي يتمكّن Google من تخزين المورد نفسه مؤقتًا وإعادة استخدامه بدون الحاجة إلى طلبه عدة مرات.

إجراءات غير محبَّذة:

  • لا تضِف أو تزِل صفحات أو أدلة من ملف robots.txt بانتظام كطريقة لإعادة تخصيص ميزانية الزحف الخاصة بموقعك الإلكتروني. استخدِم ملف robots.txt فقط للصفحات أو الموارد التي لا تريدها أن تظهر في نتائج بحث Google على المدى الطويل.
  • لا تبدِّل خرائط الموقع أو تستخدم آليات إخفاء مؤقّت أخرى بهدف إعادة تخصيص ميزانية الزحف.

أخطاء soft 404

خطأ soft 404 هو عندما يعرض عنوان URL صفحة تُعلِم المستخدم بأنّ الصفحة غير متوفّرة كما يعرض رمز حالة 200 (success). وأحيانًا، قد يتم عرض صفحة لا تشتمل على محتوى أساسي أو صفحة فارغة.

قد ينشئ خادم الويب أو نظام إدارة محتوى الموقع الإلكتروني أو المتصفّح الخاص بالمستخدم هذا النوع من الصفحات لأسباب مختلفة. مثلاً:

  • عدم توفّر ملف تضمينات جانب الخادم
  • انقطاع الاتصال بقاعدة البيانات
  • عدم توفّر محتوى في صفحة نتائج البحث الداخلية
  • ملف JavaScript تم إلغاء تحميله أو لم يعُد متوفّرًا لسبب آخر

إنّ عرض رمز الحالة 200 (success)، ثم عرض أو اقتراح رسالة خطأ أو أي نوع من الأخطاء على الصفحة، يترك انطباعًا سيئًا لدى المستخدمين. قد يظن المستخدمون أنّ الصفحة منشورة ومتاحة، ولكن في الواقع يتم عرض خطأ ما. يتم استبعاد هذا النوع من الصفحات من &quot;بحث Google&quot;.

عندما تكتشف خوارزميات Google أنّ الصفحة هي في الواقع صفحة خطأ استنادًا إلى محتواها، ستعرض خدمة Search Console خطأ soft 404 في تقرير &quot;فهرسة الصفحات&quot; للموقع الإلكتروني.

إصلاح أخطاء soft 404

استنادًا إلى حالة الصفحة والنتيجة المطلوبة، يمكنك حلّ أخطاء soft 404 بعدة طرق:

حاوِل تحديد الحلّ الأنسب للمستخدمين.

الصفحة والمحتوى لم يعودا متوفّرين

إذا أزلت الصفحة ولم توفّر صفحة بديلة على موقعك الإلكتروني تتضمّن محتوًى مشابهًا، اعرض رمز الاستجابة (الحالة) 404 (not found) أو 410 (gone) للصفحة. تُعلم رموز الحالة هذه محركات البحث بأنّ الصفحة غير متوفّرة وأنّك لا تريد أن تفهرسها محركات البحث.

إذا كان بإمكانك الوصول إلى ملفات إعداد الخادم، يمكنك تخصيص صفحات الخطأ هذه كي تصبح ذات فائدة للمستخدمين. مثلاً، يمكن لصفحة 404 المخصّصة بشكل جيد أن تساعد المستخدمين في العثور على المعلومات التي يبحثون عنها، وتوفّر لهم أيضًا محتوًى مفيدًا وتشجّعهم على استكشاف موقعك الإلكتروني بشكل أكبر. في ما يلي بعض النصائح حول تصميم صفحة 404 مخصّصة ومفيدة:

  • أخبِر الزائرين بشكل واضح أن الصفحة التي يبحثون عنها لا يمكن العثور عليها. استخدِم لغةً لطيفة.
  • تأكَّد من أن صفحة 404 تتّبع الشكل والأسلوب نفسيهما (بما في ذلك أدوات التنقل) مثل سائر صفحات موقعك الإلكتروني.
  • نقترح عليك إضافة روابط إلى مقالاتك أو منشوراتك الأكثر رواجًا، بالإضافة إلى رابط يؤدي إلى الصفحة الرئيسية على موقعك الإلكتروني.
  • نقترح عليك توفير طريقة للمستخدمين تتيح لهم الإبلاغ عن أي رابط معطَّل.

إنّ صفحات 404 المخصصة يتم إنشاؤها للمستخدمين فقط. وبما أنّ هذه الصفحات غير مفيدة بالنسبة إلى محرّكات البحث، تأكَّد من أنّ الخادم يعرض رمز حالة HTTP من فئة 404 لمنع فهرسة هذه الصفحات.

تتوفّر الصفحة أو المحتوى في مكان آخر حاليًا

إذا تم نقل صفحتك أو كان لها بديل واضح على موقعك الإلكتروني، يمكنك عرض 301 (permanent redirect) لإعادة توجيه المستخدم. لن يؤثر هذا الإجراء في تجربة التصفّح، كما أنه يوفّر طريقة رائعة لإعلام محركات البحث بالمكان الجديد للصفحة. يمكنك استخدام أداة فحص عنوان URL للتأكّد مما إذا كان عنوان URL يعرض الرمز الصحيح أم لا.

الصفحة والمحتوى لا يزالان متوفّرَين

إذا تم تصنيف صفحتك على نحو غير صحيح ضمن الصفحات التي تحتوي على الخطأ soft 404، من المحتمل أنّه لم يتم تحميلها بشكل مناسب ليكتشفها برنامج Googlebot أو أنّها لم توفّر بعض الموارد المهمة أو عرضت رسالة خطأ بارزة أثناء العرض. يمكنك استخدام أداة فحص عنوان URL لفحص المحتوى ورمز HTTP المعروضَين. وإذا كانت الصفحة المعروضة فارغة أو تتضمن قدرًا قليلاً من المحتوى أو إذا عرض المحتوى رسالة خطأ، قد يكون السبب أنّها توجّه المستخدمين إلى عدد كبير من الموارد التي يتعذّر تحميلها (الصور والنصوص البرمجية وغير ذلك من العناصر غير النصية) ما يمكن تفسيره على أنه خطأ soft 404. أحد الأسباب التي قد تمنع تحميل الموارد هي أنّ هذه الموارد محظورة (باستخدام ملف robots.txt)، وقد يكون السبب أيضًا إضافة عدد كبير من الموارد في الصفحة أو أخطاء مختلفة في الخادم أو التحميل البطيء أو الموارد الكبيرة الحجم.

معالجة عمليات الزحف الزائدة إلى موقعك الإلكتروني (حالات الطوارئ)

يتضمّن Googlebot خوارزميات لمنعه من تحميل موقعك الإلكتروني عبئًا زائدًا من خلال طلبات الزحف، ولكن إذا وجدتَ أنّ Googlebot يزيد الحِمل على موقعك الإلكتروني، يمكنك تنفيذ بعض الإجراءات.

التشخيص:

راقِب الخادم للتأكّد من أنّ Googlebot لا يزيد الحِمل على موقعك الإلكتروني من خلال طلبات الزحف الزائدة.

الحلّ:

في حالات الطوارئ، ننصح باتّباع الخطوات التالية لإبطاء معدّل زحف Googlebot إذا كان يزيد الحِمل على الموقع الإلكتروني:

  1. اعرض رمز الاستجابة 503 أو 429 لحالة HTTP مؤقتًا لطلبات برنامج Googlebot عندما يكون الحِمل زائدًا على الخادم. سيعيد Googlebot محاولة الزحف إلى عناوين URL هذه لمدة يومين تقريبًا. يُرجى العِلم أنّ عرض رموز "عدم التوفّر" لأكثر من بضعة أيام سيؤدي إلى إبطاء أو إيقاف عملية زحف Google إلى عناوين URL على موقعك الإلكتروني بشكلٍ دائم، لذا عليك اتّباع الخطوات الإضافية التالية.
  2. عندما ينخفض معدّل الزحف، أوقِف عرض رمز الاستجابة 503 أو 429 لحالة HTTP لطلبات الزحف، لأنّ عرض الرمز 503 أو 429 لفترة تتجاوز يومَين سيؤدي إلى إزالة عناوين URL هذه من الفهرس.
  3. راقِب معدّل الزحف وسعة المضيف بمرور الوقت.
  4. إذا كان برنامج الزحف الذي يسبّب المشكلة هو أحد برامج زحف AdsBot، من المحتمل أن تكون قد أنشأت استهدافات للإعلانات الديناميكية على شبكة البحث لموقعك الإلكتروني الذي يحاول Google الزحف إليه. وستتكرّر عملية الزحف هذه كل 3 أسابيع. إذا لم تتوفّر لديك سعة الخادم اللازمة للتعامل مع عمليات الزحف هذه، عليك إما الحدّ من استهدافات الإعلانات أو زيادة سعة العرض.