كيفية خفض معدل زحف Google

تستخدم البنية الأساسية لبرامج الزحف من Google خوارزميات متقدّمة لتحديد معدّل الزحف المثالي لكل موقع إلكتروني. فهدفنا هو الزحف إلى أكبر عدد ممكن من صفحات موقعك الإلكتروني عند كل زيارة بدون تحميل الخادم عبئًا زائدًا. وفي بعض الحالات، قد يتسبب زحف محرّك بحث Google إلى موقعك الإلكتروني بزيادة حرجة في الحمل على البنية الأساسية أو قد يؤدي إلى تكاليف غير مرغوب فيها أثناء حدوث انقطاع في الخدمة. للحدّ من هذه المشاكل، يمكنك تقليل عدد الطلبات المقدّمة من برامج الزحف من Google.

ما أسباب الزيادة الحادة في عمليات الزحف؟

قد تحدث زيادة حادة في عمليات الزحف نتيجة أخطاء في بنية موقعك الإلكتروني أو مشاكل أخرى في الموقع. استنادًا إلى التقارير التي تلقّيناها في الماضي، تشمل الأسباب الأكثر شيوعًا ما يلي:

  • إعداد عناوين URL على موقعك الإلكتروني بطريقة غير فعّالة، ويكون ذلك عادةً نتيجة وظيفة محددة في الموقع، مثل:
    • البحث المتعدّد الأوجه أو غيره من وظائف الترتيب والفلترة
    • تقويم يتضمّن العديد من عناوين URL لتواريخ محددة
  • استهداف لإعلان ديناميكي على شبكة البحث

ننصحك بشدة بالاستفسار من المستضيف ومراجعة سجلّات الوصول الأخيرة للخادم، وذلك بهدف فهم مصدر الزيارات ومعرفة ما إذا كان موافقًا للأسباب الشائعة الواردة أعلاه والتي تؤدي إلى زيادة حادة في عمليات الزحف. بعد ذلك، راجِع المحتوى الذي نوفّره حول إدارة الزحف إلى عناوين URL التي تتيح البحث المتعدّد الأوجه وتحسين كفاءة الزحف.

كيفية خفض عدد زيارات الزاحف بشكل عاجل (للحالات الطارئة)

لخفض معدّل الزحف بشكل عاجل لفترة زمنية قصيرة (على سبيل المثال، لمدة ساعتين أو ليوم أو يومَين)، اعرض رمز الحالة 500 أو 503 أو 429 لاستجابة HTTP بدلاً من 200 لطلبات الزحف.

عندما ترصد البنية الأساسية لبرامج الزحف من Google عددًا كبيرًا من عناوين URL برموز الحالة 500 أو 503 أو 429 لاستجابة HTTP (على سبيل المثال، إذا أوقفت موقعك الإلكتروني):

  • يؤدي ذلك إلى خفض معدّل الزحف إلى موقعك الإلكتروني على مستوى اسم المضيف بالكامل (على سبيل المثال، subdomain.example.com)، ويشمل ذلك كلاً من عناوين URL التي تعرض أخطاءً وعناوين URL التي تعرض محتوًى.
  • يزيد معدّل الزحف تلقائيًا مرة أخرى بعد خفض عدد هذه الأخطاء.

عند عرض رمز الحالة 503 أو 429، يمكنك أيضًا تضمين عنوان HTTP‏ Retry-After (كما هو محدّد في دلالات RFC 9110 HTTP) لتحديد الموعد الذي يمكن فيه لبرامج زحف Google إعادة محاولة تنفيذ الطلب، وذلك إما عبر تحديد مهلة زمنية بالثواني أو تاريخ ووقت محددين حسب التوقيت العالمي المنسّق (UTC):

  • تحديد مهلة زمنية بالثواني: 
    HTTP/1.1 503 Service Unavailable
Retry-After: 120
  • تاريخ ووقت محددان حسب التوقيت العالمي المنسَّق (UTC): 
    HTTP/1.1 503 Service Unavailable
Retry-After: Wed, 21 Oct 2026 07:28:00 GMT

الطلبات الاستثنائية لخفض معدل الزحف

إذا لم تكُن البنية الأساسية لموقعك الإلكتروني تتيح عرض أخطاء لزواحف Google، يمكنك إرسال طلب خاص للإبلاغ عن مشكلة تتعلّق بالزحف الزائد بشكل غير عادي، مع الإشارة في طلبك إلى معدّل الزحف المثالي لموقعك الإلكتروني. ويُرجى العِلم بأنّه لا يمكنك طلب زيادة معدّل الزحف، وقد يستغرق تقييم الطلب وتنفيذه عدة أيام.