Googlebot

Googlebot هو الاسم العام لزاحف الويب من Google. وينطوي الاسم العام Googlebot على نوعين مختلفين من برامج الزحف: زاحف أجهزة كمبيوتر سطح المكتب الذي يحاكي مستخدمًا على جهاز كمبيوتر سطح المكتب، وزاحف الأجهزة الجوّالة الذي يحاكي مستخدمًا على جهاز جوّال.

من المحتمل أن يتم الزحف إلى موقعك الإلكتروني من قِبل Googlebot لأجهزة كمبيوتر سطح المكتب وGooglebot للأجهزة الجوّالة على حدٍّ سواء. ويمكنك التعرّف على النوع الفرعي لبرنامج Googlebot من خلال الاطّلاع على سلسلة وكيل المستخدم في الطلب، إلا أنّ كِلا نوعَي الزاحف يستجيبان للرمز المميز نفسه للمنتج (الرمز المميز لوكيل المستخدم) في ملف robots.txt، لذا لا يمكنك أن تستهدف بشكل انتقائي Googlebot للأجهزة الجوّالة أو Googlebot لأجهزة كمبيوتر سطح المكتب باستخدام ملف robots.txt.

إذا تم تحويل موقعك الإلكتروني بحيث يعطي الأولوية للأجهزة الجوّالة على Google، سيتم في هذه الحالة تنفيذ غالبية طلبات زحف Googlebot باستخدام الزاحف المخصّص للأجهزة الجوّالة، ومجموعة قليلة من طلبات الزحف باستخدام الزاحف المخصّص لأجهزة كمبيوتر سطح المكتب. وبالنسبة إلى المواقع الإلكترونية التي لم يتم تحويلها بعد، سيتم تنفيذ غالبية طلبات الزحف باستخدام الزاحف المخصّص لأجهزة كمبيوتر سطح المكتب. وفي كلتا الحالتين، لا يزحف برنامج الزحف المستخدَم لتنفيذ المجموعة القليلة من طلبات الزحف سوى إلى عناوين URL التي سبق وتم الزحف إليها عن طريق برنامج الزحف المستخدَم لتنفيذ غالبية الطلبات.

آلية وصول برنامج Googlebot إلى موقعك الإلكتروني

بالنسبة إلى معظم المواقع الإلكترونية، من المفترض ألا يصِل برنامج Googlebot إلى موقعك أكثر من مرة واحدة كل بضع ثوانٍ في المتوسط، إلا أنّه من المحتمل أن يظهر المعدل مرتفعًا بعض الشيء على مدى فترات زمنية قصيرة نتيجةً لحدوث تأخيرات.

تم تصميم Googlebot ليتم تشغيله على آلاف الأجهزة في الوقت نفسه بهدف تحسين أدائه وإمكاناته مع نمو الويب. ولخفض استهلاك معدل نقل البيانات أيضًا، نشغّل العديد من برامج الزحف على أجهزة تقع في موقع جغرافي قريب من المواقع الإلكترونية التي قد تزحف إليها هذه البرامج. لذلك، قد تعرض سجلاتك زيارات من أجهزة متعددة على النطاق google.com، وجميعها عن طريق وكيل المستخدم Googlebot. وهدفنا هو الزحف إلى أكبر عدد ممكن من صفحات موقعك الإلكتروني عند كل زيارة بدون المبالغة في استهلاك معدل نقل بيانات الخادم. إذا كان موقعك الإلكتروني يواجه مشكلة في الاستجابة لطلبات الزحف من Google، يمكنك طلب إجراء تغيير في معدل الزحف.

بشكل عام، يزحف Googlebot على HTTP/1.1. وبدءًا من تشرين الثاني (نوفمبر) 2020، قد يزحف Googlebot عبر HTTP/2 إلى المواقع الإلكترونية التي قد تستفيد من هذا النوع من الزحف إذا كان بروتوكول HTTP/2 متوافقًا مع الموقع. وقد يؤدي هذا الإجراء إلى توفير موارد الحوسبة (على سبيل المثال، وحدة المعالجة المركزية وذاكرة الوصول العشوائي (RAM)) الخاصة بالموقع الإلكتروني وGooglebot، إلا أنّه لا يؤثر في فهرسة موقعك أو ترتيبه.

لإيقاف الزحف عبر HTTP/2، يمكنك أن تطلب من الخادم الذي يستضيف موقعك الإلكتروني الاستجابة برمز حالة HTTP ‏421 عندما يحاول Googlebot الزحف إلى موقعك عبر HTTP/2. وإذا لم يكن ذلك قابلاً للتنفيذ، يمكنك إرسال رسالة إلى فريق برنامج Googlebot (إلا أنّ هذا حل مؤقت).

حظر انتقال برنامج Googlebot إلى موقعك

يستحيل تقريبًا الحفاظ على سرية خادم الويب من خلال عدم نشر روابط تؤدي إليه. على سبيل المثال، عندما يتتبّع مستخدم رابطًا من خادمك "السري" إلى خادم ويب آخر، قد يظهر عنوان URL "السري" في علامة المُحيل وقد يحفظه خادم الويب الآخر وينشره في سجل المُحيل الخاص به. وبالمثل، يتضمّن الويب العديد من الروابط القديمة والمعطلة. وعندما ينشر مستخدم رابطًا غير صحيح إلى موقعك الإلكتروني أو يتعذّر عليه تعديل الروابط لإظهار التغييرات في خادمك، سيحاول Googlebot الزحف إلى رابط غير صحيح من موقعك.

تتوفّر خيارات متعددة لمنع Googlebot من الزحف إلى محتوى على موقعك الإلكتروني. ويجب إدراك الفرق بين منع Googlebot من الزحف إلى صفحة، ومنع Googlebot من فهرسة صفحة، ومنع وصول كلٍّ من برامج الزحف والمستخدمين إلى صفحة.

التحقق من أنّ مصدر الطلبات هو برنامج Googlebot

قبل أن تقرر حظر Googlebot، يُرجى العلم أنّه غالبًا ما تنتحل برامج زحف أخرى شكل سلسلة وكيل المستخدم التي يستخدمها Googlebot. ومن المهم التحقق من أنّ الطلب محلّ المشكلة صادر فعليًّا من Google. وتكمن أفضل طريقة للتحقق من أنّ الطلب صادر فعليًّا من Googlebot في استخدام بحث نظام أسماء النطاقات العكسي على عنوان IP المصدر للطلب.

يلتزم برنامج Googlebot وجميع برامج تتبّع محركات البحث الحسنة الصيت بالأوامر المضمّنة في ملف robots.txt، ولكن بعض برامج التتبّع الضارة وأصحاب الأسلوب غير المرغوب فيه لا يلتزمون بذلك. ويعمل محرك البحث Google جاهدًا على مكافحة أصحاب الأسلوب غير المرغوب فيه، لذا إذا لاحظت صفحات أو مواقع غير مرغوب فيها ضمن نتائج "بحث Google"، يمكنك إبلاغ Google عن المحتوى غير المرغوب فيه.