Googlebot

Googlebot هو الاسم العام لزاحف الويب من Google. وينطوي الاسم العام Googlebot على نوعَين مختلفَين من برامج الزحف: زاحف أجهزة كمبيوتر سطح المكتب الذي يحاكي مستخدمًا على جهاز كمبيوتر سطح المكتب، وزاحف الأجهزة الجوّالة الذي يحاكي مستخدمًا على جهاز جوّال.

من المحتمل أن يزحف كلٌّ من Googlebot لأجهزة كمبيوتر سطح المكتب وGooglebot للأجهزة الجوّالة إلى موقعك الإلكتروني. يمكنك تحديد النوع الفرعي لبرنامج Googlebot من خلال الاطّلاع على سلسلة وكيل المستخدم في الطلب. ويلتزم كلا نوعَي الزاحف بالرمز المميّز نفسه للمنتج (الرمز المميّز لوكيل المستخدم) في ملف robots.txt، وبالتالي لا يمكنك أن تستهدف بشكل انتقائي Googlebot للأجهزة الجوّالة أو Googlebot لأجهزة كمبيوتر سطح المكتب باستخدام ملف robots.txt.

إذا تم تحويل موقعك الإلكتروني بحيث يعطي الأولوية للأجهزة الجوّالة على Google، سيتم في هذه الحالة تنفيذ غالبية طلبات زحف Googlebot باستخدام الزاحف المخصّص للأجهزة الجوّالة، ومجموعة قليلة من طلبات الزحف باستخدام الزاحف المخصّص لأجهزة كمبيوتر سطح المكتب. وبالنسبة إلى المواقع الإلكترونية التي لم يتم تحويلها بعد، سيتم تنفيذ غالبية طلبات الزحف باستخدام الزاحف المخصّص لأجهزة كمبيوتر سطح المكتب. وفي كلتا الحالتين، لا يزحف برنامج الزحف المستخدَم لتنفيذ المجموعة القليلة من طلبات الزحف سوى إلى عناوين URL التي سبق وتم الزحف إليها عن طريق برنامج الزحف المستخدَم لتنفيذ غالبية الطلبات.

آلية وصول برنامج Googlebot إلى موقعك الإلكتروني

بالنسبة إلى معظم المواقع الإلكترونية، من المفترض ألا يصِل برنامج Googlebot إلى موقعك الإلكتروني أكثر من مرة واحدة كل بضع ثوانٍ في المتوسط، إلا أنّه من المحتمل أن يظهر المعدّل مرتفعًا بعض الشيء على مدى فترات زمنية قصيرة نتيجةً لحدوث تأخيرات.

تم تصميم Googlebot ليتم تشغيله على الآلاف من الأجهزة في الوقت نفسه بهدف تحسين أدائه وإمكاناته مع توسّع نطاق الويب. ولخفض استهلاك معدل نقل البيانات أيضًا، نشغّل العديد من برامج الزحف على أجهزة موضوعة في موقع جغرافي قريب من المواقع الإلكترونية التي قد تزحف إليها هذه البرامج. بالتالي، قد تعرض سجلاتك الزيارات من أجهزة متعدّدة ضمن النطاق google.com، وجميعها باستخدام وكيل مستخدم Googlebot. وهدفنا هو الزحف إلى أكبر عدد ممكن من صفحات موقعك الإلكتروني عند كل زيارة بدون المبالغة في استهلاك معدّل نقل بيانات الخادم. إذا كان موقعك الإلكتروني يواجه مشكلة في الاستجابة لطلبات الزحف من Google، يمكنك طلب إجراء تغيير في معدّل الزحف.

بشكل عام، يزحف Googlebot على HTTP/1.1. وبدءًا من تشرين الثاني (نوفمبر) 2020، قد يزحف Googlebot عبر HTTP/2 إلى المواقع الإلكترونية التي قد تستفيد من هذا النوع من الزحف إذا كان بروتوكول HTTP/2 متوافقًا مع الموقع. وقد يؤدي هذا الإجراء إلى توفير موارد الحوسبة (على سبيل المثال، وحدة المعالجة المركزية وذاكرة الوصول العشوائي (RAM)) الخاصة بالموقع الإلكتروني وGooglebot، وهو لا يؤثر في فهرسة موقعك الإلكتروني أو ترتيبه.

لإيقاف الزحف عبر HTTP/2، يمكنك أن تطلب من الخادم الذي يستضيف موقعك الإلكتروني الاستجابة برمز حالة HTTP ‏421 عندما يحاول Googlebot الزحف إلى موقعك الإلكتروني عبر HTTP/2. وإذا لم يكن ذلك قابلاً للتنفيذ، يمكنك إرسال رسالة إلى فريق برنامج Googlebot (إلا أنّ هذا حل مؤقت).

حظر انتقال برنامج Googlebot إلى موقعك

يستحيل تقريبًا الحفاظ على سرية خادم الويب من خلال عدم نشر روابط تؤدي إليه. على سبيل المثال، عندما يتتبّع مستخدم رابطًا من خادمك "السري" إلى خادم ويب آخر، قد يظهر عنوان URL "السري" في علامة المُحيل وقد يحفظه خادم الويب الآخر وينشره في سجل المُحيل الخاص به. وبالمثل، يتضمّن الويب العديد من الروابط القديمة والمعطلة. وعندما ينشر مستخدم رابطًا غير صحيح يؤدي إلى موقعك الإلكتروني أو يتعذّر عليه تعديل الروابط لإظهار التغييرات في الخادم، سيحاول Googlebot الزحف إلى رابط غير صحيح من موقعك الإلكتروني.

تتوفّر خيارات متعددة لمنع Googlebot من الزحف إلى محتوى على موقعك الإلكتروني. ويجب إدراك الفرق بين منع Googlebot من الزحف إلى صفحة، ومنع Googlebot من فهرسة صفحة، ومنع وصول كلٍّ من برامج الزحف والمستخدمين إلى صفحة.

التحقق من Googlebot

قبل أن تقرّر حظر Googlebot، يُرجى العلم بأنّه غالبًا ما تنتحل برامج زحف أخرى هوية سلسلة وكيل المستخدم التي يستخدمها Googlebot. ومن المهم التحقق من أنّ الطلب الذي حدثت فيه المشكلة صادر فعليًّا من Google. وتكمن أفضل طريقة للتحقق من أنّ الطلب صادر فعليًّا من Googlebot في استخدام بحث نظام أسماء النطاقات العكسي على عنوان IP المصدر للطلب.

يلتزم برنامج Googlebot وجميع برامج تتبّع محرّكات البحث الحسنة السمعة بالأوامر المضمّنة في ملف robots.txt، ولكن بعض برامج التتبّع الضارة وأصحاب الأسلوب غير المرغوب فيه لا يلتزمون بذلك. ويعمل محرك البحث Google جاهدًا على مكافحة أصحاب الأسلوب غير المرغوب فيه، لذا إذا لاحظت صفحات أو مواقع غير مرغوب فيها ضمن نتائج "بحث Google"، يمكنك إبلاغ Google عن المحتوى غير المرغوب فيه.