Googlebot

Googlebot هو الاسم العام لزاحف الويب من Google. وينطوي الاسم العام Googlebot على نوعَين مختلفَين من برامج الزحف: زاحف أجهزة الكمبيوتر المكتبي الذي يحاكي مستخدمًا على جهاز كمبيوتر مكتبي، وزاحف الأجهزة الجوّالة الذي يحاكي مستخدمًا على جهاز جوّال.

من المحتمل أن يزحف كلٌّ من Googlebot Desktop وGooglebot Smartphone إلى موقعك الإلكتروني. يمكنك تحديد النوع الفرعي لبرنامج Googlebot من خلال الاطّلاع على سلسلة وكيل المستخدم في الطلب. ويلتزم كلا نوعَي الزاحف بالرمز المميّز نفسه للمنتج (الرمز المميّز لوكيل المستخدم) في ملف robots.txt، وبالتالي لا يمكنك أن تستهدف بشكل انتقائي Googlebot Smartphone أو Googlebot Desktop باستخدام ملف robots.txt.

إذا تم تحويل موقعك الإلكتروني بحيث يعطي الأولوية للأجهزة الجوّالة على Google، سيتم في هذه الحالة تنفيذ غالبية طلبات زحف Googlebot باستخدام الزاحف المخصص للأجهزة الجوّالة، ومجموعة قليلة من طلبات الزحف باستخدام الزاحف المخصص لأجهزة الكمبيوتر المكتبي. وبالنسبة إلى المواقع الإلكترونية التي لم يتم تحويلها بعد، سيتم تنفيذ غالبية طلبات الزحف باستخدام الزاحف المخصّص لأجهزة الكمبيوتر المكتبية. وفي كلتا الحالتين، لا يزحف برنامج الزحف المستخدَم لتنفيذ المجموعة القليلة من طلبات الزحف سوى إلى عناوين URL التي سبق وتم الزحف إليها عن طريق برنامج الزحف المستخدَم لتنفيذ غالبية الطلبات.

آلية وصول برنامج Googlebot إلى موقعك الإلكتروني

بالنسبة إلى معظم المواقع الإلكترونية، من المفترض ألا يصل برنامج Googlebot إلى موقعك الإلكتروني أكثر من مرة واحدة كل بضع ثوانٍ في المتوسط، إلا أنّه من المحتمل أن يظهر المعدّل مرتفعًا بعض الشيء على مدى فترات زمنية قصيرة نتيجةً لحدوث تأخيرات.

تم تصميم Googlebot لتشغيله على الآلاف من الأجهزة في الوقت نفسه بهدف تحسين أدائه وإمكاناته مع توسّع نطاق الويب. ولخفض استهلاك معدل نقل البيانات أيضًا، نشغّل العديد من برامج الزحف على أجهزة موضوعة في موقع جغرافي قريب من المواقع الإلكترونية التي قد تزحف إليها هذه البرامج. بالتالي، قد تعرض سجلاتك الزيارات من أجهزة متعدّدة ضمن النطاق google.com، وجميعها باستخدام وكيل مستخدم Googlebot. وهدفنا هو الزحف إلى أكبر عدد ممكن من صفحات موقعك الإلكتروني عند كل زيارة بدون المبالغة في استهلاك معدّل نقل بيانات الخادم. إذا كان موقعك الإلكتروني يواجه صعوبة في الاستجابة لطلبات الزحف من Google، يمكنك طلب إجراء تغيير في معدّل الزحف.

بشكل عام، يزحف Googlebot على HTTP/1.1. وبدءًا من تشرين الثاني (نوفمبر) 2020، قد يزحف Googlebot عبر HTTP/2 إلى المواقع الإلكترونية التي قد تستفيد من هذا النوع من الزحف إذا كان بروتوكول HTTP/2 متوافقًا مع الموقع. وقد يؤدي هذا الإجراء إلى توفير موارد الحوسبة (على سبيل المثال، وحدة المعالجة المركزية (CPU) وذاكرة الوصول العشوائي (RAM)) الخاصة بالموقع الإلكتروني وGooglebot، وهو لا يؤثر في فهرسة موقعك الإلكتروني أو ترتيبه.

لإيقاف الزحف عبر HTTP/2، يمكنك أن تطلب من الخادم الذي يستضيف موقعك الإلكتروني الاستجابة برمز حالة HTTP ‏421 عندما يحاول Googlebot الزحف إلى موقعك الإلكتروني عبر HTTP/2. وإذا لم يكن ذلك قابلاً للتنفيذ، يمكنك إرسال رسالة إلى فريق برنامج Googlebot (إلا أنّ هذا حل مؤقت).

حظر انتقال برنامج Googlebot إلى موقعك

يستحيل تقريبًا الحفاظ على سرية خادم الويب من خلال عدم نشر روابط تؤدي إليه. على سبيل المثال، عندما يتتبّع مستخدم رابطًا من خادمك "السري" إلى خادم ويب آخر، قد يظهر عنوان URL "السري" في علامة المُحيل وقد يحفظه خادم الويب الآخر وينشره في سجل المُحيل الخاص به. وبالمثل، يتضمّن الويب العديد من الروابط القديمة والمعطلة. وعندما ينشر مستخدم رابطًا غير صحيح يؤدي إلى موقعك الإلكتروني أو يتعذّر عليه تعديل الروابط لإظهار التغييرات في الخادم، سيحاول Googlebot الزحف إلى رابط غير صحيح من موقعك الإلكتروني.

تتوفّر خيارات متعددة لمنع Googlebot من الزحف إلى محتوى على موقعك الإلكتروني. ويجب إدراك الفرق بين منع Googlebot من الزحف إلى صفحة، ومنع Googlebot من فهرسة صفحة، ومنع وصول كلٍّ من برامج الزحف والمستخدمين إلى صفحة.

التحقق من أنّ مصدر الطلبات هو برنامج Googlebot

قبل أن تقرّر حظر Googlebot، يُرجى العلم بأنّه غالبًا ما تنتحل برامج زحف أخرى هوية سلسلة وكيل المستخدم التي يستخدمها Googlebot. ومن المهم التحقق من أنّ الطلب الذي حدثت فيه المشكلة صادر من Google. وأفضل طريقة للتحقق من أنّ الطلب صادر من Googlebot هي استخدام بحث نظام أسماء النطاقات العكسي على عنوان IP المصدر للطلب أو مطابقة عنوان IP المصدر مع نطاقات عناوين IP التي يستخدمها Googlebot.