تنظيم صفحاتك في مجموعات يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.

Googlebot

Googlebot هو الاسم العام لزاحف الويب من Google. وGooglebot هو الاسم العام لنوعَين مختلفَين من برامج الزحف: زاحف أجهزة الكمبيوتر المكتبي الذي يحاكي مستخدمًا على جهاز كمبيوتر مكتبي، وزاحف الأجهزة الجوّالة الذي يحاكي مستخدمًا على جهاز جوّال.

من المحتمل أن يزحف كلٌّ من Googlebot Desktop وGooglebot Smartphone إلى موقعك الإلكتروني. يمكنك تحديد النوع الفرعي لبرنامج Googlebot من خلال الاطّلاع على سلسلة وكيل المستخدم في الطلب. ويلتزم كلا نوعَي الزاحف بالرمز المميّز نفسه للمنتج (الرمز المميّز لوكيل المستخدم) في ملف robots.txt، وبالتالي لا يمكنك أن تستهدف بشكل انتقائي Googlebot Smartphone أو Googlebot Desktop باستخدام ملف robots.txt.

كيفية وصول Googlebot إلى موقعك الإلكتروني

بالنسبة إلى معظم المواقع الإلكترونية، من المفترض ألا يصل برنامج Googlebot إلى موقعك الإلكتروني أكثر من مرة واحدة كل بضع ثوانٍ في المتوسط، إلا أنّه من المحتمل أن يظهر المعدّل مرتفعًا بعض الشيء على مدى فترات زمنية قصيرة نتيجةً لحدوث تأخيرات.

تم تصميم Googlebot لتشغيله على الآلاف من الأجهزة في الوقت نفسه بهدف تحسين أدائه وإمكاناته مع تطوّر شبكة الويب. ولخفض استهلاك معدل نقل البيانات أيضًا، نشغّل العديد من برامج الزحف على أجهزة موضوعة بالقرب من المواقع الإلكترونية التي قد تزحف إليها هذه البرامج. بالتالي، قد تعرض سجلاتك الزيارات من عناوين IP متعدّدة، وجميعها باستخدام وكيل مستخدم Googlebot. وهدفنا هو الزحف إلى أكبر عدد ممكن من صفحات موقعك الإلكتروني عند كل زيارة بدون المبالغة في استهلاك معدّل نقل بيانات الخادم. إذا كان موقعك الإلكتروني يواجه صعوبة في الاستجابة لطلبات الزحف من Google، يمكنك طلب إجراء تغيير في معدّل الزحف.

يزحف Googlebot من عناوين IP في الولايات المتحدة. وفي حال اكتشف Googlebot أن موقعًا إلكترونيًا يحظر الطلبات من الولايات المتحدة، قد يحاول الزحف من عناوين IP تقع في بلدان أخرى. إنّ القائمة بمجموعات عناوين IP التي يستخدمها حاليًا Googlebot متوفرة بتنسيق JSON.

بشكل عام، يزحف Googlebot عبر HTTP/1.1، ولكن، إذا كان الموقع الإلكتروني قد يستفيد من الزحف عبر بروتوكول HTTP/2، قد يزحف Googlbot إليه عبر هذا البروتوكول إذا كان الموقع يتيح استخدامه. وقد يؤدي هذا الإجراء إلى توفير موارد الحوسبة (على سبيل المثال، وحدة المعالجة المركزية (CPU) وذاكرة الوصول العشوائي (RAM)) الخاصة بالموقع الإلكتروني وGooglebot، ولكن عدا ذلك، فهو لا يؤثر في فهرسة موقعك الإلكتروني أو ترتيبه.

لإيقاف الزحف عبر HTTP/2، يمكنك أن تطلب من الخادم الذي يستضيف موقعك الإلكتروني الاستجابة برمز حالة HTTP ‏421 عندما يحاول Googlebot الزحف إلى موقعك الإلكتروني عبر HTTP/2. وإذا لم يكُن ذلك قابلاً للتنفيذ، يمكنك إرسال رسالة إلى فريق برنامج Googlebot (إلا أنّ هذا الحل مؤقّت).

يمكن لبرنامج Googlebot الزحف إلى أول 15 ميغابايت من ملف HTML أو ملف نصي مدعوم. يُرجى الملاحظة أنّه يتم جلب أي موارد مُشار إليها في ملف HTML، مثل الصور والفيديوهات وملفات CSS وJavaScript، بشكل منفصل. بعد الزحف إلى أول 15 ميغابايت من الملف، يتوقف برنامج Googlebot عن الزحف ويأخذ فقط هذا الجزء من المحتوى في الاعتبار أثناء الفهرسة. يتم تطبيق الحد المسموح به لحجم الملف على البيانات غير المضغوطة. قد تعتمد برامج الزحف الأخرى حدودًا مختلفة لحجم الملف.

حظر برنامج Googlebot من الوصول إلى موقعك الإلكتروني

يستحيل تقريبًا الحفاظ على سرية خادم الويب من خلال عدم نشر روابط تؤدي إليه. على سبيل المثال، عندما يتتبّع مستخدم رابطًا من خادمك "السري" إلى خادم ويب آخر، قد يظهر عنوان URL "السري" في علامة المُحيل وقد يحفظه خادم الويب الآخر وينشره في سجل المُحيل الخاص به. وبالمثل، يتضمّن الويب العديد من الروابط القديمة والمعطلة. وعندما ينشر مستخدم رابطًا غير صحيح يؤدي إلى موقعك الإلكتروني أو يتعذّر عليه تعديل الروابط لإظهار التغييرات في الخادم، سيحاول Googlebot الزحف إلى رابط غير صحيح من موقعك الإلكتروني.

تتوفّر خيارات متعددة لمنع Googlebot من الزحف إلى محتوى على موقعك الإلكتروني. ويجب إدراك الفرق بين منع Googlebot من الزحف إلى صفحة، ومنع Googlebot من فهرسة صفحة، ومنع وصول كلٍّ من برامج الزحف والمستخدمين إلى صفحة.

التحقق من أنّ مصدر الطلبات هو برنامج Googlebot

قبل أن تقرّر حظر Googlebot، يُرجى العلم بأنّه غالبًا ما تنتحل برامج زحف أخرى هوية سلسلة وكيل المستخدم التي يستخدمها Googlebot. ومن المهم التحقق من أنّ الطلب الذي حدثت فيه المشكلة صادر من Google. وأفضل طريقة للتحقق من أنّ الطلب صادر من Googlebot هي استخدام بحث نظام أسماء النطاقات العكسي على عنوان IP المصدر للطلب أو مطابقة عنوان IP المصدر مع نطاقات عناوين IP التي يستخدمها Googlebot.