نظرة عامة على برامج الزحف من Google (برامج وكيل المستخدم)
"الزاحف" (يُسمّى أيضًا "الروبوت" أو "العنكبوت") هو مصطلح عام لأي برنامج يتم استخدامه لاكتشاف المواقع الإلكترونية وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى. ويُطلق على الزاحف الرئيسي في Google اسم
Googlebot. يسرد هذا الجدول معلومات عن
برامج الزحف الشائعة من Google التي من الممكن أن تراها في سجلّات المُحيل، وكيفية تحديدها في ملف
robots.txt
والعلامات الوصفية لبرامج الروبوت
وتوجيهات HTTP X-Robots-Tag.
يعرض الجدول التالي برامج الزحف التي يستخدمها عدد من المنتجات والخدمات على Google:
يُستخدم الرمز المميّز لوكيل المستخدم في سطر User-agent: داخل ملف robots.txt
بهدف المطابقة مع نوع من برامج الزحف عند كتابة قواعد الزحف الخاصة بموقعك الإلكتروني. بعض برامج الزحف لديها أكثر من
رمز مميّز واحد على النحو الوارد في الجدول، وما عليك سوى مطابقة رمز مميّز واحد للزاحف
ليتم تطبيق القاعدة. هذه القائمة ليست كاملة، ولكنها تشمل معظم برامج الزحف التي قد تعمل على
موقعك الإلكتروني.
السلسلة الكاملة لوكيل المستخدم هي سلسلة تقدّم وصفًا كاملاً للزاحف وتظهر في
طلب HTTP وسجلّات الويب الخاصة بك.
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
وكيل أجهزة الكمبيوتر المكتبية: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
وكيل الأجهزة الجوّالة: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Google StoreBot
الرمز المميز لوكيل المستخدم
Storebot-Google
السلاسل الكاملة لوكيل المستخدم
وكيل أجهزة الكمبيوتر المكتبية:
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
وكيل الأجهزة الجوّالة:
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
برامج وكيل المستخدم في robots.txt
عندما يتم التعرّف على العديد من برامج وكيل المستخدم في ملف robots.txt، يتّبع محرّك البحث Google وكيل المستخدم الأكثر
تحديدًا. إذا كنت تريد أن تزحف جميع برامج الزحف من Google إلى صفحاتك، لست بحاجة إلى استخدام
ملف robots.txt على الإطلاق. إذا كنت تريد منع جميع برامج الزحف في Google من الدخول إلى
محتوى معيّن أو السماح لها بهذا، يمكنك إجراء ذلك من خلال ضبط Googlebot على أنه وكيل المستخدم. على سبيل المثال،
إذا كنت تريد أن تظهر جميع صفحاتك في "بحث Google"، وإذا كنت تريد أن تظهر إعلانات AdSense
على صفحاتك، لست بحاجة إلى ملف robots.txt. وإذا كنت تريد حظر بعض الصفحات
من الظهور في "بحث Google" نهائيًا، سيؤدي حظر وكيل المستخدم Googlebot أيضًا إلى حظر جميع
برامج وكيل المستخدم الأخرى من Google.
إذا أردت مزيدًا من التحكم بالغ الدقة، يمكنك استخدام قواعد أكثر تحديدًا. على سبيل المثال، قد تريد
أن تظهر جميع صفحاتك في "بحث Google"، ولكن لا تريد أن يتم الزحف إلى الصور
في دليلك الشخصي. في هذه الحالة، استخدِم ملف robots.txt لمنع وكيل المستخدم
Googlebot-Image من الزحف إلى الملفات في دليلك الشخصي
(مع السماح لبرنامج Googlebot بالزحف إلى جميع الملفات)، على هذا النحو:
كمثال آخر، لنفترض أنك تريد نشر إعلانات على جميع صفحاتك، لكنك لا تريد أن تظهر هذه
الصفحات في "بحث Google". في هذه الحالة، يمكنك حظر Googlebot مع السماح لوكيل المستخدم
Mediapartners-Google، على هذا النحو:
يدخل كل زاحف من Google إلى المواقع الإلكترونية لغرض محدّد وبمعدّلات زحف مختلفة. ويستخدم محرّك بحث Google
الخوارزميات لتحديد معدّل الزحف المثالي لكل موقع إلكتروني. إذا كان زاحف Google يزحف إلى موقعك الإلكتروني بمعدّل مرتفع، يمكنك خفض معدّل الزحف.