"الزاحف" هو مصطلح عام لأي برنامج (مثل الروبوت أو العنكبوت) يتم استخدامه
لاكتشاف المواقع الإلكترونية وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى.
ويُطلق على الزاحف الرئيسي في Google اسم
Googlebot. ويسرد هذا الجدول معلومات عن برامج الزحف الشائعة من Google التي من الممكن أن تراها في سجلات المُحيل، والطريقة التي يجب تحديدها بها
في ملف
robots.txt
والعلامات الوصفية لبرامج الروبوت و
X-Robots-Tagتوجيهات HTTP.
يعرض الجدول التالي برامج الزحف التي تستخدمها مختلف المنتجات والخدمات على Google:
-
الرمز المميّز لوكيل المستخدم هو رمز يُستخدم في سطر
User-agent:داخل ملف robots.txt بهدف المطابقة مع نوع من برامج الزحف عند كتابة قواعد الزحف الخاصة بموقعك الإلكتروني. بعض برامج الزحف لديها أكثر من رمز مميّز واحد على النحو الوارد في الجدول، ولا يلزمك سوى مطابقة رمز مميّز واحد للزاحف ليتم تطبيق القاعدة. هذه القائمة ليست كاملة، ولكنها تشمل معظم برامج الزحف التي قد يختبرها موقعك الإلكتروني. - السلسلة الكاملة لوكيل المستخدم هي سلسلة تقدّم وصفًا كاملاً للزاحف وتظهر في الطلب وسجلّات الويب الخاصة بك.
| الزاحف | الرمز المميز لوكيل المستخدم (الرمز المميز للمنتج) | السلسلة الكاملة لوكيل المستخدم |
|---|---|---|
| APIs-Google |
|
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) |
| AdSense |
|
Mediapartners-Google |
|
AdsBot Mobile Web Android (لفحص جودة الإعلان على صفحة الويب على نظام التشغيل Android) |
|
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome
Mobile Safari (compatible; AdsBot-Google-Mobile;
+http://www.google.com/mobile/adsbot.html)
|
|
AdsBot Mobile Web (لفحص جودة الإعلان على صفحة الويب على هاتف iPhone) |
|
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML,
like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile;
+http://www.google.com/mobile/adsbot.html)
|
|
AdsBot (لفحص جودة الإعلان في صفحة الويب على جهاز كمبيوتر سطح المكتب) |
|
AdsBot-Google (+http://www.google.com/adsbot.html) |
| Googlebot Image |
|
Googlebot-Image/1.0 |
| Googlebot News |
|
Googlebot-News |
| Googlebot Video |
|
Googlebot-Video/1.0 |
|
Googlebot Desktop |
|
|
|
Googlebot Smartphone |
|
|
| Mobile AdSense |
|
(أنواع مختلفة من الأجهزة الجوّالة)
(compatible; Mediapartners-Google/2.1و
+http://www.google.com/bot.html)
|
|
نظام التشغيل Android للتطبيقات المتوافقة مع الأجهزة الجوّالة (لفحص جودة الإعلان على صفحة تطبيق متوافق مع Android. ويتّبع قواعد برامج الروبوت AdsBot-Google.) |
|
AdsBot-Google-Mobile-Apps |
|
لا يلتزم بقواعد robots.txt. - إليك السبب |
|
|
|
لا يلتزم بقواعد robots.txt - إليك السبب |
برامج الوكيل الحالية:
الوكيل السابق (متوقّف): |
|
| Duplex على الويب |
قد يتجاهل |
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012;
DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131
Mobile Safari/537.36
|
|
Google Favicon (لاسترداد الرموز المفضّلة لخدمات مختلفة) |
في ما يتعلّق بالطلبات التي يجريها المستخدم، يتجاهل قواعد robots.txt |
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/49.0.2623.75 Safari/537.36 Google Favicon
|
| تقنية Web Light |
لا يلتزم بقواعد robots.txt - إليك السبب |
Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19
(KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
|
| Google StoreBot | Storebot-Google |
وكيل أجهزة كمبيوتر سطح المكتب:
وكيل الأجهزة الجوّالة:
|
برامج وكيل المستخدم في robots.txt
عندما يتم التعرّف على العديد من برامج وكيل المستخدم في ملف robots.txt، يتّبع محرّك البحث Google وكيل المستخدم الأكثر
تحديدًا. إذا كنت تريد أن تزحف جميع برامج الزحف من Google إلى صفحاتك، لست بحاجة إلى استخدام
ملف robots.txt على الإطلاق. إذا كنت تريد منع جميع برامج الزحف في Google من الدخول إلى
محتوى معيّن أو السماح لها بذلك، يمكنك إجراء ذلك من خلال ضبط Googlebot على أنه وكيل المستخدم. على سبيل المثال،
إذا كنت تريد أن تظهر جميع صفحاتك في "بحث Google"، وإذا كنت تريد أن تظهر إعلانات AdSense
على صفحاتك، لست بحاجة إلى ملف robots.txt. وإذا كنت تريد حظر بعض الصفحات
من الظهور في "بحث Google" نهائيًا، سيؤدي حظر وكيل المستخدم Googlebot أيضًا إلى حظر جميع
برامج وكيل المستخدم الأخرى من Google.
وإذا أردت مزيدًا من التحكم، يمكنك استخدام قواعد أكثر تحديدًا. على سبيل المثال، قد تريد
أن تظهر جميع صفحاتك في "بحث Google"، ولكن لا تريد أن يتم الزحف إلى الصور
في دليلك الشخصي. في هذه الحالة، استخدِم ملف robots.txt لمنع وكيل المستخدم
Googlebot-Image من الزحف إلى الملفات في دليلك الشخصي
(مع السماح لبرنامج Googlebot بالزحف إلى جميع الملفات)، على هذا النحو:
User-agent: Googlebot Disallow: User-agent: Googlebot-Image Disallow: /personal
كمثال آخر، لنفترض أنك تريد نشر إعلانات على جميع صفحاتك، لكنك لا تريد أن تظهر هذه
الصفحات في "بحث Google" في هذه الحالة، يمكنك حظر Googlebot مع السماح لوكيل المستخدم
Mediapartners-Google، على هذا النحو:
User-agent: Googlebot Disallow: / User-agent: Mediapartners-Google Disallow:
برامج وكيل المستخدم في العلامات الوصفية لبرامج الروبوت
تستخدم بعض الصفحات عدة علامات وصفية لبرامج الروبوت لتحديد الأوامر لبرامج الزحف المختلفة، على النحو التالي:
<meta name="robots" content="nofollow"> <meta name="googlebot" content="noindex">
وفي هذه الحالة، يستخدم محرّك البحث Google إجمالي التوجيهات السلبية ويتّبع برنامج Googlebot
كلاً من التوجيهَين noindex وnofollow.
يمكنك الاطّلاع على مزيد من المعلومات التفصيلية عن التحكّم في آلية زحف محرّك البحث Google إلى موقعك الإلكتروني وفهرسته.