نظرة عامة على برامج الزحف من Google (وكلاء المستخدم)

"الزاحف" هو مصطلح عام لأي برنامج (مثل الروبوت أو العنكبوت) يتم استخدامه لاكتشاف المواقع الإلكترونية وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى. ويُطلق على الزاحف الرئيسي في Google اسم Googlebot. ويتضمّن هذا الجدول معلومات عن برامج الزحف الشائعة من Google والتي قد تراها في سجلات المُحيل، والآلية المطلوب اتّباعها لتحديد هذه البرامج في ملف robots.txt، والعلامات الوصفية لبرامج الروبوت، وأوامر X-Robots-Tag HTTP.

يعرض الجدول التالي برامج الزحف التي تستخدمها منتجات وخدمات مختلفة على Google:

  • الرمز المميّز لوكيل المستخدم هو رمز يُستخدم في سطر User-agent: داخل ملف robots.txt بهدف المطابقة مع نوع من برامج الزحف عند كتابة قواعد الزحف الخاصة بموقعك الإلكتروني. بعض برامج الزحف لديها أكثر من رمز مميّز واحد على النحو الوارد في الجدول، ولا يلزمك سوى مطابقة رمز مميّز واحد للزاحف ليتم تطبيق القاعدة. هذه القائمة ليست حصرية، ولكنها تشمل معظم برامج الزحف التي قد يختبرها موقعك الإلكتروني.
  • السلسلة الكاملة لوكيل المستخدم هي سلسلة تُقدّم وصفًا كاملاً للزاحف وتظهر في الطلب وسجلّات الويب الخاصة بك.
الزاحف الرمز المميز لوكيل المستخدم (الرمز المميز للمنتج) السلسلة الكاملة لوكيل المستخدم
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(لفحص جودة الإعلان على صفحة الويب على نظام التشغيل Android)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(لفحص جودة الإعلان على صفحة الويب على هاتف iPhone)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(لفحص جودة الإعلان في صفحة الويب على جهاز سطح المكتب)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Image
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot Desktop

Googlebot

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

    أو (نادرًا ما يتم استخدام هذا البرنامج):
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Smartphone

Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mediapartners-Google

(أنواع متعدّدة من الأجهزة الجوّالة) (compatible; Mediapartners-Google/2.1 و+http://www.google.com/bot.html)

نظام التشغيل Android للتطبيقات المتوافقة مع الأجهزة الجوّالة

(لفحص جودة الإعلان على صفحة تطبيق متوافق مع Android. ويتّبع قواعد برامج الروبوت AdsBot-Google.)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

لا يلتزم بقواعد robots.txt. إليك السبب

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

لا يلتزم بقواعد robots.txt. إليك السبب

الوكلاء الحاليون:

  • وكيل أجهزة كمبيوتر سطح المكتب: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +/search/docs/advanced/crawling/overview-google-crawlers)
  • وكيل الأجهزة الجوّالة: Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +/search/docs/advanced/crawling/overview-google-crawlers)

الوكيل السابق (متوقّف): google-speakr

Duplex على الويب

DuplexWeb-Google

قد يتجاهل حرف البدل *، إليك السبب

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google Favicon

(لاسترداد الرموز المفضّلة للخدمات المختلفة)

Google Favicon

في ما يتعلق بالطلبات التي يجريها المستخدم، يتجاهل قواعد robots.txt

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
تقنيّة Web Light

googleweblight

لا يلتزم بقواعد robots.txt. إليك السبب

Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
Google StoreBot Storebot-Google

وكيل أجهزة كمبيوتر سطح المكتب: Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

وكيل الأجهزة الجوّالة: Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

وكلاء المستخدم في robots.txt

عندما يتم التعرّف على العديد من وكلاء المستخدم في ملف robots.txt، يتّبع محرّك البحث Google وكيل المستخدم الأكثر تحديدًا. إذا كنت تريد أن تزحف جميع برامج الزحف من Google إلى صفحاتك، لست بحاجة إلى استخدام ملف robots.txt على الإطلاق. إذا كنت تريد منع جميع برامج الزحف في Google من الدخول إلى محتوى معيّن أو السماح لها بذلك، يمكنك إجراء ذلك من خلال ضبط Googlebot على أنه وكيل المستخدم. على سبيل المثال، إذا كنت تريد أن تظهر جميع صفحاتك في "بحث Google"، وإذا كنت تريد أن تظهر إعلانات AdSense على صفحاتك، لست بحاجة إلى ملف robots.txt. وإذا كنت تريد حظر بعض الصفحات من الظهور في "بحث Google" نهائيًّا، سيؤدي حظر وكيل المستخدم Googlebot أيضًا إلى حظر جميع برامج وكيل المستخدم الأخرى من Google.

وإذا أردت التحكم بشكل دقيق في المحتوى الذي سيظهر ضمن نتائج البحث، يمكنك تطبيق توجيهات محددة. على سبيل المثال، قد تريد أن تظهر جميع صفحاتك في "بحث Google"، ولكن لا تريد أن يتم الزحف إلى الصور في دليلك الشخصي. في هذه الحالة، استخدِم ملف robots.txt لمنع وكيل المستخدم Googlebot-Image من الزحف إلى الملفات في دليلك الشخصي (مع السماح لبرنامج Googlebot بالزحف إلى جميع الملفات)، على هذا النحو:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
كمثال آخر، لنفترض أنك تريد نشر إعلانات على جميع صفحاتك، لكنك لا تريد أن تظهر هذه الصفحات في "بحث Google". في هذه الحالة، يمكنك حظر Googlebot مع السماح لوكيل المستخدم Mediapartners-Google، على هذا النحو:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

برامج وكيل المستخدم في العلامات الوصفية لبرامج الروبوت

تستخدم بعض الصفحات عدة علامات وصفية لبرامج الروبوت لتحديد الأوامر لبرامج الزحف المختلفة، على النحو التالي:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

وفي هذه الحالة، يستخدم Google إجمالي الأوامر السلبية ويتّبع برنامج Googlebot كلّاً من الأمرَين noindex وnofollow. يمكنك الاطّلاع على مزيد من المعلومات التفصيلية عن التحكّم في آلية زحف Google إلى موقعك الإلكتروني وفهرسته.