نظرة عامة على برامج الزحف من Google (برامج وكيل المستخدم)

"الزاحف" (يُسمّى أيضًا "الروبوت" أو "العنكبوت") هو مصطلح عام لأي برنامج يتم استخدامه لاكتشاف المواقع الإلكترونية وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى. ويُطلق على الزاحف الرئيسي في Google اسم Googlebot. يسرد هذا الجدول معلومات عن برامج الزحف الشائعة من Google التي من الممكن أن تراها في سجلّات المُحيل، وكيفية تحديدها في ملف robots.txt والعلامات الوصفية لبرامج الروبوت وتوجيهات HTTP X-Robots-Tag.

يعرض الجدول التالي برامج الزحف التي يستخدمها عدد من المنتجات والخدمات على Google:

يُستخدم الرمز المميّز لوكيل المستخدم في سطر User-agent: داخل ملف robots.txt بهدف المطابقة مع نوع من برامج الزحف عند كتابة قواعد الزحف الخاصة بموقعك الإلكتروني. بعض برامج الزحف لديها أكثر من رمز مميّز واحد على النحو الوارد في الجدول، وما عليك سوى مطابقة رمز مميّز واحد للزاحف ليتم تطبيق القاعدة. هذه القائمة ليست كاملة، ولكنها تشمل معظم برامج الزحف التي قد تعمل على موقعك الإلكتروني.
السلسلة الكاملة لوكيل المستخدم هي سلسلة تقدّم وصفًا كاملاً للزاحف وتظهر في طلب HTTP وسجلّات الويب الخاصة بك.
تحذير: قد يتم انتحال صفة سلسلة وكيل المستخدم. اطّلِع على كيفية التحقق مما إذا كان زائر الصفحة برنامج زحف من Google.

برامج الزحف

APIs-Google

الرمز المميز لوكيل المستخدم	`APIs-Google`
السلسلة الكاملة لوكيل المستخدم	`APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)`

AdsBot Mobile Web Android

لفحص جودة الإعلان على صفحة الويب على نظام التشغيل Android

الرمز المميز لوكيل المستخدم	`AdsBot-Google-Mobile`
السلسلة الكاملة لوكيل المستخدم	`Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)`

AdsBot Mobile Web

لفحص جودة الإعلان على صفحة الويب على هواتف iPhone

الرمز المميز لوكيل المستخدم	`AdsBot-Google-Mobile`
السلسلة الكاملة لوكيل المستخدم	`Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)`

AdsBot

لفحص جودة الإعلان في صفحة الويب على جهاز الكمبيوتر المكتبي

الرمز المميز لوكيل المستخدم	`AdsBot-Google`
السلسلة الكاملة لوكيل المستخدم	`AdsBot-Google (+http://www.google.com/adsbot.html)`

الرمز المميز لوكيل المستخدم	`Mediapartners-Google`
السلسلة الكاملة لوكيل المستخدم	`Mediapartners-Google`

Googlebot Image

الرموز المميزة لوكيل المستخدم	`Googlebot-Image` `Googlebot`
السلسلة الكاملة لوكيل المستخدم	`Googlebot-Image/1.0`

أخبار Googlebot

الرموز المميزة لوكيل المستخدم	`Googlebot-News` `Googlebot`
السلسلة الكاملة لوكيل المستخدم	يستخدم وكيل مستخدم `Googlebot-News` مجموعة من سلاسل وكيل مستخدم Googlebot.

Googlebot Video

الرموز المميزة لوكيل المستخدم	`Googlebot-Video` `Googlebot`
السلسلة الكاملة لوكيل المستخدم	`Googlebot-Video/1.0`

Googlebot Desktop

الرمز المميز لوكيل المستخدم	`Googlebot`
السلاسل الكاملة لوكيل المستخدم	`Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)` `Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36` `Googlebot/2.1 (+http://www.google.com/bot.html)`

Googlebot Smartphone

الرمز المميز لوكيل المستخدم	`Googlebot`
السلسلة الكاملة لوكيل المستخدم	`Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)`

الرمز المميز لوكيل المستخدم	`Mediapartners-Google`
السلسلة الكاملة لوكيل المستخدم	`(Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)`

Mobile Apps Android

لفحص جودة الإعلان على صفحة تطبيق Android. يلتزم بقواعد AdsBot-Google لبرامج الروبوت.

الرمز المميز لوكيل المستخدم	`AdsBot-Google-Mobile-Apps`
السلسلة الكاملة لوكيل المستخدم	`AdsBot-Google-Mobile-Apps`

Feedfetcher

الرمز المميز لوكيل المستخدم	`FeedFetcher-Google`
السلسلة الكاملة لوكيل المستخدم	`FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)`

Google Read Aloud

الرمز المميز لوكيل المستخدم Google-Read-Aloud

السلاسل الكاملة لوكيل المستخدم

برامج الوكيل الحالية:

وكيل أجهزة الكمبيوتر المكتبية:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
وكيل الأجهزة الجوّالة:
Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

الوكيل السابق (متوقّف نهائيًا):

google-speakr

Duplex على الويب

الرمز المميز لوكيل المستخدم	`DuplexWeb-Google`
السلسلة الكاملة لوكيل المستخدم	`Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36`

Google Favicon

الرمز المميز لوكيل المستخدم	`Googlebot-Image` `Googlebot`
السلسلة الكاملة لوكيل المستخدم	`Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon`

تقنيّة Web Light

الرمز المميز لوكيل المستخدم	`googleweblight`
السلسلة الكاملة لوكيل المستخدم	`Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19`

Google StoreBot

الرمز المميز لوكيل المستخدم	`Storebot-Google`
السلاسل الكاملة لوكيل المستخدم	وكيل أجهزة الكمبيوتر المكتبية: `Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36` وكيل الأجهزة الجوّالة: `Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36`

ملاحظة عن Chrome/‏WXYZ في برامج وكيل المستخدم:

أينما ترد سلسلة Chrome/‏W.X.Y.Z ضمن سلاسل برامج وكيل المستخدم في الجدول، تكون W.X.Y.Z عبارة عن عنصر نائب يمثّل إصدار متصفّح Chrome الذي يستخدمه وكيل المستخدم هذا، مثلاً، 41.0.2272.96. سيزداد رقم الإصدار هذا بمرور الوقت ليطابق أحدث نسخة من إصدارات Chromium يستخدمها Googlebot.

إذا كنت تبحث في سجلّاتك أو تجري فلترة للخادم للعثور على وكيل مستخدم بهذا النمط، استخدِم أحرفَ بدلٍ لرقم الإصدار بدلاً من تحديد رقم إصدار معيّن.

برامج وكيل المستخدم في robots.txt

عندما يتم التعرّف على العديد من برامج وكيل المستخدم في ملف robots.txt، يتّبع محرّك البحث Google وكيل المستخدم الأكثر تحديدًا. إذا كنت تريد أن تزحف جميع برامج الزحف من Google إلى صفحاتك، لست بحاجة إلى استخدام ملف robots.txt على الإطلاق. إذا كنت تريد منع جميع برامج الزحف في Google من الدخول إلى محتوى معيّن أو السماح لها بهذا، يمكنك إجراء ذلك من خلال ضبط Googlebot على أنه وكيل المستخدم. على سبيل المثال، إذا كنت تريد أن تظهر جميع صفحاتك في "بحث Google"، وإذا كنت تريد أن تظهر إعلانات AdSense على صفحاتك، لست بحاجة إلى ملف robots.txt. وإذا كنت تريد حظر بعض الصفحات من الظهور في "بحث Google" نهائيًا، سيؤدي حظر وكيل المستخدم Googlebot أيضًا إلى حظر جميع برامج وكيل المستخدم الأخرى من Google.

إذا أردت مزيدًا من التحكم بالغ الدقة، يمكنك استخدام قواعد أكثر تحديدًا. على سبيل المثال، قد تريد أن تظهر جميع صفحاتك في "بحث Google"، ولكن لا تريد أن يتم الزحف إلى الصور في دليلك الشخصي. في هذه الحالة، استخدِم ملف robots.txt لمنع وكيل المستخدم Googlebot-Image من الزحف إلى الملفات في دليلك الشخصي (مع السماح لبرنامج Googlebot بالزحف إلى جميع الملفات)، على هذا النحو:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

كمثال آخر، لنفترض أنك تريد نشر إعلانات على جميع صفحاتك، لكنك لا تريد أن تظهر هذه الصفحات في "بحث Google". في هذه الحالة، يمكنك حظر Googlebot مع السماح لوكيل المستخدم Mediapartners-Google، على هذا النحو:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

برامج وكيل المستخدم في العلامات الوصفية لبرامج الروبوت

تستخدم بعض الصفحات عدة علامات وصفية لبرامج الروبوت لتحديد التوجيهات لبرامج الزحف المختلفة، على النحو التالي:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

وفي هذه الحالة، يستخدم محرّك البحث Google إجمالي التوجيهات السلبية ويتّبع برنامج Googlebot كلاً من التوجيهَين noindex وnofollow. يمكنك الاطّلاع على مزيد من المعلومات المفصّلة عن التحكّم في آلية زحف محرّك بحث Google إلى موقعك الإلكتروني وفهرسته.

التحكّم في سرعة الزحف

يدخل كل زاحف من Google إلى المواقع الإلكترونية لغرض محدّد وبمعدّلات زحف مختلفة. ويستخدم محرّك بحث Google الخوارزميات لتحديد معدّل الزحف المثالي لكل موقع إلكتروني. إذا كان زاحف Google يزحف إلى موقعك الإلكتروني بمعدّل مرتفع، يمكنك خفض معدّل الزحف.