نظرة عامة على برامج الزحف وبرامج الجلب من Google (برامج وكيل المستخدم)

تستخدم Google برامج الزحف والجلب لتنفيذ الإجراءات الخاصة بمنتجاتها، سواءً بشكل تلقائي أو استنادًا إلى طلب المستخدم.

"برنامج الزحف" أو "الزاحف" (يُسمّى أيضًا "الروبوت" أو "العنكبوت") هو مصطلح عام لأي برنامج يتم استخدامه لاكتشاف المواقع الإلكترونية وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى. ويُطلق الاسم Googlebot على زاحف Google الرئيسي المستخدَم في "بحث Google".

أمّا برامج الجلب، فهي أدوات كالمتصفّح، تحصل للمستخدم على عنوان URL المحدّد الذي طلبه.

تعرض الجداول التالية برامج الزحف والجلب من Google التي تستخدمها المنتجات والخدمات المختلفة، بالإضافة إلى كيفية رؤيتها في سجلّات المُحيل الخاصة بك، وكيفية تحديدها في ملف robots.txt. وهذه القوائم ليست شاملة، بل تتضمّن فقط برامج الزحف والجلب الأكثر شيوعًا والتي قد تظهر ضمن ملفات السجلّ.

  • يُستخدم الرمز المميّز لوكيل المستخدم في سطر User-agent: داخل ملف robots.txt بهدف المطابقة مع نوع من برامج الزحف عند كتابة قواعد الزحف الخاصة بموقعك الإلكتروني. بعض برامج الزحف لديها أكثر من رمز مميّز واحد على النحو الوارد في الجدول، وما عليك سوى مطابقة رمز مميّز واحد للزاحف ليتم تطبيق القاعدة. هذه القائمة ليست كاملة، ولكنها تشمل معظم برامج الزحف التي قد تعمل على موقعك الإلكتروني.
  • السلسلة الكاملة لوكيل المستخدم هي سلسلة تقدّم وصفًا كاملاً للزاحف وتظهر في طلب HTTP وسجلّات الويب الخاصة بك.

برامج الزحف الشائعة

تُستخدم برامج الزحف الشائعة من Google للعثور على المعلومات اللازمة لإنشاء فهارس "بحث Google" ولتنفيذ عمليات زحف أخرى خاصة بالمنتجات، ولأغراض التحليل. ودائمًا ما تتّبع هذه البرامج قواعد robots.txt وتزحف عمومًا من نطاقات عناوين IP المنشورة في كائن googlebot.json.

برامج الزحف الشائعة
الرمز المميز لوكيل المستخدم Googlebot
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
الرمز المميز لوكيل المستخدم Googlebot
السلاسل الكاملة لوكيل المستخدم
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • نادرًا:
    • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    • Googlebot/2.1 (+http://www.google.com/bot.html)

يُستخدم للزحف إلى عناوين URL الخاصة بالصور في "صور بحث Google" والمنتجات المستندة إلى الصور.

الرموز المميزة لوكيل المستخدم
  • Googlebot-Image
  • Googlebot
السلسلة الكاملة لوكيل المستخدم Googlebot-Image/1.0

يستخدم "Googlebot للأخبار" برنامج Googlebot للزحف إلى المقالات الإخبارية، لكنّه يستجيب للرمز المميز التابع لوكيل المستخدم السابق Googlebot-News الخاص بها.

الرموز المميزة لوكيل المستخدم
  • Googlebot-News
  • Googlebot
السلسلة الكاملة لوكيل المستخدم يستخدم وكيل المستخدم Googlebot-News مجموعة من سلاسل وكيل مستخدم Googlebot.

يُستخدم للزحف إلى عناوين URL الخاصة بالفيديوهات في Google Video والمنتجات المستندة إلى الفيديوهات.

الرموز المميزة لوكيل المستخدم
  • Googlebot-Video
  • Googlebot
السلسلة الكاملة لوكيل المستخدم Googlebot-Video/1.0

يزحف Google StoreBot إلى أنواع معيّنة من الصفحات، بما في ذلك على سبيل المثال لا الحصر، صفحات تفاصيل المنتجات وصفحات سلّات التسوق وصفحات الدفع.

الرمز المميز لوكيل المستخدم Storebot-Google
السلاسل الكاملة لوكيل المستخدم
  • وكيل أجهزة الكمبيوتر المكتبي:
    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
  • وكيل الأجهزة الجوّالة:
    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36

‫Google-InspectionTool هو الزاحف الذي تستخدمه أدوات الاختبار في "بحث Google"، مثل اختبار النتائج الغنية بصريًا وفحص عنوان URL في Search Console. بالإضافة إلى وكيل المستخدم والرمز المميز لوكيل المستخدم، يحاكي هذا الزاحف أيضًا Googlebot.

الرموز المميزة لوكيل المستخدم
  • Google-InspectionTool
  • Googlebot
السلسلة الكاملة لوكيل المستخدم
  • الأجهزة الجوالة
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
  • أجهزة الكمبيوتر
    Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)

‫GoogleOther هو الزاحف العام الذي يمكن أن تستخدمه فِرق خاصة بمنتجات متعددة لجلب محتوى متاح للجميع من مواقع إلكترونية. على سبيل المثال، يمكن استخدامه للزحف مرة واحدة لإجراء عمليات تطوير وأبحاث داخلية.

الرمز المميز لوكيل المستخدم GoogleOther
السلسلة الكاملة لوكيل المستخدم
  • Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
  • GoogleOther

‫GoogleOther-Image هو نسخة GoogleOther التي تم تحسينها بغرض جلب عناوين URL الخاصة بالصور المتاحة للجميع.

الرموز المميزة لوكيل المستخدم
  • GoogleOther-Image
  • GoogleOther
السلسلة الكاملة لوكيل المستخدم GoogleOther-Image/1.0

‫GoogleOther-Video هو نسخة GoogleOther التي تم تحسينها بغرض جلب عناوين URL الخاصة بالفيديوهات المتاحة للجميع.

الرموز المميزة لوكيل المستخدم
  • GoogleOther-Video
  • GoogleOther
السلسلة الكاملة لوكيل المستخدم GoogleOther-Video/1.0

يزحف Google-CloudVertexBot إلى مواقع إلكترونية بناءً على طلب مالكي المواقع الإلكترونية عند إنشاء وكلاء مستندين إلى الذكاء الاصطناعي عن طريق Vertex AI.

الرموز المميزة لوكيل المستخدم
  • Google-CloudVertexBot
  • Googlebot
السلسلة الفرعية لوكيل المستخدم Google-CloudVertexBot

‫Google-Extended هو عبارة عن رمز مميّز مستقل خاص بالمنتج يمكن أن يستخدمه الناشرون على الويب لتحديد ما إذا كانت مواقعهم الإلكترونية تساعد في تحسين واجهتَي برمجة تطبيقات Gemini وVertex المستنِدتين إلى الذكاء الاصطناعي التوليدي، بما في ذلك الإصدارات المستقبلية من النماذج التي تعمل على تشغيل هذين المنتجَين. لا يؤثّر Google-Extended في ظهور موقع إلكتروني معيّن في نتائج "بحث Google" أو ترتيبه.

الرمز المميز لوكيل المستخدم Google-Extended
السلسلة الكاملة لوكيل المستخدم لا يتضمّن Google-Extended سلسلة منفصلة لوكيل المستخدم خاصة بطلب HTTP. تتم عملية الزحف من خلال السلاسل الحالية لوكيل المستخدم على حساب Google. ويُستخدم الرمز المميز لوكيل المستخدم في ملف robots.txt للتحكم.

برامج الزحف في الحالات الخاصة

تُستخدم برامج الزحف المخصّصة للحالات الخاصة في منتجات معيّنة إذا كانت هناك اتفاقية بشأن عملية الزحف بين الموقع الإلكتروني الذي يتم الزحف إليه والمنتج. على سبيل المثال، يتجاهل AdsBot وكيل المستخدم العام robots.txt (*) الحاصل على إذن ناشر الإعلان. يمكن أن تتجاهل برامج الزحف في الحالات الخاصة قواعد robots.txt، وبذلك تعمل من نطاق IP مختلف عن برامج الزحف الشائعة. ويتم نشر نطاقات IP في الكائن special-crawlers.json.

برامج الزحف في الحالات الخاصة

تستخدمه أداة Google APIs لعرض رسائل الإشعارات الفورية. وهو يتجاهل وكيل المستخدم العام (*) في ملف robots.txt.

الرمز المميز لوكيل المستخدم APIs-Google
السلسلة الكاملة لوكيل المستخدم APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

يفحص جودة الإعلانات على صفحات الويب في الأجهزة الجوّالة. وهو يتجاهل وكيل المستخدم العام (*) في ملف robots.txt.

الرمز المميز لوكيل المستخدم AdsBot-Google-Mobile
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

يفحص جودة الإعلانات على صفحات الويب في أجهزة الكمبيوتر المكتبي. وهو يتجاهل وكيل المستخدم العام (*) في ملف robots.txt.

الرمز المميز لوكيل المستخدم AdsBot-Google
السلسلة الكاملة لوكيل المستخدم AdsBot-Google (+http://www.google.com/adsbot.html)

يزور زاحف AdSense موقعك الإلكتروني لتحديد محتواه بهدف تقديم إعلانات ملائمة. وهو يتجاهل وكيل المستخدم العام (*) في ملف robots.txt.

الرمز المميز لوكيل المستخدم Mediapartners-Google
السلسلة الكاملة لوكيل المستخدم Mediapartners-Google

يزور زاحف Mobile AdSense موقعك الإلكتروني لتحديد محتواه بهدف تقديم إعلانات ملائمة. وهو يتجاهل وكيل المستخدم العام (*) في ملف robots.txt.

الرمز المميز لوكيل المستخدم Mediapartners-Google
السلسلة الكاملة لوكيل المستخدم (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

يتعامل وكيل المستخدم Google-Safety مع عمليات الزحف المتعلّقة بإساءة الاستخدام، مثل اكتشاف البرامج الضارة المرتبطة بالروابط المنشورة بشكل علني على خدمات Google. سيتجاهل وكيل المستخدم هذا قواعد robots.txt.

السلسلة الكاملة لوكيل المستخدم Google-Safety

برامج الجلب التي يشغّلها المستخدم

الغرض من برامج الجلب التي يشغّلها المستخدم هو تنفيذ وظيفة جلب خاصة بالمنتج. على سبيل المثال، تعالج أداة إثبات ملكية الموقع على Google طلب المستخدم، أو يتضمّن موقع إلكتروني تتم استضافته على Google Cloud ‏(GCP) ميزة تسمح لمستخدمي الموقع باسترداد خلاصة RSS خارجية. وتتجاهل عادةً برامج الجلب هذه قواعد robots.txt لأنّ المستخدم هو الذي طلب عملية الجلب. أمّا نطاقات IP التي تستخدمها برامج الجلب التي يشغّلها المستخدم، فيتم نشرها في الكائنَين user-triggered-fetchers.json وuser-triggered-fetchers-google.json.

برامج الجلب التي يشغّلها المستخدم

يُستخدم برنامج Feedfetcher للزحف إلى خلاصات RSS أو Atom على تطبيق "Google بودكاست" و"أخبار Google" وPubSubHubbub.

الرمز المميز لوكيل المستخدم FeedFetcher-Google
السلسلة الكاملة لوكيل المستخدم FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

يجلب ويعالج الخلاصات التي يوفّرها الناشرون بشكل واضح من خلال "مركز الناشرين" ليتم استخدامها في الصفحات المقصودة في "أخبار Google".

السلسلة الكاملة لوكيل المستخدم GoogleProducer; (+https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers#googleproducer)

استنادًا إلى طلب المستخدم، يجلب Google Read Aloud صفحات الويب ويقرأها من خلال تقنية تحويل النص إلى كلام.

السلاسل الكاملة لوكيل المستخدم

برامج الوكيل الحالية:

  • وكيل أجهزة الكمبيوتر المكتبي:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • وكيل الأجهزة الجوّالة:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

الوكيل السابق (متوقّف نهائيًا):

google-speakr

استنادًا إلى طلب المستخدم، تجلب أداة "إثبات ملكية الموقع على Google" الرموز المميَّزة لتأكيد ملكية النطاق في Search Console.

السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

ملاحظة عن Chrome/W.X.Y.Z‎ في برامج وكيل المستخدم

أينما ترِد سلسلة Chrome/W.X.Y.Z‎ ضمن سلاسل برامج وكيل المستخدم في الجدول، تكون W.X.Y.Z عبارة عن عنصر نائب يمثّل إصدار متصفّح Chrome الذي يستخدمه وكيل المستخدم هذا، مثلاً، 41.0.2272.96. سيزداد رقم الإصدار هذا بمرور الوقت ليطابق أحدث نسخة من إصدارات Chromium يستخدمها Googlebot.

إذا كنت تبحث في سجلّاتك أو تجري فلترة للخادم للعثور على وكيل مستخدم بهذا النمط، استخدِم أحرفَ بدلٍ لرقم الإصدار بدلاً من تحديد رقم إصدار معيّن.

برامج وكيل المستخدم في robots.txt

عندما يتم التعرّف على العديد من برامج وكيل المستخدم في ملف robots.txt، يتّبع محرّك بحث Google وكيل المستخدم الأكثر تحديدًا. إذا كنت تريد أن تزحف جميع برامج الزحف من Google إلى صفحاتك، لست بحاجة إلى استخدام ملف robots.txt على الإطلاق. إذا كنت تريد منع جميع برامج الزحف في Google من الدخول إلى محتوى معيّن أو السماح لها بهذا، يمكنك إجراء ذلك من خلال ضبط Googlebot على أنّه وكيل المستخدم. على سبيل المثال، إذا كنت تريد أن تظهر جميع صفحاتك في "بحث Google"، وإذا كنت تريد أن تظهر إعلانات AdSense على صفحاتك، لست بحاجة إلى ملف robots.txt. وإذا كنت تريد حظر بعض الصفحات من الظهور في "بحث Google" نهائيًا، سيؤدي حظر وكيل المستخدم Googlebot أيضًا إلى حظر جميع برامج وكيل المستخدم الأخرى من Google.

إذا أردت التحكم بشكل أدقّ في المحتوى الذي سيظهر ضمن نتائج البحث، يمكنك استخدام قواعد أكثر تحديدًا. على سبيل المثال، قد تريد أن تظهر جميع صفحاتك في "بحث Google"، ولكن لا تريد أن يتم الزحف إلى الصور في دليلك الشخصي. في هذه الحالة، استخدِم ملف robots.txt لمنع وكيل المستخدم Googlebot-Image من الزحف إلى الملفات في دليلك الشخصي (مع السماح لبرنامج Googlebot بالزحف إلى جميع الملفات)، على هذا النحو: 

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

كمثال آخر، لنفترض أنّك تريد نشر إعلانات على جميع صفحاتك، لكنّك لا تريد أن تظهر هذه الصفحات في "بحث Google". في هذه الحالة، يمكنك حظر Googlebot مع السماح بوكيل المستخدم Mediapartners-Google، على هذا النحو: 

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

التحكّم في سرعة الزحف

يدخل كل زاحف من Google إلى المواقع الإلكترونية لغرض محدّد وبمعدّلات زحف مختلفة. ويستخدم محرّك بحث Google الخوارزميات لتحديد معدّل الزحف المثالي لكل موقع إلكتروني. إذا كان زاحف Google يزحف إلى موقعك الإلكتروني بمعدّل مرتفع، يمكنك خفض معدّل الزحف.

برامج زحف من Google تمت إزالتها

إنّ برامج الزحف التالية من Google لم تعُد قيد الاستخدام ويتم ذكرها هنا لأغراض مرجعية فقط.

برامج زحف من Google تمت إزالتها

‫Duplex على الويب

كان وكيل المستخدم متوافقًا مع خدمة "Duplex على الويب".

الرمز المميز لوكيل المستخدم DuplexWeb-Google
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

تقنيّة Web Light

يتم التأكّد من توفّر عنوان no-transform كلما نقر مستخدم على صفحتك في "بحث Google" في ظل الظروف المناسبة. ولم يكُن وكيل مستخدم تقنيّة Web Light يُستخدم سوى لطلبات التصفّح الصريحة التي يجريها أحد الزائرين، ولذلك كان يتجاهل قواعد robots.txt التي تُستخدم لحظر طلبات الزحف المبرمجة.

الرمز المميز لوكيل المستخدم googleweblight
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

يفحص جودة الإعلانات على صفحات الويب في هواتف iPhone. وهو يتجاهل وكيل المستخدم العام (*) في ملف robots.txt.

الرمز المميز لوكيل المستخدم AdsBot-Google-Mobile
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

يفحص جودة الإعلانات على صفحات تطبيقات Android. وهو يلتزم بقواعد AdsBot-Google لبرامج الروبوت، لكنّه يتجاهل وكيل المستخدم العام (*) في ملف robots.txt.

الرمز المميز لوكيل المستخدم AdsBot-Google-Mobile-Apps
السلسلة الكاملة لوكيل المستخدم AdsBot-Google-Mobile-Apps
الرموز المميزة لوكيل المستخدم
  • Googlebot-Image
  • Googlebot
السلسلة الكاملة لوكيل المستخدم Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon