السماح بزيارات Google-Agent

Google-Agent هو الاسم الذي تستخدمه برامج وكلاء مستضافة على بنية Google الأساسية لتصفّح الويب وتنفيذ الإجراءات بناءً على طلب المستخدم. يساعد السماح بزيارات Google-Agent صراحةً في شبكة توصيل المحتوى (CDN) أو جدار حماية تطبيق الويب (WAF) أو خدمة الكشف عن برامج التتبُّع في منع حظر الطلبات المشروعة مع الحفاظ على عناصر التحكّم الحالية في الأمان.

كيفية تحديد Google-Agent للطلبات

يتضمّن كل طلب من Google-Agent عنوان طلب HTTP لـ User-Agent يحتوي على "Google-Agent" (راجِع برامج الجلب التي يشغّلها المستخدم من Google) ويأتي من عنوان IP من user-triggered-agents.json.

تختبر Google أيضًا بروتوكول Web Bot Auth باستخدام المعرّف https://agent.bot.goog. في هذه التجربة، توقّع Google الطلبات التي يرسلها Google-Agent باستخدام معيار توقيعات رسائل HTTP‏ (RFC 9421). تشمل الطلبات المشارِكة ما يلي:

  • عنوان Signature-Agent مضبوط على g="https://agent.bot.goog"
  • عنوانا Signature وSignature-Input يحملان التصنيف g

تتوفّر مجموعة المفاتيح العامة للتحقّق من هذه التوقيعات على: https://agent.bot.goog/.well-known/http-message-signatures-directory

السماح بزيارات في شبكة توصيل المحتوى (CDN) أو جدار الحماية أو خدمة رصد برامج التتبُّع

توفّر بعض خدمات الكشف عن برامج التتبُّع وشبكات توصيل المحتوى (CDN) وجدران الحماية طرقًا للتحقّق من الطلبات التي يرسلها وكيل المستخدم Google-Agent والسماح بها. يُرجى الرجوع إلى مقدّم الخدمة لمعرفة الخطوات الدقيقة.

إذا لم تتحقّق خدمتك تلقائيًا من طلبات Google-Agent، قد تتمكّن من التحقّق من الطلبات والسماح بها باستخدام القواعد التالية:

  • تأكَّد من أنّ عنوان User-Agent يحتوي على Google-Agent.
  • تأكَّد من أنّ عنوان IP مدرَج في user-triggered-agents.json.
  • إذا تم تقديم الطلب الموقَّع، عليك تأكيده من خلال التحقّق من عنوانَي Signature وSignature-Input لـ Signature-Agent: g="https://agent.bot.goog" وفقًا لبروتوكول Web Bot Auth.
  • بالنسبة إلى الطلبات التي تم التحقّق منها، يمكنك تخطّي اختبارات برامج التتبُّع.

تحديد المشاكل وحلّها

إذا استمر حظر طلبات Google-Agent المشروعة بعد السماح بها:

  • أولوية القاعدة: تأكَّد من أنّ قاعدة السماح لها أولوية أعلى من عمليات حظر أرقام الأنظمة المستقلة (ASN) الواسعة النطاق في السحابة الإلكترونية أو مركز البيانات أو قواعد برامج التتبُّع المُدارة أو سياسات حظر وكلاء الذكاء الاصطناعي على مستوى الفئة التي يمكن أن تلغي إعدادات برامج التتبُّع التي تم التحقّق منها (ويتم تقييمها قبلها).
  • الاختبارات التفاعلية: تأكَّد من أنّ القاعدة تتخطّى اختبارات CAPTCHA التفاعلية واختبارات JavaScript بالإضافة إلى عمليات حظر HTTP، بما في ذلك التطبيقات المصغّرة المستقلة لاختبارات CAPTCHA في الصفحة التي يتم تشغيلها عند البحث أو إرسال النماذج.
  • الإجراءات أثناء رحلة المستخدم وواجهات برمجة التطبيقات: تأكَّد من أنّ السماح بهذه الطلبات يشمل الإجراءات التي تتجاوز عمليات التحميل الأولية للصفحة الرئيسية، بما في ذلك البحث في الموقع الإلكتروني والفلترة والنقر على صفحات التفاصيل والإضافة إلى سلة التسوّق والحجز ونقاط النهاية الأساسية لـ XHR أو GraphQL أو api.*.
  • الحدود القصوى لمعدل عناوين IP المشتركة: تأكَّد من أنّ قواعد الحدّ من معدّل الطلبات لكل عنوان IP تأخذ في الاعتبار نطاقات عناوين IP التي تم التحقّق منها لـ Google-Agent أو تستثنيها، لأنّ الطلبات المتزامنة من مستخدمين متعدّدين تشارك مجموعة عناوين IP الصادرة نفسها.
  • تعديلات نطاق عناوين IP: تأكَّد من أنّ القواعد المستندة إلى عناوين IP تظل متزامنة مع أحدث النطاقات في user-triggered-agents.json.
  • عناوين الخادم الوكيل: تأكَّد من أنّ أجهزة موازنة الحمل والخوادم الوكيلة الوسيطة تحتفظ بعنوان IP الأصلي للعميل وعنوان User-Agent وعناوين Signature وSignature-Input وSignature-Agent (للطلبات الموقَّعة).