التأكّد من أنّ مصدر طلبات الزحف هو Googlebot وبرامج زحف أخرى من Google

يمكنك التأكّد مما إذا كان زاحف الويب الذي يصل إلى خادمك هو زاحف من Google، مثل Googlebot. هذا الإجراء مفيد إذا كانت لديك شكوك بأنّ أصحاب الأسلوب غير المرغوب فيه أو غيرهم من مسبّبي المشاكل يصلون إلى موقعك الإلكتروني منتحلين صفة Googlebot.

تتوفّر طريقتان للتأكد من أنّ برامج زحف Google هي مصدر طلبات الزحف:

يدويًا: استخدِم أدوات سطر الأوامر لإجراء عمليات بحث لمرة واحدة. وتُعدّ هذه الطريقة كافية لمعظم حالات الاستخدام.
تلقائيًا: لإجراء عمليات بحث على نطاق واسع، استخدِم حلاً تلقائيًا لمطابقة عنوان IP الخاص بالزاحف مع قائمة عناوين IP المنشورة لبرنامج Googlebot.

استخدام أدوات سطر الأوامر

شغِّل عملية "بحث نظام أسماء النطاقات العكسي" على عنوان IP المخصّص للوصول إلى موقعك الإلكتروني من خلال سجلّاتك، وذلك باستخدام الأمر host.
تأكَّد من أنّ اسم النطاق هو googlebot.com أو google.com.
شغِّل عملية "بحث نظام أسماء النطاقات" الأمامية على اسم النطاق الذي تم استرداده في الخطوة الأولى باستخدام الأمر host على اسم النطاق.
تحقَّق من أنّه مماثل لعنوان IP الأصلي المخصّص للوصول إلى موقعك الإلكتروني من خلال سجلّاتك.

المثال 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

المثال 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

المثال 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

استخدام الحلول التلقائية

يمكنك بدلاً من ذلك التأكّد من أنّ برنامج Googlebot هو مصدر طلبات الزحف استنادًا إلى عنوان IP، وذلك من خلال مطابقة عنوان IP للزاحف مع قائمة عناوين IP لبرنامج Googlebot. بالنسبة إلى عناوين IP الأخرى التي قد يستخدمها محرّك بحث Google للوصول إلى موقعك الإلكتروني (على سبيل المثال، عبر طلب يقدّمه المستخدم أو باستخدام برمجة تطبيقات Google)، يمكنك مطابقة عنوان IP المستخدَم للوصول إلى موقعك مع قائمة عناوين IP التي تستخدمها Google. يُرجى العلم بأنّ عناوين IP في ملفات JSON تكون بتنسيق CIDR.