التحقق من أنّ مصدر طلبات الزحف هو برنامج Googlebot وبرامج الزحف الأخرى من Google

يمكنك التأكّد مما إذا كان زاحف الويب الذي يصل إلى خادمك هو زاحف من Google، مثل Googlebot. هذا الإجراء مفيد إذا كانت لديك شكوك بأنّ أصحاب الأسلوب غير المرغوب فيه أو غيرهم من مسبّبي المشاكل يصلون إلى موقعك الإلكتروني منتحلين صفة Googlebot.

تندرج برامج الزحف من Google ضمن ثلاث فئات:

النوع	الوصف	قناع نظام أسماء النطاقات العكسي	نطاقات عناوين IP
Googlebot	يمثّل هذا النوع الزاحف الأساسي لمنتجات البحث في Google، ويلتزم دائمًا بقواعد robots.txt.	`crawl-*---.googlebot.com` أو `geo-crawl----*.geo.googlebot.com`	googlebot.json
برامج الزحف ذات الحالات الخاصة	هي برامج الزحف التي تنفّذ وظائف معيّنة (مثل AdsBot)، وقد تلتزم بقواعد robots.txt أو لا تلتزم بها.	`rate-limited-proxy-*---*.google.com`	special-crawlers.json
برامج الجلب التي يشغّلها المستخدم	هي الأدوات ووظائف المنتجات التي يشغّل فيها المستخدم النهائي عمليات جلب. على سبيل، تعالج أداة إثبات ملكية الموقع على Google طلب المستخدم. وتتجاهل برامج الجلب هذه قواعد robots.txt لأنّ المستخدم هو الذي طلب عملية الجلب.	`*---*.gae.googleusercontent.com`	user-triggered-fetchers.json

تتوفّر طريقتان للتأكد من أنّ برامج زحف Google هي مصدر طلبات الزحف:

يدويًا: استخدِم أدوات سطر الأوامر لإجراء عمليات بحث لمرة واحدة. وتُعدّ هذه الطريقة كافية لمعظم حالات الاستخدام.
تلقائيًا: لإجراء عمليات بحث على نطاق واسع، استخدِم حلاً تلقائيًا لمطابقة عنوان IP الخاص بالزاحف مع قائمة عناوين IP المنشورة لبرنامج Googlebot.

استخدام أدوات سطر الأوامر

شغِّل عملية "بحث نظام أسماء النطاقات العكسي" على عنوان IP المخصّص للوصول إلى موقعك الإلكتروني من خلال سجلّاتك، وذلك باستخدام الأمر host.
تأكَّد من أنّ اسم النطاق هو googlebot.com، أو google.com، أو googleusercontent.com.
شغِّل عملية "بحث نظام أسماء النطاقات" الأمامية على اسم النطاق الذي تم استرداده في الخطوة الأولى باستخدام الأمر host على اسم النطاق.
تحقَّق من أنّه مماثل لعنوان IP الأصلي المخصّص للوصول إلى موقعك الإلكتروني من خلال سجلّاتك.

المثال 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

المثال 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

المثال 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

استخدام الحلول التلقائية

يمكنك بدلاً من ذلك التأكّد من أنّ برنامج Googlebot هو مصدر طلبات الزحف استنادًا إلى عنوان IP، وذلك من خلال مطابقة عنوان IP للزاحف مع قائمة عناوين IP لبرامج الزحف وبرامج الجلب من Google:

بالنسبة إلى عناوين IP الأخرى التي قد يستخدمها محرّك بحث Google للوصول إلى موقعك الإلكتروني (على سبيل المثال، باستخدام برمجة تطبيقات Google)، يمكنك مطابقة عنوان IP المستخدَم للوصول إلى موقعك مع قائمة عناوين IP العامة التي تستخدمها Google. يُرجى العلم بأنّ عناوين IP في ملفات JSON تكون بتنسيق CIDR.