تنظيم صفحاتك في مجموعات يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.

التحقق من Googlebot وبرامج الزحف الأخرى من Google

يمكنك التحقق مما إذا كان زاحف الويب الذي يصل إلى خادمك هو زاحف من Google، مثل Googlebot. وتُعدّ عملية التحقق هذه مفيدة إذا كانت لديك شكوك بأنّ أصحاب الأسلوب غير المرغوب فيه أو غيرهم من المتسبّبين بحدوث المشاكل يصلون إلى موقعك الإلكتروني منتحلين صفة Googlebot.

تتوفّر طريقتان للتحقّق من أن برامج زحف Google هي مصدر طلبات الزحف:

  • يدويًا: استخدِم أدوات سطر الأوامر لإجراء عمليات بحث لمرة واحدة. وتُعدّ هذه الطريقة كافية لمعظم حالات الاستخدام.
  • تلقائيًا: لإجراء عمليات بحث على نطاق واسع، استخدِم حلّاً تلقائيًا لمطابقة عنوان IP الخاص بالزاحف مع قائمة عناوين IP المنشورة لبرنامج Googlebot.

استخدام أدوات سطر الأوامر

  1. شغِّل بحث نظام أسماء النطاقات العكسي على عنوان IP المخصّص للوصول إلى موقعك الإلكتروني من خلال سجلّاتك، وذلك باستخدام أمر host.
  2. تحقّق من أنّ اسم النطاق هو googlebot.com أو google.com.
  3. شغِّل بحث نظام أسماء النطاقات الأمامي على اسم النطاق الذي تم استرداده في الخطوة الأولى باستخدام الأمر host على اسم النطاق الذي تم استرداده.
  4. تحقّق من أنه مماثل لعنوان IP الأصلي المخصّص للوصول إلى موقعك الإلكتروني من خلال سجلّاتك.

المثال 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

المثال 2:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

استخدام الحلول التلقائية

يمكنك بدلاً من ذلك التحقّق من أن برنامج Googlebot هو مصدر طلبات الزحف استنادًا إلى عنوان IP وذلك من خلال مطابقة عنوان IP للزاحف مع قائمة عناوين IP لبرنامج Googlebot. بالنسبة إلى عناوين IP الأخرى التي تستخدمها Google والتي يمكن الوصول إلى موقعك الإلكتروني من خلالها (على سبيل المثال، عبر طلب يقدّمه المستخدم أو باستخدام برمجة التطبيقات)، يمكنك مطابقة عنوان IP المستخدَم للوصول إلى موقعك مع قائمة عناوين IP التي تستخدمها Google.