تعديل ملف robots.txt

لتعديل القواعد في ملف robots.txt الحالي، نزِّل نسخة من ملف robots.txt الخاص بموقعك الإلكتروني وأجرِ التعديلات اللازمة.

تنزيل ملف robots.txt

يمكنك تنزيل ملف robots.txt بطرق مختلفة، على سبيل المثال:

  • انتقِل إلى ملف robots.txt، على سبيل المثال https://example.com/robots.txt، وانسخ محتواه إلى ملف نصي جديد على جهاز الكمبيوتر. تأكّد من اتّباع الإرشادات ذات الصلة بتنسيق الملف عند إنشاء ملف محلي جديد.
  • يمكنك تنزيل نسخة من ملف robots.txt باستخدام أداة، مثل cURL. مثلاً:
    curl https://example.com/robots.txt -o robots.txt
  • استخدِم أداة اختبار robots.txt في Search Console لتنزيل نسخة من ملف robots.txt.
    1. انقر على إرسال في أسفل يسار الصفحة في محرّر robots.txt. سيؤدّي هذا الإجراء إلى فتح مربّع الحوار "إرسال".
    2. نزِّل رمز robots.txt من صفحة أداة اختبار robots.txt من خلال النقر على تنزيل في مربّع الحوار إرسال.

تعديل ملف robots.txt

افتح ملف robots.txt الذي نزّلته من موقعك الإلكتروني في محرِّر نصوص وأدخِل التعديلات اللازمة على القواعد. احرص على استخدام البنية الصحيحة وعلى حفظ الملف بترميز UTF-8.

تحميل ملف robots.txt

حمِّل ملف robots.txt الجديد على جذر نطاقك كملف نصي اسمه robots.txt. والطريقة التي تحمِّل بها ملفًا على موقعك الإلكتروني تعتمد بشكل كبير على النظام الأساسي والخادم. راجِع نصائحنا للحصول على مساعدة بشأن تحميل ملف robots.txt على موقعك الإلكتروني.

إعادة تحميل ذاكرة التخزين المؤقت لملف robots.txt في Google

أثناء عملية الزحف التلقائي، تلاحظ برامج زحف Google التغييرات التي أجريتها على ملف robots.txt وتعدّل النسخة المخزَّنة مؤقتًا كل 24 ساعة. إذا أردت تعديل ذاكرة التخزين المؤقت بشكل أسرع، استخدِم الوظيفة إرسال في أداة اختبار ملف robots.txt.

  1. انقر على عرض النسخة التي تم تحميلها للتأكد من أنّ نسخة ملف robots.txt المنشورة هي النسخة التي تريد أن يزحف إليها محرّك البحث Google.
  2. انقر على إرسال لإعلام Google بأنه تم إجراء تغييرات على ملف robots.txt وللطلب من محرّك البحث Google الزحف إليه.
  3. تحقَّق ممّا إذا كان محرّك البحث Google قد زحف بنجاح إلى النسخة الأحدث من خلال إعادة تحميل الصفحة في المتصفّح لتعديل محرّر الأداة والاطّلاع على رمز ملف robots.txt المنشور. بعد إعادة تحميل الصفحة، يمكنك أيضًا النقر على القائمة المنسدلة لعرض الطابع الزمني للوقت الذي اكتشف فيه محرّك البحث Google أحدث إصدار من ملف robots.txt لأول مرة.