قواعد مفيدة يمكن إضافتها إلى ملف robots.txt

في ما يلي بعض القواعد المفيدة والشائعة التي يمكن إضافتها إلى ملف robots.txt:

قواعد مفيدة
منع الزحف إلى جميع أقسام موقع إلكتروني معيّن	تذكّر أنّه في بعض الحالات، قد تتم فهرسة عناوين URL الخاصة بالموقع الإلكتروني حتى لو لم يتم الزحف إليها. ملاحظة: لا تتطابق هذه القاعدة مع زواحف AdsBot المختلفة التي يجب تحديد اسمها بشكل صريح. User-agent: * Disallow: /
السماح بالزحف إلى جميع أقسام الموقع الإلكتروني (باستخدام قاعدة Disallow فارغة)	يسمح هذا الإجراء صراحةً لجميع برامج الزحف بالوصول إلى الموقع الإلكتروني بأكمله. وهو مكافئ وظيفيًا لعدم توفّر ملف robots.txt على الإطلاق، أو لاستخدام القاعدة Allow: /. User-agent: * Disallow:
منع الزحف إلى دليل ومحتواه	يمكنك إلحاق شرطة مائلة للأمام باسم الدليل لمنع الزحف إلى الدليل بأكمله. تنبيه: يجب عدم استخدام ملف robots.txt لحظر الوصول إلى المحتوى الخاص، وننصحك باستخدام مصادقة مناسبة بدلاً من ذلك. قد تتم فهرسة عناوين URL التي تم منع الوصول إليها باستخدام ملف robots.txt بدون أن يتم الزحف إليها، ويمكن لأي مستخدم رؤية ملف robots.txt، ما قد يكشف موضع المحتوى الخاص. User-agent: * Disallow: /calendar/ Disallow: /junk/ Disallow: /books/fiction/contemporary/
منع الزحف إلى صفحة ويب واحدة	على سبيل المثال، يمكنك منع الزحف إلى الصفحة useless_file.html على https://example.com/useless_file.html والصفحة other_useless_file.html في دليل junk. User-agent: * Disallow: /useless_file.html Disallow: /junk/other_useless_file.html
منع الزحف إلى جميع أقسام الموقع الإلكتروني باستثناء دليل فرعي	يمكن لبرامج الزحف الوصول إلى الدليل الفرعي public. User-agent: * Disallow: / Allow: /public/
السماح بوصول زاحف واحد	يُسمح لبرنامج Googlebot-News وحده بالزحف إلى جميع أقسام الموقع الإلكتروني. User-agent: Googlebot-News Allow: / User-agent: * Disallow: /
السماح بالزحف لجميع برامج الزحف باستثناء زاحف واحد	لا يُسمح لبرنامج Unnecessarybot بالزحف إلى الموقع الإلكتروني، بينما يُسمح لجميع برامج التتبُّع الأخرى بالزحف إليه. User-agent: Unnecessarybot Disallow: / User-agent: * Allow: /
منع الزحف إلى جميع أقسام موقع إلكتروني معيّن، ولكن مع السماح لبرنامج Storebot-Google بالزحف إليه	يؤدي هذا الإجراء إلى إخفاء صفحاتك من نتائج البحث على Google، ولكن يظلّ بإمكان زاحف الويب Storebot-Google تحليلها لعرض منتجاتك على Google Shopping. User-agent: * Disallow: / User-agent: Storebot-Google Allow: /
حظر كل الصور على موقعك الإلكتروني من الظهور على Google (يشمل ذلك أي مكان يتم فيه عرض الصور على Google، بما في ذلك "صور بحث Google" و"اقتراحات")	لا يستطيع محرّك بحث Google فهرسة الصور والفيديوهات بدون الزحف إليها. User-agent: Googlebot-Image Disallow: /
حظر صورة معيّنة من الظهور في "صور بحث Google‏"	على سبيل المثال، يمكنك منع الزحف إلى الصورة dogs.jpg. User-agent: Googlebot-Image Disallow: /images/dogs.jpg
منع الزحف إلى ملفات من نوع معيّن	على سبيل المثال، يمكنك منع الزحف إلى جميع ملفات .gif. User-agent: Googlebot Disallow: /*.gif$
استخدام حرفَي البدل * و$ لمطابقة عناوين URL التي تنتهي بسلسلة معيَّنة	على سبيل المثال، يمكنك منع الزحف إلى جميع ملفات .xls: User-agent: Googlebot Disallow: /*.xls$ يشير حرف البدل $ إلى نهاية عنوان URL. وهذا يعني أنّ أي عنوان URL يتضمّن أحرفًا إضافية بعد النمط (مثل مَعلمات عنوان URL) لن يكون مطابقًا. على سبيل المثال، لن يتم حظر https://example.com/cats.xls?personality=loki بواسطة القاعدة /*.xls$.
دمج عدة وكلاء مستخدمين في مجموعة واحدة	يؤدي دمج القواعد الخاصة ببرامج زحف متعددة في مجموعة واحدة إلى تصغير حجم الملف وتسهيل إدارته، لأنّ جميع القواعد في المجموعة تنطبق على كل وكيل مستخدم مُدرَج. وهذا الإجراء مماثل لإدراج وكلاء المستخدم مرتين مع القواعد الخاصة بكل منها. User-agent: Googlebot User-agent: Storebot-Google Allow: /cats Disallow: /