الأسئلة الشائعة حول برامج الروبوت

أسئلة عامة حول برامج الروبوت

هل يحتاج موقعي الإلكتروني إلى ملف robots.txt؟

لا، عندما ينتقل Googlebot إلى أحد المواقع الإلكترونية، نطلب أولاً إذنًا بالزحف عن طريق محاولة استرداد ملف robots.txt. بشكل عام، سيتم الزحف إلى أي موقع إلكتروني لا يشتمل على ملف robots.txt أو علامات وصفية لبرامج الروبوت أو عناوين HTTP X-Robots-Tag بالإضافة إلى فهرسته بشكلٍ عادي.

ما الطريقة التي يجب استخدامها لحظر برامج الزحف؟

يعتمد ذلك على بعض العوامل. باختصار، ثمة أسباب وجيهة لاستخدام كل من هذه الطرق:

  • ملف robots.txt: يمكنك استخدامه إذا كان الزحف إلى المحتوى يتسبب في حدوث مشاكل على الخادم. على سبيل المثال، نقترح عليك منع الزحف إلى نصوص برمجية غير محدودة في التقويم. لا تستخدم ملف robots.txt لحظر المحتوى الخاص (استخدِم مصادقة من جهة الخادم بدلاً من ذلك)، أو تحديد عنوان URL الأساسي. للتأكّد من عدم فهرسة عنوان URL، استخدِم العلامة الوصفية لبرامج الروبوت أو عنوان HTTP X-Robots-Tag بدلاً من ذلك.
  • العلامة الوصفية لبرامج الروبوت: يمكنك استخدامها إذا كنت تحتاج إلى التحكّم في كيفية عرض صفحة HTML فردية في نتائج البحث أو للتأكّد من عدم عرضها.
  • عنوان HTTP يتضمّن السمة X-Robots-Tag: يمكنك استخدامه إذا كنت تحتاج إلى التحكّم في كيفية عرض المحتوى في نتائج البحث أو للتأكّد من عدم عرضه.

هل يمكنني استخدام ملف robots.txt أو علامة وصفية لبرامج الروبوت أو عنوان HTTP يتضمّن السمة X-Robots-Tag لإزالة موقع إلكتروني خاص بشخص آخر من نتائج البحث؟

لا، لأن هذه الطرق لا تنطبق إلا على المواقع الإلكترونية التي يمكنك تعديل الرمز فيها أو إضافة ملفات إليها. اطّلِع على مزيد من المعلومات حول كيفية إزالة المعلومات من Google.

كيف يمكنني تخفيض معدّل زحف محرّك البحث Google إلى موقعي الإلكتروني؟

يمكنك بشكل عام تعديل إعدادات معدّل الزحف في حسابك على Google Search Console.

أسئلة بشأن ملف Robots.txt

أستخدم ملف robots.txt واحدًا في عدة مواقع إلكترونية. هل يمكنني استخدام عنوان URL كامل بدلاً من مسار نسبي؟

لا، لأن التوجيهات الواردة في ملف robots.txt (باستثناء sitemap:) صالحة للمسارات النسبية فقط.

هل يمكن وضع ملف robots.txt في دليل فرعي؟

لا، حيث يجب وضع الملف في أعلى دليل بالموقع الإلكتروني.

أريد حظر مجلد خاص. هل يمكنني منع المستخدمين الآخرين من قراءة ملف robots.txt الخاص بي؟

لا، لأنه يمكن لمختلف المستخدمين قراءة ملف robots.txt. إذا لم تكن تريد عرض المجلدات أو أسماء ملفات المحتوى لعامة المستخدمين، لا تضمّنها في ملف robots.txt. وليس من المفضّل عرض ملفّات robots.txt مختلفة استنادًا إلى وكيل المستخدم أو سمات أخرى.

هل يجب تضمين توجيه allow للسماح بالزحف؟

لا، لا تحتاج إلى تضمين توجيه allow. يتم السماح ضمنيًا بالزحف إلى جميع عناوين URL، ويتم استخدام التوجيه allow لإلغاء توجيهات disallow في ملف robots.txt نفسه.

ماذا سيحدث إذا كان ثمة خطأ في ملف robots.txt أو إذا استخدمت توجيهًا غير مسموح به؟

برامج زحف الويب مرنة جدًا بشكل عام ولن تتأثر عادةً بالأخطاء الطفيفة في ملف robots.txt. بشكلٍ عام، إنّ أسوأ ما يمكن أن يحدث هو تجاهل التوجيهات غير الصحيحة / غير المتوافقة. ويُرجى الأخذ بالاعتبار أنّ محرّك البحث Google لا يمكنه معرفة نوايا المستخدم عند تفسير ملف robots.txt، لذلك، علينا تفسير ملف robots.txt الذي جلبناه. ومع ذلك، إذا كنت تدرك المشاكل التي يتضمّنها ملف robots.txt، يمكنك عادةً حلّها بسهولة.

ما البرنامج الذي يجب استخدامه لإنشاء ملف robots.txt؟

يمكنك استخدام أي برنامج يتم من خلاله إنشاء ملف نصي صالح. والبرامج الشائعة المستخدمة لإنشاء ملفّات robots.txt هي Notepad أو TextEdit أو vi أو emacs. يمكنك الاطّلاع على المزيد من المعلومات حول إنشاء ملفّات robots.txt. وبعد إنشاء الملف، يمكنك التحقّق من صحته باستخدام أداة اختبار ملف robots.txt.

إذا حظرت محرّك البحث Google من الزحف إلى صفحة معيّنة باستخدام توجيه disallow في ملف robots.txt، هل ستختفي الصفحة من نتائج البحث؟

عند حظر محرّك البحث Google من الزحف إلى صفحة، ستتم على الأرجح إزالتها من فهرس Google.

لا تضمن إضافة توجيه disallow إلى ملف robots.txt عدم ظهور الصفحة في النتائج، لأنّ محرّك البحث Google قد يجد أنّ الصفحة ذات صلة بالبحث استنادًا إلى معلومات خارجية، مثل الروابط الواردة، ويعرض عنوان URL في نتائج البحث. إذا أردت حظر فهرسة الصفحة بوضوح، عليك استخدام العلامة الوصفية لبرامج الروبوت noindex أو عنوان HTTP X-Robots-Tag. في هذه الحالة، لا تحظر الصفحة في ملف robots.txt إذ يجب أن يتمكن الزاحف من الزحف إليها لكي يتم بالتالي عرض العلامة واتّباع تعليماتها. تعرَّف على طريقة التحكّم في المحتوى الذي تشاركه مع Google.

كم من الوقت سيستغرق تطبيق التغييرات في ملف robots.txt على نتائج البحث؟

أولاً، يجب إعادة تحميل ذاكرة التخزين المؤقت لملف robots.txt (نحتفظ بالمحتوى مؤقتًا بشكل عام لمدة تصل إلى يوم واحد). يمكنك تسريع هذه العملية عن طريق إرسال ملف robots.txt المعدّل إلى Google. حتى بعد العثور على التغيير، إنّ الزحف والفهرسة عملية معقّدة يمكن أن تستغرق أحيانًا بعض الوقت بالنسبة إلى عناوين URL الفردية، لذا لا يمكن تقديم مخطط زمني دقيق. يُرجى العِلم أيضًا بأنه حتى لو كان ملف robots.txt يمنع الوصول إلى أحد عناوين URL، سيظل عنوان URL هذا مرئيًا في نتائج البحث على الرغم من أنه لا يمكن الزحف إليه. إذا كنت تريد تعجيل عملية إزالة الصفحات التي حظرت محرّك البحث Google من الزحف إليها، يمكنك إرسال طلب إزالة.

كيف يمكنني تعليق جميع عمليات الزحف مؤقتًا إلى موقعي الإلكتروني؟

يمكنك مؤقتًا تعليق جميع عمليات الزحف عن طريق عرض رمز حالة HTTP 503 (service unavailable) لجميع عناوين URL، بما في ذلك ملف robots.txt. وستتم إعادة محاولة الزحف إلى ملف robots.txt بشكل دوري إلى أن يتم الوصول إليه مرة أخرى. لا ننصح بتغيير ملف robots.txt لمنع الزحف.

الخادم التابع لي ليس حساسًا لحالة الأحرف. كيف يمكنني منع الزحف إلى بعض المجلدات بالكامل؟

التوجيهات في ملف robots.txt حساسة لحالة الأحرف. في هذه الحالة، ننصحك بالتأكّد من فهرسة نسخة واحدة فقط من عنوان URL باستخدام طرق تحديد عناوين URL الأساسية. يسمح لك هذا الإجراء بتقليل عدد الأسطر في ملف robots.txt، ما يسهّل عليك إدارته. أما إذا لم يكن ذلك ممكنًا، فمن المستحسن إدراج التركيبات الشائعة لاسم المجلد، أو تقصير الاسم قدر الإمكان باستخدام بعض الحروف الأولى فقط بدلاً من الاسم الكامل. على سبيل المثال، بدلاً من إدراج جميع صيغ الأحرف الكبيرة والصغيرة لـ /MyPrivateFolder، يمكنك إدراج صيغ "/MyP" (إذا كنت متأكدًا من عدم توفّر عناوين URL أخرى قابلة للزحف إليها تحمل هذه الحروف الأولى نفسها). وقد يكون من المنطقي استخدام علامة وصفية لبرامج الروبوت أو عنوان HTTP X-Robots-Tag بدلاً من ذلك، إذا لم يكن الزحف يتسبب في حدوث مشكلة.

أعرض رسالة 403 Forbidden لجميع عناوين URL، بما في ذلك ملف robots.txt. ما سبب مواصلة الزحف إلى الموقع الإلكتروني؟

يتم تفسير رمز حالة HTTP 403 Forbidden وجميع رموز حالة HTTP 4xx الأخرى بأن ملف robots.txt غير متوفّر. ويعني ذلك أن برامج الزحف ستفترض بشكل عام أن بإمكانها الزحف إلى جميع عناوين URL الخاصة بالموقع الإلكتروني. لحظر الزحف إلى موقع إلكتروني، يجب عرض ملف robots.txt مع رمز حالة HTTP 200 OK، ويجب أن يحتوي هذا الملف على قاعدة disallow مناسبة.

أسئلة بشأن العلامة الوصفية لبرامج الروبوت

هل العلامة الوصفية لبرامج الروبوت بديل لملف robots.txt؟

لا، لأنّ ملف robots.txt يتحكم في الصفحات التي يمكن الوصول إليها. تتحكّم العلامة الوصفية لبرامج الروبوت في ما إذا كانت ستتم فهرسة الصفحة أم لا، ولكن لرؤية هذه العلامة، يجب الزحف إلى الصفحة. إذا كان الزحف إلى الصفحة يتسبب في مشاكل (على سبيل المثال، إذا كانت الصفحة تتسبب في تحميل عبء زائد على الخادم)، استخدِم ملف robots.txt. إذا كانت المسألة متعلّقة فقط بعرض الصفحة أو عدم عرضها في نتائج البحث، يمكنك استخدام العلامة الوصفية لبرامج الروبوت.

هل يمكن استخدام العلامة الوصفية لبرامج الروبوت لحظر فهرسة جزء من الصفحة؟

لا، لأنّ العلامة الوصفية لبرامج الروبوت هي إعدادات على مستوى الصفحة.

هل يمكنني استخدام العلامة الوصفية لبرامج الروبوت خارج القسم <head>؟

لا، يجب وضع العلامة الوصفية لبرامج الروبوت في القسم <head> من الصفحة.

هل العلامة الوصفية لبرامج الروبوت تمنع الزحف؟

لا، حتى إذا كانت العلامة الوصفية لبرامج الروبوت تشير إلى علامة noindex في الوقت الحالي، سنحتاج إلى إعادة الزحف إلى عنوان URL ذاك من وقت إلى آخر للتحقق مما إذا كانت العلامة الوصفية قد تغيّرت.

ما الفرق بين العلامة الوصفية لبرامج الروبوت nofollow وسمة الرابط rel="nofollow"؟

يتم تطبيق العلامة الوصفية لبرامج الروبوت nofollow على جميع الروابط في صفحة معيّنة. أما سمة الرابط rel="nofollow"، فيتم تطبيقها على روابط محدّدة فقط على صفحة معيّنة. لمزيد من المعلومات حول سمة الرابط rel="nofollow"، يمكن مراجعة مستنداتنا حول المحتوى غير المرغوب فيه الذي ينشئه المستخدم وrel="nofollow".

أسئلة حول عنوان HTTP X-Robots-Tag

كيف يمكنني التحقق من علامة X-Robots-Tag لعنوان URL؟

هناك طريقة بسيطة لعرض عناوين الخادم، وهي استخدام ميزة أداة فحص عنوان URL في Google Search Console. للتحقق من عناوين الاستجابة لأي عنوان URL، جرِّب البحث عن "أداة فحص عناوين الخادم".

هل تعذّر العثور على الإجابة؟

إذا لم تجد الإجابة عن سؤالك في هذه الصفحة، اطّلِع على موارد مساعدة مالكي المواقع الإلكترونية من Google.

نوفّر أيضًا منتديات مساعدة رسمية لمجموعة خدمات "بحث Google" باللغات التالية: EnglishDeutschEspañolFrançaisItalianoNederlandsPolskiPortuguêsTürkçeРусскийالعربية中文(简体)日本語한국어