مواصفات العلامة الوصفية لبرامج الروبوت وdata-nosnippet وX-Robots-Tag

الملخص

يوضّح هذا المستند بالتفصيل طريقة استخدام الإعدادات على مستوى الصفحة والإعدادات على مستوى النص لضبط طريقة عرض Google للمحتوى الخاص بك ضمن نتائج البحث. ويمكنك تحديد الإعدادات على مستوى الصفحة عن طريق تضمين علامة وصفية على صفحات HTML أو في رأس HTTP. ويمكنك تحديد الإعدادات على مستوى النص باستخدام السمة data- nosnippet على عناصر HTML ضمن الصفحة.

استخدام العلامة الوصفية لبرامج الروبوت

تسمح لك العلامة الوصفية لبرامج الروبوت باستخدام طريقة دقيقة ومحدّدة للصفحة للتحكّم في الطريقة التي يتعين بها فهرسة صفحة فردية وعرضها للمستخدمين ضمن نتائج "بحث Google". يمكنك وضع العلامة الوصفية لبرامج الروبوت في القسم <head> لصفحة محدَّدة، على هذا النحو:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

توجِّه العلامة الوصفية لبرامج الروبوت في المثال السابق محرّكات البحث بعدم عرض الصفحة ضمن نتائج البحث. وتحدِّد قيمة السمة name لبرامج (robots) أن الأمر سيطبّق على جميع برامج الزحف. لتوجيه زاحف محدّد، يمكنك استبدال القيمة robots للسمة name باسم الزاحف الذي تريد توجيهه. تُعرف بعض برامج الزحف الخاصة على أنها وكلاء للمستخدم (يُستخدم الزاحف وكيل المستخدم التابع له لطلب صفحة ما). ويحمل زاحف الويب القياسي من Google اسم وكيل المستخدم Googlebot. لمنع Googlebot فقط من الزحف إلى صفحتك، يمكنك تحديث العلامة على النحو التالي:

<meta name="googlebot" content="noindex" />

توجِّه هذه العلامة الآن Google على وجه التحديد بعدم عرض هذه الصفحة ضمن نتائج البحث. وجدير بالذكر أن السمتين name وcontent غير حساستين لحالة الأحرف.

يمكن أن يكون لمحرّكات البحث برامج زحف مختلفة بخصائص وأغراض مختلفة. راجع القائمة الكاملة لبرامج الزحف من Google. على سبيل المثال، لعرض صفحة ما في نتائج بحث الويب من Google، ولكن ليس في Google News، يمكنك استخدام العلامة الوصفية التالية:

<meta name="googlebot-news" content="noindex" />

لتحديد برامج زحف متعدّدة بشكل فردي، يمكنك استخدام علامات وصفية متعدّدة لبرامج الروبوت.

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

استخدام X-Robots-Tag رأس HTTP

يمكن استخدام X-Robots-Tag كعنصر في استجابة رأس HTTP لعنوان URL محدَّد. ويمكن أيضًا تحديد أي أمر يمكن استخدامه في العلامة الوصفية لبرامج الروبوت باعتباره X-Robots-Tag. وفي ما يلي مثال لاستجابة HTTP باستخدام X-Robots-Tag التي توجِّه برامج الزحف بعدم فهرسة إحدى الصفحات:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

يمكن دمج رؤوس X-Robots-Tag المتعدّدة في استجابة HTTP أو يمكنك تحديد قائمة من الأوامر مفصولة بفواصل. وفي ما يلي مثال على استجابة رأس HTTP التي تتضمّن noarchive X-Robots-Tag تم دمجها مع unavailable_after X-Robots-Tag.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

قد تحدّد X-Robots-Tag وكيل مستخدم قبل الأوامر بشكل اختياري. على سبيل المثال، يُمكن استخدام المجموعة التالية من X-Robots-Tag رؤوس HTTP للسماح بعرض إحدى الصفحات في نتائج بحث محرّكات البحث المختلفة بشكل مشروط:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

تكون الأوامر المحدّدة بدون وكيل مستخدم صالحة لجميع برامج الزحف. ويكون رأس HTTP واسم وكيل المستخدم والقيم المحدّدة غير حساسة لحالة الأحرف.

أوامر الفهرسة والعرض الصالحة

يمكن استخدام الأوامر التالية للتحكّم في الفهرسة والعرض باستخدام العلامة الوصفية لبرامج الروبوت وX-Robots-Tag. وتمثل كل قيمة أمرًا محددًا. يعرض الجدول التالي جميع الأوامر التي يلتزم بها محرّك البحث Google ومعانيها. يمكن دمج عدّة أوامر على هيئة قائمة مفصولة بفاصلة. وهذه الأوامر غير حساسة لحالة الأحرف. في سياق نتائج البحث، المقتطف هو ملخص النص ويُستحدم لتوضيح مدى صلة مستند لطلب البحث الذي أجراه المُستخدم.

الأوامر

all
لا توجد قيود على الفهرسة أو العرض. هذا الأمر هو القيمة الافتراضية وليس له أي تأثير إذا تم إدراجه بشكل واضح.
noindex
لا تعرض هذه الصفحة في نتائج البحث.
nofollow
لا تتبِع الروابط على هذه الصفحة.
none
يعادل noindex, nofollow.
noarchive
لا تعرض رابط نسخة مخبأة ضمن نتائج البحث.
nosnippet
لا تعرض مقتطفًا نصيًا أو معاينة فيديو في نتائج البحث لهذه الصفحة. تظلّ الصورة المصغّرة الثابتة (إن وُجدت) مرئية عندما تؤدي إلى تحسين تجربة المستخدم. وينطبق هذا على جميع أشكال نتائج البحث ("بحث الويب" من Google و"صور Google" وميزة "اقتراحات").
max-snippet:[number]

يمكنك إنشاء مقتطف نصي للبحث عن هذه النتيجة باستخدام الحد الأقصى لعدد الأحرف البالغ عددها [number]. (يرجى ملاحظة أن عنوان URL قد يظهر في شكل عدّة نتائج بحث ضمن صفحة نتائج البحث.) ولا يؤثّر هذا على معاينات الصور أو الفيديوهات. وينطبق هذا على جميع أشكال نتائج البحث (مثل "بحث الويب" من Google و"صور Google" وميزة "اقتراحات" و"مساعد Google"). ولا ينطبق هذا الحدّ على الحالات التي يَمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوى في شكل بيانات منظَّمة في الصفحة أو أبرم اتفاقية ترخيص مع Google، لن يؤثر هذا الإعداد على هؤلاء المستخدمين المحدّدين الذين تم السماح لهم. يتم تجاهل هذا الأمر في حال عدم تحديد [number] قابل للتحليل.

القيم الخاصة:

  • 0: لا يوجد مقتطف لعرضه. يعادل nosnippet.
  • -1: لا يوجد حدّ لطول المقتطف.
  • مثال:

    <meta name="robots" content="max-snippet:20">
    max-image-preview:[setting]

    يمكنك تحديد الحد الأقصى لحجم معاينة الصورة لهذه الصفحة في نتائج البحث.

    القيم setting المقبولة:

  • none: لا توجد معاينة صورة لعرضها.
  • standard: قد يتم عرض معاينة افتراضية للصورة.
  • large: قد يتم عرض معاينة أكبر للصورة وفق عرض إطار العرض.
  • ينطبق هذا على جميع أشكال نتائج البحث (مثل "بحث الويب" من Google و"صور Google" وميزة "اقتراحات" و"مساعد Google"). ولا ينطبق هذا الحدّ على الحالات التي يَمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوى في شكل بيانات منظَّمة في الصفحة أو أبرم اتفاقية ترخيص مع Google، لن يؤثر هذا الإعداد على هؤلاء المستخدمين المحدّدين الذين تم السماح لهم.

    مثال:

    <meta name="robots" content="max-image-preview:standard">
    max-video-preview:[number]

    بالنسبة للفيديوهات الموجودة على هذه الصفحة من نتائج البحث، يمكنك استخدام مقتطف فيديو لا يزيد عن [number] ثانية.

    القيم الأخرى المتوافقة:

  • 0: في الغالب، يمكن استخدام الصورة الثابتة وفق الإعداد max-image-preview.
  • -1: لا يوجد حدّ.
  • ينطبق هذا على جميع أشكال نتائج البحث (في "بحث الويب" من Google و"صور Google" و"فيديو Google" وميزة "اقتراحات" و"مساعد Google"). يتم تجاهل هذا الأمر في حال عدم تحديد [number] قابل للتحليل.

    مثال:

    <meta name="robots" content="max-video-preview:-1">
    notranslate
    لا تعرض ترجمة لهذه الصفحة في نتائج البحث.
    noimageindex
    لا تفهرس الصور على هذه الصفحة.
    unavailable_after: [RFC-850 date/time]

    لا تعرض هذه الصفحة في نتائج البحث بعد التاريخ/الوقت المحدّد. يجب تحديد التاريخ/الوقت بتنسيق RFC 850. يتم تجاهل الأمر في حال عدم تحديد [date/time] صالح. بشكل تلقائي، لا يوجد تاريخ انتهاء صلاحية للمحتوى.

    مثال:

    <meta name="robots" content="unavailable_after: Sunday, 01-Sep-24 01:00:00 PDT">

    معالجة الأوامر المدمجة للفهرسة والعرض

    يمكنك إنشاء تعليمات توجيهية متعددة عن طريق دمج أوامر العلامات الوصفية لبرامج الروبوت باستخدام الفواصل. ونذكر هنا مثالاً لعلامة وصفية لبرامج الروبوتات التي توجِّه برامج زحف الويب بعدم فهرسة الصفحة أو بعدم فهرسة أي روابط على الصفحة:

    <meta name="robots" content="noindex, nofollow">
    

    في ما يلي مثال يتضمن حدًّا للمقتطف النصي يبلغ 20 حرفًا ويسمح بعرض معاينة أكبر للصورة.

    <meta name="robots" content="max-snippet:20, max-image-preview:large">
    

    بالنسبة للحالات التي يتم فيها تحديد برامج زحف متعدّدة بالإضافة إلى أوامر مختلفة، سيستخدم محرّك البحث مجموعة من الأوامر السلبية. على سبيل المثال:

    <meta name="robots" content="nofollow">
    <meta name="googlebot" content="noindex">
    

    سيتم توفير الصفحة التي تحتوي على هذه العلامات الوصفية باعتبارها تحتوي على أمر noindex, nofollow عند زحف Googlebot إليها.

    استخدام سمة data-nosnippet HTML

    يمكنك تحديد أجزاء نصية من صفحة HTML للامتناع عن استخدامها في المقتطف. ويمكن إجراء هذا على مستوى HTML-element في حال وجود سمة data-nosnippet HTML للعناصرspan وdiv وsection. وتُعد data-nosnippet سمة منطقيةوتكون صالحة بقيمة أو بدون قيمة. لضمان قدرة الآلة على القراءة، يجب أن يكون قسم HTML بلغة HTML صالحة وأن يتم إغلاق جميع العلامات وفقًا لذلك.

    أمثلة:

    <p>This text can be shown in a snippet
     <span data-nosnippet>and this part would not be shown</span>.</p>
    
    <div data-nosnippet>not in snippet</div>
    <div data-nosnippet="true">also not in snippet</div>
    
    <div data-nosnippet>some text</html>
    <!-- unclosed "div" will include all content afterwards -->
    
    <mytag data-nosnippet>some text</mytag>
    <!-- NOT VALID: not a span, div, or section -->
    

    يعرض محرّك البحث Google الصفحات عادةً بالترتيب لفهرستها، ولكنه لا يضمن الوصول إلى العرض. ولهذا السبب، قد يتم استخراج data-nosnippet قبل العرض وبعده كذلك. ولتجنّب عدم التيقن من العرض، يمكنك الامتناع عن إضافة السمة data-nosnippet أو حذفها من العقد الحالية في جافا سكريبت. عند إضافة عناصر DOM في جافا سكريبت، عليك تضمين السمةdata-nosnippet عند الضرورة أثناء المرة الأولى لإضافة العنصر إلى عناصر DOM الخاصة بالصفحة. وفي حال استخدام العناصر المخصّصة، عليك لفها أو عرضها مع العناصر div أو span أو section إذا كنت تحتاج إلى استخدام data- nosnippet.

    استخدام البيانات المنظّمة

    تتحكّم العلامات الوصفية لبرامج الروبوت في كمية المحتوى الذي يستخرجه محرّك البحث Google تلقائيًا من صفحات المواقع الإلكترونية لعرضه ضمن نتائج البحث. ويستخدم العديد من الناشرين البيانات المنظَّمة schema.org لإتاحة معلومات محدّدة من أجل العرض التقديمي للبحث. ولا تؤثر قيود العلامات الوصفية على استخدام البيانات المنظَّمة. لإدارة استخدام البيانات المنظَّمة على صفحات الويب، يمكنك ببساطة تعديل أنواع البيانات المنظَّمة والقيم نفسها وإضافة المعلومات أو إزالتها لتوفير البيانات التي تريد إتاحتها فقط. يُرجى ملاحظة أن البحث في البيانات المنظَّمة يظل قابلاً للاستخدام والحصول على النتائج عند إدراجه ضمن العنصر data-nosnippet.

    التطبيق العملي لـ X-Robots-Tag

    يمكنك إضافة X-Robots-Tag إلى استجابات HTTP لموقع إلكتروني من خلال ملفات الضبط على برنامج خادم الويب لموقعك الإلكتروني. على سبيل المثال، يمكنك على خوادم الويب المستندة إلى Apache استخدام ملفات ‎.htaccess وhttpd.conf. وتتمثّل فائدة استخدام X-Robots-Tag مع استجابات HTTP في أنه يمكنك تحديد أوامر الزحف التي يتم تطبيقها بشكل شامل في موقع إلكتروني. ويؤدي دعم التعبيرات العادية إلى مستوى عالٍ من المرونة.

    على سبيل المثال، لإضافة noindex, nofollow X-Robots-Tag إلى استجابة HTTP لجميع ملفات PDF في الموقع الإلكتروني بالكامل، يمكنك إضافة المقتطف التالي إلى ملف ‎.htaccess أو ملف httpd.conf على Apache أو ملف ‎.conf على NGINX.

    Apache:

    <Files ~ "\.pdf$">
      Header set X-Robots-Tag "noindex, nofollow"
    </Files>
    

    NGINX:

    location ~* \.pdf$ {
      add_header X-Robots-Tag "noindex, nofollow";
    }
    

    يمكنك استخدام X-Robots-Tag لملفات غير HTML مثل ملفات الصور التي يكون فيها استخدام العلامات الوصفية لبرامج الروبوت بتنسيق HTML غير ممكن. وفي ما يلي مثال على إضافة الأمر noindex X-Robots-Tag لملفات الصور (‎.png و‎.jpeg و‎.jpg و‎.gif) في موقع إلكتروني بالكامل.

    Apache:

    <Files ~ "\.(png|jpe?g|gif)$">
      Header set X-Robots-Tag "noindex"
    </Files>
    

    NGINX:

    location ~* \.(png|jpe?g|gif)$ {
      add_header X-Robots-Tag "noindex";
    }
    

    دمج الزحف مع أوامر الفهرسة/العرض

    يتم اكتشاف العلامات الوصفية لبرامج الروبوت ورؤوس X-Robots-TagHTTP عندما يتم الزحف إلى عنوان URL. في حال منع صفحة ما من الزحف من خلال ملف robots.txt، لن يتم بعد ذلك العثور على أي معلومات عن أوامر الفهرسة أو العرض وبالتالي سيتم تجاهلها. إذا كان يجب اتّباع أوامر الفهرسة أو العرض، لا يمكن منع عناوين URL التي تحتوي على هذه الأوامر من الزحف.