مواصفات العلامة الوصفية لبرامج الروبوت وdata-nosnippet وX-Robots-Tag

الملخص

يوضّح هذا المستند بالتفصيل طريقة استخدام الإعدادات على مستوى الصفحة والإعدادات على مستوى النص لضبط طريقة عرض Google للمحتوى الخاص بك ضمن نتائج البحث. ويمكنك تحديد الإعدادات على مستوى الصفحة عن طريق تضمين علامة وصفية على صفحات HTML أو في رأس HTTP. ويمكنك تحديد الإعدادات على مستوى النص باستخدام السمة data- nosnippet على عناصر HTML ضمن الصفحة.

استخدام علامة وصفية لبرامج الروبوت

تسمح لك العلامة الوصفية لبرامج الروبوت باستخدام طريقة دقيقة ومحدَّدة للصفحة للتحكّم في طريقة فهرسة صفحة فردية وعرضها للمستخدمين ضمن نتائج "بحث Google". ويمكنك وضع العلامة الوصفية لبرامج الروبوت في القسم <head> لصفحة محدَّدة، على النحو التالي:

    <!DOCTYPE html>
    <html><head>
    <meta name="robots" content="noindex" />
    (…)
    </head>
    <body>(…)</body>
    </html>
    

توجِّه العلامة الوصفية لبرامج الروبوت في المثال السابق محرّكات البحث إلى عدم عرض الصفحة ضمن نتائج البحث. وتحدِّد قيمة السمة name (robots) أنّ الأمر سيطبّق على جميع برامج الزحف. ولتوجيه زاحف محدّد، يمكنك استبدال القيمة robots للسمة name باسم الزاحف الذي تريد توجيهه. تُعرَف برامج الزحف الخاصة على أنها وكلاء للمستخدم (يستخدم الزاحف وكيل المستخدم التابع له لطلب إحدى الصفحات). وعادةً ما يحمل زاحف الويب العادي من Google اسم وكيل المستخدم Googlebot. لمنع Googlebot فقط من الزحف إلى صفحتك، يمكنك تعديل العلامة على النحو التالي:

    <meta name="googlebot" content="noindex" />
    

توجِّه هذه العلامة الآن Google على وجه التحديد إلى عدم عرض هذه الصفحة ضمن نتائج البحث. إنّ السمتَين name وcontent غير حساستَين لحالة الأحرف.

قد تكون لمحرّكات البحث برامج زحف مختلفة للخصائص أو الأغراض المختلفة. راجِع القائمة الكاملة لبرامج الزحف من Google. على سبيل المثال، لعرض صفحة في نتائج بحث الويب من Google، ولكن ليس في "أخبار Google"، يمكنك استخدام العلامة الوصفية التالية:

    <meta name="googlebot-news" content="noindex" />
    

لتحديد برامج زحف متعدّدة بشكل فردي، يمكنك استخدام علامات وصفية متعدّدة لبرامج الروبوت على النحو التالي:

    <meta name="googlebot" content="noindex">
    <meta name="googlebot-news" content="nosnippet">
    

استخدام رأس HTTP X-Robots-Tag

يمكن استخدام X-Robots-Tag كعنصر في استجابة رأس HTTP لعنوان URL محدَّد. وأي أمر يمكن استخدامه في العلامة الوصفية لبرامج الروبوت يمكن أيضًا تحديده على أنه X-Robots-Tag. وفي ما يلي مثال لاستجابة HTTP تتضمَّن X-Robots-Tag توجِّه برامج الزحف إلى عدم فهرسة إحدى الصفحات:

    HTTP/1.1 200 OK
    Date: Tue, 25 May 2010 21:42:43 GMT
    (…)
    X-Robots-Tag: noindex
    (…)
    

يمكن دمج رؤوس X-Robots-Tag المتعدّدة في استجابة HTTP أو يمكنك تحديد قائمة من الأوامر مفصولة بفواصل. وفي ما يلي مثال على استجابة رأس HTTP التي تتضمّن noarchive X-Robots-Tag تم دمجها مع unavailable_after X-Robots-Tag.

    HTTP/1.1 200 OK
    Date: Tue, 25 May 2010 21:42:43 GMT
    (…)
    X-Robots-Tag: noarchive
    X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
    (…)
    

قد تحدّد X-Robots-Tag بشكل اختياري وكيل مستخدم قبل الأوامر. على سبيل المثال، يُمكن استخدام المجموعة التالية من رؤوس HTTP التي تتضمَّن X-Robots-Tag للسماح بعرض إحدى الصفحات في نتائج البحث الخاصة بمحرّكات بحث مختلفة بشكل مشروط:

    HTTP/1.1 200 OK
    Date: Tue, 25 May 2010 21:42:43 GMT
    (…)
    X-Robots-Tag: googlebot: nofollow
    X-Robots-Tag: otherbot: noindex, nofollow
    (…)
    

تكون الأوامر المحدّدة بدون وكيل مستخدم صالحة لجميع برامج الزحف. ويكون رأس HTTP واسم وكيل المستخدم والقيم المحدّدة غير حساسة لحالة الأحرف.

أوامر الفهرسة والعرض الصالحة

يمكن استخدام الأوامر التالية للتحكّم في فهرسة مقتطف وعرضه باستخدام العلامة الوصفية لبرامج الروبوت وX-Robots-Tag. وفي سياق نتائج البحث، المقتطف هو ملخص النص المُستخدَم لتوضيح مدى صلة مستند بطلب البحث الذي أجراه المستخدم. ويعرض الجدول التالي جميع الأوامر التي يلتزم بها محرّك البحث Google ومعانيها. وتُمثِّل كل قيمة أمرًا محددًا. يمكن إجراء دمج على هيئة قائمة مفصولة بفواصل لعدّة أوامر. وهذه الأوامر غير حساسة لحالة الأحرف.

الأوامر

all
لا توجد قيود على الفهرسة أو العرض. هذا الأمر هو القيمة التلقائية وليس له أي تأثير إذا تم إدراجه بشكل واضح.
noindex
لا تعرِض هذه الصفحة في نتائج البحث.
nofollow
لا تتّبِع الروابط على هذه الصفحة.
none
يعادل noindex, nofollow.
noarchive
لا تعرِض رابط نسخة مخبأة ضمن نتائج البحث.
nosnippet
لا تعرِض مقتطفًا نصيًا أو معاينة فيديو في نتائج البحث لهذه الصفحة. قد تظلّ الصورة المصغّرة الثابتة (إن توفّرت) مرئية إذا أدّت إلى تحسين تجربة المستخدم. وينطبق هذا على جميع أشكال نتائج البحث (في "بحث الويب من Google" و"صور Google" وميزة "اقتراحات" من Google).
max-snippet:[number]

يمكنك إنشاء مقتطف نصي لنتيجة البحث هذه باستخدام عدد أحرف يبلغ [number] كحدّ أقصى. (ملاحظة: قد يظهر عنوان URL في شكل عدّة نتائج بحث ضمن صفحة نتائج البحث.) ولا يؤثّر هذا على معاينات الصور أو الفيديوهات. وينطبق ذلك على جميع أشكال نتائج البحث (مثل "بحث الويب من Google" و"صور Google" وميزة "اقتراحات" من Google و"مساعد Google")، ولكنّ هذا الحدّ لا ينطبق على الحالات التي يَمنح فيها الناشر إذنًا منفصلاً باستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوى في شكل بيانات منظَّمة في الصفحة أو أبرم اتفاقية ترخيص مع Google، لن يؤثر هذا الإعداد على تلك الاستخدامات المسموح بها والمحدَّدة بشكل أكبر. ويتم تجاهل هذا الأمر في حال عدم تحديد [number] قابل للتحليل.

القيم الخاصة:

  • 0: ما من مقتطف لعرضه. يعادل nosnippet
  • -1: ما من حدّ أقصى لطول المقتطف.
  • مثال:

    <meta name="robots" content="max-snippet:20">
    max-image-preview:[setting]

    يمكنك تحديد الحد الأقصى لحجم معاينة الصورة لهذه الصفحة في نتائج البحث.

    قيم setting المقبولة:

  • none: ما من معاينة صورة لعرضها.
  • standard: قد يتم عرض معاينة تلقائية للصورة.
  • large: قد يتم عرض معاينة أكبر للصورة بما يتناسب مع إطار العرض.
  • ينطبق ذلك على جميع أشكال نتائج البحث (مثل "بحث الويب من Google" و"صور Google" وميزة "اقتراحات" من Google و"مساعد Google")، ولكنّ هذا الحدّ لا ينطبق على الحالات التي يَمنح فيها الناشر إذنًا منفصلاً باستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوى في شكل بيانات منظَّمة في الصفحة (مثل إصدار AMP والإصدارات الأساسية من مقالة) أو أبرَم اتفاقية ترخيص مع Google، لن يؤثر هذا الإعداد في تلك الاستخدامات المسموح بها والمحدَّدة بشكل أكبر.

    عندما يختار الناشرون عدم استخدام Google لصور مصغّرة بحجم أكبر أثناء عرض صفحات AMP والإصدارات الأساسية لمقالة في البحث أو في ميزة "اقتراحات" من Google، عليهم تحديد قيمة max-image-preview سواء باستخدام standard أو none.

    مثال:

    <meta name="robots" content="max-image-preview:standard">
    max-video-preview:[number]

    بالنسبة إلى الفيديوهات على هذه الصفحة من نتائج البحث، يمكنك استخدام مقتطف فيديو لا يزيد عن [number] ثانية.

    القيم الأخرى المسموح بها:

  • 0: في الغالب، قد يتم استخدام صورة ثابتة وفق الإعداد max-image-preview.
  • -1: ما من حدّ أقصى.
  • ينطبق ذلك على جميع أشكال نتائج البحث (في "بحث الويب من Google" و"صور Google" وفيديوهات Google وميزة "اقتراحات" من Google و"مساعد Google"). يتم تجاهل هذا الأمر في حال عدم تحديد [number] قابل للتحليل.

    مثال:

    <meta name="robots" content="max-video-preview:-1">
    notranslate
    لا تعرِض ترجمة لهذه الصفحة في نتائج البحث.
    noimageindex
    لا تفهرِس الصور على هذه الصفحة.
    unavailable_after: [date/time]

    لا تعرِض هذه الصفحة في نتائج البحث بعد التاريخ/الوقت المحدّد. يجب تحديد التاريخ/الوقت بتنسيق متعارَف عليه، بما في ذلك على سبيل المثال لا الحصر RFC 822 وRFC 850 وISO 8601. يتم تجاهل الأمر في حال عدم تحديد [date/time] صالح. حسب الإعدادات التلقائية، ما مِن تاريخ انتهاء صلاحية للمحتوى.

    مثال:

    <meta name="robots" content="unavailable_after: Sunday, 01-Sep-24 01:00:00 PDT">

    معالجة أوامر الفهرسة والعرض المدمجة

    يمكنك إنشاء تعليمات تضم أوامر متعدّدة عن طريق دمج أوامر العلامات الوصفية لبرامج الروبوت باستخدام الفواصل. ونذكر هنا مثالاً لعلامة وصفية لبرامج الروبوت توجِّه برامج زحف الويب إلى عدم فهرسة الصفحة وإلى عدم الزحف إلى أي روابط في الصفحة:

        <meta name="robots" content="noindex, nofollow">
        

    في ما يلي مثال يتضمن حدًّا للمقتطف النصي يبلغ 20 حرفًا ويسمح بعرض معاينة كبيرة للصورة:

        <meta name="robots" content="max-snippet:20, max-image-preview:large">
        

    بالنسبة إلى الحالات التي يتم فيها تحديد برامج زحف متعدّدة بالإضافة إلى أوامر مختلفة، سيستخدم محرّك البحث مجموعة الأوامر السلبية. مثال:

        <meta name="robots" content="nofollow">
        <meta name="googlebot" content="noindex">
        

    سيتم اعتبار الصفحة التي تحتوي على هذه العلامات الوصفية بأنّها تشتمل على الأمر noindex, nofollow عند زحف Googlebot إليها.

    استخدام سمة data-nosnippet HTML

    يبدأ سريان السمة data-nosnippet من أواخر عام 2019.

    يمكنك تحديد أجزاء نصية من صفحة HTML لكي لا يتم استخدامها في المقتطف. ويمكن إجراء ذلك على مستوى عنصر HTML في حال توفّر سمة data-nosnippet HTML للعناصر span وdiv وsection. تُعَدّ data-nosnippet سمة منطقية وتكون صالحة بقيمة أو بدون قيمة. ولضمان قدرة الآلة على القراءة، يجب أنْ يكون قسم HTML بلغة HTML صالحة وأن يتم إغلاق جميع العلامات المناسبة وفقًا لذلك.

    أمثلة:

        <p>This text can be shown in a snippet
         <span data-nosnippet>and this part would not be shown</span>.</p>
    
        <div data-nosnippet>not in snippet</div>
        <div data-nosnippet="true">also not in snippet</div>
    
        <div data-nosnippet>some text</html>
        <!-- unclosed "div" will include all content afterwards -->
    
        <mytag data-nosnippet>some text</mytag>
        <!-- NOT VALID: not a span, div, or section -->
        

    عادةً ما يعرض محرّك البحث Google الصفحات لفهرستها، ولكنّ العرض غير مضمون. ولهذا السبب، قد يتم استخراج data-nosnippet قبل العرض وبعده. ولضمان العرض، يُرجى عدم إضافة السمة data-nosnippet أو إزالتها من العُقَد الحالية في JavaScript. عند إضافة عناصر DOM في JavaScript، يُرجى تضمين السمة data-nosnippet بالشكل المناسب عند بدء إضافة العنصر إلى عناصر DOM الخاصة بالصفحة. وفي حال استخدام العناصر المخصَّصة، عليك لفها أو عرضها مع العناصر div أو span أو section إذا كنت تحتاج إلى استخدام data- nosnippet.

    استخدام البيانات المنظّمة

    تتحكّم العلامات الوصفية لبرامج الروبوت في مقدار المحتوى الذي يستخرجه محرّك البحث Google تلقائيًا من صفحات الويب لعرضه ضمن نتائج البحث، غير أن العديد من الناشرين يستخدمون بيانات schema.org المنظّمة لإتاحة معلومات محدّدة من أجل العرض التقديمي للبحث، علمًا بأنّ قيود العلامات الوصفية لبرامج الروبوت لا تؤثر على استخدام تلك البيانات المنظَّمة، باستثناء القيمتَين article.description وdescription في البيانات المنظّمة الموضوعة لأعمال إبداعية أخرى. ولتحديد الحدّ الأقصى لطول معاينة ما بناءً على قيم description هذه، يمكنك استخدام العلامة الوصفية لبرامج الروبوت max-snippet. على سبيل المثال، تكون بيانات recipe المنظَّمة على إحدى الصفحات صالحة للتضمين في منصة عرض بعناصر متغيرة لوصفة طعام، حتى إذا فُرضت قيود على معاينة النص. يمكنك تقييد طول معاينة نص باستخدام max-snippet، لكن لا تسري العلامة الوصفية لبرامج الروبوت هذه عند توفير المعلومات باستخدام بيانات منظَّمة لنتائج منسَّقة.

    لإدارة استخدام البيانات المنظَّمة على صفحات الويب، عليك تعديل أنواع البيانات المنظَّمة وقيّمها وإضافة المعلومات أو إزالتها لتوفير البيانات التي تريد إتاحتها فقط. وتجدُر الإشارة أيضًا إلى أنّ البيانات المنظَّمة تظلّ قابلة للاستخدام في نتائج البحث عند إدراجها ضمن أحد عناصر data-nosnippet.

    التطبيق العملي للعلامة X-Robots-Tag

    يمكنك إضافة X-Robots-Tag إلى استجابات HTTP لموقع إلكتروني من خلال ملفات الضبط على برنامج خادم الويب لموقعك الإلكتروني. على سبيل المثال، يمكنك استخدام ملفات ‎.htaccess وhttpd.conf على خوادم الويب المستندة إلى Apache. وتتمثّل فائدة استخدام X-Robots-Tag مع استجابات HTTP في أنّه يمكنك تحديد أوامر الزحف التي يتم تطبيقها بشكل شامل في موقع إلكتروني، حيث يتميز دعم التعبيرات العادية بمستوى عالٍ من المرونة.

    على سبيل المثال، لإضافة noindex, nofollow X-Robots-Tag إلى استجابة HTTP لجميع الملفات بالامتداد ‎.PDF في الموقع الإلكتروني بالكامل، يُرجى إضافة المقتطف التالي إلى ملف ‎.htaccess لجذر الموقع الإلكتروني أو ملف httpd.conf على Apache أو ملف ‎.conf الخاص بالموقع الإلكتروني على NGINX.

    Apache:

        <Files ~ "\.pdf$">
          Header set X-Robots-Tag "noindex, nofollow"
        </Files>
        

    NGINX:

        location ~* \.pdf$ {
          add_header X-Robots-Tag "noindex, nofollow";
        }
        

    يمكنك استخدام X-Robots-Tag لملفات غير HTML مثل ملفات الصور التي لا يتاح فيها استخدام العلامات الوصفية لبرامج الروبوت بتنسيق HTML. وفي ما يلي مثال على إضافة الأمر noindex X-Robots-Tag لملفات الصور (‎.png و‎.jpeg و‎.jpg و‎.gif) في موقع إلكتروني بالكامل:

    Apache:

        <Files ~ "\.(png|jpe?g|gif)$">
          Header set X-Robots-Tag "noindex"
        </Files>
        

    NGINX:

        location ~* \.(png|jpe?g|gif)$ {
          add_header X-Robots-Tag "noindex";
        }
        

    دمج الزحف مع أوامر الفهرسة/العرض

    يتم اكتشاف العلامات الوصفية لبرامج الروبوت ورؤوس HTTP التي تتضمّن X-Robots-Tag عندما يتم الزحف إلى عنوان URL. في حال منع الزحف إلى إحدى الصفحات من خلال ملف robots.txt، لن يتم إذًا العثور على أي معلومات عن أوامر الفهرسة أو العرض وبالتالي سيتم تجاهلها. وإذا كان يجب اتّباع أوامر الفهرسة أو العرض، لا يمكن منع الزحف إلى عناوين URL التي تحتوي على هذه الأوامر.