مواصفات العلامة الوصفية لبرامج الروبوت وdata-nosnippet وX-Robots-Tag

يوضّح هذا المستند بالتفصيل طريقة استخدام الإعدادات على مستوى الصفحة والإعدادات على مستوى النص لضبط طريقة عرض Google للمحتوى الخاص بك ضمن نتائج البحث. يمكنك تحديد الإعدادات على مستوى الصفحة عن طريق تضمين علامة وصفية على صفحات HTML أو في عنوان HTTP. ويمكنك تحديد الإعدادات على مستوى النص باستخدام السمة data-nosnippet على عناصر HTML ضمن الصفحة.

استخدام علامة وصفية لبرامج الروبوت

تسمح لك العلامة الوصفية لبرامج الروبوت باستخدام طريقة دقيقة على مستوى الصفحة للتحكّم في كيفية فهرسة صفحة فردية وعرضها للمستخدمين ضمن نتائج "بحث Google". ويمكنك وضع العلامة الوصفية لبرامج الروبوت في القسم <head> على صفحة محدّدة، على النحو التالي:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

تُعلِم العلامة الوصفية لبرامج الروبوت في المثال السابق محرّكات البحث بعدم عرض الصفحة ضمن نتائج البحث. وتحدّد قيمة السمة name (robots) أنّ التوجيه سيطبَّق على جميع برامج الزحف. ولتوجيه زاحف محدّد، يمكنك استبدال القيمة robots للسمة name باسم الزاحف الذي تريد توجيهه. تُعرَف بعض برامج الزحف المحدّدة على أنها برامج وكيل المستخدم (يستخدم الزاحف وكيل المستخدم التابع له لطلب إحدى الصفحات). ويحمل عادةً زاحف الويب من Google اسم وكيل المستخدم Googlebot. لمنع Googlebot فقط من فهرسة صفحتك، يمكنك تعديل العلامة على النحو التالي:

<meta name="googlebot" content="noindex" />

توجِّه هذه العلامة الآن محرّك البحث Google على وجه التحديد إلى عدم عرض هذه الصفحة ضمن نتائج البحث. إنّ السمتَين name وcontent غير حساستَين لحالة الأحرف.

قد تكون لمحرّكات البحث برامج زحف مختلفة للأغراض المختلفة. راجِع القائمة الكاملة لبرامج الزحف من Google. على سبيل المثال، لعرض صفحة في نتائج بحث الويب من Google، ولكن ليس في "أخبار Google"، يمكنك استخدام العلامة الوصفية التالية:

<meta name="googlebot-news" content="noindex" />

لتحديد عدة برامج زحف بشكل فردي، يمكنك استخدام علامات وصفية متعدّدة لبرامج الروبوت على النحو التالي:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

استخدام عنوان HTTP X-Robots-Tag

يمكن استخدام X-Robots-Tag كعنصر في استجابة عنوان HTTP لعنوان URL محدّد. ويمكن أيضًا تحديد أي توجيه يمكن استخدامه في العلامة الوصفية لبرامج الروبوت باعتباره X-Robots-Tag. وفي ما يلي مثال لاستجابة HTTP تتضمّن علامة X-Robots-Tag توجِّه برامج الزحف إلى عدم فهرسة صفحة معيّنة:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

يمكنك دمج عدة عناوين X-Robots-Tag في استجابة HTTP، أو يمكنك تحديد قائمة من التوجيهات مفصولة بفواصل. وفي ما يلي مثال على استجابة عنوان HTTP التي تتضمّن علامة X-Robots-Tag noarchive تم دمجها مع علامة unavailable_after X-Robots-Tag.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

قد تحدّد علامة X-Robots-Tag بشكل اختياري وكيل مستخدم للتوجيهات. على سبيل المثال، يمكن استخدام المجموعة التالية من عناوين HTTP التي تتضمّن X-Robots-Tag للسماح بعرض إحدى الصفحات في نتائج البحث الخاصة بمحرّكات بحث مختلفة بشكل مشروط:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

تكون التوجيهات المحدّدة بدون وكيل مستخدم صالحة لجميع برامج الزحف. ويكون كل من عنوان HTTP واسم وكيل المستخدم والقيم المحدّدة غير حساسة لحالة الأحرف.

توجيهات الفهرسة والعرض الصالحة

يمكن استخدام التوجيهات التالية للتحكم في فهرسة مقتطف وعرضه باستخدام العلامة الوصفية لبرامج الروبوت وX-Robots-Tag. في سياق نتائج البحث، المقتطف هو ملخص النص ويُستخدم لتوضيح مدى صلة المستند بطلب البحث الذي أجراه المستخدم. يعرض الجدول التالي جميع التوجيهات التي يلتزم بها محرّك البحث Google ومعانيها. وتمثّل كل قيمة توجيهًا محددًا. يمكن دمج عدّة توجيهات في قائمة مفصولة بفواصل. وهذه التوجيهات غير حساسة لحالة الأحرف.

التوجيهات

all

لا تُفرض أي قيود على الفهرسة أو العرض. هذا التوجيه هو القيمة التلقائية وليس له أي تأثير إذا تم إدراجه بشكل واضح.

noindex

لا تعرِض هذه الصفحة في نتائج البحث. إذا لم تحدّد هذا التوجيه، قد تتم فهرسة الصفحة وعرضها في نتائج البحث.

nofollow

لا تتبَّع الروابط على هذه الصفحة. إذا لم تحدّد هذا التوجيه، قد يستخدم محرّك البحث Google الروابط على الصفحة لاكتشاف تلك الصفحات المرتبطة. اطّلِع على مزيد من المعلومات عن nofollow.

none

هذا التوجيه مكافئ للسمة noindex, nofollow.

noarchive

لا تعرِض رابط نسخة مخبأة ضمن نتائج البحث. وإذا لم تحدّد هذا التوجيه، قد ينشئ محرّك البحث Google صفحة مخزّنة مؤقتًا وقد يتمكّن المستخدمون من الوصول إليها من خلال نتائج البحث.

nosnippet

لا تعرِض مقتطفًا نصيًا أو معاينة فيديو في نتائج البحث لهذه الصفحة. قد تظلّ الصورة المصغّرة الثابتة (إذا توفّرت) مرئية إذا كانت تؤدي إلى تحسين تجربة المستخدم. وينطبق ذلك على جميع أشكال نتائج البحث (في "بحث الويب من Google" و"صور Google" وميزة "اقتراحات" من Google).

إذا لم تحدّد هذا التوجيه، قد ينشئ محرّك البحث Google مقتطفًا نصيًا ومعاينة فيديو استنادًا إلى المعلومات الواردة في الصفحة.

max-snippet: [عدد]

يمكنك إنشاء مقتطف نصي لنتيجة البحث هذه باستخدام [عدد] حرف كحد أقصى. (ملاحظة: قد يظهر عنوان URL في شكل عدّة نتائج بحث ضمن صفحة نتائج البحث.) ولا يؤثّر ذلك في معاينات الصور أو الفيديوهات. ينطبق هذا الأمر على جميع أشكال نتائج البحث (مثل "بحث الويب من Google" و"صور Google" وميزة "اقتراحات" من Google و"مساعد Google"). ولا ينطبق هذا الحدّ على الحالات التي يمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوى في شكل بيانات منظَّمة في الصفحة أو أبرم اتفاقية ترخيص مع Google، لن تؤثر هذه الإعدادات في تلك الاستخدامات المسموح بها والمحدّدة بشكل أدقّ. يتم تجاهل هذا التوجيه في حال عدم تحديد [عدد] قابل للتحليل.

إذا لم تحدّد هذا التوجيه، سيختار محرّك البحث Google طول المقتطف.

القيم الخاصة:

  • 0: ما من مقتطف لعرضه. يعادل nosnippet.
  • -1: سيختار محرّك البحث Google طول المقتطف الذي يعتقد أنه الأكثر فعالية لمساعدة المستخدمين على اكتشاف المحتوى الذي تقدّمه ولتوجيههم إلى موقعك الإلكتروني.

أمثلة:

لمنع مقتطف من الظهور في نتائج البحث:


<meta name="robots" content="max-snippet:0">

للسماح بعرض ما يصل إلى 20 حرفًا في المقتطف:


<meta name="robots" content="max-snippet:20">

للإشارة إلى عدم وجود حدّ أقصى لعدد الأحرف التي يمكن عرضها في المقتطف:


<meta name="robots" content="max-snippet:-1">

max-image-preview: [الإعدادات]

يمكنك تحديد الحدّ الأقصى لحجم معاينة الصورة لهذه الصفحة في نتائج البحث.

إذا لم تحدّد التوجيه max-image-preview، قد يعرض محرّك البحث Google معاينة للصورة بالحجم التلقائي.

القيم المقبولة في [الإعدادات]:

  • none: ما من معاينة صورة لعرضها.
  • standard: قد يتم عرض معاينة تلقائية للصورة.
  • large: قد يتم عرض معاينة أكبر للصورة بما يتناسب مع إطار العرض.

ينطبق هذا الأمر على جميع أشكال نتائج البحث (مثل "بحث الويب من Google" و"صور Google" وميزة "اقتراحات" من Google و"مساعد Google"). ولا ينطبق هذا الحدّ على الحالات التي يمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوًى في شكل بيانات منظَّمة في الصفحة (مثل إصدار AMP والإصدارات الأساسية من مقالة) أو أبرم اتفاقية ترخيص مع Google، لن تؤثر هذه الإعدادات في تلك الاستخدامات المسموح بها والمحدّدة بشكل أدقّ.

إذا أراد الناشرون ألّا يستخدم محرّك البحث Google صورًا مصغّرة بحجم أكبر أثناء عرض صفحات AMP والإصدارات الأساسية لمقالة ما في "بحث Google" أو في ميزة "اقتراحات"، عليهم تحديد قيمة max-image-preview سواء باستخدام standard أم none.

مثال:


<meta name="robots" content="max-image-preview:standard">

max-video-preview: [عدد]

بالنسبة إلى الفيديوهات على هذه الصفحة من نتائج البحث، استخدِم مقتطف فيديو لا يزيد عن [عدد] ثانية.

إذا لم تحدّد التوجيه max-video-preview، قد يعرض محرّك البحث Google مقتطف فيديو في نتائج البحث، ويختار بنفسه مدة المعاينة.

القيم الخاصة:

  • 0: في الغالب، قد يتم استخدام الصورة الثابتة وفق الإعدادات max-image-preview.
  • -1: ما من حدّ أقصى.

ينطبق هذا الأمر على جميع أشكال نتائج البحث (في "بحث الويب من Google" و"صور Google" و"فيديو Google" وميزة "اقتراحات" من Google و"مساعد Google"). يتم تجاهل هذا التوجيه في حال عدم تحديد [عدد] قابل للتحليل.

مثال:


<meta name="robots" content="max-video-preview:-1">

notranslate

لا تعرِض ترجمة لهذه الصفحة في نتائج البحث. إذا لم تحدّد هذا التوجيه، قد يعرض محرّك البحث Google رابطًا بجانب النتيجة لمساعدة المستخدمين في عرض المحتوى المترجَم على صفحتك.

noimageindex

لا تفهرس الصور على هذه الصفحة. إذا لم تحدّد هذه القيمة، قد تتم فهرسة الصور في الصفحة وعرضها في نتائج البحث.

unavailable_after: [التاريخ/الوقت]

لا تعرِض هذه الصفحة في نتائج البحث بعد التاريخ/الوقت المحدّد. يجب تحديد التاريخ/الوقت بتنسيق متعارَف عليه، بما في ذلك على سبيل المثال لا الحصر RFC 822 وRFC 850 وISO 8601. يتم تجاهل التوجيه في حال عدم تحديد تاريخ/وقت صالح. حسب الإعدادات التلقائية، ما مِن تاريخ انتهاء صلاحية للمحتوى.

إذا لم تحدّد هذا التوجيه، قد يتم عرض هذه الصفحة في نتائج البحث إلى أجل غير مسمى.

مثال:


<meta name="robots" content="unavailable_after: 2020-09-21">

معالجة التوجيهات المدمجة للفهرسة والعرض

يمكنك إنشاء تعليمات تضم توجيهات متعددة عن طريق دمج توجيهات العلامات الوصفية لبرامج الروبوت باستخدام الفواصل. في ما يلي مثال لعلامة وصفية لبرامج الروبوت توجِّه برامج زحف الويب إلى عدم فهرسة الصفحة وإلى عدم الزحف إلى أي روابط في الصفحة:

<meta name="robots" content="noindex, nofollow">

في ما يلي مثال يتضمن حدًّا أقصى للمقتطف النصي يبلغ 20 حرفًا ويسمح بعرض معاينة كبيرة للصورة:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

بالنسبة إلى الحالات التي يتم فيها تحديد برامج زحف متعدّدة بالإضافة إلى توجيهات مختلفة، سيستخدم محرّك البحث مجموعة من التوجيهات السلبية. مثلاً:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

سيتم اعتبار الصفحة التي تحتوي على هذه العلامات الوصفية بأنها تشمل التوجيه noindex, nofollow عند زحف Googlebot إليها.

استخدام سمة HTML data-nosnippet

يمكنك تحديد أجزاء نصية من صفحة HTML كي لا يتم استخدامها في المقتطف. ويمكن إجراء ذلك على مستوى عنصر HTML في حال توفّر سمة HTML data-nosnippet للعناصر span وdiv وsection. تُعدّ data-nosnippet سمة منطقية. وكما هي الحال مع جميع السمات المنطقية، يتم تجاهل أي قيمة محدّدة. ولضمان قدرة الآلة على قراءة المحتوى، يجب أن يكون قسم HTML بلغة HTML صالحة وأن يتم إغلاق جميع العلامات المناسبة وفقًا لذلك.

أمثلة:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

يعرض محرّك البحث Google عادةً الصفحات لفهرستها، ولكنّ عملية العرض غير مضمونة. ولهذا السبب، قد يتم استخراج data-nosnippet قبل العرض وبعده. ولضمان عرض الصفحات، يُرجى عدم إضافة السمة data-nosnippet أو إزالتها من العُقَد الحالية في JavaScript. عند إضافة عناصر DOM في JavaScript، يُرجى تضمين السمة data-nosnippet بالشكل المناسب عند بدء إضافة العنصر إلى عناصر DOM الخاصة بالصفحة. وفي حال استخدام العناصر المخصّصة، عليك لفّها أو عرضها مع العناصر div أو span أو section إذا كنت تحتاج إلى استخدام data-nosnippet.

استخدام البيانات المنظَّمة

تتحكّم العلامات الوصفية لبرامج الروبوت في مقدار المحتوى الذي يستخرجه محرّك البحث Google تلقائيًا من صفحات الويب لعرضه ضمن نتائج البحث. ويستخدم العديد من الناشرين البيانات المنظَّمة schema.org لإتاحة معلومات محدّدة في نتائج البحث. ولا تؤثر قيود العلامات الوصفية لبرامج الروبوت في استخدام تلك البيانات المنظَّمة، باستثناء القيمتَين article.description وdescription في البيانات المنظَّمة المخصّصة لأعمال إبداعية أخرى. ولتحديد الحدّ الأقصى لطول معاينة ما بناءً على قيم description هذه، يمكنك استخدام العلامة الوصفية لبرامج الروبوت max-snippet. على سبيل المثال، تكون بيانات recipe المنظَّمة على إحدى الصفحات صالحة للتضمين في منصة عرض بعناصر متغيرة لوصفة طعام، حتى إذا فُرضت قيود على معاينة النص. يمكنك تحديد طول معاينة نص باستخدام max-snippet، ولكن لا تسري العلامة الوصفية لبرامج الروبوت هذه عند توفير المعلومات باستخدام بيانات منظَّمة لنتائج منسّقة.

لإدارة استخدام البيانات المنظَّمة على صفحات الويب، عليك تعديل أنواع البيانات المنظَّمة وقيمها وإضافة المعلومات أو إزالتها لتوفير البيانات التي تريد إتاحتها فقط. يُرجى العِلم أيضًا أنّ البيانات المنظَّمة تظل قابلة للاستخدام في نتائج البحث عند إدراجها ضمن عنصر data-nosnippet.

التطبيق العملي للعلامة X-Robots-Tag

يمكنك إضافة العلامة X-Robots-Tag إلى استجابات HTTP لموقع إلكتروني من خلال ملفات الإعداد على برنامج خادم الويب الخاص بموقعك الإلكتروني. على سبيل المثال، يمكنك استخدام ملفات ‎.htaccess وhttpd.conf على خوادم الويب المستندة إلى Apache. وتتمثّل الفائدة من استخدام X-Robots-Tag مع استجابات HTTP في أنه يمكنك تحديد توجيهات الزحف التي يتم تطبيقها بشكل شامل في موقع إلكتروني. وتوفّر إتاحة التعبيرات العادية مستوى عاليًا من المرونة.

على سبيل المثال، لإضافة noindex, nofollow X-Robots-Tag إلى استجابة HTTP لجميع الملفات بالامتداد ‎.PDF في جميع أقسام الموقع الإلكتروني، أضِف المقتطف التالي إلى ملف جذر الموقع الإلكتروني بالامتداد ‎.htaccess أو الملف بالامتداد httpd.conf على Apache أو الملف بالامتداد ‎.conf الخاص بالموقع الإلكتروني على NGINX.

Apache:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

يمكنك استخدام العلامة X-Robots-Tag لملفات ليست بتنسيق HTML، مثل ملفات الصور التي لا يمكن فيها استخدام العلامات الوصفية لبرامج الروبوت بتنسيق HTML. وفي ما يلي مثال على إضافة التوجيه noindex X-Robots-Tag لملفات الصور (‎.png و‎.jpeg و‎.jpg و‎.gif) في جميع أقسام الموقع الإلكتروني:

Apache:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX:

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

دمج الزحف مع توجيهات الفهرسة/العرض

يتم اكتشاف العلامات الوصفية لبرامج الروبوت وعناوين HTTP التي تتضمّن X-Robots-Tag عندما يتم الزحف إلى عنوان URL. في حال منع الزحف إلى إحدى الصفحات من خلال ملف robots.txt، لن يتم العثور على أي معلومات عن توجيهات الفهرسة أو العرض وبالتالي سيتم تجاهلها. وإذا كان يجب اتّباع توجيهات الفهرسة أو العرض، لا يمكن منع الزحف إلى عناوين URL التي تحتوي على هذه التوجيهات.