هل لديك أسئلة؟ انتقِل إلى منتدى مشرفي المواقع من Google. انتقِل إلى منتدى مشرفي المواقع بلغتك المحلية لمناقشة المواضيع المرتبطة بخدمة Search Console ومشرفي المواقع وتحسين محرّكات البحث (SEO) وغيرها من المواضيع، وطرح أسئلة حولها والإجابة عن أسئلة الآخرين.

مواصفات العلامة الوصفية لبرامج الروبوت وdata-nosnippet وX-Robots-Tag

الملخص

يوضّح هذا المستند بالتفصيل طريقة استخدام الإعدادات على مستوى الصفحة والإعدادات على مستوى النص لضبط طريقة عرض Google للمحتوى الخاص بك ضمن نتائج البحث. ويمكنك تحديد الإعدادات على مستوى الصفحة عن طريق تضمين علامة وصفية على صفحات HTML أو في رأس HTTP. ويمكنك تحديد الإعدادات على مستوى النص باستخدام السمة data- nosnippet على عناصر HTML ضمن الصفحة.

استخدام العلامة الوصفية لبرامج الروبوت

تسمح لك العلامة الوصفية لبرامج الروبوت باستخدام طريقة دقيقة ومحدّدة للصفحة للتحكّم في كيفية فهرسة صفحة فردية وعرضها للمستخدمين ضمن نتائج "بحث Google". يمكنك وضع العلامة الوصفية لبرامج الروبوت في القسم <head> لصفحة محدَّدة، على هذا النحو:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

توجِّه العلامة الوصفية لبرامج الروبوت في المثال السابق محرّكات البحث إلى عدم عرض الصفحة ضمن نتائج البحث. وتحدِّد قيمة السمة name لبرامج (robots) أن التوجيه سيطبّق على جميع برامج الزحف. لتوجيه زاحف محدّد، يمكنك استبدال القيمة robots للسمة name باسم الزاحف الذي تريد توجيهه. تُعرَف برامج الزحف الخاصة على أنها وكلاء للمستخدم (يستخدم الزاحف وكيل المستخدم التابع له لطلب صفحة ما). وعادةً ما يحمل زاحف الويب من Google اسم وكيل المستخدم Googlebot. لمنع Googlebot فقط من فهرسة صفحتك، يمكنك تعديل العلامة على النحو التالي:

<meta name="googlebot" content="noindex" />

توجِّه هذه العلامة الآن Google على وجه التحديد إلى عدم عرض هذه الصفحة ضمن نتائج البحث. إن السمتين name وcontent غير حساستين لحالة الأحرف.

قد يكون لمحرّكات البحث برامج زحف مختلفة بخصائص أو أغراض مختلفة. راجِع القائمة الكاملة لبرامج الزحف من Google. على سبيل المثال، لعرض صفحة في نتائج بحث الويب من Google، ولكن ليس في "أخبار Google"، يمكنك استخدام العلامة الوصفية التالية:

<meta name="googlebot-news" content="noindex" />

لتحديد برامج زحف متعدّدة بشكل فردي، يمكنك استخدام علامات وصفية متعدّدة لبرامج الروبوت على النحو التالي:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

استخدام رأس HTTP X-Robots-Tag

يمكن استخدام X-Robots-Tag كعنصر في استجابة رأس HTTP لعنوان URL محدَّد. ويمكن أيضًا تحديد أي توجيه يمكن استخدامه في العلامة الوصفية لبرامج الروبوت باعتباره X-Robots-Tag. وفي ما يلي مثال لاستجابة HTTP تتضمَّن X-Robots-Tag توجِّه برامج الزحف إلى عدم فهرسة إحدى الصفحات:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

يمكن دمج رؤوس X-Robots-Tag المتعدّدة في استجابة HTTP أو يمكنك تحديد قائمة من التوجيهات مفصولة بفواصل. وفي ما يلي مثال على استجابة رأس HTTP التي تتضمّن noarchive X-Robots-Tag تم دمجها مع unavailable_after X-Robots-Tag.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

قد تحدّد X-Robots-Tag وكيل مستخدم قبل التوجيهات بشكل اختياري. على سبيل المثال، يُمكن استخدام المجموعة التالية من رؤوس HTTP التي تتضمَّن X-Robots-Tag للسماح بعرض إحدى الصفحات في نتائج البحث الخاصة بمحرّكات بحث مختلفة بشكل مشروط:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

تكون التوجيهات المحدّدة بدون وكيل مستخدم صالحة لجميع برامج الزحف. ويكون رأس HTTP واسم وكيل المستخدم والقيم المحدّدة غير حساسة لحالة الأحرف.

توجيهات الفهرسة والعرض الصالحة

يمكن استخدام التوجيهات التالية للتحكم في فهرسة مقتطف وعرضه باستخدام العلامة الوصفية لبرامج الروبوت وX-Robots-Tag. في سياق نتائج البحث، المقتطف هو ملخص النص ويُستخدم لتوضيح مدى صلة مستند بطلب البحث الذي أجراه المستخدم. يعرض الجدول التالي جميع التوجيهات التي يلتزم بها محرّك البحث Google ومعانيها. وتُمثِّل كل قيمة توجيهًا محددًا. يمكن دمج عدّة توجيهات على هيئة قائمة مفصولة بفواصل. وهذه التوجيهات غير حساسة لحالة الأحرف.

التوجيهات

all

لا تُفرض أي قيود على الفهرسة أو العرض. هذا الأمر هو القيمة التلقائية وليس له أي تأثير إذا تم إدراجه بشكل واضح.

noindex

لا تعرِض هذه الصفحة في نتائج البحث.

nofollow

لا تتابِع الروابط على هذه الصفحة.

none

يعادل noindex, nofollow.

noarchive

لا تعرِض رابط نسخة مخبأة ضمن نتائج البحث.

nosnippet

لا تعرِض مقتطفًا نصيًا أو معاينة فيديو في نتائج البحث لهذه الصفحة. قد تظلّ الصورة المصغّرة الثابتة (إن توفّرت) مرئية إذا أدّت إلى تحسين تجربة المستخدم. وينطبق ذلك على جميع أشكال نتائج البحث (في بحث الويب من Google و"صور Google" وميزة "اقتراحات" من Google).

max-snippet:[number]

يمكنك إنشاء مقتطف نصّي لنتيجة البحث هذه باستخدام عدد أحرف يبلغ [number] كحد أقصى. (ملاحظة: قد يظهر عنوان URL في شكل عدّة نتائج بحث ضمن صفحة نتائج البحث.) ولا يؤثّر ذلك على معاينات الصور أو الفيديوهات. ينطبق هذا الأمر على جميع أشكال نتائج البحث (مثل "بحث الويب من Google" و"صور Google" وميزة "اقتراحات" من Google و"مساعد Google"). ولا ينطبق هذا الحدّ على الحالات التي يمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوى في شكل بيانات منظَّمة في الصفحة أو أبرم اتفاقية ترخيص مع Google، لن يؤثر هذا الإعداد على تلك الاستخدامات المسموح بها والمحدّدة بشكل أكبر. يتم تجاهل هذا التوجيه في حال عدم تحديد [number] قابل للتحليل.

القيم الخاصة:

  • 0: ما من مقتطف لعرضه. يعادل nosnippet.
  • -1: سيختار محرّك البحث Google طول المقتطف الذي يعتقد أنه الأكثر فعالية لمساعدة المستخدمين على اكتشاف المحتوى الذي تقدّمه وتوجيههم إلى موقعك الإلكتروني.

مثال:


<meta name="robots" content="max-snippet:20">

max-image-preview:[setting]

يمكنك تحديد الحد الأقصى لحجم معاينة الصورة لهذه الصفحة في نتائج البحث.

قيم setting المقبولة:

  • none: ما من معاينة صورة لعرضها.
  • standard: قد يتم عرض معاينة تلقائية للصورة.
  • large: قد يتم عرض معاينة أكبر للصورة وفق عرض إطار العرض.

ينطبق هذا الأمر على جميع أشكال نتائج البحث (مثل "بحث الويب من Google" و"صور Google" وميزة "اقتراحات" من Google و"مساعد Google"). ولا ينطبق هذا الحدّ على الحالات التي يمنح فيها الناشر إذنًا منفصلاً لاستخدام المحتوى. على سبيل المثال، إذا كان الناشر يقدّم محتوًى في شكل بيانات منظَّمة في الصفحة (مثل إصدار AMP والإصدارات الأساسية من مقالة) أو أبرم اتفاقية ترخيص مع Google، لن يؤثر هذا الإعداد على تلك الاستخدامات المسموح بها والمحدّدة بشكل أكبر.

إذا أراد الناشرون ألّا يستخدم محرّك البحث Google صورًا مصغّرة بحجم أكبر أثناء عرض صفحات AMP والإصدارات الأساسية لمقالة في "بحث Google" أو في ميزة "اقتراحات"، عليهم تحديد قيمة max-image-preview سواء باستخدام standard أم none.

مثال:


<meta name="robots" content="max-image-preview:standard">

max-video-preview:[number]

بالنسبة إلى الفيديوهات على هذه الصفحة من نتائج البحث، يمكنك استخدام مقتطف فيديو لا يزيد عن [number] ثانية.

القيم الأخرى المسموح بها:

  • 0: في الغالب، قد يتم استخدام صورة ثابتة وفق الإعداد max-image-preview.
  • -1: ما من حدّ أقصى.

ينطبق هذا الأمر على جميع أشكال نتائج البحث (في "بحث الويب من Google" و"صور Google" و"فيديو Google" وميزة "اقتراحات" من Google و"مساعد Google"). يتم تجاهل هذا التوجيه في حال عدم تحديد [number] قابل للتحليل.

مثال:


<meta name="robots" content="max-video-preview:-1">

notranslate

لا تعرِض ترجمة لهذه الصفحة في نتائج البحث.

noimageindex

لا تفهرِس الصور على هذه الصفحة.

unavailable_after: [date/time]

لا تعرِض هذه الصفحة في نتائج البحث بعد التاريخ/الوقت المحدّد. يجب تحديد التاريخ/الوقت بتنسيق متعارف عليه، بما في ذلك على سبيل المثال لا الحصر RFC 822 وRFC 850 وISO 8601. يتم تجاهل التوجيه في حال عدم تحديد [date/time] صالح. حسب الإعدادات التلقائية، ما مِن تاريخ انتهاء صلاحية للمحتوى.

مثال:


<meta name="robots" content="unavailable_after: 2020-09-21">

معالجة التوجيهات المدمجة للفهرسة والعرض

يمكنك إنشاء تعليمات تضم توجيهات متعددة عن طريق دمج توجيهات العلامات الوصفية لبرامج الروبوت باستخدام الفواصل. ونذكر هنا مثالاً لعلامة وصفية لبرامج الروبوت التي توجِّه برامج زحف الويب إلى عدم فهرسة الصفحة وإلى عدم الزحف إلى أي روابط في الصفحة:

<meta name="robots" content="noindex, nofollow">

في ما يلي مثال يتضمن حدًّا للمقتطف النصي يبلغ 20 حرفًا ويسمح بعرض معاينة أكبر للصورة:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

بالنسبة إلى الحالات التي يتم فيها تحديد برامج زحف متعدّدة بالإضافة إلى توجيهات مختلفة، سيستخدم محرّك البحث مجموعة من التوجيهات السلبية. على سبيل المثال:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

سيتم اعتبار الصفحة التي تحتوي على هذه العلامات الوصفية بأنها تشمل التوجيه noindex, nofollow عند زحف Googlebot إليها.

استخدام سمة data-nosnippet HTML

يمكنك تحديد أجزاء نصية من صفحة HTML كي لا يتم استخدامها في المقتطف. ويمكن إجراء هذا على مستوى عنصر HTML في حال هناك سمة data-nosnippet HTML للعناصر span وdiv وsection. تُعدّ data-nosnippet سمة منطقية وتكون صالحة بقيمة أو بدون قيمة. لضمان قدرة الآلة على القراءة، يجب أنْ يكون قسم HTML بلغة HTML صالحة وأن يتم إغلاق جميع العلامات المناسبة وفقًا لذلك.

أمثلة:

<p>This text can be shown in a snippet
 <span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

عادةً ما يعرض محرّك البحث Google الصفحات لفهرستها، ولكنّ العرض غير مضمون. ولهذا السبب، قد يتم استخراج data-nosnippet قبل العرض وبعده. ولضمان العرض، يُرجى عدم إضافة السمة data-nosnippet أو إزالتها من العُقَد الحالية في JavaScript. عند إضافة عناصر DOM في JavaScript، يُرجى تضمين السمة data-nosnippet بالشكل المناسب عند بدء إضافة العنصر إلى عناصر DOM الخاصة بالصفحة. وفي حال استخدام العناصر المخصّصة، عليك لفها أو عرضها مع العناصر div أو span أو section إذا كنت تحتاج إلى استخدام data- nosnippet.

استخدام البيانات المنظّمة

تتحكّم العلامات الوصفية لبرامج الروبوت في مقدار المحتوى الذي يستخرجه محرّك البحث Google تلقائيًا من صفحات الويب لعرضه ضمن نتائج البحث. ويستخدم العديد من الناشرين البيانات المنظَّمة schema.org لإتاحة معلومات محدّدة في نتائج البحث. ولا تؤثر قيود العلامات الوصفية لبرامج الروبوت على استخدام تلك البيانات المنظَّمة، باستثناء القيمتين article.description وdescription في البيانات المنظّمة الموضوعة لأعمال إبداعية أخرى. لوضع الحد الأقصى لمدة معاينة بناءً على قيم description هذه، يمكنك استخدام العلامة الوصفية لبرامج الروبوت max-snippet. على سبيل المثال، تكون بيانات recipe المنظّمة على إحدى الصفحات صالحة للتضمين في منصة عرض بعناصر متغيرة لوصفة طعام، حتى إذا فُرضت قيود على معاينة النص. يمكنك تقييد مدة معاينة نص باستخدام max-snippet، لكن لا تسري العلامة الوصفية لبرامج الروبوت هذه عند توفير المعلومات باستخدام بيانات منظّمة لنتائج منسّقة.

لإدارة استخدام البيانات المنظَّمة على صفحات الويب، عليك تعديل أنواع البيانات المنظَّمة وقيمها وإضافة المعلومات أو إزالتها لتوفير البيانات التي تريد إتاحتها فقط. تجدر الإشارة أيضًا إلى أنّ البيانات المنظَّمة تظل قابلة للاستخدام في نتائج البحث عند إدراجها ضمن عنصر data-nosnippet.

التطبيق العملي للعلامة X-Robots-Tag

يمكنك إضافة X-Robots-Tag إلى استجابات HTTP لموقع إلكتروني من خلال ملفات الضبط على برنامج خادم الويب لموقعك الإلكتروني. على سبيل المثال، يمكنك استخدام ملفات ‎.htaccess وhttpd.conf على خوادم الويب المستندة إلى Apache. وتتمثّل فائدة استخدام X-Robots-Tag مع استجابات HTTP في أنه يمكنك تحديد توجيهات الزحف التي يتم تطبيقها بشكل شامل في موقع إلكتروني. ويمكن استخدام التعبيرات العادية، ما يوفّر مستوى عالٍ من المرونة.

على سبيل المثال، لإضافة noindex, nofollow X-Robots-Tag إلى استجابة HTTP لجميع الملفات بالامتداد .PDF في الموقع الإلكتروني بالكامل، يُرجى إضافة المقتطف التالي إلى الملف المزوّد بحق الوصول إلى جذر الموقع الإلكتروني بالامتداد .htaccess أو الملف بالامتداد httpd.conf على Apache أو الملف بالامتداد .conf الخاص بالموقع الإلكتروني على NGINX.

Apache:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

يمكنك استخدام X-Robots-Tag لملفات غير HTML مثل ملفات الصور التي لا يتاح فيها استخدام العلامات الوصفية لبرامج الروبوت بتنسيق HTML. وفي ما يلي مثال على إضافة التوجيه noindex X-Robots-Tag لملفات الصور (‎.png و‎.jpeg و‎.jpg و‎.gif) في موقع إلكتروني بالكامل:

Apache:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX:

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

دمج الزحف مع توجيهات الفهرسة/العرض

يتم اكتشاف العلامات الوصفية لبرامج الروبوت ورؤوس HTTP التي تتضمّن X-Robots-Tag عندما يتم الزحف إلى عنوان URL. في حال منع صفحة ما من الزحف من خلال ملف robots.txt، لن يتم بعد ذلك العثور على أي معلومات عن توجيهات الفهرسة أو العرض وبالتالي سيتم تجاهلها. إذا كان يجب اتّباع توجيهات الفهرسة أو العرض، لا يمكن منع عناوين URL التي تحتوي على هذه التوجيهات من الزحف.