يمكنك منع ظهور صفحة في بحث Google عن طريق تضمين العلامة الوصفية noindex في شفرة HTML للصفحة، أو عن طريق عرض رأس "noindex" في طلب HTTP. وفي المرة التالية التي يزحف فيها Googlebot إلى هذه الصفحة ويرى فيها العلامة أو الرأس، سيغفل Googlebot هذه الصفحة من نتائج بحث Google تمامًا، بغض النظر عما إذا كانت هناك مواقع أخرى تتضمن روابط مؤدية إليها أم لا.
هام: لكي يعمل الأمر noindex بكفاءة، يجب عدم حظر الدخول إلى الصفحة باستخدام ملف robots.txt. وعند حظر الدخول إلى الصفحة باستخدام ملف robots.txt، لن يتمكن الزاحف أبدًا من الاطلاع على أمر noindex وسيكون بإمكان الصفحة الاستمرار في الظهور ضمن نتائج البحث عند وجود رابط مؤدٍ إليها على صفحات أخرى مثلاً.
من المفيد استخدام أمر noindex إذا لم تتوفّر لديك إمكانية الدخول الكامل إلى الخادم، لأنها تسمح لك بالتحكم في إمكانية الدخول إلى موقعك بحسب كل صفحة.
تطبيق العلامة noindex
توجد طريقتان لتطبيق العلامة noindex: الطريقة الأولى تتمثل في استخدامها كعلامة وصفية، بينما تتمثل الطريقة الثانية في استخدامها كرأس لاستجابة HTTP. التأثير متساوٍ في الطريقتين، ولكنك ربما تفضِّل إحداهما عن الأخرى بناءً على مدى قدرتك على التحكم في الخادم وعملية النشر التي تحدِّدها.
علامة <meta>
إذا أردت منع معظم برامج زحف الويب لمحركات البحث من فهرسة صفحة على موقعك، ضع العلامة الوصفية التالية في قسم <head> في صفحتك:
<meta name="robots" content="noindex">
إذا أردت منع برامج زحف الويب من Google فقط من فهرسة صفحة:
<meta name="googlebot" content="noindex">
يجب أن تعلم أن بعض برامج زحف الويب لمحركات البحث قد تفسر أمر noindex بشكل مختلف. ونتيجة لذلك، من المحتمل أن يستمر ظهور صفحتك في النتائج من محركات البحث الأخرى.
المزيد من المعلومات عن علامة noindex الوصفية.
مساعدتنا في اكتشاف علاماتك الوصفية
يتعيّن علينا الزحف إلى صفحتك للاطلاع على علاماتك الوصفية. إذا كانت صفحتك لا تزال تظهر في النتائج، فمن الأرجح أننا لم نزحف إلى موقعك بعد أن أضفت العلامة. يمكنك أن تطلب من محرك البحث Google إعادة الزحف إلى صفحتك باستخدام أداة جلب مثل Google. وقد يتمثل سبب آخر أيضًا في أن ملف robots.txt الذي استخدمته يمنع الوصول إلى عنوان URL هذا من برامج زحف الويب من Google، ولذلك تتعذر رؤية العلامة. لإلغاء منع دخول محرك البحث Google إلى صفحتك، يجب تعديل ملف robots.txt. يمكنك تعديل واختبار ملف robots.txt باستخدام أداة اختبار robots.txt.
رأس استجابة HTTP
يمكنك بدلاً من استخدام علامة وصفية عرض الرأس X-Robots-Tag مع قيمة noindex أو none في الاستجابة. وهذا مثال لاستجابة HTTP باستخدام X-Robots-Tag التي توجِّه برامج الزحف بعدم فهرسة إحدى الصفحات:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)