يمكنك منع ظهور صفحة في "بحث Google" من خلال تضمين العلامة الوصفية noindex في رمز HTML الخاص بالصفحة أو عرض عنوان noindex في طلب HTTP. وفي المرة التالية التي يزحف فيها Googlebot إلى هذه الصفحة ويرى فيها العلامة أو العنوان، سيغفل Googlebot هذه الصفحة من نتائج "بحث Google" تمامًا بغض النظر عمّا إذا كانت ثمة مواقع إلكترونية أخرى تتضمّن روابط مؤدية إليها.
من المفيد استخدام noindex إذا لم تتوفّر لديك إمكانية الدخول الكامل إلى الخادم، لأنّ ذلك يسمح لك بالتحكم في إتاحة الدخول إلى موقعك الإلكتروني حسب كل صفحة.
تنفيذ noindex
ثمة طريقتان لتنفيذ noindex: الطريقة الأولى هي استخدامها كعلامة وصفية، والطريقة الثانية هي استخدامها كعنوان لاستجابة HTTP. وتؤدّي الطريقتان إلى النتيجة نفسها، لذلك يمكنك اختيار الطريقة الأنسب لموقعك الإلكتروني.
علامة <meta>
إذا أردت منع معظم زاحفي الويب في محركات البحث من فهرسة صفحة على موقعك الإلكتروني، ضَع العلامة الوصفية التالية في القسم <head> من صفحتك:
<meta name="robots" content="noindex">
إذا أردت منع زاحفي الويب من Google فقط من فهرسة صفحة:
<meta name="googlebot" content="noindex">
يجب أن تعلم أنّ بعض برامج زاحفي الويب في محركات البحث قد تفسر أمر noindex بشكل مختلف. ونتيجة لذلك، من المحتمل أن يستمر ظهور صفحتك في النتائج من محركات البحث الأخرى.
المزيد من المعلومات عن علامة noindex الوصفية
مساعدتنا في اكتشاف علاماتك الوصفية
يتعيّن علينا الزحف إلى صفحتك للاطلاع على علاماتك الوصفية. إذا كانت صفحتك لا تزال تظهر في النتائج، من الأرجح أننا لم نزحف إلى موقعك الإلكتروني بعد أن أضفت العلامة. يمكنك أن تطلب من محرك البحث Google إعادة الزحف إلى صفحتك باستخدام أداة فحص عنوان URL. وقد يكون السبب أيضًا في استمرار ظهور صفحتك في النتائج أنّ ملف robots.txt الذي استخدمته يمنع وصول زاحفي الويب من Google إلى عنوان URL هذا، وبالتالي تتعذّر علينا رؤية العلامة. لإلغاء منع دخول محرك البحث Google إلى صفحتك، يجب تعديل ملف robots.txt. يمكنك تعديل واختبار ملف robots.txt باستخدام أداة اختبار robots.txt.
عنوان استجابة HTTP
بدل استخدام علامة وصفية، يمكنك أيضًا عرض عنوان X-Robots-Tag مع قيمة noindex أو none في الاستجابة. وفي ما يلي مثال لاستجابة HTTP تتضمَّن X-Robots-Tag توجِّه برامج الزحف إلى عدم فهرسة إحدى الصفحات:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)