noindex की मदद से, किसी पेज को Search में दिखने से रोकना

किसी पेज या दूसरे रिसॉर्स को Google Search में दिखने से रोकने के लिए, noindex मेटा टैग शामिल किया जा सकता है. ऐसा, एचटीटीपी रिस्पॉन्स में हेडर जोड़कर भी किया जा सकता है. Googlebot अगली बार जब उस पेज को क्रॉल करेगा, तो टैग या हेडर दिखने पर उस पेज को Google Search के नतीजों से बाहर कर देगा. साथ ही, इस बात पर ध्यान नहीं देगा कि पेज से दूसरी साइटें लिंक हैं या नहीं.

अगर आपके पास अपने सर्वर का रूट ऐक्सेस नहीं है, तो noindex का इस्तेमाल किया जा सकता है. इससे, साइट के हर पेज के लिए, किसके पास ऐक्सेस होगा, यह कंट्रोल किया जा सकेगा.

noindex लागू करना

लागू करने के दो तरीके होते हैंnoindex: मेटा टैग और एचटीटीपी रिस्पॉन्स हेडर के तौर पर. दोनों से एक जैसा नतीजा मिलता है. आप वह तरीका चुनें जो आपकी साइट पर आसानी से लागू किया जा सके और अलग-अलग तरह के कॉन्टेंट के लिए सही हो.

<meta> टैग

ज़्यादातर सर्च इंजन के वेब क्रॉलर को आपकी साइट के किसी पेज को इंडेक्स करने से रोकने के लिए, नीचे दिए गए मेटा टैग को अपने पेज के <head> सेक्शन में डालें:

<meta name="robots" content="noindex">

सिर्फ़ Google वेब क्रॉलर को किसी पेज को इंडेक्स करने से रोकने के लिए:

<meta name="googlebot" content="noindex">

ध्यान रखें कि कुछ सर्च इंजन के वेब क्रॉलर, noindex डायरेक्टिव का अलग मतलब निकाल सकते हैं. इस वजह से, ऐसा भी हो सकता है कि आपका पेज दूसरे सर्च इंजन के खोज के नतीजों में अब भी दिखे.

noindex मेटा टैग के बारे में ज़्यादा जानें.

एचटीटीपी रिस्पॉन्स हेडर

किसी मेटा टैग के बजाय, अपने रिस्पॉन्स में noindex या none की वैल्यू वाले X-Robots-Tag हेडर को भी दिखाया जा सकता है. रिस्पॉन्स हेडर का इस्तेमाल बिना एचटीएमएल वाले रिसॉर्स के लिए किया जा सकता है. जैसे कि PDF फ़ाइलें, वीडियो फ़ाइलें, और इमेज फ़ाइलें. यहां एचटीटीपी रिस्पॉन्स का एक उदाहरण दिया गया है. इसमें X-Robots-Tag, क्रॉलर को पेज इंडेक्स न करने का निर्देश दे रहा है:

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

noindex रिस्पॉन्स हेडर के बारे में ज़्यादा जानें.

मेटा टैग पहचानने में हमारी सहायता करना

हमें मेटा टैग और एचटीटीपी हेडर देखने के लिए, आपके पेज को क्रॉल करना होता है. अगर पेज अब भी नतीजों में दिख रहा है, तो ऐसा हो सकता है कि आपके टैग जोड़ने के बाद से हमने पेज को क्रॉल न किया हो. Google से अनुरोध किया जा सकता है कि यूआरएल जांचने वाले टूल का इस्तेमाल करके, आपके पेज को फिर से क्रॉल करे. दूसरी वजह यह हो सकती है कि robots.txt फ़ाइल उस यूआरएल को Google वेब क्रॉलर के लिए ब्लॉक कर रही हो. इसलिए, क्रॉलर टैग देख न पा रहे हों. Google को क्रॉल करने की मंज़ूरी देने के लिए, आपको अपनी robots.txt फ़ाइल में बदलाव करने होंगे. अपनी robots.txt फ़ाइल में बदलाव और उसकी जांच करने के लिए, robots.txt टेस्टर टूल का इस्तेमाल किया जा सकता है.