रोबोट मेटा टैग, बिना स्निपेट वाले डेटा, और X-Robots-Tag की विशेषताएं

खास जानकारी

इस दस्तावेज़ में यह जानकारी दी गई है कि आप पेज और टेक्स्ट के स्तर की सेटिंग का इस्तेमाल करके यह तय कर सकते हैं कि Google, खोज के नतीजों में आपकी सामग्री कैसे दिखाता है. आप पेज के स्तर की सेटिंग के बारे में एचटीएमएल पर या किसी एचटीटीपी हेडर में मेटा टैग शामिल करके साफ़ तौर पर बता सकते हैं. आप पेज के एचटीएमएल एलिमेंट पर data- nosnippet एट्रिब्यूट शामिल करके, टेक्स्ट के स्तर की सेटिंग के बारे में साफ़ तौर पर बता सकते हैं.

रोबोट मेटा टैग का इस्तेमाल करना

रोबोट मेटा टैग, पेज के स्तर पर बारीकी से यह नियंत्रित करने की सुविधा देता है कि किसी पेज को किस तरह इंडेक्स किया जाए और उसे 'Google सर्च' के नतीजों में लोगों को कैसे दिखाया जाए. किसी पेज के <head> सेक्शन में रोबोट मेटा टैग डालें, जैसे:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

ऊपर दिए गए उदाहरण में रोबोट मेटा टैग सर्च इंजन को निर्देश देता है कि वे पेज को खोज के नतीजों में न दिखाएं. name एट्रिब्यूट (robots) के मान से पता चलता है कि निर्देश सभी क्रॉलर पर लागू होते हैं. किसी खास क्रॉलर को निर्देश देने के लिए एट्रिब्यूट के robotsमान name की जगह उस क्रॉलर का नाम डालें जिसे आप निर्देश दे रहे हैं. कुछ चुनिंदा क्रॉलर, उपयोगकर्ता एजेंट (ऐसा क्रॉलर जो किसी पेज का अनुरोध करने के लिए अपने उपयोगकर्ता एजेंट का इस्तेमाल करता है) के नाम से भी जाने जाते हैं. Google के मानक वेब क्रॉलर के उपयोगकर्ता एजेंट का नाम Googlebot है. सिर्फ़ Googlebot को अपना पेज क्रॉल करने से रोकने के लिए, टैग को इस तरीके से अपडेट करें:

<meta name="googlebot" content="noindex" />

यह टैग Google को खास तौर पर निर्देश देता है कि इस पेज को खोज नतीजों में न दिखाया जाए. name और content, दोनों एट्रिब्यूट को अंग्रेज़ी के बड़े या छोटे किसी भी अक्षर में लिखा जा सकता है.

अलग-अलग प्रॉपर्टी या मकसदों के लिए सर्च इंजन में अलग-अलग क्रॉलर हो सकते हैं. Google के क्रॉलर की पूरी सूची देखें. उदाहरण के लिए, 'Google समाचार' के अलावा Google के वेब के खोज नतीजों में किसी पेज को दिखाने के लिए इस मेटा टैग का इस्तेमाल करें:

<meta name="googlebot-news" content="noindex" />

एक-एक करके एक से ज़्यादा क्रॉलर की जानकारी देने के लिए कई रोबोट मेटा टैग का इस्तेमाल किया जा सकता है:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

X-Robots-Tag एचटीटीपी हेडर का इस्तेमाल करना

किसी यूआरएल के लिए एचटीटीपी हेडर जवाब के एलिमेंट के रूप में X-Robots-Tag का इस्तेमाल किया जा सकता है. किसी रोबोट मेटा टैग में इस्तेमाल किए जाने वाले किसी भी निर्देश को X-Robots-Tag के रूप में भी बताया जा सकता है. यहां एचटीटीपी जवाब का एक उदाहरण दिया गया है, जिसमें X-Robots-Tag, क्रॉलर को पेज न इंडेक्स करने का निर्देश दे रहा है.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

कई X-Robots-Tag हेडर को एचटीटीपी जवाब में जोड़ा जा सकता है या आप निर्देशों की कॉमा-सेपरेटेड लिस्ट बना सकते हैं. यहां एचटीटीपी हेडर जवाब का एक उदाहरण दिया गया है जिसमें unavailable_after X-Robots-Tag के साथ noarchive X-Robots-Tag जुड़े हुए हैं.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

यह ज़रूरी नहीं है कि निर्देशों से पहले X-Robots-Tag उपयोगकर्ता एजेंट तय कर सकता है. जैसे कि कुछ शर्तों के साथ X-Robots-Tag एचटीटीपी हेडर के नीचे दिए गए सेट का इस्तेमाल, अलग-अलग सर्च इंजन के खोज के नतीजों में किसी पेज को दिखाने की अनुमति देने के लिए किया जा सकता है:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

उपयोगकर्ता एजेंट के बिना, बताए गए निर्देश सभी क्रॉलर के लिए मान्य होते हैं. एचटीटीपी हेडर, उपयोगकर्ता एजेंट का नाम, और बताए गए मान को अंग्रेज़ी के बड़े या छोटे अक्षरों में से किसी में भी लिखा जा सकता है.

सही तरह से इंडेक्स करना और निर्देश देना

इंडेक्स करने की प्रक्रिया को नियंत्रित करने और रोबोट मेटा टैग और X-Robots-Tag को दिखाने के लिए इन निर्देशों का इस्तेमाल किया जा सकता है. हर एक मान एक खास निर्देश की जानकारी दिखाता है. इस टेबल में उन सभी निर्देशों को दिखाया गया है जिनका Google पालन करता है. साथ ही, उनके मतलब भी बताए गए हैं. एक से ज़्यादा निर्देशों को कॉमा-सेपरेटेड लिस्ट में जोड़ा जा सकता है. निर्देशों पर अक्षर छोटे-बड़े होने का असर पड़ता है. खोज के नतीजों में स्निपेट एक ऐसा टेक्स्ट होता है जिसका इस्तेमाल यह बताने के लिए किया जाता है कि उपयोगकर्ता की क्वेरी और दिखाए जाने वाले पेज कितना मेल खाते हैं.

निर्देश

all
इंडेक्स करने या उन्हें दिखाए जाने पर कोई पाबंदी नहीं है. यह निर्देश, डिफ़ॉल्ट मान है और साफ़ तौर पर सूची में शामिल करने पर इसका कोई असर नहीं पड़ता है.
noindex
इस पेज को खोज नतीजों में न दिखाएं.
nofollow
इस पेज पर दिए गए लिंक फ़ॉलो न करें.
none
noindex, nofollow के बराबर.
noarchive
खोज के नतीजों में कैश में सेव हुआ लिंक न दिखाएं.
nosnippet
इस पेज के लिए खोज के नतीजों में कोई टेक्स्ट स्निपेट या वीडियो झलक न दिखाएं. बेहतर उपयोगकर्ता अनुभव देने के लिए, शायद अब भी स्टैटिक इमेज का थंबनेल दिख सकता है. यह हर तरह के खोज नतीजों पर लागू होता है, जैसे- Google: वेब खोज, Google इमेज, डिस्कवर
max-snippet:[number]

इस खोज नतीजे के लिए टेस्क्ट स्निपेट के तौर पर ज़्यादा से ज़्यादा [number] वर्णों का इस्तेमाल करें. (ध्यान दें कि यूआरएल खोज के नतीजे वाले पेज में एक से ज़्यादा खोज के नतीजों में दिख सकता है.) इससे इमेज या वीडियो की झलक पर कोई असर नहीं पड़ता. यह हर तरह के खोज नतीजों पर लागू होता है, जैसे- Google वेब खोज, Google इमेज, डिस्कवर, Assistant. हालांकि, वर्णों की यह सीमा तब लागू नहीं होती है, जब प्रकाशक ने सामग्री के इस्तेमाल की अनुमति अलग से दी हो. उदाहरण के लिए, अगर प्रकाशक इन-पेज स्ट्रक्चर्ड डेटा के रूप में सामग्री देता है या उसके पास Google के साथ कोई लाइसेंस समझौता है, तो यह सेटिंग, अनुमति पाए हुए उपयोगकर्ताओं पर लागू नहीं होतीं. अगर पार्स किया जा सकने वाला कोई [number] मौजूद नहीं है, तो इस निर्देश को नज़रअंदाज़ किया जाता है.

खास मान:

  • 0: दिखाने के लिए कोई स्निपेट मौजूद नहीं है. nosnippet के बराबर.
  • -1: स्निपेट के लिए कोई तय सीमा नहीं है.
  • उदाहरण:

    <meta name="robots" content="max-snippet:20">
    max-image-preview:[setting]

    खोज नतीजों में दिखाने के लिए इस पेज की इमेज झलक का आकार ज़्यादा से ज़्यादा पर सेट करें.

    setting के ये मान डाले जा सकते हैं:

  • none: दिखाने के लिए कोई इमेज झलक मौजूद नहीं है.
  • standard: इमेज के लिए डिफ़ॉल्ट रूप से सेट झलक दिख सकती है.
  • large: इमेज की बड़ी झलक दिखाई जा सकती है जिसकी चौड़ाई व्यूपोर्ट की ज़्यादा से ज़्यादा चौड़ाई के जितनी होगी.
  • यह हर तरह के खोज नतीजों पर लागू होता है, जैसे- Google वेब खोज, Google इमेज, डिस्कवर, Assistant. हालांकि, वर्णों की यह सीमा तब लागू नहीं होती है, जब प्रकाशक ने सामग्री के इस्तेमाल की अनुमति अलग से दी हो. उदाहरण के लिए, अगर प्रकाशक इन-पेज स्ट्रक्चर्ड डेटा के रूप में सामग्री देता है या उसके पास Google के साथ कोई लाइसेंस समझौता है, तो यह सेटिंग अनुमति पाए हुए उपयोगकर्ताओं पर लागू नहीं होतीं.

    उदाहरण:

    <meta name="robots" content="max-image-preview:standard">
    max-video-preview:[number]

    खोज नतीजों में इस पेज पर, वीडियो के लिए ज़्यादा से ज़्यादा [number] सेकंड के वीडियो स्निपेट का इस्तेमाल करें.

    ये मान दिए जा सकते हैं:

  • 0: इमेज की ज़्यादा से ज़्यादा झलक की सेटिंग के हिसाब से, ज़्यादा से ज़्यादा एक स्टैटिक इमेज का इस्तेमाल किया जा सकता है.
  • -1: कोई सीमा नहीं है.
  • यह हर तरह के खोज नतीजों पर लागू होता है, जैसे- Google वेब खोज, Google इमेज, Google वीडियो, डिस्कवर, Assistant. अगर पार्स किया जा सकने वाला कोई [number] मौजूद नहीं है, तो इस निर्देश को नज़रअंदाज़ किया जाता है.

    उदाहरण:

    <meta name="robots" content="max-video-preview:-1">
    notranslate
    खोज नतीजों में इस पेज को अनुवाद करने का विकल्प न दिखाएं.
    noimageindex
    इस पेज पर मौजूद इमेज इंडेक्स न करें.
    unavailable_after: [RFC-850 date/time]

    बताई गई तारीख/समय के बाद इस पेज को खोज नतीजों में न दिखाएं. तारीख/समय RFC 850 फ़ॉर्मैट में होने चाहिए. अगर पार्स किया जा सकने वाला कोई [date/time] मौजूद नहीं है, तो इस निर्देश को नज़रअंदाज़ किया जाता है. डिफ़ॉल्ट रूप से सामग्री के लिए खत्म होने की तारीख नहीं है.

    उदाहरण:

    <meta name="robots" content="unavailable_after: Sunday, 01-Sep-24 01:00:00 PDT">

    इंडेक्स करने और निर्देश दिखाए जाने को एक साथ शामिल करना

    आप रोबोट मेटा टैग निर्देशों को कॉमा से जोड़कर कई दिशा-निर्देशों वाला निर्देश बना सकते हैं. यहां एक रोबोट मेटा टैग का एक उदाहरण दिया गया है जो वेब क्रॉलर को पेज इंडेक्स न करने और पेज पर किसी भी लिंक को क्रॉल नहीं करने का निर्देश देता है:

    <meta name="robots" content="noindex, nofollow">
    

    यहां एक उदाहरण दिया गया है जिसमें टेक्स्ट स्निपेट के लिए, ज़्यादा से ज़्यादा 20 वर्णों का इस्तेमाल करने और भारी संख्या में इमेज झलक दिखाने की अनुमति है:

    <meta name="robots" content="max-snippet:20, max-image-preview:large">
    

    एक से ज़्यादा क्रॉलर के साथ अलग-अलग निर्देश बताए जाने की स्थिति में सर्च इंजन, नेगेटिव निर्देशों के कुल योग का इस्तेमाल करेगा. उदाहरण के लिए:

    <meta name="robots" content="nofollow">
    <meta name="googlebot" content="noindex">
    

    Googlebot से क्रॉल किए जाने पर इन मेटा टैग वाले पेज की पहचान noindex, nofollow निर्देश होने के रूप में की जाएगी.

    बिना स्निपेट वाले डेटा के एचटीएमएल एट्रिब्यूट का इस्तेमाल करना

    आप यह तय कर सकते हैं कि एचटीएमएल पेज के टेक्स्ट वाले किन हिस्सों को स्निपेट में इस्तेमाल किया जाए. आप ऐसा एचटीएमएल एलिमेंट के स्तर पर span, div, और section एलिमेंट में data-nosnippet एचटीएमएल का इस्तेमाल कर सकते हैं. data-nosnippet को बूलियन एट्रिब्यूट माना जाता है और यह मान के साथ या मान के बिना भी मान्य होता है. मशीन रीडबिलिटी बनी रहे, इसके लिए ज़रूरी है कि एचटीएमएल सेक्शन एक मान्य एचटीएमएल हो और सभी टैग उसके मुताबिक बंद किए जाते हों.

    उदाहरण:

    <p>This text can be shown in a snippet
     <span data-nosnippet>and this part would not be shown</span>.</p>
    
    <div data-nosnippet>not in snippet</div>
    <div data-nosnippet="true">also not in snippet</div>
    
    <div data-nosnippet>some text</html>
    <!-- unclosed "div" will include all content afterwards -->
    
    <mytag data-nosnippet>some text</mytag>
    <!-- NOT VALID: not a span, div, or section -->
    

    आम तौर पर, Google किसी पेज को इंडेक्स करने के लिए रेंडर करता है, लेकिन यह ज़रूरी नहीं है कि इंडेक्स किया गया हर पेज रेंडर किया गया हो. इस वजह से रेंडर करने के पहले और बाद में data-nosnippet को निकाला जाता है. रेंडर करने की प्रक्रिया का सही इस्तेमाल करने के लिए, JavaScript से मौजूदा नोड के data-nosnippet को जोड़ें या हटाएं नहीं. JavaScript के ज़रिए DOM एलिमेंट जोड़ते समय, data-nosnippet एट्रिब्यूट शामिल करें. पेज के DOM में एलिमेंट जोड़ते समय ऐसा करना ज़रूरी होता है. अगर पसंद के मुताबिक बनाए गए एलिमेंट इस्तेमाल किए जाते हैं, तो data- nosnippet का इस्तेमाल करने के लिए div, span या section के साथ उन्हें रैप करें या उन्हें इमेज बनाएं.

    स्ट्रक्चर्ड डेटा का इस्तेमाल करना

    रोबोट मेटा टैग उस सामग्री को नियंत्रित करता है जिसे Google, खोज नतीजों में दिखाने के लिए किसी वेब पेज से अपने आप निकालता है. हालांकि, कई प्रकाशक खोज नतीजों में दिखाने के लिए खास जानकारी उपलब्ध कराते हैं. इसके लिए वे schema.org स्ट्रक्चर्ड डेटा का भी इस्तेमाल करते हैं. रोबोट मेटा टैग की सीमाओं से स्ट्रक्चर्ड डेटा के इस्तेमाल पर कोई असर नहीं पड़ता. अपने वेब पेज के लिए स्ट्रक्चर्ड डेटा का इस्तेमाल प्रबंधित करने के लिए आप स्ट्रक्चर्ड डेटा का प्रकार और उनका मान बदल सकते हैं. अगर आप सिर्फ़ वही डेटा उपलब्ध कराना चाहते हैं जो खोज के नतीजों में दिखे, तो आप जानकारी जोड़ या हटा सकते हैं. यह भी ध्यान दें कि data-nosnippet एलिमेंट में स्ट्रक्चर्ड डेटा इस्तेमाल किए जाने पर भी खोज के नतीजों में स्ट्रक्चर्ड डेटा का इस्तेमाल किया जा सकता है.

    X-Robots-Tag को लागू करना

    आप अपनी साइट के वेब सर्वर सॉफ़्टवेयर के कॉन्फ़िगरेशन फ़ाइल से साइट के एचटीटीपी जवाब में X-Robots-Tag जोड़ सकते हैं. उदाहरण के लिए, Apache सर्वर पर .htaccess फ़ाइल और httpd.conf दोनों ही सर्वर के कॉन्फ़िगरेशन वाली फ़ाइलें हैं. एचटीटीपी जवाबों के साथ X-Robots-Tag के इस्तेमाल का यह फ़ायदा होता है कि आप क्रॉल करने के निर्देश बता सकते हैं जो पूरी साइट पर लागू होते हैं. रेगुलर एक्सप्रेशन के काम करने से यह बहुत ज़्यादा सुविधाजनक बन जाता है.

    उदाहरण के लिए, सभी .PDF फ़ाइलों के लिए, एचटीटीपी जवाब में noindex, nofollow X-Robots-Tag जोड़ने के लिए साइट के रूट .htaccess फ़ाइल या Apache पर httpd.conf फ़ाइल या NGINX पर .conf फ़ाइल में यह स्निपेट जोड़ें

    Apache:

    <Files ~ "\.pdf$">
      Header set X-Robots-Tag "noindex, nofollow"
    </Files>
    

    NGINX:

    location ~* \.pdf$ {
      add_header X-Robots-Tag "noindex, nofollow";
    }
    

    आप इमेज फ़ाइलों जैसी उन गैर-एचटीएमएल फ़ाइलों के लिए X-Robots-Tag का इस्तेमाल कर सकते हैं, जहां रोबोट मेटा टैग का इस्तेमाल नहीं किया जा सकता. यहां एक पूरी साइट पर इमेज फ़ाइलों (.png, .jpeg, .jpg, .gif) के लिए noindexX-Robots-Tag निर्देश जोड़ने का एक उदाहरण दिया गया है:

    Apache:

    <Files ~ "\.(png|jpe?g|gif)$">
      Header set X-Robots-Tag "noindex"
    </Files>
    

    NGINX:

    location ~* \.(png|jpe?g|gif)$ {
      add_header X-Robots-Tag "noindex";
    }
    

    इंडेक्स करने या निर्देश दिखाने के साथ क्रॉलिंग को जोड़ना

    रोबोट मेटा टैग और X-Robots-Tag हेडर का पता तब चलता है, जब एक यूआरएल क्रॉल किया जाता है. अगर किसी पेज को robots.txt फ़ाइल से क्रॉल करने से मना कर दिया जाता है, तो इंडेक्स करने या निर्देश दिखाने के बारे में कोई जानकारी नहीं मिलेगी, इसलिए उसे अनदेखा कर दिया जाएगा. अगर इंडेक्स करने या ब्राउज़र में वेब पेज खोलने के बारे में दिए गए निर्देशों का पालन करना ज़रूरी है, तो उन निर्देशों वाले यूआरएल को क्रॉल करने से मना नहीं किया जा सकता.