संग्रह की मदद से व्यवस्थित रहें अपनी प्राथमिकताओं के आधार पर, कॉन्टेंट को सेव करें और कैटगरी में बांटें.

रोबोट मेटा टैग, data-nosnippet, और X-Robots-Tag की विशेषताएं

इस दस्तावेज़ में यह जानकारी दी गई है कि Google, आपके कॉन्टेंट को खोज के नतीजों में कैसे दिखाए, यह तय करने के लिए पेज और टेक्स्ट के लेवल की सेटिंग का इस्तेमाल किस तरह से किया जाए. एचटीएमएल पेज पर या किसी एचटीटीपी हेडर में मेटा टैग शामिल करके, पेज के लेवल की सेटिंग तय की जा सकती है. पेज में दिए गए एचटीएमएल एलिमेंट के लिए data-nosnippet एट्रिब्यूट जोड़कर, टेक्स्ट के लेवल की सेटिंग तय की जा सकती है.

ध्यान रखें कि इन सेटिंग को सिर्फ़ तब ही पढ़ा और फ़ॉलो किया जा सकता है, जब क्रॉलर को इन सेटिंग वाले पेजों को ऐक्सेस करने की अनुमति हो.

<meta name="robots" content="noindex"> टैग या डायरेक्टिव, सर्च इंजन के क्रॉलर पर लागू होता है. AdsBot-Google जैसे बिना सर्च इंजन वाले क्रॉलर को ब्लॉक करने के लिए, आपको खास क्रॉलर (जैसे कि <meta name="AdsBot-Google" content="noindex">) को टारगेट करने वाले डायरेक्टिव जोड़ने पड़ सकते हैं.

रोबोट मेटा टैग का इस्तेमाल करना

रोबोट मेटा टैग, किसी पेज पर बारीकी से यह कंट्रोल करने की सुविधा देता है कि उस पेज को किस तरह इंडेक्स किया जाए. साथ ही, उसे Google Search के नतीजों में कैसे दिखाया जाए. किसी पेज के <head> सेक्शन में इस तरह से रोबोट मेटा टैग डालें: 

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex">
(…)
</head>
<body>(…)</body>
</html>

इस उदाहरण में रोबोट मेटा टैग ने सर्च इंजन को निर्देश दिया कि वे इस पेज को खोज के नतीजों में न दिखाएं. name एट्रिब्यूट की वैल्यू (जो robots है) से पता चलता है कि यह डायरेक्टिव सभी क्रॉलर पर लागू होता है. किसी खास क्रॉलर को निर्देश देने के लिए, name एट्रिब्यूट की robots वैल्यू की जगह, उस क्रॉलर का नाम डालें जिसे निर्देश दिए जा रहे हैं. कुछ चुनिंदा क्रॉलर, उपयोगकर्ता एजेंट के नाम से भी जाने जाते हैं. कोई क्रॉलर किसी पेज का अनुरोध करने के लिए, अपने उपयोगकर्ता एजेंट का इस्तेमाल करता है. Google के स्टैंडर्ड वेब क्रॉलर के उपयोगकर्ता एजेंट का नाम Googlebot है. सिर्फ़ Google को पेज इंडेक्स करने से रोकने के लिए, टैग को इस तरीके से अपडेट करें: 

<meta name="googlebot" content="noindex">

यह टैग, अब Google को खास तौर पर निर्देश देता है कि इस पेज को खोज के नतीजों में न दिखाया जाए. name और content, दोनों एट्रिब्यूट केस-सेंसिटिव (बड़े और छोटे अक्षरों में अंतर) नहीं होते हैं.

अलग-अलग काम के लिए, सर्च इंजन में अलग-अलग क्रॉलर हो सकते हैं. Google के क्रॉलर की पूरी सूची देखें. उदाहरण के लिए, किसी पेज को Google के वेब के खोज नतीजों में तो दिखाना है, लेकिन उसे Google News में नहीं दिखाना है, तो इस मेटा टैग का इस्तेमाल करें:

<meta name="googlebot-news" content="noindex">

एक से ज़्यादा क्रॉलर के बारे में एक-एक करके जानकारी देने के लिए, कई रोबोट मेटा टैग का इस्तेमाल करें:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

बिना एचटीएमएल वाले रिसॉर्स, जैसे कि PDF फ़ाइलों, वीडियो फ़ाइलों या इमेज फ़ाइलों को इंडेक्स होने से रोकने के लिए, X-Robots-Tag रिस्पॉन्स हेडर का इस्तेमाल करें.

X-Robots-Tag एचटीटीपी हेडर का इस्तेमाल करना

किसी यूआरएल के लिए, X-Robots-Tag का इस्तेमाल एचटीटीपी हेडर रिस्पॉन्स के एलिमेंट के तौर पर किया जा सकता है. रोबोट मेटा टैग में इस्तेमाल किए जाने वाले किसी भी डायरेक्टिव को X-Robots-Tag के तौर पर भी बताया जा सकता है. यहां एचटीटीपी रिस्पॉन्स का एक उदाहरण दिया गया है. इसमें X-Robots-Tag, क्रॉलर को पेज इंडेक्स न करने का निर्देश दे रहा है: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

कई X-Robots-Tag हेडर, एचटीटीपी रिस्पॉन्स में जोड़े जा सकते हैं या डायरेक्टिव की कॉमा-सेपरेटेड लिस्ट बनाई जा सकती है. यहां एचटीटीपी हेडर रिस्पॉन्स का एक उदाहरण दिया गया है, जिसमें unavailable_after X-Robots-Tag के साथ noarchive X-Robots-Tag जुड़े हुए हैं. 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

ऐसा हो सकता है कि X-Robots-Tag, डायरेक्टिव से पहले उपयोगकर्ता एजेंट तय करे. उदाहरण के लिए, नीचे दिए गए X-Robots-Tag एचटीटीपी हेडर के सेट का इस्तेमाल, किसी पेज को कुछ शर्तों के साथ, अलग-अलग सर्च इंजन के खोज के नतीजों में दिखाने की अनुमति देने के लिए किया जा सकता है: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

उपयोगकर्ता एजेंट तय किए बिना दिए गए डायरेक्टिव, सभी क्रॉलर के लिए मान्य होते हैं. एचटीटीपी हेडर, उपयोगकर्ता एजेंट का नाम, और तय की गई वैल्यू केस-सेंसिटिव नहीं होती हैं.

सही तरह से इंडेक्स करना और डायरेक्टिव देना

यहां दिए गए डायरेक्टिव का इस्तेमाल करके, यह तय किया जा सकता है कि रोबोट मेटा टैग और X-Robots-Tag के साथ कोई स्निपेट कैसे दिखे और उस स्निपेट को कैसे इंडेक्स किया जाए. स्निपेट, खोज के नतीजों में दिखने वाला वह छोटा टेक्स्ट होता है जिसका इस्तेमाल यह बताने के लिए किया जाता है कि दस्तावेज़ और उपयोगकर्ता की क्वेरी एक-दूसरे से कितना मेल खाते हैं. नीचे दी गई टेबल में वे सभी डायरेक्टिव दिखाए गए हैं जिनका Google पालन करता है. साथ ही, इसमें उनके मतलब भी बताए गए हैं. हर वैल्यू एक खास डायरेक्टिव के बारे में बताती है. एक से ज़्यादा डायरेक्टिव को कॉमा-सेपरेटेड लिस्ट या अलग-अलग मेटा टैग में जोड़ा जा सकता है. ये डायरेक्टिव, केस-इनसेंसिटिव होते हैं.

डायरेक्टिव

all

 इंडेक्स करने या खोज के नतीजों में दिखाए जाने पर कोई भी पाबंदी नहीं है. यह डायरेक्टिव, डिफ़ॉल्ट वैल्यू है और साफ़ तौर पर सूची में शामिल करने पर इसका कोई असर नहीं पड़ता.

noindex

इस पेज, मीडिया या रिसॉर्स को खोज के नतीजों में न दिखाएं. अगर आप यह डायरेक्टिव न दें, तो पेज, मीडिया या रिसॉर्स को इंडेक्स किया जा सकता है और उसे खोज के नतीजों में दिखाया जा सकता है.

Google से जानकारी हटाने के लिए, हमारे,सिलसिलेवार निर्देशों का पालन करें.

nofollow

 इस पेज पर दिए गए लिंक फ़ॉलो न करें. अगर आप यह डायरेक्टिव न दें, तो Google, पेज पर दिए गए लिंक को फ़ॉलो करके, लिंक किए गए पेजों को क्रॉल कर सकता है. nofollow के बारे में ज़्यादा जानें.

none

 noindex, nofollow के बराबर.

noarchive

 खोज के नतीजों में, कैश में स्टोर हुआ लिंक न दिखाएं. अगर यह डायरेक्टिव नहीं दिया जाता है, तो Google कोई ऐसा पेज जनरेट कर सकता है जो कैश मेमोरी में सेव हो. साथ ही, उपयोगकर्ता उस पेज को खोज के नतीजों में देख सकते हैं.

nositelinkssearchbox

इस पेज के लिए, खोज के नतीजों में साइटलिंक के लिए खोज बॉक्स न दिखाएं. अगर यह डायरेक्टिव नहीं दिया जाता है, तो Google खोज के नतीजों में आपकी साइट के लिए बना एक खोज बॉक्स जनरेट कर सकता है. साथ ही, आपकी साइट पर ले जाने वाले दूसरे डायरेक्ट लिंक भी जनरेट हो सकते हैं.

nosnippet

इस पेज के लिए, खोज के नतीजों में कोई टेक्स्ट स्निपेट या वीडियो की झलक न दिखाएं. बेहतर उपयोगकर्ता अनुभव देने के लिए, अब भी स्टैटिक इमेज थंबनेल दिख सकता है. हालांकि, इसके लिए थंबनेल का उपलब्ध होना ज़रूरी है. यह हर तरह के खोज नतीजों (Google पर: Google Web Search, Google Images, डिस्कवर) पर लागू होता है.

अगर आप यह डायरेक्टिव न दें, तो Google, पेज से मिली जानकारी के मुताबिक टेक्स्ट स्निपेट या वीडियो की झलक जनरेट कर सकता है.

indexifembedded

noindex डायरेक्टिव के बावजूद, Google किसी पेज के कॉन्टेंट को इंडेक्स कर सकता है. हालांकि, इसके लिए ज़रूरी है कि वह कॉन्टेंट iframes या इससे मिलते-जुलते एचटीएमएल टैग की मदद से किसी दूसरे पेज में जोड़ा गया हो.

indexifembedded सिर्फ़ तब काम करेगा, जब उसके साथ noindex का इस्तेमाल किया गया हो.

max-snippet: [number]

खोज के इस नतीजे के लिए, टेक्स्ट स्निपेट के तौर पर ज़्यादा से ज़्यादा [number] वर्णों का इस्तेमाल करें. (ध्यान दें कि कोई यूआरएल, खोज के नतीजे वाले पेज में एक से ज़्यादा खोज नतीजों के तौर पर दिख सकता है.) इससे इमेज या वीडियो की झलक पर कोई असर नहीं पड़ता. यह खोज के हर तरह के नतीजों पर लागू होता है. जैसे, Google Web Search, Google Image, डिस्कवर, Assistant. हालांकि, वर्णों की यह सीमा तब लागू नहीं होती है, जब पब्लिशर ने कॉन्टेंट के इस्तेमाल की अनुमति अलग से दी हो. उदाहरण के लिए, अगर पब्लिशर इन-पेज स्ट्रक्चर्ड डेटा के तौर पर कॉन्टेंट उपलब्ध कराता है या उसका Google के साथ कोई लाइसेंस वाला कानूनी समझौता है, तो यह सेटिंग उन इस्तेमाल पर लागू नहीं होती है जिनके लिए मंज़ूरी दी जा चुकी है. अगर पार्स किया जा सकने वाला कोई [number] मौजूद न हो, तो इस डायरेक्टिव को नज़रअंदाज़ कर दिया जाता है.

अगर आप इस डायरेक्टिव की जानकारी न दें, तो स्निपेट की लंबाई Google तय करेगा.

खास वैल्यू:

  • 0: दिखाने के लिए स्निपेट मौजूद नहीं है. nosnippet के बराबर.
  • -1: Google, स्निपेट की लंबाई अपने हिसाब से तय करता है. लंबाई उतनी ही रखता है, जितनी उसे सही लगती है. उतने ही शब्दों का स्निपेट चुना जाता है जो उपयोगकर्ताओं को आपका कॉन्टेंट ढूंढने और आपकी साइट पर पहुंचाने में मददगार साबित हो.

उदाहरण:

किसी स्निपेट को खोज के नतीजों में दिखने से रोकने के लिए:


<meta name="robots" content="max-snippet:0">

स्निपेट में ज़्यादा से ज़्यादा 20 वर्ण दिखाने के लिए:


<meta name="robots" content="max-snippet:20">

यह बताने के लिए कि स्निपेट में जितने चाहें उतने वर्ण शामिल किए जा सकते हैं: 


<meta name="robots" content="max-snippet:-1">

max-image-preview: [setting]

खोज नतीजों में दिखाने के लिए, इस पेज की झलक वाली इमेज का साइज़, ज़्यादा से ज़्यादा पर सेट करें.

अगर आप max-image-preview डायरेक्टिव की जानकारी न दें, तो Google, इमेज की झलक को डिफ़ॉल्ट साइज़ में दिखा सकता है.

ये [setting] वैल्यू दी जा सकती हैं:

  • none: दिखाने के लिए इमेज की कोई झलक मौजूद नहीं है.
  • standard: डिफ़ॉल्ट के तौर पर सेट की गई इमेज की झलक दिख सकती है.
  • large: इमेज की बड़ी झलक दिखाई जा सकती है. इसकी चौड़ाई व्यूपोर्ट जितनी हो सकती है.

यह हर तरह के खोज नतीजों पर लागू होता है. जैसे, Google Web Search, Google Images, डिस्कवर, Assistant. हालांकि, यह सीमा तब लागू नहीं होती है, जब पब्लिशर ने कॉन्टेंट के इस्तेमाल की अनुमति अलग से दी हो. उदाहरण के लिए, अगर पब्लिशर इन-पेज स्ट्रक्चर्ड डेटा (जैसे, एएमपी और किसी लेख के कैननिकल वर्शन) के तौर पर कॉन्टेंट उपलब्ध कराता है या उसका Google के साथ कोई लाइसेंस वाला कानूनी समझौता है, तो यह सेटिंग उन इस्तेमाल पर लागू नहीं होती है जिनके लिए मंज़ूरी दी जा चुकी है.

अगर आप नहीं चाहते कि Google आपके एएमपी पेजों और किसी लेख के कैननिकल वर्शन को Search या डिस्कवर में बड़े थंबनेल वाली इमेज के साथ दिखाए, तो standard या none के लिए एक max-image-preview वैल्यू तय करें.

उदाहरण के लिए:


<meta name="robots" content="max-image-preview:standard">

max-video-preview: [number]

खोज के नतीजों में इस पेज पर, वीडियो के लिए ज़्यादा से ज़्यादा [number] सेकंड के वीडियो स्निपेट का इस्तेमाल करें.

अगर आप max-video-preview डायरेक्टिव न दें, तो Google, खोज के नतीजों में वीडियो स्निपेट दिखा सकता है. साथ ही, ऐसे में Google तय करता है कि झलक कितनी लंबी होगी.

खास वैल्यू:

  • 0: ज़्यादा से ज़्यादा, max-image-preview सेटिंग के हिसाब से, एक स्टैटिक इमेज का इस्तेमाल किया जा सकता है.
  • -1: कोई सीमा नहीं है.

यह खोज के हर तरह के नतीजों पर लागू होता है. Google में: Google Web Search, Google Images, Google वीडियो, डिस्कवर, Assistant. अगर पार्स किया जा सकने वाला कोई [number] मौजूद नहीं है, तो इस डायरेक्टिव को नज़रअंदाज़ किया जाता है.

उदाहरण के लिए:


<meta name="robots" content="max-video-preview:-1">

notranslate

 खोज के नतीजों में, इस पेज के कॉन्टेंट का अनुवाद न दिखाएं. अगर यह डायरेक्टिव नहीं दिया जाता है, तो Google खोज के नतीजों के लिए, शीर्षक के लिंक और स्निपेट, दोनों का अनुवाद उपलब्ध करा सकता है. साथ ही, यह खोज उन भाषाओं के लिए हो सकती है जो इस भाषा की खोज क्वेरी में नहीं हैं. अगर कोई उपयोगकर्ता, अनुवाद किए गए शीर्षक के लिंक पर क्लिक करता है, तो पेज के साथ होने वाले उसके सभी इंटरैक्शन, Google Translate की मदद से होते हैं. इसके बाद के सभी लिंक का अनुवाद अपने-आप हो जाता है.

noimageindex

 इस पेज पर मौजूद इमेज को इंडेक्स न करें. अगर आप इस वैल्यू का इस्तेमाल न करें, तो पेज पर मौजूद इमेज, इंडेक्स की जा सकती हैं और खोज के नतीजों में दिखाई जा सकती हैं.

unavailable_after: [date/time]

बताई गई तारीख या समय के बाद, इस पेज को खोज के नतीजों में न दिखाएं. तारीख या समय, आम तौर पर इस्तेमाल किए जाने वाले फ़ॉर्मैट में ही होना चाहिए. हालांकि, यह RFC 822, RFC 850, और ISO 8601 तक सीमित नहीं है. अगर कोई मान्य तारीख या समय मौजूद नहीं है, तो इस डायरेक्टिव को नज़रअंदाज़ कर दिया जाता है. डिफ़ॉल्ट तौर पर, कॉन्टेंट के लिए खत्म होने की कोई तारीख नहीं होती है.

अगर आप इस डायरेक्टिव का इस्तेमाल न करें, तो खोज के नतीजों में पेज दिखता रहेगा. Googlebot बताई गई तारीख और समय के बाद, यूआरएल की क्रॉल दर को बहुत कम कर देगा.

उदाहरण:


<meta name="robots" content="unavailable_after: 2020-09-21">

इंडेक्स करने और नतीजे दिखाने वाले डायरेक्टिव को एक साथ इस्तेमाल करना

रोबोट मेटा टैग डायरेक्टिव को कॉमा से जोड़कर या कई मेटा टैग का इस्तेमाल करके, कई डायरेक्टिव वाले निर्देश बनाए जा सकते हैं. यहां रोबोट मेटा टैग का एक उदाहरण दिया गया है. यह वेब क्रॉलर को पेज इंडेक्स न करने और पेज पर किसी भी लिंक को क्रॉल न करने का निर्देश देता है:

कॉमा-सेपरेटेड लिस्ट

<meta name="robots" content="noindex, nofollow">

एक से ज़्यादा मेटा टैग

<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

यहां एक उदाहरण दिया गया है जिसमें टेक्स्ट स्निपेट के लिए, ज़्यादा से ज़्यादा 20 वर्णों का इस्तेमाल करने और इमेज की बड़ी झलक दिखाने की अनुमति है: 

<meta name="robots" content="max-snippet:20, max-image-preview:large">

अलग-अलग क्रॉलर को अलग-अलग डायरेक्टिव देने की स्थिति में, सर्च इंजन नेगेटिव डायरेक्टिव के कुल योग का इस्तेमाल करेगा. उदाहरण के लिए:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Googlebot से क्रॉल किए जाने पर, जिस पेज में ये मेटा टैग होंगे उसकी पहचान, noindex, nofollow डायरेक्टिव वाले पेज के तौर पर की जाएगी.

data-nosnippet एचटीएमएल एट्रिब्यूट का इस्तेमाल करना

एचटीएमएल पेज के टेक्स्ट वाले किन हिस्सों को स्निपेट के तौर पर इस्तेमाल न किया जाए, यह तय किया जा सकता है ऐसा करने के लिए, आप चाहें तो एचटीएमएल एलिमेंट के स्तर पर span, div, और section एलिमेंट में, data-nosnippet एचटीएमएल एट्रिब्यूट का इस्तेमाल किया जा सकता है. data-nosnippet को बूलियन एट्रिब्यूट माना जाता है. सभी बूलियन एट्रिब्यूट की तरह ही, इसके लिए दी गई किसी भी वैल्यू को नज़रअंदाज़ कर दिया जाता है. मशीन (कंप्यूटर) आपके पेज को ठीक तरह से समझ सके, इसके लिए ज़रूरी है कि एचटीएमएल सेक्शन एक मान्य एचटीएमएल हो और सभी टैग उसके मुताबिक बंद किए जाते हों.

उदाहरण:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

आम तौर पर, Google किसी पेज को इंडेक्स करने के लिए रेंडर करता है, लेकिन यह ज़रूरी नहीं है कि इंडेक्स किया गया हर पेज रेंडर किया गया हो. इस वजह से, data-nosnippet को रेंडर करने के पहले और बाद में, कभी भी निकाला जा सकता है. रेंडर करने की प्रक्रिया का सही इस्तेमाल करने के लिए, JavaScript का इस्तेमाल करके, मौजूदा नोड के data-nosnippet एट्रिब्यूट को जोड़ें या हटाएं नहीं. JavaScript की मदद से DOM एलिमेंट जोड़ते समय, data-nosnippet एट्रिब्यूट शामिल करें. पेज के DOM में एलिमेंट जोड़ते समय, ऐसा करना ज़रूरी होता है. अगर पसंद के मुताबिक बनाए गए एलिमेंट इस्तेमाल किए जाते हैं, तो data-nosnippet का इस्तेमाल करने के लिए div, span या section के साथ उन्हें रैप करें या उनकी इमेज बनाएं.

स्ट्रक्चर्ड डेटा का इस्तेमाल करना

रोबोट मेटा टैग उस कॉन्टेंट को कंट्रोल करते हैं जिसे Google, खोज के नतीजों में दिखाने के लिए वेब पेजों से अपने-आप निकालता है. हालांकि, कई पब्लिशर खोज नतीजों में दिखाने के लिए खास जानकारी उपलब्ध कराते हैं. इसके लिए, वे schema.org वाले स्ट्रक्चर्ड डेटा का भी इस्तेमाल करते हैं. रोबोट मेटा टैग की सीमाएं दूसरे क्रिएटिव कामों के लिए तय स्ट्रक्चर्ड डेटा के article.description और description की वैल्यू छोड़कर, उस स्ट्रक्चर्ड डेटा के इस्तेमाल पर असर नहीं डालती हैं. इन description वैल्यू के आधार पर झलक की ज़्यादा से ज़्यादा लंबाई तय करने के लिए, max-snippet रोबोट मेटा टैग का इस्तेमाल करें. उदाहरण के लिए, किसी पेज के recipe स्ट्रक्चर्ड डेटा को रेसिपी कैरसेल में जोड़ा जा सकता है. टेक्स्ट की झलक सीमित होने पर भी ऐसा किया जा सकता है. max-snippet से, टेक्स्ट की झलक की लंबाई सीमित की जा सकती है. हालांकि, यह रोबोट मेटा टैग तब लागू नहीं होता है, जब ज़्यादा बेहतर नतीजों (रिच रिज़ल्ट) के लिए स्ट्रक्चर्ड डेटा का इस्तेमाल करके जानकारी दी गई हो.

अपने वेब पेज के लिए स्ट्रक्चर्ड डेटा के इस्तेमाल को मैनेज करने के लिए, स्ट्रक्चर्ड डेटा के टाइप और उनकी वैल्यू को बदला जा सकता है. अगर आप सिर्फ़ वही डेटा उपलब्ध कराना चाहें जो खोज के नतीजों में दिखे, तो जानकारी जोड़ी या हटाई जा सकती है. यह भी ध्यान दें कि data-nosnippet एलिमेंट में स्ट्रक्चर्ड डेटा इस्तेमाल किए जाने पर भी खोज के नतीजों में स्ट्रक्चर्ड डेटा का इस्तेमाल किया जा सकता है.

X-Robots-Tag को लागू करना

आप अपनी साइट के वेब सर्वर सॉफ़्टवेयर की कॉन्फ़िगरेशन फ़ाइलों के ज़रिए, साइट के एचटीटीपी रिस्पॉन्स में X-Robots-Tag जोड़े जा सकते हैं. उदाहरण के लिए, Apache सर्वर पर .htaccess और httpd.conf फ़ाइलों का इस्तेमाल किया जा सकता है. एचटीटीपी रिस्पॉन्स के साथ X-Robots-Tag के इस्तेमाल का यह फ़ायदा होता है कि क्रॉल करने से जुड़े निर्देश तय किए जा सकते हैं. ये निर्देश पूरी साइट पर लागू होते हैं. रेगुलर एक्सप्रेशन के काम करने से यह बहुत ज़्यादा सुविधाजनक बन जाता है.

उदाहरण के लिए, पूरी साइट पर मौजूद सभी .PDF फ़ाइलों के लिए, एचटीटीपी रिस्पॉन्स में noindex, nofollow X-Robots-Tag जोड़ने के लिए, साइट की रूट .htaccess फ़ाइल या Apache पर httpd.conf फ़ाइल या NGINX पर साइट की .conf फ़ाइल में, यह स्निपेट जोड़ें.

Apache

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>
location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

NGINX

इमेज फ़ाइलों जैसी उन गैर-एचटीएमएल फ़ाइलों के लिए X-Robots-Tag का इस्तेमाल किया जा सकता है जिनके लिए रोबोट मेटा टैग का इस्तेमाल नहीं किया जा सकता. यहां पूरी एक साइट पर इमेज फ़ाइलों (.png, .jpeg, .jpg, .gif) के लिए noindex X-Robots-Tag डायरेक्टिव जोड़ने का एक उदाहरण दिया गया है:

Apache

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

अलग-अलग स्टैटिक फ़ाइलों के लिए, X-Robots-Tag हेडर भी सेट किए जा सकते हैं:

Apache

# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX

location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

robots.txt डायरेक्टिव को इंडेक्स करने और नतीजे दिखाने वाले डायरेक्टिव के साथ जोड़ना

रोबोट मेटा टैग और X-Robots-Tag एचटीटीपी हेडर का पता तब चलता है, जब किसी यूआरएल को क्रॉल किया जाता है. अगर किसी पेज को robots.txt फ़ाइल से क्रॉल करने से मना कर दिया जाता है, तो इंडेक्स करने या डायरेक्टिव दिखाने के बारे में कोई जानकारी नहीं मिलेगी. इसलिए, उसे अनदेखा कर दिया जाएगा. अगर इंडेक्स करने या डायरेक्टिव से जुड़ी जानकारी शामिल करना ज़रूरी है, तो उन निर्देशों वाले यूआरएल को क्रॉल करने से रोका नहीं जा सकता.