यह जानना कि एचटीटीपी स्टेटस कोड, Google के क्रॉलर पर कैसे असर डालते हैं

इस पेज पर बताया गया है कि अलग-अलग एचटीटीपी स्टेटस कोड, Google की आपके वेब कॉन्टेंट को क्रॉल करने की क्षमता पर कैसे असर डालते हैं. हमने यहां ऐसे 20 मुख्य स्टेटस कोड के बारे में बताया है जो Google को वेब पर मिलते हैं. इसमें, हमने 418 (I'm a teapot) जैसे कुछ खास स्टेटस कोड को शामिल नहीं किया है.

Google Search के साथ काम करने वाले प्रोटोकॉल (जैसे कि एचटीटीपी और फ़ाइल ट्रांसफ़र प्रोटोकॉल एफ़टीपी) से जुड़ी ऐसी सुविधाएं इस्तेमाल के लिए उपलब्ध नहीं होती हैं जिन्हें हम प्रयोग के तौर पर आज़मा रहे हैं.

एचटीटीपी स्टेटस कोड

एचटीटीपी स्टेटस कोड तब जनरेट होते हैं, जब साइट को होस्ट करने वाला सर्वर, किसी क्लाइंट (उदाहरण के लिए, ब्राउज़र या क्रॉलर) के अनुरोध का जवाब देता है. हर एचटीटीपी स्टेटस कोड का अलग मतलब होता है, लेकिन अनुरोध का नतीजा अक्सर एक जैसा ही होता है. उदाहरण के लिए, ऐसे कई स्टेटस कोड हैं जिनका इस्तेमाल रीडायरेक्ट के लिए किया जाता है, लेकिन उनसे मिलने वाला नतीजा एक ही होता है.

Search Console, 4xx—5xx के बीच आने वाले स्टेटस कोड और रीडायरेक्ट न कर पाने की स्थिति बताने वाले स्टेटस कोड (3xx), दोनों के लिए गड़बड़ी के मैसेज जनरेट करता है. अगर सर्वर ने 2xx स्टेटस कोड के साथ जवाब दिया है, तो जवाब में दिखाए गए पेज के कॉन्टेंट को इंडेक्स किया जा सकता है.

Google Search के लिए, एचटीटीपी 2xx (success) स्टेटस कोड का मतलब यह नहीं है कि कॉन्टेंट को इंडेक्स किया ही जाएगा.

इस टेबल में Google को मिले एचटीटीपी स्टेटस कोड हैं. साथ ही, इसमें यह भी बताया गया है कि Google हर स्टेटस कोड को कैसे मैनेज करता है.

एचटीटीपी स्टेटस कोड
2xx (success)	Google, कॉन्टेंट को प्रोसेस करने के लिए इस्तेमाल करता है. उदाहरण के लिए, Google Search के मामले में, इंडेक्स करने के लिए. अगर कॉन्टेंट में कोई गड़बड़ी दिखती है, Google Search के लिए कोई खाली पेज या गड़बड़ी का मैसेज, तो Search Console soft 404 गड़बड़ी वाला मैसेज दिखाएगा. 200 (success) Google को जो भी जानकारी मिलती है उसे वह प्रोसेसिंग के अगले चरण में भेज देता है. यह चरण, प्रॉडक्ट के हिसाब से अलग-अलग होता है. Google Search के लिए, अगला सिस्टम इंडेक्सिंग पाइपलाइन है. इंडेक्स करने वाले सिस्टम, कॉन्टेंट को इंडेक्स कर सकते हैं. हालांकि, यह ज़रूरी नहीं है कि कॉन्टेंट को हमेशा इंडेक्स किया ही जाए. 201 (created) 202 (accepted) Google तय समय तक कॉन्टेंट का इंतज़ार करता है. इसके बाद, जितना भी कॉन्टेंट मिलता है, वह उसे प्रोसेस करने के अगले चरण में भेज देता है. यह चरण, प्रॉडक्ट के हिसाब से अलग-अलग होता है. इंतज़ार करने का समय, उपयोगकर्ता एजेंट के हिसाब से अलग-अलग होता है. उदाहरण के लिए, Googlebot स्मार्टफ़ोन के लिए यह समय Googlebot इमेज के समय से अलग हो सकता है. 204 (no content) Google को कोई कॉन्टेंट नहीं मिला. इसलिए, वह इसे प्रोसेस नहीं कर सकता.
3xx (redirection)	डिफ़ॉल्ट रूप से, Google के क्रॉलर एक बार में ज़्यादा से ज़्यादा 10 बार रीडायरेक्ट को फ़ॉलो करते हैं. हालांकि, कुछ प्रॉडक्ट के क्रॉलर की सीमाएं अलग-अलग हो सकती हैं. उदाहरण के लिए, Googlebot आम तौर पर वेब कॉन्टेंट को क्रॉल करते समय, 10 रीडायरेक्ट हॉप को फ़ॉलो करता है. हालांकि, Google के जांच करने वाले टूल, रीडायरेक्ट को फ़ॉलो नहीं करते. Google, रीडायरेक्ट करने वाले यूआरएल से मिले कॉन्टेंट को अनदेखा कर देता है. इसके बजाय, वह आखिरी टारगेट यूआरएल के कॉन्टेंट को प्रोसेस करता है. robots.txt फ़ाइलों के लिए, जानें कि Google, 3xx स्टेटस कोड दिखाने वाली robots.txt फ़ाइल को कैसे हैंडल करता है. 301 (moved permanently) Google, रीडायरेक्ट को फ़ॉलो करता है. Google के सिस्टम, रीडायरेक्ट का इस्तेमाल एक अहम सिग्नल के तौर पर यह बताने के लिए करते हैं कि रीडायरेक्ट किए गए टारगेट पेज को प्रोसेस किया जाना चाहिए. 302 (found) डिफ़ॉल्ट रूप से, Google के क्रॉलर रीडायरेक्ट को फ़ॉलो करते हैं. साथ ही, Google के सिस्टम, रीडायरेक्ट का इस्तेमाल एक कमज़ोर सिग्नल के तौर पर यह बताने के लिए करते हैं कि रीडायरेक्ट की मदद से, उपयोगकर्ता जिस पेज पर पहुंचता है उसे प्रोसेस किया जाना चाहिए. अन्य प्रॉडक्ट, रीडायरेक्ट को अलग तरीके से हैंडल कर सकते हैं. 303 (see other) 304 (not modified) Google के क्रॉलर, अगले प्रोसेसिंग सिस्टम को यह सिग्नल भेजते हैं कि क्रॉल किया गया मौजूदा कॉन्टेंट और पिछली बार क्रॉल किया गया कॉन्टेंट एक जैसा है. Google Search के मामले में, इंडेक्स करने वाले सिस्टम, यूआरएल के लिए फिर से सिग्नल की जांच कर सकते हैं. हालांकि, स्टेटस कोड का, इंडेक्स करने की प्रक्रिया पर कोई असर नहीं पड़ता है. 307 (temporary redirect) 302 के बराबर. 308 (moved permanently) 301 के बराबर. Google Search इन स्टेटस कोड को एक जैसा ही मानता है. हालांकि, यह ध्यान रखें कि इन सभी स्टेटस कोड का मतलब अलग-अलग होता है. उस स्टेटस कोड का इस्तेमाल करें जो रीडायरेक्ट के लिए सही हो. ऐसा करने से, दूसरे क्लाइंट (जैसे, ऑनलाइन किताबें, पत्रिका वगैरह पढ़ने की सुविधा देने वाले डिवाइस या दूसरे सर्च इंजन) इसका फ़ायदा पा सकते हैं.
4xx (client errors)	Google, 4xx स्टेटस कोड दिखाने वाले यूआरएल के कॉन्टेंट का इस्तेमाल नहीं करता. अगर किसी यूआरएल का इस्तेमाल पहले किया गया था, लेकिन अब वह 4xx स्टेटस कोड दिखा रहा है, तो Google के सिस्टम समय के साथ उस यूआरएल का इस्तेमाल करना बंद कर देंगे. Google Search के मामले में, Google उन यूआरएल को इंडेक्स नहीं करता है जिनके लिए 4xx स्टेटस कोड मिलता है. साथ ही, अगर इंडेक्स किए गए यूआरएल के लिए 4xx स्टेटस कोड मिलता है, तो उन्हें इंडेक्स से हटा दिया जाता है. अगर यूआरएल से 4xx स्टेटस कोड मिलता है, तो Google ऐसे यूआरएल से मिले कॉन्टेंट को अनदेखा कर देता है. 400 (bad request) 429 को छोड़कर, सभी 4xx गड़बड़ियों को एक जैसा ही माना जाता है: Google के क्रॉलर, अगले प्रोसेसिंग सिस्टम को यह सूचना देते हैं कि कॉन्टेंट मौजूद नहीं है. अगर यूआरएल पहले से ही इंडेक्स में मौजूद है, तो Google Search के लिए इंडेक्स करने वाले सिस्टम उस यूआरएल को इंडेक्स से हटा देते हैं. 404 वाले ऐसे पेज जिनका पता पहली बार चला है, उन्हें प्रोसेस नहीं किया जाता है. क्रॉल करने की फ़्रीक्वेंसी, धीरे-धीरे कम होने लगती है. क्रॉल दर को सीमित करने के लिए, 401 और 403 स्टेटस कोड का इस्तेमाल न करें. 429 के अलावा, क्रॉल दर पर 4xx स्टेटस कोड का कोई असर नहीं पड़ता है. अपनी क्रॉल दर को सीमित करने का तरीका जानें. 401 (unauthorized) 403 (forbidden) 404 (not found) 410 (gone) 411 (length required) 429 (too many requests) Google के क्रॉलर को 429 स्टेटस कोड से यह पता चलता है कि सर्वर पर लोड ज़्यादा है. साथ ही, वह इसे सर्वर की गड़बड़ी मानते हैं.
5xx (server errors)	सर्वर की 5xx और 429 गड़बड़ियां होने पर, Google के क्रॉलर अपनी क्रॉल करने की प्रक्रिया को कुछ समय के लिए धीमा कर देते हैं. Google Search के लिए, पहले से इंडेक्स किए गए यूआरएल को इंडेक्स में सेव रखा जाता है, लेकिन बाद में उन्हें हटा दिया जाता है. अगर यूआरएल से 5xx स्टेटस कोड मिलता है, तो Google ऐसे यूआरएल से मिले कॉन्टेंट को अनदेखा कर देता है. robots.txt फ़ाइलों के लिए, जानें कि Google, 5xx स्टेटस कोड दिखाने वाली robots.txt फ़ाइल को कैसे हैंडल करता है. जब सर्वर, 2xx स्टेटस कोड के साथ जवाब देना शुरू कर देता है, तब Google धीरे-धीरे साइट के लिए क्रॉल रेट बढ़ा देता है. 500 (internal server error) Google, साइट के लिए क्रॉल दर को कम कर देता है. क्रॉल दर में कमी, उन सभी यूआरएल की संख्या के अनुपात में होती है जिनके लिए सर्वर की गड़बड़ी दिखती है. Google Search के लिए, इंडेक्स करने वाले Google के सिस्टम, इंडेक्स किए गए उन यूआरएल को हटा देते हैं जिनके लिए लगातार सर्वर की गड़बड़ी दिखती है. 502 (bad gateway) 503 (service unavailable)