अपने ऑरिजिन पर ज़्यादा दबाव डाले बिना या Googlebot को ब्लॉक किए बिना, सीडीएन पर माइग्रेट करना

बुधवार, 11 नवंबर, 2026

अपनी साइट की ऐसेट को दुनिया भर में मौजूद तेज़ और उपयोगकर्ताओं के आस-पास मौजूद एज सर्वर पर डिस्ट्रिब्यूट करने के लिए, कॉन्टेंट डिलीवरी नेटवर्क (सीडीएन) को डिप्लॉय करना, आगे बढ़ रही किसी भी साइट के लिए एक बड़ा अपग्रेड हो सकता है: इससे विज़िटर के लिए इंतज़ार का समय कम होता है. साथ ही, आपके मूल सर्वर (आपके ओरिजनल कॉन्टेंट को सेव करने वाला बैकएंड सोर्स) को भारी ट्रैफ़िक से बचाया जा सकता है.

यह तो बढ़िया है, है ना? ठीक है... ट्रांज़िशन फ़ेज़ थोड़ा अजीब हो सकता है.

कभी-कभी हमें साइट के मालिकों से पता चलता है कि अपनी साइट को सीडीएन के पीछे रखने के तुरंत बाद, उनके सर्वर पर क्रॉलर ट्रैफ़िक अचानक बढ़ जाता है. वे इसी समस्या को ठीक करने की कोशिश कर रहे थे. इन एज सर्वर के कैश मेमोरी में डेटा भरने से पहले, उपयोगकर्ता की विज़िट और क्रॉलर के अनुरोधों को अब भी सीधे ऑरिजिन से फ़ेच करना ज़रूरी है.

सीडीएन पर माइग्रेट करते समय, यह जानना ज़रूरी है कि क्रॉल बजट कैसे काम करता है. साथ ही, आपातकालीन स्थितियों में Google की क्रॉल दर को कैसे कम किया जाए. इस ब्लॉग पोस्ट का मकसद, आपको यह बताना है कि इस तरह के बदलाव से क्या उम्मीद की जा सकती है और इसमें किस तरह की चुनौतियां आ सकती हैं. इसलिए, हमने The Non-Canonical Cabinet के पांचवें एपिसोड में, इस बदलाव को नेविगेट करने का तरीका बताया है. अगर आपने कभी सीडीएन का इस्तेमाल किया है और आपको नए ट्रैफ़िक के बारे में जानना है या आपको अपनी साइट को Search से गलती से बाहर होने से बचाना है, तो यह लेख आपके लिए है!

सभी चीज़ो को एक साथ क्रॉल क्यों किया जा रहा है?

सीडीएन पर स्विच करने पर, क्रॉलर ट्रैफ़िक में बढ़ोतरी हो सकती है. ऐसा इसलिए होता है, क्योंकि Google का क्रॉलिंग इन्फ़्रास्ट्रक्चर आपकी साइट को क्रॉल करने की क्षमता की सीमा का हिसाब लगाता है. इसे होस्टलोड भी कहा जाता है:

  • जवाब देने में ज़्यादा समय लगने से, क्रॉल दर कम हो जाती है. Google का ऑटोमेटेड क्रॉलिंग इन्फ़्रास्ट्रक्चर, आपके होस्ट सर्वर की परफ़ॉर्मेंस और रिस्पॉन्सिवनेस पर लगातार नज़र रखता है. जब जवाब मिलने में ज़्यादा समय लगता है, तो हमारे क्रॉलर धीमे हो जाते हैं. इससे आपके सर्वर पर ज़्यादा लोड नहीं पड़ता और आपकी साइट पर उपयोगकर्ता अनुभव खराब नहीं होता.
  • तेज़ और स्टेबल रिस्पॉन्स से, क्रॉल करने की स्पीड बढ़ जाती है. जब कोई सर्वर तेज़ी से और लगातार जवाब देता है, तो हमारे सिस्टम उस स्पीड को एक अच्छे और सक्षम इन्फ़्रास्ट्रक्चर की निशानी मानते हैं. अगर क्रॉल करने की ज़रूरत है, तो क्रॉल करने की क्षमता की सीमा धीरे-धीरे बढ़ जाती है.

जैसे ही आपका डीएनएस किसी तेज़ सीडीएन एज नेटवर्क पर ले जाता है, कनेक्शन और रिस्पॉन्स टाइम में काफ़ी कमी आती है. हमारे क्रॉलिंग सिस्टम को ऐसा लगता है कि आपके सर्वर के हार्डवेयर को अभी-अभी बड़े पैमाने पर अपग्रेड किया गया है. इसलिए, हमारे क्रॉलर आपके सर्वर के हिसाब से अनुरोध दर को बढ़ाना शुरू कर देते हैं.

समस्या. एज सर्वर पर कैश डेटा मौजूद नहीं है.

अगर सीडीएन ने उन सभी अनुरोधों को एज पर ही पूरा कर दिया, तो क्रॉल दर ज़्यादा होने से कोई समस्या नहीं होगी. इसमें एक समस्या यह है कि एकदम नए सीडीएन की शुरुआत खाली (कोल्ड) कैश मेमोरी से होती है.

किसी एज लोकेशन पर यूआरएल के लिए किए गए पहले अनुरोध पर, सीडीएन के पास उस ऐसेट (एचटीएमएल दस्तावेज़, सीएसएस, JavaScript, इमेज वगैरह) की कॉपी नहीं होती. इसे कैश मेमोरी में डेटा न मिलना कहते हैं. अनुरोध को पूरा करने के लिए, एज सर्वर को आपके ऑरिजिन सर्वर पर वापस जाना पड़ता है, रिस्पॉन्स फ़ेच करना पड़ता है, कैश मेमोरी में सेव की जा सकने वाली कॉपी को सेव करना पड़ता है, और फिर क्लाइंट को दिखाना पड़ता है. कैश मेमोरी में सेव किए गए उसी यूआरएल के लिए बाद में किए गए अनुरोध ही कैश हिट बन जाते हैं. इन्हें आपके ऑरिजिन पर लोड डाले बिना, सीधे एज से दिखाया जाता है. (हमारे वीडियो में, एज सर्वर को रबड़ के चिकन के तौर पर दिखाया गया है. यह चिकन, स्टिकी नोट के स्टैक के पास आगे-पीछे घूम रहा है. नेटवर्किंग डायग्राम, विषय के हिसाब से अलग-अलग होते हैं.)

सीडीएन लॉन्च के दौरान, असल समस्या अब भी मूल सर्वर ही है.

आम तौर पर, वेबसाइट पर आने वाले लोग कुछ लोकप्रिय पेजों पर ही जाते हैं. जैसे, आपका होम पेज, सबसे लोकप्रिय लेख या चालू प्रमोशन. ये पेज, सीडीएन कैश मेमोरी में जल्दी लोड हो जाते हैं. क्रॉलर इसके बिलकुल उलट काम करते हैं. इनका काम, आपके यूआरएल इन्वेंट्री की पूरी रेंज को व्यवस्थित तरीके से एक्सप्लोर करना है.

अब इन दोनों व्यवहारों को जोड़ें:

  1. तेज़ एज रिस्पॉन्स से Google के क्रॉलर को यह सिग्नल मिलता है कि तेज़ी से क्रॉल करना सुरक्षित है.
  2. जब क्रॉलर पहली बार उतनी बड़ी संख्या में यूआरएल को क्रॉल करते हैं, तो कैश मेमोरी में सेव न किया गया हर यूआरएल, कैश मेमोरी में सेव न होने की गड़बड़ी को ट्रिगर करता है. यह गड़बड़ी सीधे आपके मूल सर्वर पर पहुंचती है.

क्रॉलर अपनी क्रॉल दर को तुरंत नहीं बढ़ाते हैं. साथ ही, कई सीडीएन में पहले से ही कनेक्शन पेसिंग की सुविधा शामिल होती है. इससे ट्रैफ़िक में होने वाली बढ़ोतरी को आसानी से मैनेज किया जा सकता है. इसके बावजूद, जब तक आपकी एज कैश मेमोरी में डेटा स्टोर नहीं हो जाता (वॉर्म अप नहीं हो जाते), तब तक आपका सीडीएन शील्ड के तौर पर काम नहीं करता. ऐसे में, आपका मूल सर्वर ही सारा लोड उठा रहा होता है.

यहां क्रॉल करने की अनुमति नहीं है! जब बॉट से सुरक्षा देने वाली सुविधा ज़रूरत से ज़्यादा बढ़ जाए

माइग्रेशन के तुरंत बाद, ओरिजन लॉग में अपने-आप होने वाले अनुरोधों में अचानक बढ़ोतरी देखकर, एडमिन परेशान हो सकते हैं. ऐसा तब होता है, जब उन्हें यह न पता हो कि ऐसा क्यों हो रहा है. कैश मेमोरी के वॉर्म अप होने पर, अनुरोधों के ग्राफ़ में बढ़ोतरी देखना और सीडीएन डैशबोर्ड में लॉग इन करके, बॉट से सुरक्षा की सुविधा चालू करके इसे ठीक करने की कोशिश करना, एक आम बात है. चेरी के शब्दों में कहें, तो "बॉट को पास नहीं होने दिया जाएगा"!

एक नकली कैप्चा चैलेंज, जिसमें ट्रैफ़िक लाइट और रबड़ चिकन की ग्रिड से, ट्रैफ़िक लाइट वाले सभी स्क्वेयर चुनने के लिए कहा गया है

सभी के लिए एक जैसे सुरक्षा नियमों की समस्या उनके नाम में ही है: बिना किसी छूट के, वे सभी ऑटोमेटेड ट्रैफ़िक को एक जैसा मानते हैं. इसमें उन क्रॉलर का ट्रैफ़िक भी शामिल है जो आपके लिए ज़रूरी हैं. जब कोई सीडीएन या वेब ऐप्लिकेशन फ़ायरवॉल (WAF), ऑटोमेटेड अनुरोधों को फ़्लैग करता है और उन्हें कैप्चा जैसी चुनौती के साथ रोकता है, तो Google के क्रॉलर टेस्ट में फ़ेल हो जाते हैं. (Googlebot के पास कई खूबियां हैं. हालांकि, ट्रैफ़िक लाइट और रबड़ चिकन को पहचानना उनमें से एक नहीं है. कभी-कभी तो गैरी भी इन्हें हल नहीं कर पाते.)

अगर आपने पुष्टि किए गए क्रॉलर को छूट दिए बिना, बॉट से सुरक्षा देने वाली सुविधा को चालू रखा है, तो क्रॉलर गड़बड़ी वाले पेज पर अटक जाते हैं. यह पेज, Search या क्रॉल किए गए डेटा पर निर्भर रहने वाले अन्य प्रॉडक्ट के लिए काम का नहीं होता. हमारे हिसाब से, आपकी वेबसाइट जान-बूझकर प्रतिबंधित की गई है या वह काम नहीं कर रही है. अगर यह सुरक्षा सुविधा ऐसे ही चालू रहती है, तो हमारे क्रॉलर क्रॉल करना कम कर देंगे. इसके बाद, आपके पेज, शॉपिंग लिस्टिंग, और रबड़ चिकन की तस्वीरें, Search के नतीजों से हटने लगेंगी.

अपने सीडीएन को ट्रेन करने का तरीका (अपने ऑरिजिन को नुकसान पहुंचाए बिना)

सीडीएन को डिप्लॉय करने के लिए, आपको किसी फ़ायर मार्शल को नौकरी पर रखने की ज़रूरत नहीं है. आपको सही उम्मीदें और गेम प्लान की ज़रूरत है, जैसे कि:

  1. अगर आपको बॉट ब्लॉक करने हैं, तो अपने सीडीएन और फ़ायरवॉल की सेटिंग में जाकर, पुष्टि किए गए बॉट को अनुमति दें. ज़्यादातर मुख्य सीडीएन और डब्ल्यूएएफ़ में, जाने-पहचाने / पुष्टि किए गए बॉट को अनुमति देने के लिए, पहले से मौजूद टॉगल या मैनेज किया गया नियम होता है. इससे आपके पसंदीदा क्रॉलर, कैप्चा चैलेंज को बायपास कर पाते हैं. साथ ही, अनचाहे ट्रैफ़िक को फ़िल्टर किया जा सकता है. Google की पब्लिश की गई आईपी रेंज की मदद से, हमारे क्रॉलर की पहचान की जा सकती है. इससे भी बेहतर तरीका यह है कि अपनी robots.txt फ़ाइल को कॉन्फ़िगर करें या नियमों का इस्तेमाल करके, उन बॉट को टारगेट करें जिन्हें आपको ब्लॉक करना है. इससे आपको सभी ऑटोमेटेड क्लाइंट को ब्लॉक नहीं करना पड़ेगा.
  2. अपने कैश को पहले से वॉर्म करें. नए सीडीएन के ज़रिए सारा ट्रैफ़िक भेजने से पहले, प्रोग्राम के हिसाब से सबसे ज़्यादा ट्रैफ़िक वाले पेजों (जैसे कि प्रमोशनल या सीज़नल लॉन्च) और सबसे ज़्यादा क्रॉल किए गए यूआरएल को, कंट्रोल की गई रफ़्तार से सीडीएन से फ़ेच करें. इससे एज कैश ट्रैफ़िक को मैनेज करने के लिए पूरी तरह तैयार हो जाएंगे. अगर गैरी की तरह आपके भी दोस्त हैं, तो उनसे दो अलग-अलग यूआरएल ऐक्सेस करने के लिए कहें. इससे भी काम बन जाएगा.
  3. अगर आपको कुछ समय के लिए ब्रेक चाहिए, तो 429 या 503 का इस्तेमाल करें. अगर कैश मेमोरी के वॉर्म अप होने के दौरान, क्रॉल वॉल्यूम की वजह से आपके ऑरिजिन पर अब भी ज़्यादा लोड पड़ रहा है, तो अपने सर्वर या सीडीएन के लिए अनुरोध संख्या सीमित करने के नियम कॉन्फ़िगर करें. इससे कुछ समय (कुछ घंटे या ज़्यादा से ज़्यादा एक-दो दिन) के लिए, 429 (Too Many Requests) या 503 (Service Unavailable) एचटीटीपी स्टेटस कोड दिखेगा. इसके बारे में, Google की क्रॉल दर को तुरंत कम करने की हमारी गाइड में बताया गया है.

रीकैप में 'बहुत ज़्यादा शब्द हैं, पढ़ा नहीं गया' ('बहुत ज़्यादा शब्द हैं, पढ़ा नहीं गया' को आखिर में कौन रखता है?!)

सीडीएन पर माइग्रेट करते समय, इन तीन बातों का ध्यान रखें:

  • तेज़ी से रिस्पॉन्स मिलने का मतलब है कि क्रॉलिंग तेज़ी से होगी: सीडीएन एज लेटेंसी कम होने से, Google के क्रॉलर को यह सिग्नल मिलता है कि आपकी साइट सही तरीके से काम कर रही है और ज़्यादा क्रॉल दर को हैंडल कर सकती है.
  • कैश मेमोरी सिर्फ़ दूसरी बार विज़िट करने पर आपकी सुरक्षा करती है: कोल्ड कैश मेमोरी में, हर यूनीक यूआरएल के लिए पहला अनुरोध, कैश मेमोरी में मौजूद नहीं होता. यह अनुरोध सीधे आपके मूल सर्वर पर जाता है. जहां हो सके वहां अपनी कैश मेमोरी को पहले से वॉर्म करें.
  • अगर ज़रूरी हो, तो पुष्टि किए गए क्रॉलर को बॉट चैलेंज से छूट दें: WAF या कैप्चा के सामान्य नियमों की वजह से, Google के क्रॉलर को 403 वॉल या चैलेंज पेजों से ब्लॉक न करें. पुष्टि किए गए बॉट को छूट दें. अगर आपके ऑरिजिन को वाकई कुछ समय के लिए राहत चाहिए, तो कुछ समय के लिए 429 या 503 रिस्पॉन्स का इस्तेमाल करें.

क्या आपका मनोरंजन नहीं हुआ? एपिसोड देखें!

The Non-Canonical Cabinet के सीज़न 1 का फ़िनाले (एपिसोड 5) देखें! हम नेटवर्क आर्किटेक्चर को समझाने के लिए, प्लास्टिक से बनी कंस्ट्रक्शन हार्ड हैट, धुआं छोड़ती हुई फ़ाइलिंग कैबिनेट, और रबड़ चिकन का इस्तेमाल करते हैं. यह चिकन, एज सर्वर के तौर पर काम करता है. हमें पूरा भरोसा है कि इनमें से कोई भी चीज़, हमारे मूल काम के ब्यौरे में शामिल नहीं थी.

क्या आपको सीज़न 1 के सभी एपिसोड देखने हैं? हमने यूआरएल और robots.txt को ब्रेक करने की कोशिश की. हमने 404 और रीडायरेक्ट के बारे में काफ़ी बात की. सभी पांच एपिसोड देखें. हम गारंटी देते हैं कि आपको पोल्ट्री से जुड़े कई आइटम मिलेंगे.

क्या आपके पास कोई ऐसा अनोखा एज केस है जिसे हम अगले सीज़न में अपनी (थोड़ी झुलसी हुई) कैबिनेट से निकालें? हालांकि, इसके लिए बजट की मंज़ूरी मिलना बाकी है. वीडियो पर टिप्पणी करें.

अपने कैश को वॉर्म रखें, फ़ायरवॉल को व्यवस्थित रखें, और रबड़ चिकन बबल-रैप करके रखें!