Google के क्रॉलर के लिए, नेटवर्क और डीएनएस की गड़बड़ियों को डीबग करना

नेटवर्क और डीएनएस की गड़बड़ियां होने पर, Google के किसी यूआरएल को सही तरीके से क्रॉल करने की क्षमता पर इनका तुरंत और गलत असर पड़ता है. Google, नेटवर्क के टाइम आउट होने, कनेक्शन रीसेट करने, और डीएनएस की गड़बड़ियों को 5xx सर्वर की गड़बड़ियों की तरह ही मानता है. नेटवर्क की गड़बड़ियां होने पर, क्रॉल करने की प्रक्रिया तुरंत धीमी होने लगती है. ऐसा इसलिए होता है, क्योंकि नेटवर्क की गड़बड़ी मौजूद होने से यह पता चलता है कि शायद सर्वर, आने वाले लोड को मैनेज नहीं कर पा रहा है. Google, साइट को होस्ट करने वाले सर्वर तक नहीं पहुंच पाता है. इसलिए, Google को सर्वर से कोई कॉन्टेंट नहीं मिलता है.

Google Search के लिए कॉन्टेंट की कमी की वजह से, Google क्रॉल किए गए यूआरएल को इंडेक्स नहीं कर सकता. साथ ही, इंडेक्स हो चुके जिन यूआरएल को ऐक्सेस नहीं किया जा सकता उन्हें Google के इंडेक्स से कुछ ही दिनों में हटा दिया जाएगा. Search Console हर गड़बड़ी के लिए, गड़बड़ी से जुड़े कई मैसेज जनरेट कर सकता है.

नेटवर्क की गड़बड़ियों को डीबग करना

जब Google किसी यूआरएल को क्रॉल कर रहा होता है, तो ये गड़बड़ियां होती हैं. ये गड़बड़ियां, क्रॉल करने की प्रक्रिया से पहले भी होती हैं. इस तरह की गड़बड़ियां, सर्वर के जवाब देने से पहले ही सामने आ सकती हैं. इस वजह से, गड़बड़ियों की पहचान करने के लिए कोई स्टेटस कोड जनरेट नहीं होता है. इसलिए, इन गड़बड़ियों के बारे में पता करना ज़्यादा मुश्किल हो सकता है. टाइम आउट और कनेक्शन के रीसेट होने से जुड़ी गड़बड़ियों को डीबग करने के लिए:

अपनी फ़ायरवॉल की सेटिंग और लॉग देखें. हो सकता है कि वहां नियमों का ऐसा सेट मौजूद हो जो ज़्यादातर आईपी पतों को क्राॅल होने से रोकता हो. पक्का करें कि Google के आईपी पतों को फ़ायरवॉल के किसी भी नियम से ब्लॉक न किया गया हो.
नेटवर्क ट्रैफ़िक की जांच करें. tcpdump और Wireshark जैसे टूल का इस्तेमाल करके, टीसीपी पैकेट को कैप्चर करें और उनका विश्लेषण करें. इन टूल की मदद से, ऐसी अनियमितताओं का पता लगाया जा सकता है जो नेटवर्क के किसी खास हिस्से या किसी सर्वर मॉड्यूल के बारे में बताती हों.
किसी भी संदिग्ध गतिविधि का पता न चलने पर, होस्टिंग की सेवा देने वाली कंपनी से संपर्क करें.

सर्वर के ऐसे किसी भी हिस्से में गड़बड़ी हो सकती है जो नेटवर्क के ट्रैफ़िक को मैनेज करता हो. उदाहरण के लिए, कुछ नेटवर्क इंटरफ़ेस बहुत लोड होने की वजह से सभी पैकेट ट्रांसफ़र नहीं कर पाते हैं. इस वजह से टाइम आउट (कनेक्शन न बना पाना) की स्थिति बनती है और कनेक्शन भी रीसेट होते हैं (RST पैकेट भेजा जाता है, क्योंकि एक पोर्ट गलती से बंद हो जाता है).

डीएनएस की गड़बड़ियों को डीबग करना

आम तौर पर, डीएनएस की गड़बड़ियां गलत कॉन्फ़िगरेशन की वजह से होती हैं. हालांकि, Google की डीएनएस क्वेरी को ब्लॉक करने वाले किसी फ़ायरवॉल नियम की वजह से भी ये गड़बड़ियां हो सकती हैं. डीएनएस की गड़बड़ियों को डीबग करने के लिए, ये करें:

अपने फ़ायरवॉल के नियमों की जांच करें. पक्का करें कि Google के किसी भी आईपी पते को फ़ायरवॉल के किसी नियम से ब्लॉक न किया गया हो. इसके अलावा, यह भी पक्का करें कि UDP और TCP, दोनों अनुरोधों को अनुमति दी गई हो.
अपने डीएनएस रिकॉर्ड की जांच करें. यह पक्का करें कि आपका A रिकॉर्ड, सही आईपी पते और CNAME रिकॉर्ड, सही होस्टनेम पर ले जा रहे हों. उदाहरण के लिए:
```
dig +nocmd example.com a +noall +answer
```
```
dig +nocmd www.example.com cname +noall +answer
```

यह जांच करें कि आपके सभी नाम सर्वर, आपकी साइट के सही आईपी पतों पर ले जा रहे हों. उदाहरण के लिए:

dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...

अगर आपने पिछले 72 घंटों में अपने डीएनएस कॉन्फ़िगरेशन में बदलाव किए हैं, तो हो सकता है कि पूरी दुनिया में मौजूद डीएनएस नेटवर्क पर, इन बदलावों को लागू होने में कुछ समय लगे. आपके पास Google की सार्वजनिक डीएनएस कैश मेमोरी को रीफ़्रेश करके, इन बदलावों के लागू होने की गति को बढ़ाने का विकल्प है.
अगर आपका खुद का डीएनएस सर्वर है, तो पक्का करें कि वह ठीक हो और उस पर ज़रूरत से ज़्यादा लोड न हो.