Googlebot और Google के अन्य क्रॉलर की पुष्टि करना

इस बात की पुष्टि की जा सकती है कि आपके सर्वर को ऐक्सेस करने वाला वेब क्रॉलर वाकई Googlebot जैसा कोई Google क्रॉलर है या नहीं. अगर आपको लगता है कि स्पैम करने वाले या समस्या पैदा करने वाले अन्य लोग, Googlebot होने का दावा करके आपकी साइट को ऐक्सेस कर रहे हैं, तो इस विकल्प के इस्तेमाल से मदद मिल सकती है.

Google के क्रॉलर की पुष्टि करने के दो तरीके हैं:

मैन्युअल तरीका: एक बार में होने वाले लुकअप के लिए, कमांड लाइन टूल का इस्तेमाल करें. ज़्यादातर मामलों में यह तरीका काम करता है.
ऑटोमैटिक तरीका: बड़े पैमाने पर होने वाले लुकअप के मामलों में ऑटोमैटिक तरीके का इस्तेमाल करके, क्रॉलर के आईपी पते का मिलान Googlebot के पब्लिश किए गए आईपी पतों से करें.

कमांड लाइन टूल इस्तेमाल करना

host निर्देश का इस्तेमाल करके, अपने लॉग में दिए गए उस आईपी पते पर रिवर्स डीएनएस लुकअप चलाएं जो आपके सर्वर को ऐक्सेस करता है.
पुष्टि करें कि डोमेन नेम googlebot.com या google.com है.
फिर से मिले डोमेन नेम में host निर्देश का इस्तेमाल करके, पहले चरण में मिले डोमेन के नाम पर फ़ॉरवर्ड डीएनएस लुकअप चलाएं.
पुष्टि करें कि यह आपके लॉग में शामिल, ऐक्सेस करने वाले मूल आईपी पते के समान हो.

पहला उदाहरण:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

दूसरा उदाहरण:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

तीसरा उदाहरण:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

ऑटोमैटिक तरीके का इस्तेमाल करना

इसके अलावा, Googlebot की पहचान आईपी पते से की जा सकती है. इसके लिए, क्रॉलर के आईपी पते का मिलान Googlebot के आईपी पतों की सूची से करें. अगर आपकी साइट को Google के अन्य आईपी पतों से ऐक्सेस किया जा रहा है (उदाहरण के लिए, उपयोगकर्ता के अनुरोध या ऐप्लिकेशन स्क्रिप्ट से), तो ऐसे पतों की पहचान करने के लिए, ऐक्सेस करने वाले आईपी पते का मिलान Google के आईपी पतों की सूची से करें. ध्यान दें कि JSON फ़ाइलों में आईपी पते, सीआईडीआर फ़ॉर्मैट में दिखाए जाते हैं.