संग्रह की मदद से व्यवस्थित रहें अपनी प्राथमिकताओं के आधार पर, कॉन्टेंट को सेव करें और कैटगरी में बांटें.

Googlebot और Google के अन्य क्रॉलर की पुष्टि करना

इस बात की पुष्टि की जा सकती है कि आपके सर्वर को ऐक्सेस करने वाला वेब क्रॉलर वाकई Googlebot जैसा कोई Google क्रॉलर है या नहीं. अगर आपको लगता है कि स्पैम करने वाले या समस्या पैदा करने वाले अन्य लोग, Googlebot होने का दावा करके आपकी साइट को ऐक्सेस कर रहे हैं, तो इस विकल्प के इस्तेमाल से मदद मिल सकती है.

Google के क्रॉलर की पुष्टि करने के दो तरीके हैं:

  • मैन्युअल तौर पर: एक बार में होने वाले लुकअप के लिए, कमांड लाइन टूल का इस्तेमाल करें. उपयोग के ज़्यादातर उदाहरणों में इस तरीके से काम हो जाता है.
  • ऑटोमैटिक तौर पर: बड़े पैमाने पर होने वाले लुकअप के मामलों में, क्रॉलर के आईपी पते का मिलान, Googlebot के पब्लिश किए गए आईपी पतों से करने के लिए ऑटोमैटिक तरीके का इस्तेमाल करें.

कमांड लाइन टूल इस्तेमाल करना

  1. host निर्देश का इस्तेमाल करके, अपने लॉग में दिए गए उस आईपी पते पर रिवर्स डीएनएस लुकअप चलाएं जो आपके सर्वर को ऐक्सेस करता है.
  2. पुष्टि करें कि डोमेन नाम googlebot.com या google.com है.
  3. फिर से मिले डोमेन नाम में host निर्देश का इस्तेमाल करके, पहले चरण में मिले डोमेन के नाम पर फ़ॉरवर्ड डीएनएस लुकअप चलाएं.
  4. पुष्टि करें कि यह आपके लॉग में शामिल, ऐक्सेस करने वाले मूल आईपी पते के समान हो.

पहला उदाहरण:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

दूसरा उदाहरण:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

तीसरा उदाहरण:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

ऑटोमैटिक तरीके का इस्तेमाल करना

इसके अलावा, Googlebot की पहचान आईपी पते से की जा सकती है. इसके लिए, क्रॉलर के आईपी पते का मिलान Googlebot के आईपी पतों की सूची से करें. अगर आपकी साइट को Google के अन्य आईपी पतों से ऐक्सेस किया जा रहा है (उदाहरण के लिए, उपयोगकर्ता के अनुरोध या ऐप्लिकेशन स्क्रिप्ट से), तो ऐसे पतों की पहचान करने के लिए, ऐक्सेस करने वाले आईपी पते का मिलान Google के आईपी पतों की सूची से करें.