robots.txt फ़ाइल अपडेट करना

Wix या Blogger जैसी, किसी साइट होस्ट करने वाली कंपनी की सेवा लेने पर, हो सकता है कि आपको robots.txt फ़ाइल में बदलाव करने की ज़रूरत ही न पड़े या आप बदलाव कर ही न पाएं. इसके बजाय, साइट को होस्ट करने वाली कंपनी, पेज की सेटिंग या दूसरे तरीकों का इस्तेमाल करके, सर्च इंजन काे यह बता सकती है कि आपका पेज क्रॉल करना है या नहीं.

अपने किसी पेज को सर्च इंजन पर दिखाने या उससे छिपाने के लिए, होस्टिंग की सेवा देने वाली कंपनी की उन सेटिंग से जुड़े निर्देश खोजें जो यह तय करते हैं कि आपके पेज किसको दिखेंगे. उदाहरण के लिए, "Wix पेज को सर्च इंजन से छिपाना" खोजें.

अपनी मौजूदा robots.txt फ़ाइल के नियमों को अपडेट करने के लिए, अपनी साइट से robots.txt फ़ाइल की कॉपी को डाउनलोड करें. इसके बाद, उसमें ज़रूरी बदलाव करें.

robots.txt फ़ाइल डाउनलोड करना

robots.txt फ़ाइल कई तरीकों से डाउनलोड की जा सकती है. उदाहरण के लिए:

• अपनी robots.txt फ़ाइल पर जाएं, जैसे कि https://example.com/robots.txt पर. फिर, इसके कॉन्टेंट को अपने कंप्यूटर पर, नई टेक्स्ट फ़ाइल में कॉपी करें. नई लोकल फ़ाइल बनाते समय, फ़ाइल फ़ॉर्मैट से जुड़े दिशा-निर्देशों का पालन ज़रूर करें.
• cURL जैसे टूल की मदद से, अपनी robots.txt फ़ाइल की कॉपी डाउनलोड करें. उदाहरण के लिए:

  curl https://example.com/robots.txt -o robots.txt

• अपनी robots.txt फ़ाइल के कॉन्टेंट को कॉपी करने के लिए, Search Console में robots.txt रिपोर्ट का इस्तेमाल करें. इसके बाद, इसे अपने कंप्यूटर पर किसी फ़ाइल में चिपकाया जा सकता है.

robots.txt फ़ाइल में बदलाव करना

नियमों में ज़रूरी बदलाव करने के लिए, साइट से डाउनलोड की गई robots txt फ़ाइल को टेक्स्ट एडिटर में खोलें. पक्का करें कि सही सिंटैक्स का इस्तेमाल हो रहा है. फ़ाइल को UTF-8 कोड में बदलकर ही सेव करें.

robots.txt फ़ाइल अपलोड करना

अपनी नई robots.txt फ़ाइल को robots.txt नाम वाली टेक्स्ट फ़ाइल के रूप में, अपनी साइट की रूट डायरेक्ट्री में अपलोड करें. साइट पर फ़ाइल अपलोड करने का तरीका बहुत हद तक आपके प्लैटफ़ॉर्म और सर्वर पर निर्भर करता है. अपनी साइट पर robots.txt फ़ाइल अपलोड करने का तरीका जानें.

अगर आपके पास अपनी साइट की रूट डायरेक्ट्री में फ़ाइलें अपलोड करने की अनुमति नहीं है, तो robots.txt फ़ाइल में बदलाव करने के लिए अपने डोमेन मैनेजर से संपर्क करें.

उदाहरण के लिए, अगर आपकी साइट का होम पेज subdomain.example.com/site/example/ में आता है, तो हो सकता है कि आप robots.txt फ़ाइल को subdomain.example.com/robots.txt पर अपडेट न कर पाएं. ऐसे में, robots.txt फ़ाइल में अहम बदलाव करने के लिए, example.com/ के मालिक से संपर्क करें.

Google की robots.txt फ़ाइलों की कैश मेमोरी रीफ़्रेश करना

अपने-आप क्रॉल होने की प्रोसेस के दौरान, Google के क्रॉलर आपकी robots.txt फ़ाइल में किए गए बदलावों को ध्यान में रखते हैं और हर 24 घंटे में कैश मेमोरी में सेव किए गए वर्शन को अपडेट करते रहते हैं. अगर आपको कैश मेमोरी को जल्दी अपडेट करना है, तो robots.txt रिपोर्ट के फिर से क्रॉल करने का अनुरोध करें फ़ंक्शन का इस्तेमाल करें.