शुक्रवार, 30 अक्टूबर, 2026
आज हम robots.txt में शेयर किए गए एआई ट्रेनिंग कंट्रोल के लिए सहायता उपलब्ध कराने के अपने प्लान के बारे में बता रहे हैं. इससे वेबसाइटों को एक ही चरण में, कई एआई प्रोवाइडर के लिए एआई ट्रेनिंग से जुड़ी अपनी प्राथमिकताएं तय करने में मदद मिलेगी. यह इंटरनेट इंजीनियरिंग टास्क फ़ोर्स (आईईटीएफ़) के AIPREF वर्किंग ग्रुप के काम पर आधारित है. यह वेबसाइट के मालिकों को साफ़ तौर पर कंट्रोल उपलब्ध कराने के हमारे लंबे इतिहास पर आधारित है. इसमें Google-Extended भी शामिल है. यह एआई ट्रेनिंग कंट्रोल है, जिसे हमने 2023 से उपलब्ध कराया है.
नया कंट्रोल कैसे काम करेगा
वेबसाइट के मालिकों को हर एआई डेवलपर के लिए अलग-अलग निर्देश मैनेज करने की ज़रूरत नहीं होगी. इसके बजाय, वेबसाइट के मालिक robots.txt में शेयर किए गए 'पॉलिसी टोकन' का इस्तेमाल करके, हिस्सा लेने वाले एआई प्रोवाइडर के लिए व्यापक तौर पर प्राथमिकताएं सेट कर पाएंगे.
जब कोई वेबसाइट, अपनी robots.txt फ़ाइल में ट्रेनिंग से बाहर निकलने के लिए इस पॉलिसी टोकन का इस्तेमाल करती है (और Google-Extended के बारे में साफ़ तौर पर नहीं बताया गया है), तो Google इसे इस तरह से समझेगा कि पब्लिशर ने Google-Extended को अनुमति नहीं दी है. अन्य एआई प्रोवाइडर भी इसे इसी तरह मैनेज कर सकते हैं. इससे वेबसाइट के मालिकों के लिए, सभी प्रोवाइडर की एआई ट्रेनिंग से बाहर निकलना या अपनी पसंद के हिसाब से उन्हें चुनना आसान हो जाता है.
कंपनी के हिसाब से मौजूदा कंट्रोल, इस नए जॉइंट सिग्नल के साथ काम करते रहेंगे. इसलिए, वेबसाइट के मालिक इंडस्ट्री सिग्नल का इस्तेमाल करके, आसानी से अपनी पसंद के बारे में बता सकते हैं. साथ ही, Google-Extended जैसे कंट्रोल के ज़रिए, Google जैसे अलग-अलग एआई डेवलपर के लिए अपने निर्देशों को पसंद के मुताबिक बना सकते हैं. जिन वेबसाइटों पर Google-Extended को अनुमति दी गई है वे Gemini Apps में ग्राउंडिंग के ज़रिए रिस्पॉन्स में दिख सकती हैं और उन पर क्लिक किए जा सकते हैं.
इस नए तरीके से, वेबसाइट के मालिकों को आईईटीएफ़ में तय की गई एआई ट्रेनिंग की परिभाषा का फ़ायदा मिलता है. हालांकि, AIPREF की बाकी शब्दावली पर अलग-अलग स्टेकहोल्डर के बीच चर्चा जारी है. जैसे-जैसे इंडस्ट्री के ज़्यादा से ज़्यादा लोग इस तरीके को अपनाएंगे, वैसे-वैसे वेबसाइट के मालिकों को प्राथमिकता सिग्नल का ऐक्सेस जल्दी और बढ़ते दायरे में मिलेगा.
इस ड्राफ़्ट प्रपोज़ल में, पब्लिशर, सिविल सोसायटी ग्रुप, रेगुलेटर, और अन्य स्टेकहोल्डर से मिले सुझाव, राय या शिकायत को शामिल किया गया है. इन्होंने एआई ट्रेनिंग पर इंडस्ट्री-वाइड कंट्रोल की मांग की है. प्रमुख एआई प्रोवाइडर के इस प्रपोज़ल को स्वीकार करने से, आने वाले समय में एक ऐसा स्टैंडर्ड तैयार होगा जो क्रॉस-इंडस्ट्री, मज़बूत, और लंबे समय तक काम करने वाला होगा. यह प्रपोज़ल, ईयू एआई ऐक्ट के तहत, सामान्य कामों के लिए एआई (जीपीएआई) मॉडल उपलब्ध कराने वाली कंपनियों के लिए ईयू नियमों के पालन से जुड़े निर्देश के मुताबिक है. इसमें robots.txt को वेब पब्लिशर के लिए, ऐसी प्राथमिकताएं तय करने के मुख्य तरीके के तौर पर स्वीकार किया गया है जिससे डेटा या जानकारी को मशीन आसानी से पढ़ सके. हम आईईटीएफ़ वर्किंग ग्रुप के ज़रिए, इसे बेहतर बनाने और स्टैंडर्ड बनाने के लिए इन स्टेकहोल्डर के साथ काम करना जारी रखेंगे.
हमारा मकसद, साल 2027 में अन्य एआई प्रोवाइडर के साथ इस नए कंट्रोल को उपलब्ध कराना है. हम अपनी प्रोग्रेस के बारे में अपडेट देते रहेंगे.