मशीन लर्निंग ग्लॉसरी: भाषा का मूल्यांकन

इस पेज पर, भाषा के आकलन से जुड़ी ग्लॉसरी वाले शब्द मौजूद हैं. शब्दावली के सभी शब्दों के लिए, यहां क्लिक करें.

जवाब

ध्यान देना

#language

न्यूरल नेटवर्क में इस्तेमाल किया जाने वाला एक तरीका, जो किसी शब्द या शब्द के हिस्से की अहमियत बताता है. ध्यान दें, उस जानकारी को कम कर दिया जाता है जो मॉडल को अगले टोकन/शब्द का अनुमान लगाने के लिए ज़रूरी होती है. ध्यान देने के सामान्य तरीके में, इनपुट के एक सेट के ऊपर वेटेड योग का इस्तेमाल किया जा सकता है. यहां हर इनपुट के लिए वेट का हिसाब, न्यूरल नेटवर्क का कोई दूसरा हिस्सा कैलकुलेट करता है.

सेल्फ़-अटेंशन और कई बार सेल्फ़-अटेंशन की सुविधा भी देखें. ये ट्रांसफ़ॉर्मर बनाने के मुख्य ब्लॉक हैं.

ऑटो-एन्कोडर

#language

#image

ऐसा सिस्टम जो इनपुट से सबसे अहम जानकारी निकालने के बारे में सीखता है. ऑटोएनकोडर, एन्कोडर और डीकोडर के कॉम्बिनेशन होते हैं. ऑटोएन्कोडर, नीचे दी गई दो चरणों वाली प्रोसेस पर निर्भर करते हैं:

1. एन्कोडर, इनपुट को (आम तौर पर) नुकसान पहुंचाने वाले लोअर डाइमेंशन (इंटरमीडिएट) फ़ॉर्मैट में मैप करता है.
2. डिकोडर, कम डाइमेंशन वाले फ़ॉर्मैट को हाई-डाइमेंशन इनपुट फ़ॉर्मैट से मैप करके, ओरिजनल इनपुट का नुकसानदेह वर्शन बनाता है.

ऑटोकोडर को एंड-टू-एंड ट्रेनिंग दी जाती है. इसके लिए, डिकोडर टूल की मदद से, एन्कोडर के इंटरमीडिएट फ़ॉर्मैट से ओरिजनल इनपुट को हर तरह के रखने की कोशिश की जाती है. इंटरमीडिएट फ़ॉर्मैट, ओरिजनल फ़ॉर्मैट की तुलना में छोटा (लोअर-डाइमेंशन) होता है. इसलिए, ऑटोएनकोडर को यह सीखने के लिए मजबूर किया जाता है कि इनपुट में कौनसी जानकारी ज़रूरी है और आउटपुट इनपुट से पूरी तरह मेल नहीं खाता.

उदाहरण के लिए:

• अगर इनपुट डेटा ग्राफ़िक है, तो बिलकुल सटीक कॉपी मूल ग्राफ़िक की तरह होगी, लेकिन कुछ हद तक उसमें बदलाव किया गया होगा. ऐसा भी हो सकता है कि सटीक कॉपी न होने पर ओरिजनल ग्राफ़िक से शोर को हटा दें या कुछ पिक्सल में जानकारी भर दें.
• अगर इनपुट डेटा टेक्स्ट है, तो ऑटोएन्कोडर ऐसा नया टेक्स्ट जनरेट करेगा जो ओरिजनल टेक्स्ट की नकल करता हो, लेकिन ओरिजनल टेक्स्ट जैसा न हो.

अलग-अलग तरह के ऑटोएन्कोडर भी देखें.

ऑटो-रिग्रेसिव मॉडल

#language

#image

#generativeAI

ऐसा model जो अपने पिछले अनुमानों के आधार पर किसी अनुमान का अनुमान लगाता है. उदाहरण के लिए, ऑटो-रिग्रेसिव लैंग्वेज मॉडल, पहले अनुमानित टोकन के आधार पर अगले टोकन का अनुमान लगाते हैं. ट्रांसफ़ॉर्मर पर आधारित सभी बड़े लैंग्वेज मॉडल, ऑटो-रिग्रेसिव होते हैं.

वहीं दूसरी ओर, GAN पर आधारित इमेज मॉडल आम तौर पर ऑटो-रिग्रेसिव नहीं होते, क्योंकि वे एक ही फ़ॉरवर्ड-पास में इमेज जनरेट करते हैं और बार-बार ऐसे ही चरणों में नहीं बनाए जाते. हालांकि, कुछ इमेज जनरेशन मॉडल ऑटो-रिग्रेसिव होते हैं, क्योंकि वे चरणों में इमेज जनरेट करते हैं.

B

शब्दों का बक्सा

#language

किसी वाक्यांश या पैसेज में शब्दों को दिखाना, भले ही उनके क्रम कुछ भी हों. उदाहरण के लिए, 'बैग ऑफ़ वर्ड्स' इन तीन वाक्यांशों को एक जैसे तरीके से दिखाता है:

• कुत्ता कूदता है
• कुत्ते को कूदता है
• कुत्ता कूदता है

हर शब्द को स्पार्स वेक्टर में इंडेक्स के साथ मैप किया जाता है, जहां वेक्टर में शब्दावली के हर शब्द के लिए एक इंडेक्स होता है. उदाहरण के लिए, the Dogs वाक्यांश को फ़ीचर वेक्टर में मैप किया जाता है. इस वेक्टर की वैल्यू शून्य नहीं है. यह वैल्यू, the, dot, और jumps शब्दों से जुड़े तीन इंडेक्स में होती है. गैर-शून्य मान इनमें से कोई भी हो सकता है:

• किसी शब्द की मौजूदगी के बारे में बताने के लिए A 1.
• बैग में कोई शब्द दिखाई देने की संख्या. उदाहरण के लिए, अगर वाक्यांश मरून फ़र वाला कुत्ता है, तो मरून और कुत्ते को 2 के तौर पर दिखाया जाएगा, जबकि दूसरे शब्दों को 1 के तौर पर दिखाया जाएगा.
• कुछ अन्य वैल्यू, जैसे कि बैग में कोई शब्द दिखने की संख्या का लॉगारिद्म.

BERT (बायडायरेक्शनल एन्कोडर) ट्रांसफ़ॉर्मर से मिले

#language

टेक्स्ट को दिखाने के लिए मॉडल आर्किटेक्चर. एक प्रशिक्षित BERT मॉडल, टेक्स्ट क्लासिफ़िकेशन या अन्य एमएल टास्क के लिए, एक बड़े मॉडल के हिस्से के तौर पर काम कर सकता है.

BERT की विशेषताएं ये हैं:

• यह ट्रांसफ़ॉर्मर आर्किटेक्चर का इस्तेमाल करता है. इसलिए, यह खुद को ध्यान में रखने की क्षमता पर निर्भर करता है.
• यह ट्रांसफ़ॉर्मर के एन्कोडर वाले हिस्से का इस्तेमाल करता है. एन्कोडर का काम, कैटगरी तय करने जैसे खास टास्क के बजाय, टेक्स्ट को अच्छे से दिखाना होता है.
• दोतरफ़ा हो.
• बिना निगरानी वाली ट्रेनिंग के लिए, मास्किंग का इस्तेमाल किया जाता है.

BERT के वैरिएंट में ये शामिल हैं:

• ALBERT, जो A Light BERT का छोटा रूप है.
• LaBSE.

BERT के बारे में खास जानकारी पाने के लिए, Open Sorcing BERT: नैचुरल लैंग्वेज प्रोसेसिंग के लिए स्टेट-ऑफ़-द-आर्ट प्री-ट्रेनिंग देखें.

दो-तरफ़ा

#language

यह ऐसे सिस्टम के बारे में बताने के लिए इस्तेमाल किया जाता है जो टेक्स्ट के टारगेट सेक्शन से पहले वाले और फ़ॉलो करने वाले, दोनों तरह के टेक्स्ट का आकलन करता है. वहीं दूसरी ओर, एकतरफ़ा सिस्टम सिर्फ़ उस टेक्स्ट का आकलन करता है जो टेक्स्ट के टारगेट सेक्शन से पहले आता है.

उदाहरण के लिए, ऐसे मास्क किए गए भाषा के मॉडल पर विचार करें जो इस सवाल में अंडरलाइन किए गए शब्द या शब्दों के लिए संभावनाएं तय करता हो:

आपके साथ _____ क्या है?

एकतरफ़ा भाषा के मॉडल को सिर्फ़ "क्या", "is", और "the" शब्दों में दिए गए संदर्भ के आधार पर संभावनाएं बनानी होंगी. इसके उलट, दोतरफ़ा भाषा वाला मॉडल "के साथ" और "आप" से भी संदर्भ हासिल कर सकता है, जिससे मॉडल को बेहतर अनुमान जनरेट करने में मदद मिल सकती है.

बाईडायरेक्शनल लैंग्वेज मॉडल

#language

ऐसा भाषा का मॉडल जो इस बात की संभावना तय करता है कि कोई टोकन दी गई जगह पर मौजूद है या नहीं. यह टेक्स्ट के किसी हिस्से में पहले से मौजूद और फ़ॉलो किए जा रहे टेक्स्ट के आधार पर तय किया जाता है.

Bigram

#seq

#language

N-gram, जिसमें N=2 है.

BLEU (बाइनिंगुअल इवैलुएशन अंडरस्टडी)

#language

0.0 और 1.0 के बीच का स्कोर, जो दो इंसानी भाषाओं (उदाहरण के लिए, अंग्रेज़ी और रशियन के बीच) के बीच अनुवाद की क्वालिटी को दिखाता है. 1.0 का BLEU स्कोर अच्छा अनुवाद दिखाता है. वहीं, 0.0 का BLEU स्कोर अच्छा अनुवाद दिखाता है.

C

कैज़ुअल लैंग्वेज मॉडल

#language

एकतरफ़ा भाषा मॉडल का समानार्थी शब्द.

लैंग्वेज मॉडलिंग में, अलग-अलग डायरेक्शनल अप्रोच के उलट, बाईडायरेक्शनल लैंग्वेज मॉडल देखें.

सोच-विचार की चेन

#language

#generativeAI

यह प्रॉम्प्ट इंजीनियरिंग की ऐसी तकनीक है जो लार्ज लैंग्वेज मॉडल (एलएलएम) को इसके पीछे की वजह समझाने के लिए, सिलसिलेवार तरीके से बताती है. उदाहरण के लिए, नीचे दिए गए प्रॉम्प्ट पर विचार करें और दूसरे वाक्य पर खास ध्यान दें:

7 सेकंड में 0 से 60 मील प्रति घंटे की रफ़्तार से चलने वाली कार में, ड्राइवर को कितने ग्राम फ़ोर्स होंगे? जवाब में, काम की सभी कैलकुलेशन दिखाएं.

एलएलएम के जवाब में ये बातें हो सकती हैं:

• भौतिकी के सूत्रों का अनुक्रम दिखाएं, वैल्यू 0, 60, और 7 को सही जगहों पर प्लग इन करें.
• समझाएं कि इन फ़ॉर्मूले को क्यों चुना गया और अलग-अलग वैरिएबल का क्या मतलब है.

सोच-विचार की मदद से एलएलएम को सभी कैलकुलेशन करने के लिए मजबूर किया जाता है. इससे ज़्यादा सटीक जवाब मिल सकता है. इसके अलावा, सोच-विचार करने के निर्देश, उपयोगकर्ता को एलएलएम के चरणों की जांच करने में मदद करते हैं. इससे, यह पता लगाया जाता है कि जवाब सही है या नहीं.

चैट

#language

#generativeAI

एमएल सिस्टम के ज़रिए आगे-पीछे बातचीत का कॉन्टेंट. आम तौर पर, यह बड़े लैंग्वेज मॉडल का इस्तेमाल करता है. किसी चैट में पिछली बातचीत (आपने क्या टाइप किया और बड़े लैंग्वेज मॉडल ने क्या जवाब दिया), चैट के बाद के हिस्सों के लिए कॉन्टेक्स्ट बन जाता है.

चैटबॉट, एक बड़े लैंग्वेज मॉडल का ऐप्लिकेशन है.

बातचीत

#language

गलत जानकारी का पर्यायवाची.

गलत जानकारी के बजाय, भ्रम की स्थिति में भ्रम की स्थिति दिखाना तकनीकी रूप से ज़्यादा सटीक शब्द होता है. हालांकि, सबसे पहले भ्रम की स्थिति पैदा हुई.

संसदीय क्षेत्र पार्सिंग

#language

किसी वाक्य को व्याकरण के हिसाब से छोटे-छोटे वाक्यों में बांटा गया है ("इसे शामिल करने वाले लोग"). मशीन लर्निंग सिस्टम के बाद वाले हिस्से में, मूल वाक्य की तुलना में कॉम्पोनेंट को ज़्यादा आसानी से पार्स किया जा सकता है. जैसे, नैचुरल लैंग्वेज समझ मॉडल. उदाहरण के लिए, यहां दिए गए वाक्य का इस्तेमाल करें:

मेरे दोस्त ने दो बिल्लियों को गोद लिया.

एक विधानसभा पार्सर इस वाक्य को इन दो हिस्सों में बांट सकता है:

• मेरे दोस्त को संज्ञा के लिए इस्तेमाल किया जाता है.
• added दो cats एक क्रिया वाक्यांश है.

इन कॉम्पोनेंट को अलग-अलग छोटे-छोटे हिस्सों में बांटा जा सकता है. उदाहरण के लिए, क्रिया वाक्यांश

दो बिल्लियों को गोद लिया

इन्हें इनमें अलग-अलग ग्रुप में बांटा जा सकता है:

• added एक क्रिया है.
• two cats दूसरा संज्ञा है.

कीवर्ड के हिसाब से कॉन्टेंट को एम्बेड करना

#language

#generativeAI

ऐसा एम्बेड करना, जिसमें शब्दों और वाक्यांशों को "समझने" वाले शब्दों और वाक्यांशों को इस तरह पेश किया जाता है कि स्थानीय लोग इन्हें आसानी से समझ सकें. संदर्भ के हिसाब से भाषा को एम्बेड करने से, मुश्किल सिंटैक्स, सिमैंटिक, और संदर्भ को समझना आसान हो जाता है.

उदाहरण के लिए, अंग्रेज़ी शब्द cow को एम्बेड करने के बारे में सोचें. पहले एम्बेड किए गए शब्द, जैसे कि word2vec, अंग्रेज़ी के शब्दों को इस तरह से दिखा सकते हैं कि एम्बेड किए जाने वाले स्पेस में गाय से सांड की दूरी, ईव (महिला भेड़) से राम (पुरुष भेड़) या महिला से पुरुष तक की दूरी के बराबर होती है. संदर्भ के हिसाब से किसी भाषा को एम्बेड करने से, एक कदम आगे बढ़ सकता है. ऐसा तब होता है, जब अंग्रेज़ी बोलने वाले लोग कभी-कभी अनजाने में गाय शब्द का इस्तेमाल करते हैं, जिसका मतलब 'गाय' या 'बैल' होता है.

कॉन्टेक्स्ट विंडो

#language

#generativeAI

किसी दिए गए प्रॉम्प्ट में, प्रोसेस किए जा सकने वाले टोकन की संख्या. कॉन्टेक्स्ट विंडो जितनी बड़ी होगी, मॉडल उतनी ही ज़्यादा जानकारी का इस्तेमाल करके, प्रॉम्प्ट के लिए सटीक और एक जैसा जवाब दे सकता है.

क्रैश ब्लॉसम

#language

ऐसा वाक्य या वाक्यांश जिसका मतलब साफ़ न हो. क्रैश ब्लॉसम, स्वाभाविक भाषा की समझ में एक बड़ी समस्या पेश करते हैं. उदाहरण के लिए, हेडलाइन Red Tape Holds अप स्काईस्क्रेपर क्रैश ब्लॉसम है. इसकी वजह यह है कि एनएलयू मॉडल, हेडलाइन को लिटरल तौर पर या आकर्षक तरीके से समझ सकता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

बस इस रहस्यमयी हेडलाइन को साफ़ करने के लिए:

• रेड टेप का मतलब इनमें से किसी एक हो सकता है:
  • चिपकने वाला
  • अत्यधिक नौकरशाही
• होल्ड अप करने की सुविधा का मतलब है कि इनमें से कोई एक स्थिति हो सकती है:
  • स्ट्रक्चर के लिए सहायता
  • पैसे ट्रांसफ़र करने में देरी

---

D

डिकोडर

#language

आम तौर पर, ऐसा कोई भी एमएल सिस्टम जो प्रोसेस किए गए, सघन या अंदरूनी वर्शन से ज़्यादा रॉ, स्पार्स या बाहरी वर्शन में बदलता है.

डिकोडर अक्सर किसी बड़े मॉडल का हिस्सा होते हैं. इन्हें अक्सर एन्कोडर के साथ जोड़ा जाता है.

क्रम से चलने वाले टास्क में, डिकोडर अगले क्रम का अनुमान लगाने के लिए, एन्कोडर की अंदरूनी स्थिति से शुरू होता है.

ट्रांसफ़ॉर्मर आर्किटेक्चर में, डिकोडर की परिभाषा जानने के लिए, ट्रांसफ़ॉर्मर पढ़ें.

ग़ैर-ज़रूरी आवाज़ें कम करना

#language

सेल्फ़-सुपरवाइज़्ड लर्निंग का एक सामान्य तरीका है, जिसमें:

1. डेटासेट में शोर को गलत तरीके से जोड़ा गया है.
2. model, ग़ैर-ज़रूरी आवाज़ों को हटाने की कोशिश करता है.

आवाज़ को बंद करने पर, बिना लेबल वाले उदाहरणों से सीखने की सुविधा मिलती है. ओरिजनल डेटासेट, टारगेट या लेबल के तौर पर और शोर वाले डेटा को इनपुट के तौर पर इस्तेमाल करता है.

कुछ मास्क किए गए भाषा के मॉडल, ग़ैर-ज़रूरी आवाज़ों का इस्तेमाल इस तरह करते हैं:

1. कुछ टोकन को मास्क करके, बिना लेबल वाले वाक्य में गलत तरीके से नॉइज़ जोड़ा जाता है.
2. मॉडल, ओरिजनल टोकन का अनुमान लगाने की कोशिश करता है.

सीधे तौर पर सूचना देना

#language

#generativeAI

ज़ीरो-शॉट प्रॉम्प्टिंग का पर्यायवाची.

E

दूरी में बदलाव करें

#language

इस बात का मेज़रमेंट कि दो मिलती-जुलती टेक्स्ट स्ट्रिंग एक-दूसरे से कितनी मिलती-जुलती हैं. मशीन लर्निंग में, दूरी में बदलाव करना काम का होता है, क्योंकि इससे कंप्यूट करना आसान होता है. साथ ही, एक जैसी दिखने वाली दो स्ट्रिंग की तुलना करने या किसी दी गई स्ट्रिंग से मिलती-जुलती स्ट्रिंग ढूंढने का असरदार तरीका होता है.

बदलाव की दूरी की कई परिभाषाएं हैं, जिनमें से हर एक में अलग-अलग स्ट्रिंग ऑपरेशन का इस्तेमाल होता है. उदाहरण के लिए, लेवेनशेटिन की दूरी कम से कम मिटाएं, डालें, और विकल्प के तौर पर दूसरी कार्रवाइयां तय करती है.

उदाहरण के लिए, "हार्ट" और "डार्ट" शब्दों के बीच लेवेनशेटिन की दूरी तीन है, क्योंकि नीचे दिए गए तीन बदलाव ऐसे हैं जो एक शब्द को दूसरे में बदलने के लिए कम से कम बदलाव हैं:

1. दिल → बंद करें ("h" की जगह "d") का इस्तेमाल करें
2. deart → dart (delete "e")
3. डार्ट → डार्ट ("s" डालें)

लेयर एम्बेड करना

#language

#fundamentals

एक खास छिपी हुई लेयर, जो हाई-डाइमेंशन वाली कैटगरिकल सुविधा की मदद से धीरे-धीरे ट्रेनिंग लेती है, ताकि लो डाइमेंशन एम्बेडिंग वेक्टर को धीरे-धीरे समझा जा सके. एम्बेड करने वाली लेयर, न्यूरल नेटवर्क को सिर्फ़ हाई-डाइमेंशन कैटगरीकल सुविधा की ट्रेनिंग देने के बजाय, बेहतर तरीके से ट्रेनिंग देने में मदद करती है.

उदाहरण के लिए, फ़िलहाल पृथ्वी में पेड़ों की करीब 73,000 प्रजातियों को इकट्ठा किया जाता है. मान लीजिए कि आपके मॉडल में पेड़ों की प्रजातियां एक सुविधा है. इसलिए, आपके मॉडल की इनपुट लेयर में 73,000 एलिमेंट लंबा वन-हॉट वेक्टर है. उदाहरण के लिए, शायद baobab को कुछ इस तरह से दिखाया जाएगा:

73,000 एलिमेंट वाला कलेक्शन बहुत बड़ा होता है. अगर मॉडल में एम्बेडिंग लेयर नहीं जोड़ी जाती है, तो ट्रेनिंग में बहुत समय लग सकता है. ऐसा 72,999 शून्य को गुणा करने की वजह से होता है. हो सकता है कि आपने 12 डाइमेंशन शामिल करने के लिए, एम्बेड करने वाली लेयर चुनी हो. ऐसे में, एम्बेड करने वाली लेयर, पेड़ की हर प्रजाति के लिए धीरे-धीरे एक नया एम्बेडिंग वेक्टर सीखेगी.

कुछ मामलों में, एम्बेड करने वाली लेयर का हैशिंग एक अच्छा विकल्प है.

एम्बेड किया जा रहा स्पेस

#language

हाई-डाइमेंशन वेक्टर स्पेस में मौजूद डी-डाइमेंशन वेक्टर स्पेस को मैप किया जाता है. आम तौर पर, एम्बेड करने की जगह में ऐसा स्ट्रक्चर होता है जिससे गणित के सही नतीजे मिलते हैं. उदाहरण के लिए, एम्बेड करने की बेहतरीन जगह में, एम्बेड करने की जगह को जोड़ने और घटाने से, शब्दों से जुड़ी तुलनाओं को हल किया जा सकता है.

दो एम्बेड के डॉट प्रॉडक्ट से पता चलता है कि वे कितने मिलते-जुलते हैं.

एम्बेडिंग वेक्टर

#language

मोटे तौर पर, यह किसी भी छिपी हुई लेयर से लिए गए फ़्लोटिंग-पॉइंट नंबर का कलेक्शन होता है. यह लेयर, छिपे हुए लेयर के इनपुट के बारे में बताती है. अक्सर, एम्बेडिंग वेक्टर, फ़्लोटिंग-पॉइंट नंबर का कलेक्शन होता है, जिसे एम्बेडिंग लेयर में ट्रेन किया जाता है. उदाहरण के लिए, मान लें कि एम्बेड करने वाली किसी लेयर को, पृथ्वी पर मौजूद पेड़ों की 73,000 प्रजातियों में से हर प्रजाति के लिए, एम्बेड करने वाला वेक्टर सीखना चाहिए. शायद यहां दिया गया कलेक्शन, बैओबैब ट्री के लिए एम्बेडिंग वेक्टर है:

एम्बेडिंग वेक्टर, रैंडम नंबरों का ग्रुप नहीं होता. एम्बेड करने वाली लेयर, ट्रेनिंग के ज़रिए इन वैल्यू को तय करती है. ठीक उसी तरह, जिस तरह ट्रेनिंग के दौरान न्यूरल नेटवर्क अन्य वैल्यू के बारे में सीखता है. कलेक्शन का हर एलिमेंट, पेड़ों की प्रजातियों की कुछ विशेषताओं को ध्यान में रखकर रेटिंग है. कौनसा एलिमेंट, पेड़ की किस प्रजाति की विशेषता के बारे में बताता है? यह इंसानों के लिए तय करना बहुत मुश्किल है.

एम्बेडिंग वेक्टर का गणितीय रूप से अहम हिस्सा यह है कि मिलते-जुलते आइटम में फ़्लोटिंग-पॉइंट नंबर के मिलते-जुलते सेट होते हैं. उदाहरण के लिए, पेड़ की मिलती-जुलती प्रजातियों में, पेड़ की मिलती-जुलती प्रजातियों की तुलना में फ़्लोटिंग पॉइंट की संख्या ज़्यादा मिलती-जुलती होती है. रेडवुड और सिक्वॉया, पेड़ों की प्रजाति से जुड़े हैं. इसलिए, उनके पास रेडवुड और नारियल के पेड़ों की तुलना में, फ़्लोटिंग-पॉइंटिंग नंबर ज़्यादा होंगे. हर बार मॉडल को फिर से ट्रेनिंग देने पर, एम्बेडिंग वेक्टर की संख्याएं बदल जाएंगी. भले ही, मॉडल को एक जैसे इनपुट के साथ फिर से ट्रेनिंग दी जाए.

एन्कोडर

#language

सामान्य तौर पर, ऐसा कोई भी एमएल सिस्टम जो रॉ, स्पैर्स या बाहरी रूप से बने कॉन्टेंट को ज़्यादा प्रोसेस, डेंसिटी या ज़्यादा इंटरनल रिप्रज़ेंटेशन में बदलता है.

एन्कोडर, बड़े मॉडल के कॉम्पोनेंट होते हैं और उन्हें बार-बार डीकोडर के साथ जोड़ा जाता है. कुछ ट्रांसफ़ॉर्मर , एन्कोडर को डिकोडर के साथ जोड़ते हैं. हालांकि, अन्य ट्रांसफ़ॉर्मर, सिर्फ़ एन्कोडर या डीकोडर का इस्तेमाल करते हैं.

कुछ सिस्टम, डेटा की कैटगरी तय करने या रिग्रेशन नेटवर्क के इनपुट के तौर पर, एन्कोडर के आउटपुट का इस्तेमाल करते हैं.

सीक्वेंस-टू-सीक्वेंस टास्क में, एन्कोडर एक इनपुट सीक्वेंस लेता है और एक इंटरनल स्टेट (वेक्टर) दिखाता है. इसके बाद, डिकोडर अगले क्रम का अनुमान लगाने के लिए, उस अंदरूनी स्थिति का इस्तेमाल करता है.

ट्रांसफ़ॉर्मर आर्किटेक्चर में एन्कोडर की परिभाषा जानने के लिए, ट्रांसफ़ॉर्मर पेज पर जाएं.

म॰

कुछ ही समय में प्रॉम्प्ट भेजना

#language

#generativeAI

ऐसा प्रॉम्प्ट जिसमें एक से ज़्यादा ("कुछ") उदाहरण हों. इससे पता चलता है कि बड़े लैंग्वेज मॉडल को कैसे जवाब देना चाहिए. उदाहरण के लिए, नीचे दिए गए लंबे प्रॉम्प्ट में दो उदाहरण शामिल हैं. इनमें एक बड़ा लैंग्वेज मॉडल दिखाया गया है जिसमें किसी क्वेरी का जवाब देने का तरीका बताया गया है.

एक प्रॉम्प्ट के हिस्से	ज़रूरी जानकारी
किसी देश की आधिकारिक मुद्रा क्या है?	आपको इस सवाल का जवाब एलएलएम से देना है.
फ़्रांस: EUR	एक उदाहरण.
यूनाइटेड किंगडम: GBP	एक और उदाहरण.
भारत:	असल क्वेरी.

आम तौर पर, ज़ीरो-शॉट प्रॉम्प्ट और एक शॉट के लिए प्रॉम्प्ट की तुलना में, कुछ ही शॉट में बेहतर नतीजे मिलते हैं. हालांकि, कुछ ही शॉट में प्रॉम्प्ट भेजने के लिए, ज़्यादा लंबे प्रॉम्प्ट की ज़रूरत होती है.

कुछ शॉट के प्रॉम्प्ट देना, कुछ-कुछ सीखने का एक तरीका है. यह प्रॉम्प्ट पर आधारित लर्निंग पर लागू होता है.

वायलिन

#language

Python की पहली कॉन्फ़िगरेशन लाइब्रेरी, जो इनवेसिव कोड या इंफ़्रास्ट्रक्चर के बिना फ़ंक्शन और क्लास की वैल्यू सेट करती है. Pax और दूसरे एमएल कोडबेस के मामले में, ये फ़ंक्शन और क्लास मॉडल और ट्रेनिंग हाइपर पैरामीटर के बारे में जानकारी देते हैं.

Fiddle यह मानता है कि मशीन लर्निंग कोड बेस को आम तौर पर इनमें बांटा जाता है:

• लाइब्रेरी कोड, जो लेयर और ऑप्टिमाइज़र के बारे में बताता है.
• डेटासेट "ग्लू" कोड, लाइब्रेरी और तारों को एक साथ कॉल करता है.

Fiddle, ग्लू कोड के कॉल स्ट्रक्चर को ऐसे तरीके से कैप्चर करता है जिसकी जांच नहीं की गई है और जिसे बदला जा सकता है.

फ़ाइन ट्यूनिंग

#language

#image

#generativeAI

दूसरा, टास्क के हिसाब से दिया जाने वाला ट्रेनिंग पास, जिसे पहले से ट्रेनिंग दिए गए मॉडल पर परफ़ॉर्म किया जाता है, ताकि इस्तेमाल के किसी खास उदाहरण के लिए पैरामीटर बेहतर बनाए जा सकें. उदाहरण के लिए, कुछ बड़े लैंग्वेज मॉडल की ट्रेनिंग का पूरा सीक्वेंस इस तरह है:

1. प्री-ट्रेनिंग: एक बड़े सामान्य डेटासेट पर एक बड़े लैंग्वेज मॉडल को ट्रेनिंग दें, जैसे कि अंग्रेज़ी भाषा वाले सभी Wikipedia पेज.
2. बेहतर ट्यूनिंग: पहले से ट्रेनिंग वाले मॉडल को कोई खास टास्क करने के लिए ट्रेनिंग दें, जैसे कि चिकित्सा से जुड़ी क्वेरी का जवाब देना. आम तौर पर, फ़ाइन-ट्यूनिंग में किसी खास टास्क पर फ़ोकस करने वाले सैकड़ों या हज़ारों उदाहरण होते हैं.

एक अन्य उदाहरण में, बड़े इमेज मॉडल के लिए ट्रेनिंग का पूरा क्रम इस तरह है:

1. प्री-ट्रेनिंग: एक बड़े सामान्य इमेज डेटासेट का इस्तेमाल करके, एक बड़े इमेज मॉडल को ट्रेनिंग दें, जैसे कि Wikimedia Commons में मौजूद सभी इमेज.
2. बेहतर ट्यूनिंग: पहले से ट्रेनिंग वाले मॉडल को कोई खास काम करने के लिए ट्रेनिंग दें, जैसे कि ओरका की इमेज जनरेट करना.

फ़ाइन-ट्यूनिंग के लिए, नीचे दी गई रणनीतियों का कोई भी कॉम्बिनेशन लागू हो सकता है:

• पहले से ट्रेन किए गए मॉडल के सभी मौजूदा पैरामीटर में बदलाव करना. इसे कभी-कभी फ़ुल फ़ाइन-ट्यूनिंग भी कहा जाता है.
• पहले से ट्रेनिंग वाले मॉडल के सिर्फ़ कुछ मौजूदा पैरामीटर में बदलाव किया जाता है (आम तौर पर, आउटपुट लेयर के सबसे करीब की लेयर). आम तौर पर, अन्य मौजूदा पैरामीटर में कोई बदलाव नहीं किया जाता है. आम तौर पर, ये लेयर इनपुट लेयर के आस-पास होती हैं. पैरामीटर की बेहतर ट्यूनिंग देखें.
• ज़्यादा लेयर जोड़ना, आम तौर पर आउटपुट लेयर के सबसे करीब मौजूद लेयर के ऊपर.

फ़ाइन-ट्यूनिंग, ट्रांसफ़र लर्निंग का एक तरीका है. इसलिए, फ़ाइन-ट्यूनिंग किसी अलग तरह के नुकसान फ़ंक्शन या मॉडल टाइप का इस्तेमाल कर सकती है, जो पहले से ट्रेन किए गए मॉडल को ट्रेनिंग देने वाले फ़ंक्शन से अलग होता है. उदाहरण के लिए, पहले से ट्रेनिंग वाले बड़े इमेज मॉडल को ट्यून किया जा सकता है, ताकि ऐसा रिग्रेशन मॉडल बनाया जा सके जो इनपुट इमेज में पक्षियों की संख्या दिखाता हो.

इन शब्दों से फ़ाइन-ट्यूनिंग की तुलना करें और इनके बीच अंतर बताएं:

• डिस्टिलेशन
• प्रॉम्प्ट-आधारित लर्निंग

फ़्लैक्स

#language

JAX पर बनाई गई डीप लर्निंग के लिए, बेहतर परफ़ॉर्म करने वाली ओपन-सोर्स लाइब्रेरी. Flux ट्रेनिंग न्यूरल नेटवर्क के लिए फ़ंक्शन उपलब्ध कराता है. साथ ही, इसकी परफ़ॉर्मेंस का आकलन करने के तरीके भी देता है.

फ़्लक्सफ़ॉर्मर

#language

Flax पर बनी ओपन सोर्स ट्रांसफ़ॉर्मर लाइब्रेरी को मुख्य तौर पर, नैचुरल लैंग्वेज प्रोसेसिंग और मल्टीमोडल रिसर्च के लिए डिज़ाइन किया गया है.

G

जनरेटिव एआई

#language

#image

#generativeAI

शिक्षा से जुड़ा एक उभरता हुआ फ़ील्ड, जिसमें औपचारिक परिभाषा शामिल नहीं है. ज़्यादातर विशेषज्ञों का मानना है कि जनरेटिव एआई मॉडल ऐसा कॉन्टेंट बना सकते हैं ("जनरेट") हो सकता है जो नीचे बताई गई बातों में से कोई भी हो:

• जटिल
• अनुकूल
• मूल

उदाहरण के लिए, जनरेटिव एआई मॉडल, बेहतरीन निबंध या इमेज बना सकता है.

कुछ पुरानी टेक्नोलॉजी भी ओरिजनल और दिलचस्प कॉन्टेंट जनरेट कर सकती हैं. इनमें एलएसटीएम और आरएनएन शामिल हैं. कुछ विशेषज्ञ इन शुरुआती टेक्नोलॉजी को जनरेटिव एआई मानते हैं. हालांकि, कुछ लोगों का मानना है कि जनरेटिव एआई के मुकाबले ज़्यादा मुश्किल आउटपुट की ज़रूरत होती है.

अनुमानित एमएल की सेटिंग के बीच अंतर करें.

GPT (जनरेटिव प्री-ट्रेन्ड ट्रांसफ़ॉर्मर)

#language

ट्रांसफ़ॉर्मर पर आधारित बड़े लैंग्वेज मॉडल का फ़ैमिली ग्रुप, जिसे OpenAI ने बनाया है.

GPT के वैरिएंट कई मोडल पर लागू हो सकते हैं, जिनमें ये शामिल हैं:

• इमेज जनरेट करना (उदाहरण के लिए, ImageGPT)
• टेक्स्ट-टू-इमेज जनरेशन (उदाहरण के लिए, DALL-E).

H

गलत जानकारी

#language

ऐसा जनरेटिव एआई मॉडल का इस्तेमाल करके, भरोसेमंद दिखने वाला, लेकिन तथ्यों के हिसाब से गलत आउटपुट बनाना, जिसका मकसद असल दुनिया के बारे में दावा करना हो. उदाहरण के लिए, ऐसा जनरेटिव एआई मॉडल जो दावा करता है कि बराक ओबामा की 1865 में मौत हो गई थी. यह मॉडल गलती हो सकता है.

I

कॉन्टेक्स्ट के हिसाब से सीखना

#language

#generativeAI

कुछ-कुछ प्रॉम्प्ट का समानार्थी शब्द.

L

LaMDA (बातचीत से जुड़े ऐप्लिकेशन के लिए भाषा का मॉडल)

#language

ट्रांसफ़ॉर्मर पर आधारित बड़े लैंग्वेज मॉडल को Google ने बनाया है. इसे एक बड़े डायलॉग डेटासेट के आधार पर ट्रेनिंग दी गई है, जो बातचीत के दौरान वास्तविक जवाब जनरेट कर सकती है.

LaMDA: हमारी बेहतरीन बातचीत टेक्नोलॉजी खास जानकारी देती है.

लैंग्वेज मॉडल

#language

ऐसा model जो model या टोकन के लंबे क्रम में होने वाले टोकन के क्रम की संभावना का अनुमान लगाता है.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

हालांकि, यह आसान नहीं है, लेकिन टेक्स्ट का आकलन करने वाले कई मॉडल, भाषा के मॉडल नहीं होते. उदाहरण के लिए, टेक्स्ट की कैटगरी तय करने वाले मॉडल और भावनाओं का विश्लेषण करने वाले मॉडल, भाषा के मॉडल नहीं हैं.

---

लार्ज लैंग्वेज मॉडल

#language

एक अनौपचारिक शब्द, जिसकी कोई सख्त परिभाषा नहीं है. आम तौर पर, इसका मतलब भाषा के मॉडल से होता है, जिसमें कई पैरामीटर होते हैं. कुछ बड़े लैंग्वेज मॉडल में 100 अरब से ज़्यादा पैरामीटर होते हैं.

ज़्यादा नोट देखने के लिए, आइकॉन पर क्लिक करें.

आपको लग रहा होगा कि कब भाषा का मॉडल इतना बड़ा हो जाता है कि उसे बड़ा लैंग्वेज मॉडल कहा जाए. फ़िलहाल, पैरामीटर की संख्या के लिए कोई तय लाइन नहीं है.

ज़्यादातर मौजूदा बड़े लैंग्वेज मॉडल, जैसे कि GPT, ट्रांसफ़ॉर्मर आर्किटेक्चर पर आधारित होते हैं.

---

लैटेंट स्पेस

#language

एम्बेड किए जाने वाले स्पेस का समानार्थी शब्द.

एलएलएम

#language

बड़े लैंग्वेज मॉडल का छोटा नाम.

LoRA

#language

#generativeAI

कम रैंक वाली जगह के हिसाब से ढल जाने की क्षमता के लिए छोटा नाम.

कम रैंक वाली ज़रूरत के हिसाब से ढलने की क्षमता (एलआरए)

#language

#generativeAI

पैरामीटर को बेहतर ट्यूनिंग करने के लिए एक ऐसा एल्गोरिदम जो फ़ाइन-ट्यून, बड़े लैंग्वेज मॉडल के पैरामीटर का सिर्फ़ एक सबसेट है. LoRA से ये फ़ायदे मिलते हैं:

• यह उन तकनीकों की तुलना में ज़्यादा तेज़ी से ट्यून होता है जिनके लिए मॉडल के सभी पैरामीटर को बेहतर बनाने की ज़रूरत होती है.
• बेहतर बनाए गए मॉडल में अनुमान की कंप्यूटेशनल लागत कम करता है.

LoRA के साथ ट्यून किया गया मॉडल, अपने अनुमानों की क्वालिटी को बनाए रखता है या उसे बेहतर बनाता है.

LoRA किसी मॉडल के कई खास वर्शन चालू करता है.

सोम

मास्क्ड लैंग्वेज मॉडल

#language

भाषा का मॉडल, जो किसी क्रम में खाली जगहों को भरने के लिए, कैंडिडेट टोकन की संभावना का अनुमान लगाता है. उदाहरण के लिए, मास्क किया गया भाषा का मॉडल, नीचे दिए गए वाक्य में अंडरलाइन को बदलने के लिए कैंडिडेट शब्दों के लिए संभावनाओं को कैलकुलेट कर सकता है:

टोपी में मौजूद ____ वापस आ गया.

साहित्य में आम तौर पर अंडरलाइन के बजाय "MASK" स्ट्रिंग का इस्तेमाल किया जाता है. उदाहरण के लिए:

टोपी वाला "मास्क" वापस आ गया.

मास्क वाले ज़्यादातर आधुनिक मॉडल, दोतरफ़ा हैं.

मेटा-लर्निंग

#language

मशीन लर्निंग का एक ऐसा सबसेट जो लर्निंग एल्गोरिदम को खोजता है या उसे बेहतर बनाता है. मेटा-लर्निंग सिस्टम का मकसद किसी मॉडल को ट्रेनिंग देना भी हो सकता है, ताकि वह कम डेटा या पिछले टास्क में मिले अनुभव की मदद से, कोई नया टास्क तुरंत सीख सके. मेटा-लर्निंग एल्गोरिदम आम तौर पर, ये काम करने की कोशिश करते हैं:

• हाथ से बनाई गई सुविधाओं (जैसे, शुरू करने वाला टूल या ऑप्टिमाइज़र) को बेहतर बनाना या सीखना.
• डेटा की कम खपत और कम्प्यूलेशन की सुविधा का इस्तेमाल करें.
• सामान्यीकरण को बेहतर बनाएं.

मेटा-लर्निंग, कुछ शॉट लर्निंग से जुड़ा है.

मोडलिटी

#language

डेटा की हाई-लेवल कैटगरी. उदाहरण के लिए, संख्या, टेक्स्ट, इमेज, वीडियो, और ऑडियो, पांच अलग-अलग तरीके हैं.

मॉडल पैरललिज़्म

#language

ट्रेनिंग या अनुमान का ऐसा तरीका जिसमें किसी model के अलग-अलग हिस्सों को अलग-अलग model पर लगाया जाता है. मॉडल पैरललिज़्म ऐसे मॉडल को चालू करता है जो एक डिवाइस पर फ़िट होने के लिए बहुत बड़े हैं.

मॉडल पैरललिज़्म को लागू करने के लिए, सिस्टम आम तौर पर ये काम करता है:

1. मॉडल को छोटे हिस्सों में बांटता है.
2. उन छोटे हिस्सों की ट्रेनिंग, कई प्रोसेसर के साथ दी जाती है. हर प्रोसेसर, मॉडल के अपने हिस्से को ट्रेनिंग देता है.
3. एक मॉडल बनाने के लिए नतीजों को जोड़ता है.

मॉडल पैरललिज़्म, ट्रेनिंग को धीमा कर देता है.

डेटा समानता भी देखें.

मल्टी-हेड सेल्फ़-अटेंशन

#language

सेल्फ़-अटेंशन का एक एक्सटेंशन, जो इनपुट के क्रम में हर पोज़िशन के लिए, सेल्फ़-अटेंशन तकनीक को कई बार लागू करता है.

ट्रांसफ़ॉर्मर टूल की मदद से, खुद पर ध्यान देने की सुविधा इस्तेमाल की जा सकती है.

मल्टीमोडल मॉडल

#language

ऐसा मॉडल जिसके इनपुट और/या आउटपुट में एक से ज़्यादा मोडलिटी शामिल हों. उदाहरण के लिए, एक ऐसे मॉडल के बारे में सोचें जिसमें सुविधाओं के तौर पर इमेज और टेक्स्ट कैप्शन (दो तरीके) हों. इसलिए, इस मॉडल के इनपुट मल्टीमोडल हैं और आउटपुट यूनिमोडल है.

नहीं

नैचुरल लैंग्वेज अंडरस्टैंडिंग

#language

उपयोगकर्ता ने क्या टाइप किया है या क्या कहा है, इसके आधार पर उपयोगकर्ता का इरादा तय करना. उदाहरण के लिए, सर्च इंजन स्वाभाविक भाषा की मदद से यह तय करता है कि उपयोगकर्ता ने क्या टाइप किया है या क्या कहा है.

एन-ग्राम

#seq

#language

N शब्दों का व्यवस्थित क्रम. उदाहरण के लिए, वहीं पागलों की तरह, दो ग्राम का है. ऐसा इसलिए, क्योंकि ऑर्डर काम का होता है, इसलिए मकसद 2-ग्राम का, वहीं से अलग है.

नहीं	इस तरह के एन-ग्राम के लिए नाम	उदाहरण
2	बिगरैम या 2-ग्राम	जाने, जाने, लंच करने, और डिनर करने के लिए
3	ट्रिग्राम या 3-ग्राम	बहुत ज़्यादा खा लिया, तीन अंधा चूहे, बेल टोल
4	4-ग्राम	पार्क में टहलना, हवा में धूल, दाल खाया है

कई सामान्य भाषा की समझ वाले मॉडल, N-ग्राम का इस्तेमाल करके अनुमान लगाते हैं कि उपयोगकर्ता कौनसा शब्द टाइप करेगा या कौनसा शब्द बोलेगा. उदाहरण के लिए, मान लें कि किसी उपयोगकर्ता ने तीन ब्लाइंड्स टाइप किया है. ट्रायग्राम पर आधारित एनएलयू मॉडल से यह अनुमान लगाया जा सकता है कि उपयोगकर्ता अगली बार माइस टाइप करेगा.

शब्दों के बैग के साथ एन-ग्राम का कंट्रास्ट करें, जो शब्दों के बिना क्रम वाले सेट होते हैं.

एनएलयू

#language

प्राकृतिक भाषा समझके लिए इसे छोटा नाम.

O

वन-शॉट प्रॉम्प्ट

#language

#generativeAI

ऐसा प्रॉम्प्ट जिसमें एक उदाहरण दिया गया हो. इससे यह पता चलता है कि बड़े लैंग्वेज मॉडल को कैसे जवाब देना चाहिए. उदाहरण के लिए, यहां दिए गए प्रॉम्प्ट में, बड़े लैंग्वेज मॉडल का एक उदाहरण दिया गया है. इसमें बताया गया है कि इससे किसी क्वेरी का जवाब कैसे देना चाहिए.

एक प्रॉम्प्ट के हिस्से	ज़रूरी जानकारी
किसी देश की आधिकारिक मुद्रा क्या है?	आपको इस सवाल का जवाब एलएलएम से देना है.
फ़्रांस: EUR	एक उदाहरण.
भारत:	असल क्वेरी.

वन-शॉट प्रॉम्प्ट की तुलना यहां दिए गए शब्दों से करें:

• ज़ीरो-शॉट प्रॉम्प्ट
• कुछ-कुछ प्रॉम्प्ट

P

पैरामीटर की कम खपत वाला ट्यूनिंग

#language

#generativeAI

पहले से ट्रेन किए गए लैंग्वेज मॉडल (पीएलएम) की तुलना में, पूरी फ़ाइन-ट्यूनिंग को ज़्यादा बेहतर तरीके से फ़ाइन-ट्यून करने की तकनीकों का सेट. पैरामीटर की कम खपत वाले ट्यूनिंग से, पूरी तरह से फ़ाइन-ट्यूनिंग के मुकाबले काफ़ी कम पैरामीटर को बेहतर बनाया जाता है. हालांकि, आम तौर पर बड़ा लैंग्वेज मॉडल बनता है, जो फ़ुल ट्यूनिंग से बने बड़े लैंग्वेज मॉडल की तरह ही (या करीब-करीब) परफ़ॉर्म करता है.

इनसे पैरामीटर की कम खपत वाले ट्यूनिंग की तुलना करें:

• निर्देश ट्यूनिंग
• प्रॉम्प्ट ट्यूनिंग

पैरामीटर की कम खपत वाले ट्यूनिंग को पैरामीटर की कम खपत करने वाली फ़ाइन-ट्यूनिंग के नाम से भी जाना जाता है.

पाइपलाइनिंग

#language

मॉडल पैरललिज़्म का एक रूप, जिसमें किसी मॉडल की प्रोसेसिंग को लगातार आने वाले चरणों में बांटा जाता है. साथ ही, हर चरण को अलग-अलग डिवाइस पर चलाया जाता है. जब कोई स्टेज एक बैच को प्रोसेस करता है, तो पिछला चरण अगले बैच पर काम कर सकता है.

तय की गई ट्रेनिंग भी देखें.

पीएलएम

#language

#generativeAI

पहले से ट्रेन किए गए भाषा मॉडल का छोटा नाम.

पोज़िशनल एन्कोडिंग

#language

यह टोकन की स्थिति के बारे में जानकारी को किसी क्रम में जोड़ने की तकनीक होती है. ट्रांसफ़ॉर्मर मॉडल, पोज़िशन के हिसाब से कोड में बदलने की सुविधा का इस्तेमाल करते हैं. इससे, क्रम के अलग-अलग हिस्सों के बीच के संबंध को बेहतर तरीके से समझा जा सकता है.

पोज़िशनल एन्कोडिंग को आम तौर पर लागू करने के लिए, साइनसोइडल फ़ंक्शन का इस्तेमाल किया जाता है. (खास तौर पर, साइनसोइडल फ़ंक्शन की फ़्रीक्वेंसी और आयाम, क्रम में टोकन की पोज़िशन से तय होते हैं.) इस तकनीक की मदद से, ट्रांसफ़ॉर्मर मॉडल को उसकी पोज़िशन के आधार पर, क्रम के अलग-अलग हिस्सों में शामिल होना सिखाया जाता है.

पहले से ट्रेन किया गया मॉडल

#language

#image

#generativeAI

पहले से ट्रेनिंग दिए गए मॉडल या मॉडल कॉम्पोनेंट, जैसे कि एम्बेड करने वाला वेक्टर. कभी-कभी, पहले से ट्रेनिंग वाले एम्बेडिंग वेक्टर को न्यूरल नेटवर्क में फ़ीड किया जाएगा. कभी-कभी, आपका मॉडल पहले से ट्रेन किए गए एम्बेड करने के बजाय, एम्बेड किए गए वेक्टर को खुद ही ट्रेनिंग देगा.

पहले से ट्रेन की गई लैंग्वेज मॉडल शब्द का मतलब बड़े लैंग्वेज मॉडल से है, जिसे प्री-ट्रेनिंग से गुज़रना पड़ा.

प्री-ट्रेनिंग

#language

#image

#generativeAI

बड़े डेटासेट पर किसी मॉडल की शुरुआती ट्रेनिंग. कुछ पहले से ट्रेनिंग पा चुके मॉडल पुराने जायंट होते हैं. आम तौर पर, उन्हें अतिरिक्त ट्रेनिंग की मदद से और बेहतर बनाया जाता है. उदाहरण के लिए, मशीन लर्निंग एक्सपर्ट एक बड़े टेक्स्ट डेटासेट, जैसे कि Wikipedia के सभी अंग्रेज़ी पेजों पर बड़े लैंग्वेज मॉडल को प्री-ट्रेन कर सकते हैं. प्री-ट्रेनिंग के बाद, तैयार करने वाले मॉडल को नीचे दी गई किसी भी तकनीक का इस्तेमाल करके और बेहतर बनाया जा सकता है:

• डिस्टिलेशन
• फ़ाइन-ट्यूनिंग
• निर्देश ट्यूनिंग
• पैरामीटर की बेहतर ट्यूनिंग
• प्रॉम्प्ट-ट्यूनिंग

मैसेज

#language

#generativeAI

बड़े लैंग्वेज मॉडल को इनपुट के तौर पर डाला गया कोई भी टेक्स्ट, इस शर्त को पूरा करता है कि मॉडल सही तरीके से काम करे. प्रॉम्प्ट किसी वाक्य की तरह छोटे हो सकते हैं या अपनी मर्ज़ी से लंबे समय तक (जैसे, उपन्यास का पूरा टेक्स्ट) भी हो सकते हैं. प्रॉम्प्ट की कई कैटगरी होती हैं. इनमें, नीचे दी गई टेबल में बताई गई कैटगरी भी शामिल हैं:

प्रॉम्प्ट की कैटगरी	उदाहरण	ज़रूरी जानकारी
सवाल	एक कबूतर कितनी तेज़ी से उड़ सकता है?
निर्देश	आर्बिट्रेज के बारे में एक मज़ेदार कविता लिखें.	एक प्रॉम्प्ट जो बड़े लैंग्वेज मॉडल से कुछ करने के लिए कहता है.
उदाहरण	मार्कडाउन कोड का एचटीएमएल में अनुवाद करें. उदाहरण के लिए: Markdown: * सूची आइटम एचटीएमएल: <ul> <li>सूची आइटम</li> </ul>	इस उदाहरण के प्रॉम्प्ट का पहला वाक्य एक निर्देश है. प्रॉम्प्ट का बचा हुआ हिस्सा, उदाहरण के तौर पर है.
भूमिका	बताओ कि मशीन लर्निंग की ट्रेनिंग में, भौतिक विज्ञान की पीएचडी के लिए, ग्रेडिएंट डिसेंट का इस्तेमाल क्यों किया जाता है.	वाक्य का पहला हिस्सा एक निर्देश है; वाक्यांश "भौतिकी में पीएचडी के लिए" भूमिका का हिस्सा है.
मॉडल को पूरा करने के लिए आंशिक इनपुट	यूनाइटेड किंगडम के प्रधानमंत्री	आंशिक इनपुट प्रॉम्प्ट या तो अचानक खत्म हो सकता है (जैसा कि इस उदाहरण में हुआ है) या अंडरस्कोर के साथ खत्म हो सकता है.

जनरेटिव एआई मॉडल की मदद से, किसी प्रॉम्प्ट का जवाब दिया जा सकता है. जैसे- टेक्स्ट, कोड, इमेज, एम्बेड करना, वीडियो...करीब कुछ भी.

प्रॉम्प्ट के हिसाब से सीखना

#language

#generativeAI

कुछ मॉडल की एक क्षमता, जो उन्हें मनचाहे तरीके से टेक्स्ट इनपुट (प्रॉम्प्ट) के जवाब में, अपने व्यवहार के हिसाब से बदलाव करने की सुविधा देती है. आम तौर पर, प्रॉम्प्ट पर आधारित लर्निंग मॉडल में बड़ा लैंग्वेज मॉडल, टेक्स्ट जनरेट करके सवाल का जवाब देता है. उदाहरण के लिए, मान लें कि कोई उपयोगकर्ता यह प्रॉम्प्ट डालता है:

न्यूटन के गति के तीसरे नियम का सारांश बनाओ.

प्रॉम्प्ट-आधारित लर्निंग की सुविधा वाले मॉडल को, पिछले प्रॉम्प्ट का जवाब देने के लिए खास तौर पर ट्रेनिंग नहीं दी गई है. इसके बजाय, यह मॉडल भौतिकी के बारे में बहुत सी बातें "जानता है", भाषा के सामान्य नियमों के बारे में बहुत सारी जानकारी देता है, और इस बारे में भी बहुत कुछ जानता है कि आम तौर पर उपयोगी जवाब क्या हैं. (उम्मीद है कि) उपयोगी जवाब देने के लिए यह जानकारी काफ़ी होगी. लोगों से मिले अतिरिक्त सुझाव ("यह जवाब बहुत जटिल था." या "प्रतिक्रिया क्या है?") कुछ प्रॉम्प्ट पर आधारित लर्निंग सिस्टम को धीरे-धीरे अपने जवाबों की उपयोगिता को बेहतर बनाने की सुविधा देता है.

प्रॉम्प्ट डिज़ाइन

#language

#generativeAI

प्रॉम्प्ट इंजीनियरिंग का समानार्थी शब्द.

प्रॉम्प्ट इंजीनियरिंग

#language

#generativeAI

प्रॉम्प्ट बनाने की एक आर्ट, जिसमें बड़े लैंग्वेज मॉडल से मनमुताबिक जवाब मिलते हैं. इंसान प्रॉम्प्ट इंजीनियर करते हैं. अच्छी तरह से बनाए गए प्रॉम्प्ट लिखना, यह पक्का करने का एक ज़रूरी हिस्सा है कि किसी बड़े लैंग्वेज मॉडल से काम के जवाब मिलें. प्रॉम्प्ट इंजीनियरिंग कई चीज़ों पर निर्भर करती है, जैसे:

• इस डेटासेट का इस्तेमाल, लार्ज लैंग्वेज मॉडल को प्री-ट्रेन करने और इसे बेहतर करने के लिए किया जाता है.
• तापमान और डिकोड करने के अन्य पैरामीटर, जिनका इस्तेमाल मॉडल, रिस्पॉन्स जनरेट करने के लिए करता है.

मददगार प्रॉम्प्ट लिखने के बारे में ज़्यादा जानने के लिए, प्रॉम्प्ट डिज़ाइन के बारे में जानकारी देखें.

प्रॉम्प्ट डिज़ाइन, प्रॉम्प्ट इंजीनियरिंग का एक समानार्थी शब्द है.

प्रॉम्प्ट ट्यूनिंग

#language

#generativeAI

पैरामीटर की असरदार ट्यूनिंग तकनीक, जो "प्रीफ़िक्स" को सीखती है, जिसे सिस्टम, असली प्रॉम्प्ट से शुरू करता है.

प्रॉम्प्ट ट्यूनिंग का एक वैरिएशन यह है कि प्रीफ़िक्स को हर लेयर से पहले जोड़ा जाए. इसे कभी-कभी प्रीफ़िक्स ट्यूनिंग भी कहा जाता है. वहीं दूसरी ओर, ज़्यादातर प्रॉम्प्ट ट्यूनिंग, सिर्फ़ इनपुट लेयर में प्रीफ़िक्स जोड़ता है.

प्रीफ़िक्स के बारे में ज़्यादा जानने के लिए, आइकॉन पर क्लिक करें.

प्रॉम्प्ट ट्यूनिंग के लिए, "prefix" (इसे "सॉफ़्ट प्रॉम्प्ट" भी कहा जाता है) कुछ सीखे गए, टास्क के हिसाब से बने वेक्टर है. ये असल प्रॉम्प्ट से एम्बेड किए गए टेक्स्ट टोकन से पहले जुड़े होते हैं. सिस्टम, दूसरे सभी मॉडल पैरामीटर को फ़्रीज़ करके और किसी खास टास्क को बेहतर बनाकर, सॉफ़्ट प्रॉम्प्ट को सीखता है.

---

R

रोल के लिए प्रॉम्प्ट भेजना

#language

#generativeAI

यह प्रॉम्प्ट का एक वैकल्पिक हिस्सा है, जो जनरेटिव एआई मॉडल से मिलने वाले रिस्पॉन्स के लिए, टारगेट ऑडियंस की पहचान करता है. भूमिका के लिए दिए गए प्रॉम्प्ट के बिना, एक बड़ा लैंग्वेज मॉडल ऐसा जवाब देता है जो सवाल पूछने वाले व्यक्ति के लिए काम का हो सकता है या नहीं भी. रोल प्रॉम्प्ट की मदद से, बड़ा लैंग्वेज मॉडल इस तरीके से जवाब दे सकता है कि यह किसी खास टारगेट ऑडियंस के लिए ज़्यादा सही और ज़्यादा मददगार होगा. उदाहरण के लिए, नीचे दिए गए प्रॉम्प्ट में रोल प्रॉम्प्ट वाला हिस्सा बोल्डफ़ेस में है:

• अर्थशास्त्र में पीएचडी के लिए इस लेख की खास जानकारी लिखो.
• बताओ कि 10 साल के बच्चे के लिए ज्वार कैसे काम करता है.
• 2008 के वित्तीय संकट के बारे में बताओ. किसी छोटे बच्चे या गोल्डन रिट्रीवर नस्ल के कुत्ते की तरह बोलें.

S

सेल्फ़-ध्यान देने की सुविधा (इसे सेल्फ़-अटेंशन लेयर भी कहा जाता है)

#language

एक न्यूरल नेटवर्क लेयर, जो एम्बेड किए गए लिंक (जैसे, टोकन एम्बेडिंग) के क्रम को एम्बेडिंग के दूसरे क्रम में बदल देती है. आउटपुट क्रम में एम्बेड किए गए हर एलिमेंट को, इनपुट सीक्वेंस के एलिमेंट से जानकारी जोड़कर बनाया जाता है. इसके लिए, ध्यान देने का तरीका इस्तेमाल किया जाता है.

खुद को ध्यान में रखने वाली सेल्फ़ का मतलब किसी दूसरे संदर्भ के बजाय, खुद से बात करने वाले वीडियो से है. ट्रांसफ़ॉर्मर के लिए, खुद को पहचानें

सेल्फ़-अटेंशन लेयर, हर शब्द के लिए इनपुट को दिखाने के क्रम से शुरू होती है. किसी शब्द के लिए इनपुट प्रज़ेंटेशन को एम्बेड करना आसान हो सकता है. इनपुट के क्रम में हर शब्द के लिए, नेटवर्क यह तय करता है कि शब्द के पूरे क्रम में मौजूद हर शब्द के लिए, शब्द कितने काम का है. प्रासंगिकता के स्कोर से यह तय होता है कि शब्द को सही तरीके से पेश करने के बाद, उसमें कितने दूसरे शब्द शामिल किए गए हैं.

उदाहरण के लिए, इस वाक्य पर विचार करें:

जानवर ने सड़क पार नहीं की, क्योंकि वह बहुत थका हुआ था.

यहां दिए गए इलस्ट्रेशन में (ट्रांसफ़ॉर्मर: ए नॉवल न्यूरल नेटवर्क आर्किटेक्चर फ़ॉर लैंग्वेज अंडरग्राउंडिंग) सर्वनाम it के लिए, खुद पर ध्यान देने वाली लेयर का अटेंशन पैटर्न दिखाता है. इसमें मौजूद हर लाइन के अंधेरे से यह पता चलता है कि इस वाक्य में कोई शब्द कितना अहम है:

सेल्फ़-अटेंशन लेयर, उन शब्दों को हाइलाइट करती है जो "it" के लिए काम के हैं. इस मामले में, अटेंशन लेयर ने उन शब्दों को हाइलाइट करना सीख लिया है जो जानवरों को सबसे ज़्यादा वज़न देते हुए यह हो सकते हैं.

n टोकन के क्रम के लिए, खुद को देखने की सुविधा, एम्बेड किए गए कॉन्टेंट के क्रम को n अलग-अलग समय में बदल देती है. ऐसा, क्रम में हर पोज़िशन पर एक बार किया जाता है.

ध्यान देना और कई बार खुद को ध्यान में रखने की सुविधा को भी देखें.

भावनाओं का विश्लेषण

#language

किसी सेवा, प्रॉडक्ट, संगठन या विषय के बारे में किसी ग्रुप का सकारात्मक या नकारात्मक नज़रिया तय करने के लिए, आंकड़ों या मशीन लर्निंग का इस्तेमाल करना. उदाहरण के लिए, सामान्य भाषा की समझ का इस्तेमाल करके, एक एल्गोरिदम यूनिवर्सिटी के कोर्स के टेक्स्ट वाले फ़ीडबैक का आकलन कर सकता है. इससे यह तय किया जा सकता है कि छात्र-छात्राओं ने किस डिग्री को आम तौर पर पसंद या नापसंद किया है.

सीक्वेंस-टू-सीक्वेंस टास्क

#language

ऐसा टास्क जो टोकन के इनपुट क्रम को टोकन के आउटपुट क्रम में बदलता है. उदाहरण के लिए, क्रम-से-क्रम तक दो लोकप्रिय टास्क हैं:

• अनुवादक:
  • इनपुट के क्रम का उदाहरण: "मुझे तुमसे प्यार है."
  • आउटपुट क्रम का उदाहरण: "Je t'aime."
• सवाल का जवाब दिया जा रहा है:
  • इनपुट के क्रम का उदाहरण: "क्या मुझे न्यूयॉर्क में अपनी कार की ज़रूरत पड़ेगी?"
  • आउटपुट क्रम का नमूना: "नहीं. कृपया अपनी कार को घर पर ही रखें."

स्किप-ग्राम

#language

n-gram, जो मूल कॉन्टेक्स्ट से शब्दों को हटा (या "स्किप") कर सकता है, इसका मतलब है कि N शब्द मूल रूप से एक-दूसरे के साथ नहीं जुड़े होंगे. सटीक तौर पर, "k-skip-n-gram" एक n-ग्राम है. इसमें, ज़्यादा से ज़्यादा हज़ार शब्दों को स्किप किया जा सकता है.

उदाहरण के लिए, "Quick Brown fox" में ये दो ग्राम हो सकते हैं:

• "तेज़"
• "क्विक ब्राउन"
• "ब्राउन फ़ॉक्स"

"1-स्किप-2-ग्राम", शब्दों का ऐसा जोड़ा होता है जिसमें ज़्यादा से ज़्यादा 1 शब्द होता है. इसलिए, "झटपट ब्राउन फ़ॉक्स" में एक से दो ग्राम के बाद ये चीज़ें आती हैं:

• "भूरा"
• "क्विक फ़ॉक्स"

इसके अलावा, सभी 2 ग्राम में 1 स्किप 2 ग्राम के लिए भी बदलाव किया जा सकता है, क्योंकि एक से कम शब्द स्किप किए जा सकते हैं.

स्किप-ग्राम की मदद से, किसी शब्द से जुड़े कॉन्टेक्स्ट को आसानी से समझा जा सकता है. उदाहरण में, "fox" का संबंध एक-स्किप-2-ग्राम के सेट में "Quick" से है, लेकिन 2-ग्राम के सेट में नहीं.

स्किप-ग्राम की मदद से, शब्द एम्बेड करने वाले मॉडल को ट्रेनिंग दी जा सकती है.

सॉफ़्ट प्रॉम्प्ट ट्यूनिंग

#language

#generativeAI

किसी खास टास्क के लिए, बड़े लैंग्वेज मॉडल को ट्यून करने की तकनीक. इसमें ज़्यादा रिसॉर्स का इस्तेमाल किए बिना, फ़ाइन-ट्यूनिंग की ज़रूरत नहीं होती. सॉफ़्ट प्रॉम्प्ट ट्यूनिंग, मॉडल में सभी वेट को फिर से ट्रेन करेगा. इसके बजाय, उसी लक्ष्य को हासिल करने के लिए, प्रॉम्प्ट में अपने-आप बदलाव होता है.

टेक्स्ट वाले प्रॉम्प्ट को देखते हुए, सॉफ़्ट प्रॉम्प्ट ट्यूनिंग आम तौर पर प्रॉम्प्ट में अतिरिक्त टोकन एम्बेडिंग को जोड़ती है. साथ ही, इनपुट को ऑप्टिमाइज़ करने के लिए, बैकप्रोपेगेशन का इस्तेमाल करती है.

"हार्ड" प्रॉम्प्ट में टोकन एम्बेड करने के बजाय असली टोकन होते हैं.

स्पार्स फ़ीचर

#language

#fundamentals

ऐसी सुविधा जिसकी वैल्यू मुख्य रूप से शून्य या खाली है. उदाहरण के लिए, एक वैल्यू और लाखों शून्य वैल्यू वाली सुविधा को स्पार्स कहा जाता है. इसके उलट, डेंसिटी सुविधा में ऐसी वैल्यू होती हैं जो ज़्यादातर, शून्य या खाली नहीं होती हैं.

मशीन लर्निंग में बहुत सी सुविधाएं बहुत कम होती हैं. कैटगरी के आधार पर दिखने वाली सुविधाएं, आम तौर पर बहुत कम पाई जाती हैं. उदाहरण के लिए, किसी जंगल में पेड़ की 300 संभावित प्रजातियों में से, एक उदाहरण में सिर्फ़ मेपल ट्री की पहचान हो सकती है. या, वीडियो लाइब्रेरी के लाखों वीडियो में से, किसी एक उदाहरण में सिर्फ़ "कासाब्लांका" शामिल हो सकता है.

किसी मॉडल में, आम तौर पर वन-हॉट एन्कोडिंग की मदद से, स्पार्स सुविधाएं दिखाई जाती हैं. अगर वन-हॉट एन्कोडिंग बड़ी है, तो बेहतर परफ़ॉर्मेंस के लिए वन-हॉट एन्कोडिंग के ऊपर एम्बेड की जा रही लेयर जोड़ी जा सकती है.

स्पार्स रिप्रज़ेंटेशन

#language

#fundamentals

स्पार्स सुविधा में नॉन-ज़ीरो एलिमेंट की सिर्फ़ रैंक स्टोर करना.

उदाहरण के लिए, मान लें कि species नाम की कैटगरी वाली सुविधा, किसी खास जंगल में पेड़ों की 36 प्रजातियों की पहचान करती है. साथ ही, यह मान लें कि हर उदाहरण में, सिर्फ़ एक प्रजाति की पहचान की जाती है.

हर उदाहरण में पेड़ की प्रजातियों को दिखाने के लिए, वन-हॉट वेक्टर का इस्तेमाल किया जा सकता है. वन-हॉट वेक्टर में एक 1 (इस उदाहरण में पेड़ों की खास प्रजातियों को दिखाने के लिए) और 35 0 होंगे (इस उदाहरण में पेड़ की 35 प्रजातियों को दिखाने के लिए नहीं). इसलिए, maple का वन-हॉट प्रज़ेंटेशन कुछ ऐसा दिख सकता है:

इसके अलावा, सटीक जानकारी से सिर्फ़ किसी खास प्रजातियों की स्थिति का पता लगाया जा सकता है. अगर maple, 24 वें स्थान पर है, तो maple का थोड़ा-बहुत प्रतिनिधित्व यह होगा:

24

ध्यान दें कि खास तौर पर दिखाए जाने वाले प्रतिनिधि की तुलना में, खास मॉडल को बेहतर तरीके से दिखाना बहुत छोटा है.

ध्यान दें: आपको किसी मॉडल में, सीधे तौर पर फ़ीचर इनपुट के तौर पर, स्पार्स रिप्रज़ेंटेशन पास नहीं करना चाहिए. इसके बजाय, आपको ट्रेनिंग देने से पहले, स्पार्स वाले मॉडल को वन-हॉट प्रज़ेंटेशन में बदलना चाहिए.

थोड़े ज़्यादा जटिल उदाहरण के लिए, आइकॉन पर क्लिक करें.

मान लें कि आपके मॉडल के हर उदाहरण को अंग्रेज़ी वाक्य में शब्दों—लेकिन उन शब्दों के क्रम को नहीं—दिखाना चाहिए. अंग्रेज़ी में करीब 1,70,000 शब्द हैं, तो अंग्रेज़ी में करीब 1,70,000 एलिमेंट हैं. यह कैटगरी में एक कैटगरी में आता है. अंग्रेज़ी के ज़्यादातर वाक्यों में इन 1,70,000 शब्दों का बहुत ही छोटा सा हिस्सा इस्तेमाल होता है. इसलिए, एक उदाहरण में शब्दों के सेट को बहुत ही कम शब्दों में लिखा जाएगा.

नीचे दिए गए वाक्य पर विचार करें:

My dog is a great dog

इस वाक्य में शब्दों को दिखाने के लिए, वन-हॉट वेक्टर के वैरिएंट का इस्तेमाल किया जा सकता है. इस वैरिएंट में, वेक्टर की एक से ज़्यादा सेल में नॉन-ज़ीरो वैल्यू हो सकती है. इसके अलावा, इस वैरिएंट में, सेल में एक के अलावा, कोई दूसरा पूर्णांक हो सकता है. हालांकि, "मेरा", "इस", "एक", और "शानदार" शब्द, वाक्य में सिर्फ़ एक बार दिखते हैं, लेकिन "कुत्ता" शब्द दो बार दिखता है. इस वाक्य में शब्दों को दिखाने के लिए, एक-हॉट वेक्टर के इस वैरिएंट का इस्तेमाल करने से 1,70,000 एलिमेंट वाला वेक्टर मिलता है:

एक ही वाक्य को कम शब्दों में इस तरह से दिखाया जाएगा:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

अगर आप उलझन में हैं, तो आइकॉन पर क्लिक करें.

"स्पार्स रिप्रज़ेंटेशन" शब्द बहुत से लोगों को उलझन में डालता है, क्योंकि स्पैर्स रिप्रेज़ेंटेशन अपने-आप एक स्पैर्स वेक्टर नहीं है. इसके बजाय, खास जानकारी को स्पैर्स वेक्टर के तौर पर बहुत बारीकी से दिखाना है. समानार्थी शब्द इंडेक्स निरूपण "अल्प प्रदर्शन" से थोड़ा ज़्यादा समझ में आता है.

---

कुछ लोगों के लिए ट्रेनिंग

#language

अलग-अलग चरणों के क्रम में किसी मॉडल को ट्रेनिंग देने की रणनीति. उनका लक्ष्य या तो ट्रेनिंग प्रोसेस को तेज़ करना या बेहतर मॉडल क्वालिटी हासिल करना हो सकता है.

प्रोग्रेसिव स्टैकिंग अप्रोच का इलस्ट्रेशन यहां दिखाया गया है:

• पहले चरण में 3, छिपाई गई लेयर, और तीसरे चरण में 12 छिपी हुई लेयर शामिल हैं.
• दूसरे चरण की तीन छिपे हुए लेयर में सीखे गए वज़न से ट्रेनिंग शुरू होती है. तीसरे चरण की ट्रेनिंग की शुरुआत दूसरे चरण की छह छिपी हुई लेयर में सीखे गए वज़न से होती है.

पाइपलाइनिंग भी देखें.

सबवर्ड टोकन

#language

भाषा के मॉडल में, एक टोकन होता है. यह किसी शब्द की सबस्ट्रिंग होता है. इसकी वैल्यू में पूरा शब्द हो सकता है.

उदाहरण के लिए, "itemize" जैसे शब्द को "item" (मुख्य शब्द) और "ize" (एक प्रत्यय) के हिस्सों में बांटा जा सकता है, जिनमें से हर एक अपने टोकन से दिखाया जाता है. असामान्य शब्दों को सब-वर्ड कहते हैं. इससे भाषा के मॉडल, शब्द के ज़्यादा आम हिस्सों, जैसे कि प्रीफ़िक्स और सफ़िक्स पर काम कर पाते हैं.

इसके ठीक उलट, "जाने" जैसे सामान्य शब्दों को बांटा नहीं जा सकता और एक ही टोकन से दिखाया जा सकता है.

T

T5

#language

टेक्स्ट-टू-टेक्स्ट ट्रांसफ़र लर्निंग मॉडल, जिसे 2020 में Google के एआई ने शुरू किया था. T5, एक एन्कोडर-डीकोडर मॉडल है. यह ट्रांसफ़ॉर्मर आर्किटेक्चर पर आधारित है. इसे बहुत बड़े डेटासेट पर ट्रेनिंग दी गई है. नैचुरल लैंग्वेज प्रोसेसिंग से जुड़े कई तरह के कामों में यह सुविधा असरदार है. जैसे, टेक्स्ट जनरेट करना, भाषाओं का अनुवाद करना, और बातचीत करके सवालों के जवाब देना.

T5 का नाम "टेक्स्ट-टू-टेक्स्ट ट्रांसफ़र ट्रांसफ़ॉर्मर" के पांच टी से लिया गया है.

टी5एक्स

#language

यह एक ओपन सोर्स मशीन लर्निंग फ़्रेमवर्क है. इसे बड़े पैमाने पर नैचुरल लैंग्वेज प्रोसेसिंग (एनएलपी) के मॉडल बनाने और ट्रेन करने के लिए डिज़ाइन किया गया है. T5 को T5X कोड बेस पर लागू किया गया है. इसे JAX और Flax पर बनाया गया है.

तापमान

#language

#image

#generativeAI

हाइपर पैरामीटर, जो मॉडल के आउटपुट की रैंडमनेस की डिग्री को कंट्रोल करता है. ज़्यादा तापमान होने से आउटपुट ज़्यादा अनियमित होता है, जबकि कम तापमान से आउटपुट कम मिलता है.

सबसे अच्छा तापमान चुनना, किस ऐप्लिकेशन और मॉडल के आउटपुट के पसंदीदा प्रॉपर्टी पर निर्भर करता है. उदाहरण के लिए, क्रिएटिव आउटपुट जनरेट करने वाला ऐप्लिकेशन बनाते समय शायद आप तापमान बढ़ा दें. इसके ठीक उलट, ऐसा मॉडल बनाते समय तापमान को कम किया जाएगा जो इमेज या टेक्स्ट की कैटगरी तय करने वाला मॉडल बनाता है, ताकि मॉडल को ज़्यादा सटीक और एक जैसा बनाया जा सके.

तापमान की जानकारी अक्सर सॉफ़्टमैक्स के साथ इस्तेमाल की जाती है.

टेक्स्ट स्पैन

#language

किसी टेक्स्ट स्ट्रिंग के किसी सब-सेक्शन से जुड़ा अरे इंडेक्स स्पैन. उदाहरण के लिए, Python स्ट्रिंग s="Be good now" में good शब्द, 3 से 6 तक के टेक्स्ट स्पैन को शामिल करता है.

टोकन

#language

भाषा के मॉडल में, वह ऐटॉमिक यूनिट है जिस पर मॉडल ट्रेनिंग ले रहा है और अनुमान लगा रहा है. आम तौर पर, टोकन इनमें से एक होता है:

• कोई शब्द—उदाहरण के लिए, "कुत्ते जैसे कुत्ते" वाक्यांश में तीन शब्द टोकन होते हैं: "कुत्ता", "लाइक", और "बिल्लियां".
• एक वर्ण—उदाहरण के लिए, वाक्यांश "बाइक फ़िश" में नौ वर्ण होते हैं. (ध्यान दें कि खाली जगह को टोकन के तौर पर गिना जाता है.)
• सबवर्ड—इसमें कोई एक शब्द, एक या कई टोकन हो सकता है. सबवर्ड में मूल शब्द, प्रीफ़िक्स या सफ़िक्स होता है. उदाहरण के लिए, टोकन के तौर पर सबवर्ड का इस्तेमाल करने वाला भाषा मॉडल, "कुत्ते" शब्द को दो टोकन (मूल शब्द "कुत्ता" और बहुवचन प्रत्यय "s") के रूप में देख सकता है. उसी भाषा के मॉडल में एक शब्द "लंबा", दो सबशब्दों (रूट शब्द "tall" और प्रत्यय "er") के रूप में दिख सकता है.

लैंग्वेज मॉडल से बाहर के डोमेन में, टोकन दूसरी तरह की ऐटॉमिक यूनिट दिखा सकते हैं. उदाहरण के लिए, कंप्यूटर विज़न में, टोकन किसी इमेज का सबसेट हो सकता है.

ट्रांसफ़र्मर

#language

Google में एक न्यूरल नेटवर्क आर्किटेक्चर बनाया गया है, जो सेल्फ़-अटेंशन वाले मैकेनिज़्म पर निर्भर करता है. इससे इनपुट एम्बेड करने के क्रम को, कन्वर्ज़न या बार-बार होने वाले न्यूरल नेटवर्क के बिना, आउटपुट एम्बेड किए गए क्रम में बदला जा सकता है. ट्रांसफ़ॉर्मर को सेल्फ़-अटेंशन लेयर के स्टैक के रूप में देखा जा सकता है.

ट्रांसफ़ॉर्मर में इनमें से कुछ भी शामिल हो सकता है:

• एन्कोडर
• डीकोडर
• एन्कोडर और डिकोडर दोनों

एन्कोडर एम्बेड किए गए वीडियो के क्रम को, उसी लंबाई के नए क्रम में बदल देता है. किसी एन्कोडर में एक जैसी N लेयर होती हैं, जिनमें से हर एक में दो सब-लेयर होती हैं. ये दो सब-लेयर, इनपुट एम्बेड करने के क्रम की हर पोज़िशन पर लागू किए जाते हैं और क्रम के हर एलिमेंट को नए एम्बेडिंग में बदल देते हैं. पहला एन्कोडर सब-लेयर, पूरे इनपुट क्रम से जानकारी इकट्ठा करता है. दूसरा एन्कोडर सब-लेयर, इकट्ठा की गई जानकारी को आउटपुट एम्बेडिंग में बदल देता है.

डिकोडर, इनपुट एम्बेड करने के क्रम को आउटपुट एम्बेडिंग के क्रम में बदल देता है. इसे अलग-अलग लंबाई वाले फ़ॉर्मैट में बदला जा सकता है. डिकोडर में तीन सब-लेयर वाली एक जैसी N लेयर भी होती हैं. इनमें से दो लेयर, एन्कोडर सब-लेयर की तरह होती हैं. तीसरा डिकोडर सब-लेयर, एन्कोडर का आउटपुट लेता है और इससे जानकारी इकट्ठा करने के लिए, सेल्फ़-अटेंशन तकनीक लागू करता है.

इस ब्लॉग पोस्ट में ट्रांसफ़ॉर्मर: एक नॉवल न्यूरल नेटवर्क आर्किटेक्चर फ़ॉर लैंग्वेज समझौता ट्रांसफ़ॉर्मर के बारे में अच्छी तरह से बताता है.

ट्रिग्राम

#seq

#language

ऐसा N-gram है जिसमें N=3 है.

U

एकतरफ़ा

#language

यह सिस्टम सिर्फ़ उस टेक्स्ट का आकलन करता है जो टेक्स्ट के टारगेट सेक्शन से पहले आता है. इसके उलट, दो-तरफ़ा सिस्टम, टेक्स्ट के टारगेट सेक्शन से पहले वाले और फ़ॉलो करने वाले, दोनों टेक्स्ट का आकलन करता है. ज़्यादा जानकारी के लिए, दोतरफ़ा लेख देखें.

एकतरफ़ा लैंग्वेज मॉडल

#language

ऐसा भाषा मॉडल जो टारगेट टोकन के बाद में दिखने वाले टोकन पर ही अपनी प्रॉबबिलिटी तय करता है. दो-तरफ़ा भाषा वाले मॉडल के बीच अंतर है.

V

वैरिएशनल ऑटोएनकोडर (VAE)

#language

एक तरह का ऑटोएनकोडर, जो इनपुट और आउटपुट के बीच अंतर का पता लगाता है और इनपुट के बदले गए वर्शन जनरेट करता है. अलग-अलग तरह के ऑटोएनकोडर, जनरेटिव एआई के लिए काम के होते हैं.

VAE, वैरिएशनल अनुमान पर आधारित होते हैं: यह प्रॉबबिलिटी मॉडल के पैरामीटर का अनुमान लगाने की तकनीक है.

W

शब्द एम्बेड करना

#language

एम्बेड किए जाने वाले वेक्टर में वर्ड सेट के हर शब्द को दिखाने का मतलब है कि हर शब्द को 0.0 और 1.0 के बीच के फ़्लोटिंग-पॉइंट वैल्यू के वेक्टर के तौर पर दिखाया जाता है. मिलते-जुलते मतलब वाले शब्दों का मतलब अलग-अलग मतलब वाले शब्दों की तुलना में ज़्यादा होता है. उदाहरण के लिए, गाजर, अजवाइन, और खीरे, सभी को एक जैसा दिखाया जाएगा. यह तरीका हवाई जहाज़, धूप का चश्मा, और टूथपेस्ट दिखाने से काफ़ी अलग होगा.

Z

ज़ीरो-शॉट प्रॉम्प्ट

#language

#generativeAI

ऐसा प्रॉम्प्ट जिससे इस बात का उदाहरण नहीं मिलता कि आपको बड़े लैंग्वेज मॉडल से जवाब कैसे चाहिए. उदाहरण के लिए:

एक प्रॉम्प्ट के हिस्से	ज़रूरी जानकारी
किसी देश की आधिकारिक मुद्रा क्या है?	आपको इस सवाल का जवाब एलएलएम से देना है.
भारत:	असल क्वेरी.

बड़ा लैंग्वेज मॉडल, इनमें से किसी भी विकल्प के साथ जवाब दे सकता है:

• रुपया
• INR
• ₹
• भारतीय रुपया
• रुपया
• भारतीय रुपया

सभी जवाब सही हैं. हालांकि, हो सकता है कि आपको कोई चुनिंदा फ़ॉर्मैट ही पसंद आए.

ज़ीरो-शॉट प्रॉम्प्ट की तुलना यहां दिए गए शब्दों से करें:

• एक बार में प्रॉम्प्ट भेजना
• कुछ-कुछ प्रॉम्प्ट