मशीन लर्निंग ग्लॉसरी: सीक्वेंस मॉडल

इस पेज में सीक्वेंस मॉडल के लिए, कई शब्दावली से जुड़े शब्द मौजूद हैं. शब्दावली के सभी शब्दों के लिए, यहां क्लिक करें.

B

Bigram

#seq
#language

N-ग्राम, जिसमें N=2 होता है.

E

CANNOT TRANSLATE

#seq

न्यूरल न्यूरल नेटवर्क (खास तौर पर, न्यूरल नेटवर्क) के काफ़ी ज़्यादा (ज़्यादा) बनने की संभावना. गहरे रंग के ग्रेडिएंट, अक्सर डीप ट्रैफ़िक वाले नेटवर्क में मौजूद हर नोड के वज़न में बहुत बड़े अपडेट करते हैं.

मॉडल में विस्फोट होने की समस्या से जूझना मुश्किल या मुश्किल हो जाता है. ग्रेडिंग क्लिपिंग से इस समस्या को कम किया जा सकता है.

इसके लिए, ग्रेडिएंट की समस्या दूर करने से तुलना करें.

शुक्र

गेट भूल जाएं

#seq

लंबे समय तक चलने वाली मेमोरी वाले हिस्से का, जो सेल के ज़रिए जानकारी देने को कंट्रोल करता है. सेल की स्थिति से कौनसी जानकारी खारिज करनी है, यह तय करके गेट को भूल जाएं.

G

ग्रेडिएंट क्लिपिंग

#seq

आम तौर पर, किसी मॉडल को ट्रेनिंग करने के लिए, ग्रेडिएंट डाउन का इस्तेमाल करते समय, ग्रेडिएंट की ज़्यादा से ज़्यादा वैल्यू को आर्टिफ़िशियल तरीके से सीमित करने (क्लिपिंग को कम करने के लिए, ग्रेडिएंट की समस्या को हल करने का तरीका इस्तेमाल किया जाता है.

L

लंबे समय के लिए मेमोरी (LSTM)

#seq

बार-बार आने वाले न्यूरल नेटवर्क में मौजूद किसी तरह का सेल, जिसका इस्तेमाल ऐप्लिकेशन में मौजूद डेटा के क्रम को प्रोसेस करने के लिए किया जाता है. जैसे, हैंडराइटिंग आइडेंटिटी, मशीन ट्रांसलेशन, और इमेज कैप्शनिंग. एलएसटीएम घटने की सुविधा से जुड़ी समस्या को ठीक करता है. यह तब होता है, जब आरएनएन में पिछले सेल के नए इनपुट और संदर्भ के आधार पर, पुरानी मेमोरी की स्थिति को बनाए रखते हुए, पुराने डेटा को आरएनएन को ट्रेनिंग दी जाती है.

एलएसटीएम

#seq

लंबे समय के लिए मेमोरी के लिए छोटा नाम.

N

एन-ग्राम

#seq
#language

N शब्दों के क्रम में रखा गया क्रम. उदाहरण के लिए, सही तरीके से बताना दो ग्राम सही है. क्योंकि ऑर्डर सही है, बेहद सच में दो पागल लोगों से अलग है.

N इस तरह के N-ग्राम का नाम उदाहरण
2 Bigram या 2 ग्राम शुरू करने, खाने, दोपहर का खाना खाने, और खाने के लिए
3 त्रिभुज या 3 ग्राम बहुत ज़्यादा खाना, तीन दृष्टिहीन चूहे, बेल टोल
4 चार ग्राम पार्क में पैदल चलना, हवा में धूल, लड़के ने दाल खाया

नैचुरल भाषा को समझना मॉडल, N-ग्राम पर निर्भर करते हैं और अनुमान लगाते हैं कि उपयोगकर्ता अगला शब्द टाइप करेंगे या कहेंगे. उदाहरण के लिए, मान लें कि किसी उपयोगकर्ता ने तीन ब्लाइंड टाइप किए हैं. त्रिभुजों के आधार पर बने एनएलयू मॉडल के अनुमान के हिसाब से, उपयोगकर्ता अगले माइस को चुन लेगा.

शब्द का बैग के साथ कंट्रास्ट एन-ग्राम, जो शब्दों के बिना क्रम वाले सेट होते हैं.

आर

बार-बार होने वाला न्यूरल नेटवर्क

#seq

न्यूरल नेटवर्क, जो कई बार चलाया जाता है, जिसमें हर रन के हिस्से अगली बार फ़ीड में चलते हैं. खास तौर पर, पिछली बार की गई छिपी हुई लेयर, अगले हिस्से में उसी इनपुट लेयर का हिस्सा देती हैं. दोहराए जाने वाले न्यूरल नेटवर्क, क्रम का आकलन करने के लिए खास तौर पर मददगार होते हैं, ताकि खोजी गई लेयर, सीक्वेंस के पहले हिस्से में, न्यूरल नेटवर्क के पिछले हिस्से से सीख सकें.

उदाहरण के लिए, नीचे दी गई इमेज में एक ही नेटवर्क दिखाया गया है जो चार बार चलता है. ध्यान दें कि पहली बार में चलने से, छिपी हुई लेयर में सीखी गई वैल्यू, दूसरी बार दौड़ी गई इनपुट लेयर में भी शामिल हो जाती है. इसी तरह, दूसरी बार चलने पर छिपाई गई लेयर में सीखी गई वैल्यू, तीसरी बार उसी इनपुट लेयर में इनपुट का हिस्सा बन जाती हैं. इस तरह, बार-बार आने वाला न्यूरल नेटवर्क धीरे-धीरे अलग-अलग शब्दों का मतलब नहीं, बल्कि पूरे सीक्वेंस का मतलब बताता है.

ऐसा आरएनएन जो चार इनपुट शब्दों को प्रोसेस करने के लिए चार बार चलता है.

आरएनएन

#seq

बार-बार आने वाले न्यूरल नेटवर्क के लिए छोटा फ़ॉर्म.

रवि

क्रम का मॉडल

#seq

वह मॉडल जिसके इनपुट एक क्रम पर निर्भर होते हैं. उदाहरण के लिए, पहले देखे गए वीडियो के क्रम से देखे गए अगले वीडियो का अनुमान लगाना.

गुरु

टाइमस्टेप

#seq

बार-बार आने वाले न्यूरल नेटवर्कमें एक "अनरोल किया गया" सेल. उदाहरण के लिए, नीचे दी गई इमेज में तीन टाइमस्टेप दिखाए गए हैं जिन्हें सब-स्क्रिप्ट t-1, t, और t+1 के साथ लेबल किया गया है:

बार-बार आने वाले न्यूरल नेटवर्क में तीन समय. पहले समय का आउटपुट, दूसरे समय वाले चरण में इनपुट बन जाता है. दूसरे चरण का आउटपुट, तीसरे चरण में इनपुट कर दिया जाता है.

त्रिभुज

#seq
#language

N-ग्राम, जिसमें N=3 होता है.

V

ग्रेडिएंट की समस्या हल नहीं हो रही है

#seq

कुछ गहरी न्यूरल नेटवर्क के शुरुआती छिपे हुए लेयर के ग्रेडिएंट की संभावना बहुत ज़्यादा (कम) हो गई है. लगातार कम ग्रेडिएंट होने की वजह से, डीप न्यूरल नेटवर्क के नोड में मौजूद वज़न में थोड़ा-बहुत बदलाव होता है. इस वजह से, सीखने की प्रक्रिया बहुत कम या खत्म हो जाती है. मॉडल, गायब हो रहे ग्रेडिएंट समस्या से जूझते हैं या ट्रेनिंग करना मुश्किल या नामुमकिन हो जाता है. लंबे समय के लिए मेमोरी वाली सेल से यह समस्या हल होती है.

ग्रेडिएंट की समस्या के बारे में जानने से तुलना करें.