आसानी से रेगुलराइज़ेशन: अपनी समझ को परखें

अनुमानित समय: पांच मिनट

L₂ रेगुलराइज़ेशन

नीचे दिए गए विकल्पों को एक्सप्लोर करें.

ऐसे लीनियर मॉडल के बारे में सोचें जिसमें 100 इनपुट सुविधाएं हों:

10 सवालों में बहुत ज़्यादा जानकारी होती है.

90 ऐसे होते हैं जो कोई ज़रूरी जानकारी नहीं देते.

मान लें कि सभी सुविधाओं की वैल्यू -1 और 1 के बीच है. इनमें से कौनसी जानकारी सही है?

L₂ रेगुलराइज़ेशन से, कई बिना जानकारी वाले वेटेज (महत्व) को हासिल करने में मदद मिले, लेकिन सटीक तौर पर उनकी वैल्यू 0.0 न हो.

हां, L₂ रेगुलराइज़ेशन से, वज़न को 0.0 के आस-पास रखने में मदद मिलती है, न कि 0.0 के आस-पास.

L₂ रेगुलराइज़ेशन से, ज़्यादातर बिना जानकारी वाले वेट को सटीक तौर पर 0.0 रखने का बढ़ावा मिलेगा.

L₂ रेगुलराइज़ेशन के लिए, वैल्यू को 0.0 पर लागू करने की ज़रूरत नहीं होती. L₂ रेगुलराइज़ेशन के इस्तेमाल से, छोटे वज़न की तुलना में बड़े वज़न को दंडित किया जाता है. वज़न 0.0 के करीब पहुंचने पर, L₂ "पुश" को कम तेज़ी से 0.0 की ओर धकेलता है.

₂ रेगुलराइज़ेशन की वजह से, जानकारी देने वाली कुछ सुविधाओं के लिए मॉडल को सामान्य वज़न की जानकारी मिल सकती है.

हैरानी की बात यह है कि ऐसा तब हो सकता है, जब कोई जानकारी न देने वाली सुविधा लेबल से जुड़ी हो. इस मामले में, मॉडल इस तरह की गैर-जानकारी देने वाली सुविधाओं को गलती से कुछ "क्रेडिट" भी दे देता है, जिन्हें जानकारी देने वाली सुविधाओं में इस्तेमाल करना चाहिए था.

L₂ रेगुलराइज़ेशन और एक-दूसरे से जुड़ी सुविधाएं

नीचे दिए गए विकल्पों को एक्सप्लोर करें.

मान लें कि एक लीनियर मॉडल में दो खास बातें एक-दूसरे से जुड़ी हों. इसका मतलब है कि ये दोनों सुविधाएं एक-दूसरे की काफ़ी हद तक मिलती-जुलती हैं, लेकिन एक सुविधा में थोड़ा-बहुत शोर है. अगर हम इस मॉडल को L₂ रेगुलराइज़ेशन के साथ ट्रेनिंग देते हैं, तो इन दोनों सुविधाओं के वेट का क्या होगा?

दोनों सुविधाओं का वेट करीब-करीब बराबर होगा.

L₂ रेगुलराइज़ेशन, सुविधाओं को करीब-करीब बराबर वैल्यू पर लागू करेगा. यह वैल्यू, मॉडल की दोनों सुविधाओं में से सिर्फ़ एक के मुकाबले आधी होती है.

एक सुविधा का वज़न बहुत ज़्यादा होगा; जबकि दूसरी सुविधा का वज़न करीब 0.0 होगा.

L₂ रेगुलराइज़ेशन के इस्तेमाल से, छोटे वज़न की तुलना में बड़े वज़न वाले लोगों को ज़्यादा दंड दिया जाता है. इसलिए, अगर एक वज़न दूसरे वज़न की तुलना में तेज़ी से कम होने लगा, तो L₂ रेगुलराइज़ेशन बड़े वज़न को छोटे वज़न की तुलना में, तेज़ी से कम करने की कोशिश करेगा.

एक सुविधा का वज़न बहुत ज़्यादा होगा; जबकि दूसरी सुविधा का वज़न ठीक 0.0 होगा.

L₂ रेगुलराइज़ेशन कभी-कभी ही, वेट को सिर्फ़ 0.0 पर सेट करता है. वहीं दूसरी ओर, L₁ रेगुलराइज़ेशन (इसके बारे में बाद में चर्चा की गई है) वैल्यू को पूरी तरह 0.0 पर दबाता है.

सहायता केंद्र