L₁ रेगुलराइज़ेशन की जांच करना

इस व्यायाम में एक छोटी सी, थोड़ी शोर वाली, ट्रेनिंग शामिल है डेटा सेट. इस तरह की सेटिंग में, ज़रूरत से ज़्यादा फ़िट होना एक गंभीर समस्या है. रेगुलराइज़ेशन से मदद मिल सकती है, लेकिन रेगुलराइज़ेशन किस तरह का है?

इस अभ्यास में पांच मिलते-जुलते टास्क हैं. तुलना को आसान बनाने के लिए करने के लिए, हर टास्क को एक अलग टैब में चलाएं. अभी तक किसी भी व्यक्ति ने चेक इन नहीं किया है ध्यान दें कि FEATURES और OUTPUT को जोड़ने वाली लाइनों की मोटाई प्रत्येक सुविधा के सापेक्ष भार को प्रदर्शित करते हैं.

टास्क	रेगुलराइज़ेशन टाइप	रेगुलराइज़ेशन रेट (लैम्बडा)
1	आखिरी2	0.1
2	आखिरी2	0.3
3	आखिरी1	0.1
4	आखिरी1	0.3
5	आखिरी1	प्रयोग

सवाल:

1. L₂ से L₁ रेगुलराइज़ेशन पर स्विच करने का क्या तरीका है टेस्ट लॉस और ट्रेनिंग लॉस के बीच के अंतर पर क्या असर पड़ता है?
2. L₂ से L₁ रेगुलराइज़ेशन पर स्विच करने का क्या तरीका है सीखे गए महत्व पर असर डालना चाहते हैं?
3. L₁ रेगुलराइज़ेशन रेट (लैम्डा) के असर को कैसे बढ़ाता है सीखे गए वज़न?

(जवाब व्यायाम के ठीक नीचे दिखाई देते हैं.)

---

---

जवाबों के लिए प्लस आइकॉन पर क्लिक करें.

1. रेगुलराइज़ेशन के तौर पर L₂ से L₁ पर स्विच करना टेस्ट और ट्रेनिंग लॉस के बीच के अंतर को कम करता है.
2. L₂ से L₁ रेगुलराइज़ेशन डैम पर स्विच करना सीखे गए सभी वज़न की ज़रूरत होती है.
3. आम तौर पर, L₁ रेगुलराइज़ेशन रेट को बढ़ाने से कम हो जाता है सीखे गए वज़न; हालांकि, अगर रेगुलराइज़ेशन रेट बहुत ज़्यादा हो जाता है, मॉडल एक जैसे नहीं हो सकता और नुकसान बहुत ज़्यादा है.