L₂ रेगुलराइज़ेशन की जांच करना

इस व्यायाम में एक छोटा और शोरगुल वाला ट्रेनिंग डेटा सेट मौजूद है. इस तरह की सेटिंग में, ज़रूरत से ज़्यादा फ़िट होना एक गंभीर समस्या है. अच्छी बात यह है कि रेगुलराइज़ेशन मददगार हो सकता है.

इस अभ्यास में तीन मिलते-जुलते टास्क हैं. तुलना को आसान बनाने के लिए तो हर टास्क को एक अलग टैब में चलाएं.

• टास्क 1: कम से कम 500 epoch के लिए, दिए गए मॉडल को चलाएं. नोट जोड़ें निम्न:
  • टेस्ट में नुकसान.
  • टेस्ट लॉस और ट्रेनिंग लॉस के बीच का अंतर.
  • सुविधाओं और सुविधा के मापे गए महत्व को पार कर रहा है. (FEATURES से OUTPUT तक की हर लाइन की मोटाई उस फ़ीचर या फ़ीचर क्रॉस के लिए सीखे गए वेट को दिखाता है. वज़न की सटीक जानकारी देखने के लिए, हर लाइन.)
• टास्क 2: (इस टास्क को किसी अलग टैब में करें.) इसे बढ़ाएं रेगुलराइज़ेशन दर 0 से 0.3 हो गई. इसके बाद, कम से कम 500 epoch का मॉडल बनाएं और इन सवालों के जवाब पाएं:
  • टास्क 2 में टेस्ट लॉस और टास्क के टेस्ट में नुकसान किस तरह से हुआ है 1?
  • टास्क 2 में, टेस्ट लॉस और ट्रेनिंग लॉस के बीच का अंतर कैसे आता है क्या यह टास्क 1 के मुकाबले अलग है?
  • हर सुविधा और सुविधा के आकलन किए गए वेट अलग-अलग कैसे हैं क्या आपको टास्क 2 से टास्क 1 पर जाना है?
  • आपके नतीजे, मॉडल की जटिलता के बारे में क्या बताते हैं?
• टास्क 3: रेगुलराइज़ेशन रेट के साथ एक्सपेरिमेंट करते हुए, इष्टतम मूल्य.

(जवाब व्यायाम के ठीक नीचे दिखाई देते हैं.)

---

---

जवाबों के लिए प्लस आइकॉन पर क्लिक करें.

रेगुलराइज़ेशन रेट को 0 से 0.3 करने पर, ये नतीजे मिलते हैं प्रभाव:

• टेस्ट लॉस में काफ़ी गिरावट आ गई है.

  ध्यान दें: टेस्ट में होने वाली कमी कम हो जाती है, लेकिन असल में ट्रेनिंग लॉस घट जाता है बढ़ोतरी होती है. ऐसा होना चाहिए, क्योंकि आपने दूसरा जोड़ा है इसका मतलब है कि लॉस फ़ंक्शन इस्तेमाल करना मुश्किल है. आखिरकार, इतना ही बहुत मायने रखता है परीक्षण में कमी, क्योंकि इससे मॉडल की क्षमता का पता लगाने के लिए नए डेटा पर अच्छे अनुमान लगाने में मदद करता है.

• टेस्ट लॉस और ट्रेनिंग लॉस के बीच का अंतर काफ़ी कम हो जाता है.
• सुविधाओं और कुछ सुविधाओं के क्रॉस का महत्व कम है ऐब्सलूट वैल्यू, जिससे पता चलता है कि मॉडल की जटिलता कम हो जाती है.

डेटा सेट में किसी भी क्रम की वजह से, यह अनुमान लगाना मुश्किल है कि किस रेगुलराइज़ेशन रेट से आपको सबसे अच्छे नतीजे मिले. हमारे लिए, आम तौर पर 0.3 या 1 की रेगुलराइज़ेशन दर तैयार की जाती है सबसे कम नुकसान.