L2 को रेगुलराइज़ेशन की जांच करना
इस व्यायाम में, शोरगुल वाली कसरत का एक छोटा-सा ट्रेनिंग डेटा सेट मौजूद है. इस तरह की सेटिंग में, ज़रूरत से ज़्यादा फ़िट होना एक चिंता का विषय है. अच्छी बात यह है कि रेगुलराइज़ेशन से मदद मिल सकती है.
इस एक्सरसाइज़ में तीन मिलते-जुलते टास्क हैं. तीनों टास्क की तुलना आसान बनाने के लिए, हर टास्क को अलग टैब में चलाएं.
- टास्क 1: मॉडल को कम से कम 500 एपिसोड के लिए बताए गए तरीके से चलाएं. इन बातों का
ध्यान रखें:
- टेस्ट हार.
- परीक्षण हानि और प्रशिक्षण में हानि के बीच का अंतर.
- सुविधाओं और सुविधाओं के सीखे गए महत्व. (FEATURES से OUTPUT तक चलने वाली हर लाइन की सापेक्ष मोटाई उस सुविधा या सुविधा के क्रॉस के लिए सीखे गए भार को दर्शाती है. हर लाइन पर कर्सर घुमाकर, सटीक वज़न की वैल्यू देखी जा सकती है.)
- टास्क 2: (इस टास्क को किसी अलग टैब में करें.) रेगुलराइज़ेशन की दर
को 0 से बढ़ाकर 0.3 करें. इसके बाद, मॉडल को कम से कम 500 epochs के लिए चलाएं और इन सवालों के जवाब पाएं:
- टास्क 2 में जांच को होने से हुए नुकसान की संख्या, टास्क 1 में हुए टेस्ट को होने वाले नुकसान से कैसे अलग है?
- टास्क 2 में, टेस्ट में होने वाले नुकसान और ट्रेनिंग में होने वाले नुकसान के बीच का अंतर, टास्क 1 के बीच के अंतर से कैसे अलग है?
- हर सुविधा और सुविधा के सीखे गए वेटेज, टास्क 2 और टास्क 1 में अलग-अलग कैसे हैं?
- मॉडल जटिलता के बारे में आपके नतीजे क्या बताते हैं?
- टास्क 3: रेगुलराइज़ेशन दर के साथ प्रयोग, इष्टतम मान खोजने की कोशिश की जा रही है.
(जवाब, कसरत के ठीक नीचे दिखेंगे.)