L1 रेगुलराइज़ेशन
नीचे दिए गए विकल्पों को एक्सप्लोर करें.
ऐसे लीनियर मॉडल के बारे में सोचें जिसमें 100 इनपुट सुविधाएं हों:
10 सवालों में बहुत ज़्यादा जानकारी होती है.
90 ऐसे होते हैं जो कोई ज़रूरी जानकारी नहीं देते.
मान लें कि सभी सुविधाओं की वैल्यू -1 और 1 के बीच है.
इनमें से कौनसी जानकारी सही है?
L1 को नियमित करने की वजह से, कई बिना जानकारी वाले वेट 0.0 के करीब (लेकिन सटीक नहीं) 0.0 होने चाहिए.
आम तौर पर, काफ़ी लैम्डा का L1 रेगुलराइज़ेशन, गैर-जानकारी देने वाली सुविधाओं को ठीक 0.0 के वज़न पर लाने को बढ़ावा देता है.
L2 रेगुलराइज़ेशन के उलट, L1 रेगुलराइज़ेशन 0.0 की ओर भी "जोश" कर देता है. इससे कोई फ़र्क़ नहीं पड़ता कि वज़न 0.0 से कितना है.
L1 रेगुलराइज़ेशन से, ज़्यादातर बिना जानकारी वाले वेट को
सटीक तौर पर 0.0 रखने का बढ़ावा मिलेगा.
ज़रूरत के मुताबिक लैम्डा के L1 रेगुलराइज़ेशन से, बिना जानकारी वाले वज़न को
ठीक 0.0 करने के लिए बढ़ावा मिलता है. ऐसा करने पर,
जानकारी न देने वाली ये सुविधाएं, मॉडल से बाहर हो जाती हैं.
L1 रेगुलराइज़ेशन की वजह से, ज़रूरी जानकारी देने वाली सुविधाओं का वज़न 0.0 ही हो सकता है.
सावधान रहें--L1 रेगुलराइज़ेशन की वजह से, नीचे दी गई सुविधाओं को सटीक तौर पर 0 वैल्यू दी जा सकती है:
जानकारी देने वाली कमज़ोर सुविधाएं.
अलग-अलग स्केल पर जानकारी देने वाली सुविधाएं.
जानकारी देने वाली सुविधाएं, इसी तरह की अन्य
सुविधाओं से काफ़ी हद तक जुड़ी होती हैं.
L1 बनाम L2 रेगुलराइज़ेशन
नीचे दिए गए विकल्पों को एक्सप्लोर करें.
ऐसे लीनियर मॉडल के बारे में सोचें जिसमें 100 इनपुट सुविधाएं हों और सभी की वैल्यू
-1 से 1 के बीच हो:
10 सवालों में बहुत ज़्यादा जानकारी होती है.
90 ऐसे होते हैं जो कोई ज़रूरी जानकारी नहीं देते.
किस तरह के रेगुलराइज़ेशन से छोटा मॉडल आएगा?
2 रेगुलराइज़ेशन.
2 रेगुलराइज़ेशन के इस्तेमाल से, कभी-कभी सुविधाओं की संख्या कम होती है.
दूसरे शब्दों में, L2 रेगुलराइज़ेशन से, शायद ही कभी मॉडल का साइज़
कम होता है.
1 रेगुलराइज़ेशन.
1 रेगुलराइज़ेशन की वजह से,
सुविधाओं की संख्या कम हो जाती है. दूसरे शब्दों में, L1 रेगुलराइज़ेशन से, अक्सर
मॉडल का साइज़ कम हो जाता है.