रेगुलराइज़ेशन का मतलब, ओवरफ़िटिंग को कम करने के लिए, मॉडल की जटिलता को कम करना है.
आसानी से रेगुलराइज़ेशन के लिए
सामान्यीकरण वक्र
मॉडल की जटिलता को दंडित करना
- जहां संभव हो, हम मॉडल जटिलता से बचना चाहते हैं.
- ट्रेनिंग के दौरान किए जाने वाले ऑप्टिमाइज़ेशन के हिसाब से, इस आइडिया को लागू किया जा सकता है.
- एंपिरिकल रिस्क कम करना:
- इसका लक्ष्य कम ट्रेनिंग की गड़बड़ी है
$$ \text{minimize: } Loss(Data\;|\;Model) $$
मॉडल की जटिलता को दंडित करना
- जहां संभव हो, हम मॉडल जटिलता से बचना चाहते हैं.
- ट्रेनिंग के दौरान किए जाने वाले ऑप्टिमाइज़ेशन के हिसाब से, इस आइडिया को लागू किया जा सकता है.
- संरचनात्मक जोखिम को कम करना:
- इसका लक्ष्य कम ट्रेनिंग की गड़बड़ी है
- और जटिलताओं के बीच संतुलन बनाते हुए
$$ \text{minimize: } Loss(Data\;|\;Model) + complexity(Model) $$
रेगुलराइज़ेशन
- जटिलता(मॉडल) की परिभाषा कैसे तय करें?
रेगुलराइज़ेशन
- जटिलता(मॉडल) की परिभाषा कैसे तय करें?
- कम वज़न वाली चीज़ों को प्राथमिकता दें
रेगुलराइज़ेशन
- जटिलता(मॉडल) की परिभाषा कैसे तय करें?
- कम वज़न वाली चीज़ों को प्राथमिकता दें
- इससे डाइव करने पर शुल्क लग सकता है
- L2 रेगुलराइज़ेशन (जिसे रिज भी कहा जाता है) की मदद से इस आइडिया को कोड में बदला जा सकता है
- complexity(model) = वज़न के स्क्वेयर का कुल योग
- दुश्मनों को बहुत ज़्यादा झेलना पड़ता है
- रेखीय मॉडल के लिए: समतल ढलानों को प्राथमिकता देता है
- बायेसियन पूर्वगामी:
- भार शून्य के आस-पास केंद्रित होना चाहिए
- वज़न की जानकारी सामान्य तौर पर दी जानी चाहिए
L2 रेगुलराइज़ेशन के साथ लॉस फ़ंक्शन
$$ Loss(Data|Model) + \lambda \left(w_1^2 + \ldots + w_n^2 \right) $$
\(\text{Where:}\)
\(Loss\text{: Aims for low training error}\)
\(\lambda\text{: Scalar value that controls how weights are balanced}\)
\(w_1^2+\ldots+w_n^2\text{: Square of}\;L_2\;\text{norm}\)