सामान्यीकरण का मतलब है कि आपके मॉडल की नई और पहले से अनदेखी डेटा को ठीक से अपनाने की क्षमता, ठीक उसी डिस्ट्रिब्यूशन से ली गई है जिसका इस्तेमाल मॉडल बनाने के लिए किया गया था.
सामान्य बनाना
द पिक्चर
- लक्ष्य: (छिपे हुए) वास्तविक वितरण से निकाले गए नए डेटा पर अच्छी तरह से अनुमान लगाएं.
- समस्या: हम सच्चाई नहीं देखते.
- हम सिर्फ़ इस सैंपल का इस्तेमाल करते हैं.
द पिक्चर
- लक्ष्य: (छिपे हुए) वास्तविक वितरण से निकाले गए नए डेटा पर अच्छी तरह से अनुमान लगाएं.
- समस्या: हम सच्चाई नहीं देखते.
- हम सिर्फ़ इस सैंपल का इस्तेमाल करते हैं.
- अगर मॉडल h हमारे मौजूदा सैंपल के मुताबिक है, तो हम यह कैसे भरोसा कर सकते हैं कि यह दूसरे नए सैंपल के लिए कितना अच्छा होगा?
हमें कैसे पता चलता है कि हमारा मॉडल अच्छा है?
- सैद्धांतिक तौर पर:
- दिलचस्प फ़ील्ड: सामान्य सिद्धांत
- मॉडल की सादगी / जटिलता को मेज़र करने के आइडिया के आधार पर
- जानकारी: ओक्ज़म और रेज़र के सिद्धांत को औपचारिक बनाना
- मॉडल जितना कम जटिल होगा, अनुभव से जुड़े अच्छे नतीजे मिलने की संभावना उतनी ही ज़्यादा होगी. ऐसा सिर्फ़ इस बात की वजह से नहीं होगा कि उसका नमूना कैसा है
हमें कैसे पता चलता है कि हमारा मॉडल अच्छा है?
- अनुभव के तौर पर:
- पूछना: क्या हमारा मॉडल डेटा के नए नमूने पर अच्छा परफ़ॉर्म करेगा?
- मूल्यांकन करें: डेटा सेट का एक नया नमूना पाएं, जिसे आपने टेस्ट सेट किया है
- टेस्ट सेट की अच्छी परफ़ॉर्मेंस से, नए डेटा की परफ़ॉर्मेंस के बारे में पता चलता है:
- अगर जांच सेट काफ़ी बड़ा है
- अगर हम बार-बार जांच करते हैं, तो
एमएल फ़ाइन प्रिंट
ऊपर दिए गए सभी तीन बुनियादी अनुमान:
- हम डिस्ट्रिब्यूशन से, किसी भी क्रम में स्वतंत्र रूप से और समान रूप से (i.i.d.) उदाहरण बनाते हैं
- यह डिस्ट्रिब्यूशन कुछ समय के लिए है: समय के साथ इसमें बदलाव नहीं होता
- हम हमेशा एक ही तरह के डिस्ट्रिब्यूशन से लेते हैं: इसमें ट्रेनिंग, पुष्टि, और टेस्ट सेट शामिल हैं