एमएल मॉडल को डीबग करना मुश्किल लग सकता है, लेकिन मॉडल मेट्रिक से पता चलता है कि कहां से शुरू करना है. नीचे दिए गए सेक्शन में मेट्रिक का इस्तेमाल करके, परफ़ॉर्मेंस का आकलन करने का तरीका बताया गया है.
मॉडल मेट्रिक का इस्तेमाल करके, क्वालिटी का आकलन करना
अपने मॉडल की क्वालिटी का मूल्यांकन करने के लिए, आम तौर पर इस्तेमाल होने वाली मेट्रिक:
इन मेट्रिक को समझने के लिए दिशा-निर्देश के लिए, मशीन लर्निंग क्रैश कॉन्टेंट का लिंक किया गया कॉन्टेंट पढ़ें. खास समस्याओं के बारे में ज़्यादा दिशा-निर्देश के लिए, यह टेबल देखें.
| समस्या | क्वालिटी का आकलन |
|---|---|
| रिग्रेशन | अपनी पूरी मीन स्क्वेयर गड़बड़ी (MSE) को कम करने के अलावा, अपने लेबल की वैल्यू के मुकाबले अपना MSE कम करें. उदाहरण के लिए, मान लें कि आप पांच आइटम की कीमतों का अनुमान लगा रहे हैं. इनकी कीमत 5 से 100 के बीच हैं. दोनों मामलों में, मान लें कि आपका MSE 5 है. पहले मामले में, MSE आपकी औसत कीमत का 100% है, जो साफ़ तौर पर एक बड़ी गड़बड़ी है. दूसरे मामले में, MSE आपकी औसत कीमत का 5% है, जो एक सही गड़बड़ी है. |
| मल्टीक्लास क्लासिफ़िकेशन | अगर आपको कुछ ही क्लास का अनुमान लगाना है, तो हर क्लास की मेट्रिक को अलग-अलग देखें. कई क्लास का अनुमान लगाते समय हर कैटगरी की मेट्रिक का औसत ट्रैक किया जा सकता है, ताकि कुल क्लासिफ़िकेशन मेट्रिक ट्रैक की जा सकें. इसके अलावा, आप अपनी ज़रूरतों के हिसाब से क्वालिटी से जुड़े खास लक्ष्यों को प्राथमिकता दे सकते हैं. उदाहरण के लिए, अगर इमेज में ऑब्जेक्ट को कैटगरी में बांटा जा रहा है, तो अन्य ऑब्जेक्ट के मुकाबले, लोगों की कैटगरी तय करने की क्वालिटी को प्राथमिकता दी जा सकती है. |
ज़रूरी डेटा स्लाइस के लिए मेट्रिक देखें
अच्छी क्वालिटी वाला मॉडल होने के बाद भी आपके डेटा के सबसेट पर आपका मॉडल खराब परफ़ॉर्म कर सकता है. उदाहरण के लिए, आपके यूनिकॉर्न के अनुमान लगाने वाले व्यक्ति को सहारा रेगिस्तान और न्यूयॉर्क शहर, दोनों में और दिन के हर समय, अच्छा अनुमान लगाना होगा. हालांकि, सारा रेगिस्तान के लिए आपके पास कम ट्रेनिंग डेटा है. इसलिए, आप खास तौर पर सहारा रेगिस्तान में मॉडल की क्वालिटी ट्रैक करना चाहते हैं. डेटा के ऐसे कुछ सबसेट, जैसे कि सहारा रेगिस्तान से जुड़े सबसेट को, डेटा के हिस्से कहा जाता है. आपको डेटा के उन हिस्सों पर अलग से नज़र रखनी चाहिए जहां परफ़ॉर्मेंस खास तौर पर अहम हो या जहां आपका मॉडल खराब परफ़ॉर्म कर सकता हो.
दिलचस्पी के डेटा के हिस्सों की पहचान करने के लिए, डेटा के बारे में अपनी समझ का इस्तेमाल करें. इसके बाद, डेटा स्लाइस के मॉडल मेट्रिक की तुलना, अपने पूरे डेटा सेट की मेट्रिक से करें. डेटा के अलग-अलग हिस्सों में आपके मॉडल की परफ़ॉर्मेंस की जांच करने से, भेदभाव को हटाने में मदद मिलती है. ज़्यादा जानकारी के लिए, फ़ेयरनेस: बायस का आकलन करना देखें.
असली दुनिया के मेट्रिक का इस्तेमाल करें
यह ज़रूरी नहीं है कि मॉडल मेट्रिक आपके मॉडल का असल में होने वाला असर मापती हैं. उदाहरण के लिए, हो सकता है कि किसी हाइपरपैरामीटर को बदला जाए और AUC को बढ़ाया जाए. हालांकि, इस बदलाव का उपयोगकर्ता अनुभव पर क्या असर पड़ा? असल में होने वाले असर को मेज़र करने के लिए, आपको अलग-अलग मेट्रिक तय करनी होंगी. उदाहरण के लिए, आप उन उपयोगकर्ताओं के बारे में सर्वे कर सकते हैं जिनके लिए यूनिकॉर्न के दिखने का पूर्वानुमान दिखता है कि क्या उन्होंने यूनिकॉर्न देखा या नहीं. वास्तविक दुनिया के असर को मापने से, आपके मॉडल के अलग-अलग तरीकों की क्वालिटी की तुलना करने में मदद मिलती है.