आरओसी कर्व
आरओसी कर्व (रिसीवर ऑपरेटिंग कैरेक्टर कर्व) एक ग्राफ़ है, जो सभी क्लासिफ़िकेशन की सीमाओं पर, क्लासिफ़िकेशन मॉडल की परफ़ॉर्मेंस दिखा रहा है. यह कर्व दो पैरामीटर दिखाता है:
- सही पॉज़िटिव दर
- फ़ॉल्स पॉज़िटिव रेट
सही पॉज़िटिव दर (टीपीआर), प्रॉडक्ट को बाज़ार से हटाने का एक समानार्थी शब्द है और इसलिए इसे इस तरह परिभाषित किया गया है:
गलत पॉज़िटिव रेट (FPR) के बारे में नीचे बताया गया है:
आरओसी कर्व, अलग-अलग क्लासिफ़िकेशन थ्रेशोल्ड पर टीपीआर बनाम एफ़पीआर को दिखाता है. कैटगरी तय करने की सीमा को कम करने से, ज़्यादा आइटम को 'पॉज़िटिव' के तौर पर मार्क किया जाता है. इस तरह, 'गलत' और 'सही', दोनों तरह की चीज़ों की संख्या बढ़ जाती है. नीचे दिया गया चित्र, खास तरह का आरओसी कर्व दिखाता है.
चौथी इमेज. अलग-अलग क्लासिफ़िकेशन थ्रेशोल्ड पर टीपी बनाम एफ़पी दर.
ROC के कर्व में पॉइंट का हिसाब लगाने के लिए, हम लॉजिस्टिक रिग्रेशन मॉडल का आकलन कई बार कर सकते हैं. हालांकि, यह अलग-अलग क्लासिफ़िकेशन थ्रेशोल्ड के साथ किया जा सकता है, लेकिन यह तरीका असरदार नहीं होगा. अच्छी बात यह है कि यहां एक क्रम से लगाने वाला असरदार एल्गोरिदम है जो हमें यह जानकारी दे सकता है. इसे AUC कहा जाता है.
AUC: आरओसी कर्व के नीचे का इलाका
AUC का मतलब है, "आरओसी कर्व" के तहत अरीना. इसका मतलब है कि AUC के लिए, सभी दो डाइमेंशन वाले एरिया का आकलन किया जाता है, जो कि पूरी तरह से आरओसी कर्व के बारे में होता है (इंटिग्रल कैलक्युलस के बारे में सोचें) (0,0) से लेकर (1,1) तक.
पांचवां डायग्राम. AUC (आरओसी कर्व के तहत अरीना).
AUC सभी संभावित क्लासिफ़िकेशन थ्रेशोल्ड के लिए परफ़ॉर्मेंस का एक कुल मेज़रमेंट देता है. AUC को समझने का एक तरीका यह है कि मॉडल, किसी भी रैंडम पॉज़िटिव उदाहरण की तुलना में, किसी भी रैंडम पॉज़िटिव उदाहरण को बेहतर तरीके से रैंक करता है. उदाहरण के लिए, नीचे दिए गए उदाहरण देखें, जो लॉजिस्टिक रिग्रेशन सुझावों के बढ़ते क्रम में बाएं से दाएं व्यवस्थित किए गए हैं:
छठा डायग्राम. लॉजिस्टिक रिग्रेशन स्कोर के बढ़ते क्रम के आधार पर लगाए गए अनुमान.
AUC की संभावना इस बात की संभावना है कि कोई भी रैंडम पॉज़िटिव (हरा) उदाहरण किसी भी रैंडम नेगेटिव (लाल) उदाहरण के दाईं ओर रखा गया है.
AUC की वैल्यू 0 से 1 तक होती है. ऐसा मॉडल जिसके अनुमान 100% गलत हों, उसका AUC 0.0 होता है; जिसके अनुमान 100% सही होते हैं उसका AUC 1.0 होता है.
AUC के लिए इन दो वजहों से मदद चाहिए:
- AUC स्केल-इनवेरिएंट है. इससे यह पता चलता है कि अनुमानों को उनकी कुल वैल्यू के बजाय कितनी अच्छी तरह से रैंक किया गया है.
- AUC कैटगरी तय करने की सीमा है. यह मॉडल की संख्या के अनुमान को मापता है, भले ही कोई भी क्लासिफ़िकेशन थ्रेशोल्ड चुना गया हो.
हालांकि, ये दोनों बातें चेतावनियां के साथ आती हैं, जो कुछ मामलों में यूएसी की उपयोगिता को सीमित कर सकती हैं:
बड़े साइज़ के प्रॉडक्ट के लिए, इन्वेंट्री का डेटा हमेशा पसंदीदा नहीं होता. उदाहरण के लिए, कभी-कभी हमें वाकई कैलिब्रेट किए गए संभावना आउटपुट की ज़रूरत होती है. AUC हमें इसके बारे में नहीं बताता.
कैटगरी तय करने की सीमा हमेशा ज़रूरी नहीं होती. ऐसे मामलों में, जहां फ़ॉल्स नेगेटिव बनाम फ़ॉल्स पॉज़िटिव की लागत में बहुत अंतर होता है, उन्हें क्लासिफ़िकेशन के एक प्रकार को कम करके बताना ज़रूरी हो सकता है. उदाहरण के लिए, ईमेल स्पैम का पता लगाते समय, हो सकता है कि आप फ़ॉल्स पॉज़िटिव को कम से कम करना चाहें (भले ही इससे गलत नेगेटिव की संख्या बढ़ जाए). AUC इस तरह के ऑप्टिमाइज़ेशन के लिए एक उपयोगी मेट्रिक नहीं है.