आरओसी और एयूसी
नीचे दिए गए विकल्प देखें.
इनमें से किन आरओसी कर्व को 0.5 से ज़्यादा AUC वैल्यू मिलती हैं?
यह सबसे अच्छा आरओसी कर्व है, क्योंकि यह सभी नेगेटिव की जगह सभी पॉजिटिव को रैंक करता है. इसमें AUC 1.0 के साथ होता है.
व्यावहारिक तौर पर, अगर आपके पास 1.0 AUC की कैटगरी वाला कोई "perfect_quot; क्लासिफ़ायर है, तो आपको शक करना चाहिए, क्योंकि इससे आपके मॉडल में किसी गड़बड़ी का पता चल सकता है. उदाहरण के लिए, हो सकता है कि आपने ट्रेनिंग डेटा को बेहतर बना दिया हो या लेबल की सुविधा को आपके किसी फ़ीचर में दोहराया जा सकता हो.
यह सबसे खराब आरओसी कर्व है. यह सभी पॉज़िटिव की तुलना में सभी नेगेटिव को रैंक करता है और
इसका AUC 0.0 है. अगर आपको हर अनुमान को उलटना है, तो नेगेटिव को पॉज़िटिव और
नेगेटिव को बेहतर बनाएं.
इस आरओसी कर्व का AUC 0.5 होता है. यानी यह 50% बार, किसी भी रैंडम नेगेटिव उदाहरण की तुलना में एक रैंडम पॉज़िटिव उदाहरण के हिसाब से ज़्यादा होता है. इस तरह से, डेटा को अलग-अलग कैटगरी में बांटने वाले मॉडल का कोई फ़ायदा नहीं होता, क्योंकि इसके लिए अनुमान लगाने की सुविधा, अनुमान लगाने से बेहतर नहीं है.
इस आरओसी कर्व का AUC 0.5 और 1.0 के बीच होता है. इसका मतलब है कि यह किसी भी रैंडम नेगेटिव उदाहरण की तुलना में
50% से ज़्यादा बार एक पॉज़िटिव पॉज़िटिव उदाहरण की रैंकिंग करता है. असल में
बाइनरी क्लासिफ़िकेशन AUC वैल्यू आम तौर पर इस रेंज में आती हैं.
इस आरओसी कर्व का AUC 0 और 0.5 के बीच होता है. इसका मतलब है कि यह किसी भी रैंडम नेगेटिव उदाहरण की तुलना में
ज़्यादा से ज़्यादा 50% कम बार रैंक किया जा सकता है.
मॉडल, अनुमान लगाने से खराब परफ़ॉर्म करता है! अगर आपको इस तरह का आरओसी कर्व दिखता है, तो इसका मतलब है कि आपके डेटा में कोई गड़बड़ी है.
AUC और स्केलिंग के अनुमान
नीचे दिए गए विकल्प देखें.
दिए गए मॉडल के सभी अनुमानों को 2.0 से गुणा करने पर क्या होगा (उदाहरण के लिए, अगर मॉडल 0.4 का अनुमान लगाता है), तो हम 0.8 का अनुमान पाने के लिए 2.0 से गुणा करते हैं? ऐसा करने पर, AUC की मदद से मेज़र किए गए मॉडल और उसकी परफ़ॉर्मेंस में बदलाव होगा?
कोई बदलाव नहीं. AUC सिर्फ़ अनुमानित अनुमानों के स्कोर पर ध्यान देता है.
हां, AUC, रिलेटिव सुझावों पर आधारित होता है. इसलिए,
रिलेटिव रैंकिंग को सुरक्षित रखने वाले किसी भी बदलाव का, AUC पर कोई असर नहीं पड़ता.
यह साफ़ तौर पर किसी दूसरी मेट्रिक पर लागू नहीं होता, जैसे कि स्क्वेयर गड़बड़ी,
लॉग का नुकसान या अनुमान के लिए भेदभाव (उदाहरण के लिए, बाद में चर्चा की गई).
यह AUC को बहुत खराब कर देगा, क्योंकि अनुमान की वैल्यू अब आसानी से उपलब्ध नहीं हैं.
दिलचस्प बात यह है कि भले ही, अनुमान की वैल्यू अलग-अलग हैं (और सच से अलग हैं), लेकिन उन सभी को 2.0 से गुणा करने पर, अनुमानित वैल्यू के क्रम को एक जैसा ही रखा जाएगा. हालांकि, AUC सिर्फ़ रैंकिंग से जुड़ी जानकारी पर ध्यान देता है, इसलिए
सुझावों के किसी भी तरह के असर से इस पर कोई असर नहीं पड़ता.
इससे AUC को बेहतर बनाया जा सकता है, क्योंकि अनुमान के मान दूर-दूर मौजूद हैं.
अनुमानों के बीच फैलने की संख्या का असल में AUC पर असर नहीं पड़ता. यहां तक कि बिना किसी क्रम के चुने गए पॉज़िटिव के बारे में अनुमान लगाने का स्कोर, कभी-कभार आने वाले नेगेटिव पॉइंट से ज़्यादा छोटा इपिलॉन होता है. इसे AUC स्कोर में योगदान देने वाली सफलता के तौर पर गिना जाएगा.