मॉडल का मूल्यांकन करते समय, पूरे टेस्ट या पुष्टि सेट के लिए तय की गई मेट्रिक, हमेशा सटीक जानकारी देती हैं कि मॉडल कितना सही है.
एक नए ट्यूमर की मौजूदगी का अनुमान लगाने के लिए डेवलप किया गया एक नया मॉडल चुनें. इसमें, 1,000 मरीज़ों और #39; के मेडिकल रिकॉर्ड की पुष्टि के सेट का आकलन किया जाता है. 500 रिकॉर्ड महिला महिलाओं के हैं और 500 रिकॉर्ड पुरुष मरीज़ों के हैं. नीचे दिया गया भ्रम की मैट्रिक्स सभी 1,000 उदाहरणों के लिए नतीजों की खास जानकारी देती है:
| ट्रू पॉज़िटिव (टीपी): 16 | गलत पॉज़िटिव (एफ़पी): 4 |
| गलत नेगेटिव (FN): 6 | ट्रू नेगेटिव (TN): 974 |
| $$\text{Precision} = \frac{TP}{TP+FP} = \frac{16}{16+4} = 0.800$$ | |
| $$\text{Recall} = \frac{TP}{TP+FN} = \frac{16}{16+6} = 0.727$$ | |
ये नतीजे उम्मीद से काफ़ी अच्छे हैं: 80% सटीक हैं और 72.7% रीकॉल हैं. लेकिन अगर हम मरीज़ों को अलग से जांचते हैं, तो क्या होता है? आइए, दो नतीजों को दो अलग-अलग तरह की भ्रम की स्थितियों में बांट देते हैं: एक महिला महिलाओं के लिए और दूसरा पुरुष मरीज़ों के लिए.
महिला रोगियों के परिणाम
| ट्रू पॉज़िटिव (टीपी): 10 | गलत पॉज़िटिव (एफ़पी): 1 |
| नेगेटिव नेगेटिव (FN): 1 | ट्रू नेगेटिव (TN): 488 |
| $$\text{Precision} = \frac{TP}{TP+FP} = \frac{10}{10+1} = 0.909$$ | |
| $$\text{Recall} = \frac{TP}{TP+FN} = \frac{10}{10+1} = 0.909$$ | |
पुरुष रोगियों के परिणाम
| ट्रू पॉज़िटिव (टीपी): 6 | गलत पॉज़िटिविटी (एफ़पी): 3 |
| गलत नतीजे (एफ़एन): 5 | ट्रू नेगेटिव (TN): 486 |
| $$\text{Precision} = \frac{TP}{TP+FP} = \frac{6}{6+3} = 0.667$$ | |
| $$\text{Recall} = \frac{TP}{TP+FN} = \frac{6}{6+5} = 0.545$$ | |
जब महिला और पुरुष मरीज़ अलग-अलग मेट्रिक का हिसाब लगाते हैं, तो हम हर ग्रुप के मॉडल की परफ़ॉर्मेंस में काफ़ी अंतर देखते हैं.
महिला रोगी:
असल में ट्यूमर वाली 11 महिला मरीज़ों में से, मॉडल 10 मरीज़ों (रिकॉल रेट: 90.9%) के लिए सही अनुमान लगाता है. दूसरे शब्दों में, यह मॉडल 9.1% महिला मामलों में ट्यूमर से होने वाली बीमारी से चूक जाता है.
इसी तरह, जब महिला रोगियों में मॉडल ट्यूमर के लिए पॉज़िटिव आता है, तो यह 11 में से 10 मामलों में सही होता है (सटीक दर: 90.9%); दूसरे शब्दों में, मॉडल गलत तरीके से 9.1% महिला केस में ट्यूमर का अनुमान लगाता है.
पुरुष रोगी:
हालांकि, ट्यूमर वाले असल में 11 पुरुष मरीज़ों के लिए, इस मॉडल में COVID-19 के एक से ज़्यादा 6 मरीज़ों को ही पॉज़िटिव पाया गया. इसका मतलब है कि मॉडल में 45.5% पुरुष मामलों में ट्यूमर से होने वाली बीमारी से चूक जाती है.
जब पुरुष मॉडल में ट्यूमर के लिए मॉडल पॉज़िटिव होता है, तो यह 9 में से सिर्फ़ 6 मामलों में ही सही होता है (सटीक होने की दर: 66.7%). दूसरे शब्दों में, मॉडल 33.3% पुरुष मामलों में ट्यूमर का गलत अनुमान लगाता है.
अब हमें मॉडल और #
अन्य निष्पक्षता संसाधन
मशीन लर्निंग के अनुशासन में, फ़ेयरनेस एक नया सबफ़ील्ड है. मशीन लर्निंग मॉडल में भेदभाव को पहचानने और कम करने के लिए, नए टूल और तकनीकों को डेवलप करने के लिए की गई रिसर्च और इनिशिएटिव के बारे में ज़्यादा जानने के लिए, Google's मशीन लर्निंग फ़ेयरनेस पेज.