একটি মডেলের মূল্যায়ন করার সময়, একটি সম্পূর্ণ পরীক্ষা বা বৈধতা সেটের বিপরীতে গণনা করা মেট্রিক্স সবসময় মডেলটি কতটা ন্যায্য তার একটি সঠিক ছবি দেয় না।
টিউমারের উপস্থিতি সম্পর্কে ভবিষ্যদ্বাণী করার জন্য একটি নতুন মডেল বিবেচনা করুন যা 1,000 রোগীর মেডিকেল রেকর্ডের একটি বৈধতা সেটের বিরুদ্ধে মূল্যায়ন করা হয়। 500টি রেকর্ড মহিলা রোগীদের থেকে, এবং 500টি রেকর্ড পুরুষ রোগীদের থেকে। নিম্নলিখিত বিভ্রান্তি ম্যাট্রিক্স সমস্ত 1,000 উদাহরণের ফলাফলের সংক্ষিপ্ত বিবরণ দেয়:
| ট্রু পজিটিভ (TPs): 16 | মিথ্যা ইতিবাচক (FPs): 4 |
| মিথ্যা নেতিবাচক (FNs): 6 | সত্য নেতিবাচক (TNs): 974 |
| $$\text{Precision} = \frac{TP}{TP+FP} = \frac{16}{16+4} = 0.800$$ | |
| $$\text{Recall} = \frac{TP}{TP+FN} = \frac{16}{16+6} = 0.727$$ | |
এই ফলাফলগুলি আশাব্যঞ্জক দেখাচ্ছে: 80% এর নির্ভুলতা এবং 72.7% প্রত্যাহার। কিন্তু কি হবে যদি আমরা রোগীদের প্রতিটি সেটের জন্য আলাদাভাবে ফলাফল গণনা করি? আসুন ফলাফলগুলিকে দুটি পৃথক বিভ্রান্তির ম্যাট্রিক্সে বিভক্ত করি: একটি মহিলা রোগীদের জন্য এবং একটি পুরুষ রোগীদের জন্য।
মহিলা রোগীর ফলাফল
| ট্রু পজিটিভ (টিপি): 10 | মিথ্যা ইতিবাচক (FPs): 1 |
| মিথ্যা নেতিবাচক (FNs): 1 | সত্য নেতিবাচক (TNs): 488 |
| $$\text{Precision} = \frac{TP}{TP+FP} = \frac{10}{10+1} = 0.909$$ | |
| $$\text{Recall} = \frac{TP}{TP+FN} = \frac{10}{10+1} = 0.909$$ | |
পুরুষ রোগীর ফলাফল
| ট্রু পজিটিভ (টিপি): 6 | মিথ্যা ইতিবাচক (FPs): 3 |
| মিথ্যা নেতিবাচক (FNs): 5 | সত্য নেতিবাচক (TNs): 486 |
| $$\text{Precision} = \frac{TP}{TP+FP} = \frac{6}{6+3} = 0.667$$ | |
| $$\text{Recall} = \frac{TP}{TP+FN} = \frac{6}{6+5} = 0.545$$ | |
যখন আমরা মহিলা এবং পুরুষ রোগীদের জন্য আলাদাভাবে মেট্রিক্স গণনা করি, তখন আমরা প্রতিটি গ্রুপের মডেল পারফরম্যান্সে সম্পূর্ণ পার্থক্য দেখতে পাই।
মহিলা রোগী:
11 জন মহিলা রোগীর মধ্যে যাদের আসলে টিউমার রয়েছে, মডেলটি সঠিকভাবে 10 রোগীর জন্য ইতিবাচক ভবিষ্যদ্বাণী করেছে (রিকল রেট: 90.9%)। অন্য কথায়, মডেলটি 9.1% মহিলা ক্ষেত্রে টিউমার নির্ণয় মিস করে ।
একইভাবে, যখন মডেলটি মহিলা রোগীদের টিউমারের জন্য ইতিবাচক প্রত্যাবর্তন করে, তখন এটি 11টির মধ্যে 10টি ক্ষেত্রে সঠিক (নির্ভুলতা হার: 90.9%); অন্য কথায়, মডেলটি ভুলভাবে 9.1% মহিলা ক্ষেত্রে টিউমারের ভবিষ্যদ্বাণী করে ।
পুরুষ রোগী:
যাইহোক, 11 জন পুরুষ রোগীর মধ্যে যাদের আসলে টিউমার রয়েছে, মডেলটি সঠিকভাবে শুধুমাত্র 6 জন রোগীর জন্য ইতিবাচক ভবিষ্যদ্বাণী করেছে (রিকল রেট: 54.5%)। এর মানে হল মডেলটি 45.5% পুরুষ ক্ষেত্রে টিউমার নির্ণয় মিস করে ।
এবং যখন মডেলটি পুরুষ রোগীদের মধ্যে টিউমারের জন্য ইতিবাচক প্রত্যাবর্তন করে, তখন এটি 9টির মধ্যে মাত্র 6টি ক্ষেত্রে সঠিক (নির্ভুলতা হার: 66.7%); অন্য কথায়, মডেলটি 33.3% পুরুষের ক্ষেত্রে ভুলভাবে টিউমারের ভবিষ্যদ্বাণী করে ।
আমরা এখন মডেলের ভবিষ্যদ্বাণীগুলির অন্তর্নিহিত পক্ষপাতগুলি সম্পর্কে আরও ভালভাবে বুঝতে পেরেছি, সেইসাথে প্রতিটি উপগোষ্ঠীর ঝুঁকিগুলি যদি মডেলটিকে সাধারণ জনগণের মধ্যে চিকিৎসা ব্যবহারের জন্য প্রকাশ করা হয়।
অতিরিক্ত ন্যায্যতা সম্পদ
মেশিন লার্নিং এর শৃঙ্খলার মধ্যে ন্যায্যতা একটি অপেক্ষাকৃত নতুন উপক্ষেত্র। মেশিন লার্নিং মডেলে পক্ষপাতিত্ব শনাক্ত ও প্রশমিত করার জন্য নতুন টুল ও কৌশল বিকাশে নিবেদিত গবেষণা এবং উদ্যোগ সম্পর্কে আরও জানতে,গুগলের মেশিন লার্নিং ফেয়ারনেস রিসোর্স পৃষ্ঠা ।