মডেল মূল্যায়নের জন্য বেশ কিছু কার্যকর মেট্রিক্স গণনা করার জন্য সত্য এবং মিথ্যা ধনাত্মক এবং নেতিবাচক ব্যবহার করা হয়। কোন মূল্যায়ন মেট্রিক্স সবচেয়ে অর্থবহ তা নির্দিষ্ট মডেল এবং নির্দিষ্ট কাজের উপর, বিভিন্ন ভুল শ্রেণীবিভাগের খরচ এবং ডেটাসেটটি সুষম নাকি ভারসাম্যহীন তার উপর নির্ভর করে।
এই বিভাগের সমস্ত মেট্রিক্স একটি নির্দিষ্ট থ্রেশহোল্ডে গণনা করা হয় এবং থ্রেশহোল্ড পরিবর্তনের সাথে সাথে পরিবর্তিত হয়। প্রায়শই, ব্যবহারকারী এই মেট্রিক্সগুলির মধ্যে একটিকে অপ্টিমাইজ করার জন্য থ্রেশহোল্ডটি টিউন করেন।
সঠিকতা
নির্ভুলতা হল সমস্ত শ্রেণীবিভাগের অনুপাত যা সঠিক ছিল, তা ধনাত্মক হোক বা ঋণাত্মক। এটি গাণিতিকভাবে সংজ্ঞায়িত করা হয়েছে:
\[\text{Accuracy} = \frac{\text{correct classifications}}{\text{total classifications}} = \frac{TP+TN}{TP+TN+FP+FN}\]
স্প্যাম শ্রেণীবিভাগের উদাহরণে, নির্ভুলতা সঠিকভাবে শ্রেণীবদ্ধ সমস্ত ইমেলের ভগ্নাংশ পরিমাপ করে।
একটি নিখুঁত মডেলে কোন মিথ্যা ধনাত্মক এবং কোন মিথ্যা নেতিবাচক থাকবে না, এবং তাই এর নির্ভুলতা 1.0, অথবা 100% হবে।
যেহেতু এটি কনফিউশন ম্যাট্রিক্স (TP, FP, TN, FN) থেকে চারটি ফলাফলই অন্তর্ভুক্ত করে, একটি সুষম ডেটাসেট দেওয়া হয়, উভয় শ্রেণীতেই একই সংখ্যক উদাহরণ থাকে, তাই নির্ভুলতা মডেল মানের একটি মোটা দানাদার পরিমাপ হিসেবে কাজ করতে পারে। এই কারণে, এটি প্রায়শই জেনেরিক বা অনির্দিষ্ট মডেলগুলির জন্য ব্যবহৃত ডিফল্ট মূল্যায়ন মেট্রিক যা জেনেরিক বা অনির্দিষ্ট কাজ সম্পাদন করে।
তবে, যখন ডেটাসেট ভারসাম্যহীন থাকে, অথবা যেখানে এক ধরণের ভুল (FN বা FP) অন্য ধরণের ভুলের চেয়ে বেশি ব্যয়বহুল হয়, যা বেশিরভাগ বাস্তব-বিশ্বের অ্যাপ্লিকেশনের ক্ষেত্রেই ঘটে, তখন অন্য কোনও মেট্রিক্সের জন্য অপ্টিমাইজ করা ভালো।
অত্যন্ত ভারসাম্যহীন ডেটাসেটের ক্ষেত্রে, যেখানে একটি শ্রেণী খুব কমই দেখা যায়, ধরুন ১% সময়, একটি মডেল যা ১০০% সময় নেতিবাচক বলে ভবিষ্যদ্বাণী করে, তা অকেজো হওয়া সত্ত্বেও নির্ভুলতার দিক থেকে ৯৯% স্কোর করবে।
প্রত্যাহার, অথবা সত্যিকারের ধনাত্মক হার
সত্যিকারের ধনাত্মক হার (TPR) , অথবা সমস্ত প্রকৃত ধনাত্মকের অনুপাত যা সঠিকভাবে ধনাত্মক হিসাবে শ্রেণীবদ্ধ করা হয়েছিল, তাকে প্রত্যাহারও বলা হয়।
প্রত্যাহারকে গাণিতিকভাবে সংজ্ঞায়িত করা হয়েছে:
\[\text{Recall (or TPR)} = \frac{\text{correctly classified actual positives}}{\text{all actual positives}} = \frac{TP}{TP+FN}\]
মিথ্যা নেতিবাচক হল প্রকৃত ধনাত্মক যেগুলিকে নেতিবাচক হিসাবে ভুলভাবে শ্রেণীবদ্ধ করা হয়েছিল, যে কারণে এগুলি হর-এ প্রদর্শিত হয়। স্প্যাম শ্রেণীবিভাগের উদাহরণে, প্রত্যাহার স্প্যাম ইমেলের ভগ্নাংশ পরিমাপ করে যেগুলিকে সঠিকভাবে স্প্যাম হিসাবে শ্রেণীবদ্ধ করা হয়েছিল। এই কারণেই প্রত্যাহারের আরেকটি নাম হল সনাক্তকরণের সম্ভাবনা : এটি "এই মডেল দ্বারা স্প্যাম ইমেলের কোন ভগ্নাংশ সনাক্ত করা হয়েছে?" প্রশ্নের উত্তর দেয়।
একটি কাল্পনিক নিখুঁত মডেলে কোন মিথ্যা নেতিবাচক ফলাফল থাকবে না এবং তাই প্রত্যাহার (TPR) 1.0 হবে, অর্থাৎ, 100% সনাক্তকরণ হার।
একটি ভারসাম্যহীন ডেটাসেটে যেখানে প্রকৃত ধনাত্মক সংখ্যা খুবই কম, সেখানে প্রত্যাহার নির্ভুলতার চেয়ে বেশি অর্থবহ মেট্রিক কারণ এটি মডেলের সমস্ত ধনাত্মক উদাহরণ সঠিকভাবে সনাক্ত করার ক্ষমতা পরিমাপ করে। রোগের পূর্বাভাসের মতো অ্যাপ্লিকেশনের জন্য, সঠিকভাবে ধনাত্মক কেসগুলি সনাক্ত করা অত্যন্ত গুরুত্বপূর্ণ। একটি মিথ্যা নেতিবাচক সাধারণত একটি মিথ্যা ধনাত্মকের চেয়ে বেশি গুরুতর পরিণতি ঘটায়। প্রত্যাহার এবং নির্ভুলতার মেট্রিক্সের তুলনা করার জন্য একটি সুনির্দিষ্ট উদাহরণের জন্য, প্রত্যাহারের সংজ্ঞায় নোটগুলি দেখুন।
মিথ্যা পজিটিভ হার
মিথ্যা ধনাত্মক হার (FPR) হল সমস্ত প্রকৃত নেতিবাচকের অনুপাত যা ভুলভাবে ধনাত্মক হিসাবে শ্রেণীবদ্ধ করা হয়েছিল, যা মিথ্যা সতর্কতার সম্ভাবনা নামেও পরিচিত। এটি গাণিতিকভাবে সংজ্ঞায়িত করা হয়েছে:
\[\text{FPR} = \frac{\text{incorrectly classified actual negatives}} {\text{all actual negatives}} = \frac{FP}{FP+TN}\]
মিথ্যা ধনাত্মক হল প্রকৃত নেতিবাচক যা ভুলভাবে শ্রেণীবদ্ধ করা হয়েছিল, যে কারণে এগুলি হর-এ প্রদর্শিত হয়। স্প্যাম শ্রেণীবদ্ধকরণের উদাহরণে, FPR বৈধ ইমেলের ভগ্নাংশ পরিমাপ করে যেগুলিকে ভুলভাবে স্প্যাম হিসাবে শ্রেণীবদ্ধ করা হয়েছিল, অথবা মডেলের মিথ্যা সতর্কতার হার পরিমাপ করে।
একটি নিখুঁত মডেলে কোন মিথ্যা পজিটিভ থাকবে না এবং তাই 0.0 এর FPR থাকবে, অর্থাৎ, 0% মিথ্যা বিপদাশঙ্কা হার।
একটি ভারসাম্যহীন ডেটাসেটের জন্য, FPR সাধারণত নির্ভুলতার চেয়ে বেশি তথ্যবহুল মেট্রিক। তবে, যদি প্রকৃত নেতিবাচক সংখ্যা খুব কম হয়, তাহলে FPR তার অস্থিরতার কারণে আদর্শ পছন্দ নাও হতে পারে। উদাহরণস্বরূপ, যদি একটি ডেটাসেটে মাত্র চারটি প্রকৃত নেতিবাচক থাকে, তাহলে একটি ভুল শ্রেণীবিভাগের ফলে FPR 25% হয়, যেখানে দ্বিতীয় ভুল শ্রেণীবিভাগের ফলে FPR 50% বেড়ে যায়। এই ধরনের ক্ষেত্রে, মিথ্যা ধনাত্মকতার প্রভাব মূল্যায়নের জন্য নির্ভুলতা (পরবর্তীতে বর্ণিত) আরও স্থিতিশীল মেট্রিক হতে পারে।
নির্ভুলতা
নির্ভুলতা হলো মডেলের সমস্ত ধনাত্মক শ্রেণীবিভাগের অনুপাত যা আসলে ধনাত্মক। এটি গাণিতিকভাবে সংজ্ঞায়িত করা হয়েছে:
\[\text{Precision} = \frac{\text{correctly classified actual positives}} {\text{everything classified as positive}} = \frac{TP}{TP+FP}\]
স্প্যাম শ্রেণীবিভাগের উদাহরণে, স্প্যাম হিসেবে শ্রেণীবদ্ধ ইমেলের ভগ্নাংশ পরিমাপ করা হয় যা আসলে স্প্যাম ছিল।
একটি কাল্পনিক নিখুঁত মডেলের কোন মিথ্যা ধনাত্মকতা থাকবে না এবং তাই এর নির্ভুলতা 1.0 হবে।
একটি ভারসাম্যহীন ডেটাসেটে যেখানে প্রকৃত ধনাত্মক সংখ্যা খুবই কম, ধরুন মোট ১-২টি উদাহরণ, সেখানে নির্ভুলতা কম অর্থবহ এবং মেট্রিক হিসেবে কম কার্যকর।
মিথ্যা ধনাত্মক সংখ্যা কমে গেলে নির্ভুলতা উন্নত হয়, অন্যদিকে মিথ্যা নেতিবাচক সংখ্যা কমে গেলে প্রত্যাহার উন্নত হয়। কিন্তু পূর্ববর্তী বিভাগে যেমন দেখা গেছে, শ্রেণীবিভাগের সীমা বৃদ্ধি করলে মিথ্যা ধনাত্মক সংখ্যা কমে যায় এবং মিথ্যা নেতিবাচক সংখ্যা বৃদ্ধি পায়, অন্যদিকে সীমা হ্রাস করলে বিপরীত প্রভাব পড়ে। ফলস্বরূপ, নির্ভুলতা এবং প্রত্যাহার প্রায়শই একটি বিপরীত সম্পর্ক দেখায়, যেখানে তাদের একটির উন্নতি করলে অন্যটির অবনতি হয়।
নিজে চেষ্টা করে দেখুন:
মেট্রিক এবং ট্রেডঅফের পছন্দ
মডেল মূল্যায়ন এবং একটি থ্রেশহোল্ড নির্বাচন করার সময় আপনি যে মেট্রিকগুলিকে অগ্রাধিকার দেবেন তা নির্দিষ্ট সমস্যার খরচ, সুবিধা এবং ঝুঁকির উপর নির্ভর করে। স্প্যাম শ্রেণীবিভাগের উদাহরণে, প্রায়শই প্রত্যাহারকে অগ্রাধিকার দেওয়া, সমস্ত স্প্যাম ইমেল ধরা, অথবা নির্ভুলতা, স্প্যাম-লেবেলযুক্ত ইমেলগুলি আসলে স্প্যাম কিনা তা নিশ্চিত করার চেষ্টা করা, অথবা উভয়ের মধ্যে কিছু ভারসাম্য, কিছু ন্যূনতম নির্ভুলতার স্তরের উপরে থাকা যুক্তিসঙ্গত।
| মেট্রিক | নির্দেশনা |
|---|---|
| সঠিকতা | সুষম ডেটাসেটের জন্য মডেল প্রশিক্ষণের অগ্রগতি/অভিসারণের একটি মোটামুটি সূচক হিসেবে ব্যবহার করুন। মডেলের পারফরম্যান্সের জন্য, শুধুমাত্র অন্যান্য মেট্রিক্সের সাথে একত্রে ব্যবহার করুন। ভারসাম্যহীন ডেটাসেটের জন্য এড়িয়ে চলুন। অন্য মেট্রিক ব্যবহার করার কথা বিবেচনা করুন। |
| প্রত্যাহার করুন (সত্যিকারের ধনাত্মক হার) | যখন মিথ্যা নেতিবাচক ফলাফল মিথ্যা ইতিবাচক ফলাফলের চেয়ে বেশি ব্যয়বহুল হয় তখন ব্যবহার করুন। |
| মিথ্যা পজিটিভ হার | যখন মিথ্যা ইতিবাচক ফলাফল মিথ্যা নেতিবাচক ফলাফলের চেয়ে বেশি ব্যয়বহুল হয় তখন ব্যবহার করুন। |
| নির্ভুলতা | যখন ইতিবাচক ভবিষ্যদ্বাণীগুলি সঠিক হওয়া খুবই গুরুত্বপূর্ণ তখন ব্যবহার করুন। |