ROC এবং AUC
নীচের বিকল্পগুলি অন্বেষণ করুন.
নিচের কোনটি ROC বক্ররেখা 0.5 এর বেশি AUC মান উৎপন্ন করে?
এটি সর্বোত্তম সম্ভাব্য ROC বক্ররেখা, কারণ এটি সমস্ত ইতিবাচককে সমস্ত নেতিবাচকের উপরে স্থান দেয়। এটির AUC 1.0 আছে।
অনুশীলনে, আপনার যদি 1.0 এর AUC সহ একটি "নিখুঁত" ক্লাসিফায়ার থাকে তবে আপনার সন্দেহজনক হওয়া উচিত, কারণ এটি সম্ভবত আপনার মডেলে একটি বাগ নির্দেশ করে৷ উদাহরণ স্বরূপ, আপনার প্রশিক্ষণ ডেটার সাথে ওভারফিট থাকতে পারে, অথবা লেবেল ডেটা আপনার বৈশিষ্ট্যগুলির একটিতে প্রতিলিপি করা হতে পারে।
এটি সবচেয়ে খারাপ সম্ভাব্য ROC বক্ররেখা; এটি সমস্ত নেতিবাচককে সমস্ত ইতিবাচকের উপরে স্থান দেয় এবং 0.0 এর AUC রয়েছে৷ আপনি যদি প্রতিটি ভবিষ্যদ্বাণী (নেতিবাচক থেকে ইতিবাচক এবং পজিটিভ থেকে নেতিবাচকের দিকে ফ্লিপ) বিপরীত করতেন, তাহলে আপনার আসলে একটি নিখুঁত শ্রেণিবিন্যাস থাকবে!
এই ROC বক্ররেখার একটি AUC 0.5, যার অর্থ এটি একটি এলোমেলো ইতিবাচক উদাহরণকে 50% সময়ের র্যান্ডম নেতিবাচক উদাহরণের চেয়ে বেশি স্থান দেয়। যেমন, সংশ্লিষ্ট শ্রেণীবিভাগ মডেলটি মূলত মূল্যহীন, কারণ এর ভবিষ্যদ্বাণী করার ক্ষমতা এলোমেলো অনুমান করার চেয়ে ভাল নয়।
এই ROC বক্ররেখার একটি AUC 0.5 এবং 1.0 এর মধ্যে রয়েছে, যার অর্থ এটি একটি এলোমেলো নেতিবাচক উদাহরণের চেয়ে 50% এর বেশি সময়ের মধ্যে একটি এলোমেলো ইতিবাচক উদাহরণকে উচ্চতর করে। বাস্তব-বিশ্বের বাইনারি শ্রেণীবিভাগ AUC মানগুলি সাধারণত এই পরিসরের মধ্যে পড়ে৷
এই ROC বক্ররেখার একটি AUC 0 এবং 0.5 এর মধ্যে রয়েছে, যার অর্থ এটি একটি র্যান্ডম ইতিবাচক উদাহরণকে 50%-এর কম সময়ে একটি এলোমেলো নেতিবাচক উদাহরণের চেয়ে বেশি। সংশ্লিষ্ট মডেল আসলে র্যান্ডম অনুমান চেয়ে খারাপ সঞ্চালন! আপনি যদি এইরকম একটি ROC বক্ররেখা দেখতে পান তবে এটি সম্ভবত আপনার ডেটাতে একটি বাগ রয়েছে তা নির্দেশ করে।
AUC এবং স্কেলিং পূর্বাভাস
নীচের বিকল্পগুলি অন্বেষণ করুন.
কিভাবে একটি প্রদত্ত মডেলের সমস্ত ভবিষ্যদ্বাণীকে 2.0 দ্বারা গুণ করা হবে (উদাহরণস্বরূপ, যদি মডেলটি 0.4 ভবিষ্যদ্বাণী করে, আমরা 0.8 এর ভবিষ্যদ্বাণী পেতে 2.0 দ্বারা গুণ করি) AUC দ্বারা পরিমাপ করা মডেলের কর্মক্ষমতা পরিবর্তন করবে?
পরিবর্তন নেই. AUC শুধুমাত্র আপেক্ষিক ভবিষ্যদ্বাণী স্কোর সম্পর্কে যত্নশীল।
হ্যাঁ, AUC আপেক্ষিক ভবিষ্যদ্বাণীগুলির উপর ভিত্তি করে, তাই আপেক্ষিক র্যাঙ্কিং সংরক্ষণ করে এমন ভবিষ্যদ্বাণীগুলির যে কোনও রূপান্তর AUC-তে কোনও প্রভাব ফেলে না। এটি স্পষ্টতই অন্যান্য মেট্রিক্স যেমন বর্গক্ষেত্র ত্রুটি, লগ ক্ষতি, বা পূর্বাভাস পক্ষপাতের ক্ষেত্রে নয় (পরে আলোচনা করা হয়েছে)।
এটি AUC কে ভয়ানক করে তুলবে, যেহেতু ভবিষ্যদ্বাণী মান এখন বন্ধ হয়ে গেছে।
মজার ব্যাপার হল, ভবিষ্যদ্বাণীর মানগুলি ভিন্ন হলেও (এবং সম্ভবত সত্য থেকে অনেক দূরে), সেগুলিকে 2.0 দ্বারা গুণ করলে ভবিষ্যদ্বাণী মানগুলির আপেক্ষিক ক্রম একই থাকবে৷ যেহেতু AUC শুধুমাত্র আপেক্ষিক র্যাঙ্কিংয়ের বিষয়ে চিন্তা করে, তাই এটি ভবিষ্যদ্বাণীর কোনো সাধারণ স্কেলিং দ্বারা প্রভাবিত হয় না।
এটি AUC কে আরও ভাল করে তুলবে, কারণ ভবিষ্যদ্বাণীর মানগুলি আরও দূরে।
ভবিষ্যদ্বাণীগুলির মধ্যে ছড়িয়ে পড়ার পরিমাণ আসলে AUC-কে প্রভাবিত করে না। এমনকি এলোমেলোভাবে আঁকা সত্যিকারের ইতিবাচকের জন্য একটি ভবিষ্যদ্বাণী স্কোর হল একটি এলোমেলোভাবে আঁকা নেতিবাচকের চেয়ে বড় একটি ক্ষুদ্র এপিসিলন, যা সামগ্রিক AUC স্কোরে অবদান রাখার সাফল্য হিসাবে গণনা করবে।