এই মডিউলটি দেখায় যে কীভাবে লজিস্টিক রিগ্রেশন শ্রেণীবিভাগের কাজের জন্য ব্যবহার করা যেতে পারে, এবং কীভাবে শ্রেণীবিভাগের মডেলগুলির কার্যকারিতা মূল্যায়ন করা যায় তা অন্বেষণ করে।
শ্রেণীবিভাগ
শ্রেণীবিভাগ বনাম রিগ্রেশন
- কখনও কখনও, আমরা সম্ভাব্যতা আউটপুটগুলির জন্য লজিস্টিক রিগ্রেশন ব্যবহার করি -- এটি (0, 1) এ একটি রিগ্রেশন
- অন্য সময়, আমরা একটি পৃথক বাইনারি শ্রেণীবিভাগের জন্য মানকে থ্রেশহোল্ড করব
- থ্রেশহোল্ড পছন্দ একটি গুরুত্বপূর্ণ পছন্দ, এবং টিউন করা যেতে পারে
মূল্যায়ন মেট্রিক্স: নির্ভুলতা
- আমরা কিভাবে শ্রেণীবিভাগ মডেল মূল্যায়ন করব?
মূল্যায়ন মেট্রিক্স: নির্ভুলতা
- আমরা কিভাবে শ্রেণীবিভাগ মডেল মূল্যায়ন করব?
- একটি সম্ভাব্য পরিমাপ: নির্ভুলতা
- ভবিষ্যদ্বাণীর ভগ্নাংশ আমরা সঠিক পেয়েছি
নির্ভুলতা বিভ্রান্তিকর হতে পারে
- অনেক ক্ষেত্রে, নির্ভুলতা একটি দুর্বল বা বিভ্রান্তিকর মেট্রিক
- প্রায়শই যখন বিভিন্ন ধরণের ভুলের বিভিন্ন খরচ থাকে
- সাধারণ ক্ষেত্রে শ্রেণী ভারসাম্যহীনতা অন্তর্ভুক্ত, যখন ইতিবাচক বা নেতিবাচক অত্যন্ত বিরল
সত্য ইতিবাচক এবং মিথ্যা ইতিবাচক
- শ্রেণী-ভারসাম্যহীন সমস্যার জন্য, বিভিন্ন ধরনের ত্রুটি আলাদা করতে উপযোগী
| সত্য ইতিবাচক আমরা সঠিকভাবে নেকড়ে বলা! আমরা শহর রক্ষা করেছি। | মিথ্যা ইতিবাচক ত্রুটি: আমরা নেকড়েকে মিথ্যা বলেছি। সবাই আমাদের উপর ক্ষিপ্ত। |
| মিথ্যা নেতিবাচক সেখানে একটি নেকড়ে ছিল, কিন্তু আমরা তা খুঁজে পাইনি। এটা আমাদের সব মুরগি খেয়েছে. | সত্যিকারের নেতিবাচক কোন নেকড়ে, কোন শঙ্কা নেই. সবাই ভালো আছে। |
মূল্যায়ন মেট্রিক্স: যথার্থতা এবং স্মরণ
- যথার্থতা: (সত্য ইতিবাচক) / (সমস্ত ইতিবাচক পূর্বাভাস)
- যখন মডেল "ইতিবাচক" ক্লাস বলেন, এটা কি ঠিক ছিল?
- অন্তর্দৃষ্টি: মডেল কি প্রায়ই "নেকড়ে" কেঁদেছিল?
মূল্যায়ন মেট্রিক্স: যথার্থতা এবং স্মরণ
- যথার্থতা: (সত্য ইতিবাচক) / (সমস্ত ইতিবাচক পূর্বাভাস)
- যখন মডেল "ইতিবাচক" ক্লাস বলেন, এটা কি ঠিক ছিল?
- অন্তর্দৃষ্টি: মডেল কি প্রায়ই "নেকড়ে" কেঁদেছিল?
- স্মরণ করুন : (সত্য ইতিবাচক) / (সমস্ত প্রকৃত ইতিবাচক)
- সমস্ত সম্ভাব্য ইতিবাচকের মধ্যে, কয়টি মডেল সঠিকভাবে চিহ্নিত করেছে?
- অন্তর্দৃষ্টি: এটা কোন নেকড়ে মিস?
আপনি শেষ হয়ে গেলে, চালিয়ে যেতে প্লে ▶ টিপুন
নীচের বিকল্পগুলি অন্বেষণ করুন.
একটি শ্রেণিবিন্যাস মডেল বিবেচনা করুন যা ইমেলকে দুটি বিভাগে বিভক্ত করে: "স্প্যাম" বা "স্প্যাম নয়।" আপনি যদি শ্রেণীবিভাগের থ্রেশহোল্ড বাড়ান, তাহলে নির্ভুলতার কী হবে?
অবশ্যই বাড়াবে।
শ্রেণিবিন্যাস থ্রেশহোল্ড বাড়ানো সাধারণত নির্ভুলতা বৃদ্ধি করে; যাইহোক, আমরা থ্রেশহোল্ড বাড়াতে গিয়ে নির্ভুলতা একঘেয়েভাবে বাড়ানোর নিশ্চয়তা দেওয়া হয় না।
সম্ভবত বৃদ্ধি।
সাধারণভাবে, শ্রেণীবিন্যাস থ্রেশহোল্ড বাড়ানো মিথ্যা ইতিবাচক হ্রাস করে, এইভাবে নির্ভুলতা বাড়ায়।
সম্ভবত কমবে।
সাধারণভাবে, শ্রেণীবিন্যাস থ্রেশহোল্ড বাড়ানো মিথ্যা ইতিবাচক হ্রাস করে, এইভাবে নির্ভুলতা বাড়ায়।
অবশ্যই কমবে।
সাধারণভাবে, শ্রেণীবিন্যাস থ্রেশহোল্ড বাড়ানো মিথ্যা ইতিবাচক হ্রাস করে, এইভাবে নির্ভুলতা বাড়ায়।
একটি ROC বক্ররেখা
প্রতিটি পয়েন্ট হল একটি সিদ্ধান্তের থ্রেশহোল্ডে TP এবং FP হার।
মূল্যায়ন মেট্রিক্স: AUC
- AUC: "ROC কার্ভের অধীনে এলাকা"
মূল্যায়ন মেট্রিক্স: AUC
- AUC: "ROC কার্ভের অধীনে এলাকা"
- ব্যাখ্যা:
- যদি আমরা একটি র্যান্ডম ইতিবাচক এবং একটি এলোমেলো নেতিবাচক বাছাই করি, তাহলে আমার মডেলটি সঠিক ক্রমে তাদের স্থান দেওয়ার সম্ভাবনা কত?
মূল্যায়ন মেট্রিক্স: AUC
- AUC: "ROC কার্ভের অধীনে এলাকা"
- ব্যাখ্যা:
- যদি আমরা একটি র্যান্ডম ইতিবাচক এবং একটি এলোমেলো নেতিবাচক বাছাই করি, তাহলে আমার মডেলটি সঠিক ক্রমে তাদের স্থান দেওয়ার সম্ভাবনা কত?
- অন্তর্দৃষ্টি: সমস্ত সম্ভাব্য শ্রেণীবিভাগ থ্রেশহোল্ড জুড়ে একত্রিত কর্মক্ষমতা একটি সামগ্রিক পরিমাপ দেয়
ভবিষ্যদ্বাণী পক্ষপাত
- লজিস্টিক রিগ্রেশন ভবিষ্যদ্বাণী নিরপেক্ষ হওয়া উচিত।
- ভবিষ্যদ্বাণীর গড় == পর্যবেক্ষণের গড়
ভবিষ্যদ্বাণী পক্ষপাত
- লজিস্টিক রিগ্রেশন ভবিষ্যদ্বাণী নিরপেক্ষ হওয়া উচিত।
- ভবিষ্যদ্বাণীর গড় == পর্যবেক্ষণের গড়
- পক্ষপাত একটি ক্যানারি।
- শূন্য পক্ষপাত একা মানে এই নয় যে আপনার সিস্টেমে সবকিছু নিখুঁত।
- কিন্তু এটি একটি মহান বিবেক চেক.
ভবিষ্যদ্বাণী পক্ষপাত (চলবে)
- যদি আপনার পক্ষপাত থাকে তবে আপনার সমস্যা আছে।
- অসম্পূর্ণ বৈশিষ্ট্য সেট?
- বগি পাইপলাইন?
- পক্ষপাতমূলক প্রশিক্ষণ নমুনা?
- একটি ক্রমাঙ্কন স্তর দিয়ে পক্ষপাত ঠিক করবেন না, মডেলে এটি ঠিক করুন।
- ডেটার স্লাইসে পক্ষপাতের জন্য দেখুন -- এটি উন্নতির নির্দেশনা দিতে পারে।
ক্রমাঙ্কন প্লট বাকেটেড পক্ষপাত দেখায়
