পূর্ববর্তী মডিউলটি আপনার ডেটা সেটটিকে দুটি উপসেটে ভাগ করার ধারণাটি চালু করেছে:
- প্রশিক্ষণ সেট - একটি মডেল প্রশিক্ষণের জন্য একটি উপসেট।
- পরীক্ষা সেট —প্রশিক্ষিত মডেল পরীক্ষা করার জন্য একটি উপসেট।
আপনি নিম্নলিখিত হিসাবে একক ডেটা সেট স্লাইস করার কল্পনা করতে পারেন:
চিত্র 1. একটি প্রশিক্ষণ সেট এবং পরীক্ষা সেটে একটি একক ডেটা সেট করা।
নিশ্চিত করুন যে আপনার পরীক্ষার সেট নিম্নলিখিত দুটি শর্ত পূরণ করে:
- পরিসংখ্যানগতভাবে অর্থপূর্ণ ফলাফল দেওয়ার জন্য যথেষ্ট বড়।
- সামগ্রিকভাবে ডেটা সেটের প্রতিনিধি। অন্য কথায়, প্রশিক্ষণ সেটের চেয়ে ভিন্ন বৈশিষ্ট্য সহ একটি পরীক্ষা সেট বাছাই করবেন না।
ধরে নিই যে আপনার পরীক্ষার সেটটি পূর্ববর্তী দুটি শর্ত পূরণ করে, আপনার লক্ষ্য হল এমন একটি মডেল তৈরি করা যা নতুন ডেটাতে ভালভাবে সাধারণীকরণ করে। আমাদের পরীক্ষার সেট নতুন ডেটার জন্য একটি প্রক্সি হিসাবে কাজ করে। উদাহরণস্বরূপ, নিম্নলিখিত চিত্রটি বিবেচনা করুন। লক্ষ্য করুন যে প্রশিক্ষণের ডেটার জন্য শেখা মডেলটি খুবই সহজ। এই মডেলটি একটি নিখুঁত কাজ করে না - কয়েকটি ভবিষ্যদ্বাণী ভুল। যাইহোক, এই মডেলটি পরীক্ষার ডেটাতে প্রায় একইভাবে কাজ করে যেমন এটি প্রশিক্ষণ ডেটাতে করে। অন্য কথায়, এই সাধারণ মডেলটি প্রশিক্ষণের ডেটাকে অত্যধিক করে না।
চিত্র 2. পরীক্ষার ডেটার বিপরীতে প্রশিক্ষিত মডেলকে যাচাই করা।
পরীক্ষার ডেটাতে কখনই প্রশিক্ষণ দেবেন না। আপনি যদি আপনার মূল্যায়নের মেট্রিক্সে আশ্চর্যজনকভাবে ভাল ফলাফল দেখতে পান, তবে এটি একটি চিহ্ন হতে পারে যে আপনি দুর্ঘটনাক্রমে পরীক্ষার সেটে প্রশিক্ষণ নিচ্ছেন। উদাহরণস্বরূপ, উচ্চ নির্ভুলতা নির্দেশ করতে পারে যে পরীক্ষার ডেটা প্রশিক্ষণ সেটে ফাঁস হয়েছে।
উদাহরণস্বরূপ, একটি মডেল বিবেচনা করুন যা ভবিষ্যদ্বাণী করে যে একটি ইমেল স্প্যাম কিনা, বিষয় লাইন, ইমেলের মূল অংশ এবং প্রেরকের ইমেল ঠিকানা বৈশিষ্ট্য হিসাবে ব্যবহার করে৷ আমরা 80-20 বিভক্ত সহ প্রশিক্ষণ এবং পরীক্ষার সেটগুলিতে ডেটা ভাগ করি। প্রশিক্ষণের পরে, মডেলটি প্রশিক্ষণ সেট এবং পরীক্ষা সেট উভয়ের ক্ষেত্রেই 99% নির্ভুলতা অর্জন করে। আমরা পরীক্ষা সেটে একটি কম নির্ভুলতা আশা করব, তাই আমরা ডেটার দিকে আরেকবার নজর দিই এবং আবিষ্কার করি যে পরীক্ষার সেটের অনেক উদাহরণ প্রশিক্ষণ সেটের উদাহরণগুলির অনুলিপি (আমরা একই স্প্যামের জন্য ডুপ্লিকেট এন্ট্রিগুলি স্ক্রাব করতে অবহেলা করেছি ডেটা বিভক্ত করার আগে আমাদের ইনপুট ডাটাবেস থেকে ইমেল করুন)। আমরা আমাদের কিছু পরীক্ষার ডেটার উপর অসাবধানতাবশত প্রশিক্ষণ নিয়েছি, এবং ফলস্বরূপ, আমরা আর সঠিকভাবে পরিমাপ করছি না যে আমাদের মডেলটি নতুন ডেটাতে কতটা সাধারণীকরণ করে।