সাধারণীকরণ বলতে আপনার মডেলের নতুন, পূর্বে অদেখা তথ্যের সাথে সঠিকভাবে খাপ খাইয়ে নেওয়ার ক্ষমতা বোঝায়, যেটি মডেল তৈরি করতে ব্যবহৃত একই বিতরণ থেকে আঁকা।
সাধারণীকরণ
বড় ছবি
- লক্ষ্য: (লুকানো) সত্য বিতরণ থেকে আঁকা নতুন ডেটার উপর ভালভাবে ভবিষ্যদ্বাণী করুন।
- সমস্যা: আমরা সত্য দেখি না।
- আমরা শুধুমাত্র এটি থেকে নমুনা পেতে.
বড় ছবি
- লক্ষ্য: (লুকানো) সত্য বিতরণ থেকে আঁকা নতুন ডেটার উপর ভালভাবে ভবিষ্যদ্বাণী করুন।
- সমস্যা: আমরা সত্য দেখি না।
- আমরা শুধুমাত্র এটি থেকে নমুনা পেতে.
- যদি মডেল এইচ আমাদের বর্তমান নমুনাটি ভালভাবে ফিট করে তবে আমরা কীভাবে বিশ্বাস করতে পারি যে এটি অন্যান্য নতুন নমুনাগুলিতে ভাল ভবিষ্যদ্বাণী করবে?
আমাদের মডেল ভাল হলে আমরা কিভাবে জানব?
- তাত্ত্বিকভাবে:
- আকর্ষণীয় ক্ষেত্র: সাধারণীকরণ তত্ত্ব
- মডেল সরলতা/জটিলতা পরিমাপের ধারণার উপর ভিত্তি করে
- অন্তর্দৃষ্টি: ওকহামের রেজার নীতির আনুষ্ঠানিককরণ
- একটি মডেল যত কম জটিল, একটি ভাল পরীক্ষামূলক ফলাফল শুধুমাত্র আমাদের নমুনার বিশেষত্বের কারণে না হওয়ার সম্ভাবনা তত বেশি
আমাদের মডেল ভাল হলে আমরা কিভাবে জানব?
- অভিজ্ঞতাগতভাবে:
- জিজ্ঞাসা করা: আমাদের মডেল কি ডেটার একটি নতুন নমুনায় ভাল করবে?
- মূল্যায়ন করুন: ডেটার একটি নতুন নমুনা পান-এটিকে পরীক্ষা সেট বলুন
- পরীক্ষার সেটে ভালো পারফরম্যান্স সাধারণভাবে নতুন ডেটাতে ভালো পারফরম্যান্সের একটি দরকারী সূচক:
- যদি পরীক্ষার সেট যথেষ্ট বড় হয়
- যদি আমরা পরীক্ষা সেট বারবার ব্যবহার করে প্রতারণা না করি
এমএল ফাইন প্রিন্ট
উপরের সমস্তটিতে তিনটি মৌলিক অনুমান:
- আমরা বিতরণ থেকে এলোমেলোভাবে স্বাধীনভাবে এবং অভিন্নভাবে (iid) উদাহরণ আঁকি
- ডিস্ট্রিবিউশনটি স্থির : এটি সময়ের সাথে পরিবর্তিত হয় না
- আমরা সবসময় একই বন্টন থেকে টান: প্রশিক্ষণ, বৈধতা, এবং পরীক্ষার সেট সহ