تعمیم به توانایی مدل شما برای انطباق مناسب با داده های جدید و قبلاً دیده نشده اشاره دارد که از همان توزیعی که برای ایجاد مدل استفاده شده است، استخراج شده است.
تعمیم
تصویر بزرگ
- هدف: به خوبی روی داده های جدید استخراج شده از توزیع واقعی (پنهان) پیش بینی کنید.
- مشکل: ما حقیقت را نمی بینیم.
- ما فقط از آن نمونه می گیریم.
تصویر بزرگ
- هدف: به خوبی روی داده های جدید استخراج شده از توزیع واقعی (پنهان) پیش بینی کنید.
- مشکل: ما حقیقت را نمی بینیم.
- ما فقط از آن نمونه می گیریم.
- اگر مدل h به خوبی با نمونه فعلی ما مطابقت داشته باشد، چگونه می توانیم اعتماد کنیم که در سایر نمونه های جدید به خوبی پیش بینی می کند؟
چگونه بفهمیم مدل ما خوب است؟
- از نظر تئوری:
- زمینه جالب: نظریه تعمیم
- بر اساس ایده های اندازه گیری سادگی / پیچیدگی مدل
- شهود: رسمیت بخشیدن به اصل تیغ اوکام
- هرچه یک مدل پیچیدگی کمتری داشته باشد، احتمال اینکه یک نتیجه تجربی خوب فقط به دلیل ویژگی‌های نمونه ما نباشد بیشتر است.
چگونه بفهمیم مدل ما خوب است؟
- از نظر تجربی:
- سوال: آیا مدل ما روی نمونه جدیدی از داده ها خوب عمل می کند؟
- ارزیابی: نمونه جدیدی از داده ها را دریافت کنید - آن را مجموعه آزمایشی بنامید
- عملکرد خوب در مجموعه تست به طور کلی یک شاخص مفید از عملکرد خوب در داده های جدید است:
- اگر مجموعه تست به اندازه کافی بزرگ باشد
- اگر با استفاده مکرر از مجموعه تست تقلب نکنیم
ML Fine Print
سه فرض اساسی در تمام موارد فوق:
- نمونه هایی را به طور مستقل و یکسان (iid) به طور تصادفی از توزیع ترسیم می کنیم
- توزیع ثابت است: در طول زمان تغییر نمی کند
- ما همیشه از توزیع یکسانی استفاده می کنیم: شامل آموزش، اعتبار سنجی و مجموعه های آزمایشی