قبل از شروع این ماژول، در نظر بگیرید که آیا در استفاده از فرآیند آموزشی ذکر شده در مجموعه‌های آموزشی و تست، اشکالی وجود دارد یا خیر.
گزینه های زیر را بررسی کنید.
ما به فرآیند استفاده از یک مجموعه تست و یک مجموعه آموزشی برای هدایت تکرارهای توسعه مدل نگاه کردیم. در هر تکرار، داده‌های آموزشی را آموزش می‌دهیم و داده‌های آزمون را ارزیابی می‌کنیم، با استفاده از نتایج ارزیابی روی داده‌های آزمون برای هدایت انتخاب‌ها و تغییرات در ابرپارامترهای مدل مختلف مانند نرخ یادگیری و ویژگی‌ها. آیا این رویکرد اشکالی دارد؟ (فقط یک پاسخ را انتخاب کنید.)
کاملاً خوب است، ما در حال آموزش در مورد داده های آموزشی و ارزیابی داده های آزمون جداگانه و نگهداری شده هستیم.
در واقع، یک مسئله ظریف در اینجا وجود دارد. به این فکر کنید که اگر تکرارهای بسیار زیادی از این فرم انجام دهیم چه اتفاقی می افتد.
انجام دورهای زیادی از این روش ممکن است باعث شود که ما به طور ضمنی با ویژگی‌های مجموعه آزمایشی خاص خود سازگار شویم.
بله واقعا! هر چه بیشتر در یک مجموعه تست معین ارزیابی کنیم، بیشتر در معرض خطر تطبیق بیش از حد ضمنی با آن مجموعه تست هستیم. در ادامه پروتکل بهتری را بررسی خواهیم کرد.
این از نظر محاسباتی ناکارآمد است. ما فقط باید یک مجموعه پیش فرض از هایپرپارامترها را انتخاب کنیم و با آنها زندگی کنیم تا منابع را ذخیره کنیم.
اگرچه این نوع تکرارها گران هستند، اما بخش مهمی از توسعه مدل هستند. تنظیمات فراپارامتر می تواند تفاوت زیادی در کیفیت مدل ایجاد کند، و ما همیشه باید مقداری زمان و منابع محاسباتی را در نظر بگیریم تا مطمئن شویم که بهترین کیفیت را دریافت می کنیم.