گزینه های زیر را بررسی کنید.
یک مدل طبقه بندی را در نظر بگیرید که ایمیل را به دو دسته تقسیم می کند: "هرزنامه" یا "غیر هرزنامه". اگر آستانه طبقه بندی را افزایش دهید، چه اتفاقی برای دقت می افتد؟
قطعا افزایش می یابد.
افزایش آستانه طبقه بندی معمولاً دقت را افزایش می دهد. با این حال، با افزایش آستانه، دقت تضمین نمی شود که به طور یکنواخت افزایش یابد.
احتمالا افزایش یابد.
به طور کلی، بالا بردن آستانه طبقه بندی، مثبت کاذب را کاهش می دهد و در نتیجه دقت را افزایش می دهد.
احتمالا کاهش یافته است.
به طور کلی، بالا بردن آستانه طبقه بندی، مثبت کاذب را کاهش می دهد و در نتیجه دقت را افزایش می دهد.
قطعا کاهش می یابد.
به طور کلی، بالا بردن آستانه طبقه بندی، مثبت کاذب را کاهش می دهد و در نتیجه دقت را افزایش می دهد.
گزینه های زیر را بررسی کنید.
یک مدل طبقه بندی را در نظر بگیرید که ایمیل را به دو دسته تقسیم می کند: "هرزنامه" یا "غیر هرزنامه". اگر آستانه طبقه بندی را افزایش دهید، برای یادآوری چه اتفاقی می افتد؟
همیشه افزایش دهید.
افزایش آستانه طبقه بندی باعث هر دو مورد زیر می شود:
- تعداد موارد مثبت واقعی کاهش می یابد یا ثابت می ماند.
- تعداد منفی های کاذب افزایش می یابد یا ثابت می ماند.
همیشه کم کنید یا ثابت بمانید.
بالا بردن آستانه طبقه بندی ما باعث می شود تعداد مثبت های واقعی کاهش یا ثابت بماند و باعث افزایش یا ثابت ماندن تعداد منفی های کاذب می شود. بنابراین، یادآوری یا ثابت می ماند یا کاهش می یابد.
همیشه ثابت بمان.
بالا بردن آستانه طبقه بندی ما باعث می شود تعداد مثبت های واقعی کاهش یا ثابت بماند و باعث افزایش یا ثابت ماندن تعداد منفی های کاذب می شود. بنابراین، یادآوری یا ثابت می ماند یا کاهش می یابد.
گزینه های زیر را بررسی کنید.
دو مدل A و B را در نظر بگیرید که هر کدام یک مجموعه داده را ارزیابی می کنند. کدام یک از عبارات زیر صحیح است؟
اگر دقت مدل A بهتر از مدل B باشد، مدل A بهتر است.
در حالی که دقت بهتر خوب است، ممکن است به قیمت کاهش قابل توجه در یادآوری باشد. به طور کلی، باید دقت و یادآوری را با هم بررسی کنیم، یا معیارهای خلاصه مانند AUC که در ادامه در مورد آن صحبت خواهیم کرد.
اگر مدل A فراخوان بهتری نسبت به مدل B داشته باشد، مدل A بهتر است.
در حالی که یادآوری بهتر خوب است، ممکن است به قیمت کاهش زیاد دقت تمام شود. به طور کلی، باید دقت و یادآوری را با هم بررسی کنیم یا معیارهای خلاصه مانند AUC که در ادامه در مورد آن صحبت خواهیم کرد.
اگر مدل A دقت و یادآوری بهتری نسبت به مدل B داشته باشد، احتمالاً مدل A بهتر است.
به طور کلی، مدلی که هم از نظر دقت و هم از نظر فراخوانی از مدل دیگری بهتر عمل می کند، احتمالاً مدل بهتری است. بدیهی است که ما باید مطمئن شویم که مقایسه در نقطه ای دقیق / یادآوری انجام می شود که در عمل برای معنی دار بودن آن مفید است. به عنوان مثال، فرض کنید مدل تشخیص هرزنامه ما باید حداقل 90 درصد دقت داشته باشد تا مفید باشد و از هشدارهای نادرست غیر ضروری جلوگیری کند. در این مورد، مقایسه یک مدل با دقت {20%، فراخوانی 99%} با مدل دیگر با دقت {15%، فراخوانی 98%} بسیار آموزنده نیست، زیرا هیچ یک از مدلها الزامات دقت 90% را برآورده نمیکنند. اما با در نظر گرفتن این اخطار، این راه خوبی برای فکر کردن به مقایسه مدل ها هنگام استفاده از دقت و یادآوری است.