Припустимо, у вас є модель логістичної регресії для виявлення спаму в електронній пошті, яка прогнозує значення від 0 до 1, що представляє ймовірність того, що даний електронний лист є спамом. Прогноз 0,50 означає 50% ймовірність того, що електронний лист є спамом, прогноз 0,75 означає 75% ймовірність того, що електронний лист є спамом, і так далі.
Ви хочете розгорнути цю модель у поштовій програмі, щоб фільтрувати спам в окрему папку пошти. Але для цього вам потрібно перетворити необроблений числовий вихід моделі (наприклад, 0.75 ) в одну з двох категорій: «спам» або «не спам».
Щоб здійснити це перетворення, ви обираєте порогове значення ймовірності, яке називається порогом класифікації . Приклади з ймовірністю вище порогового значення потім відносяться до позитивного класу , класу, на який ви тестуєтеся (тут spam ). Приклади з нижчою ймовірністю відносяться до негативного класу , альтернативного класу (тут not spam ).
Натисніть тут, щоб отримати докладнішу інформацію про поріг класифікації.
Вам може бути цікаво: що станеться, якщо прогнозований бал дорівнюватиме порогу класифікації (наприклад, бал 0,5, де поріг класифікації також дорівнює 0,5)? Обробка цього випадку залежить від конкретної реалізації, обраної для моделі класифікації. Бібліотека Keras передбачає негативний клас, якщо бал і поріг рівні, але інші інструменти/фреймворки можуть обробляти цей випадок по-різному.
Припустимо, що модель оцінює один електронний лист як 0,99, прогнозуючи, що лист має 99% ймовірність бути спамом, а інший лист – як 0,51, прогнозуючи, що він має 51% ймовірність бути спамом. Якщо встановити поріг класифікації на 0,5, модель класифікуватиме обидва листи як спам. Якщо встановити поріг на 0,95, лише лист з оцінкою 0,99 буде класифіковано як спам.
Хоча 0,5 може здатися інтуїтивно зрозумілим порогом, це не є гарною ідеєю, якщо вартість одного типу неправильної класифікації більша за інший, або якщо класи незбалансовані. Якщо лише 0,01% електронних листів є спамом, або якщо неправильне реєстрування легітимних листів гірше, ніж потрапляння спаму до папки "Вхідні", позначка будь-чого, що модель вважає щонайменше 50% ймовірним як спам, як спам призводить до небажаних результатів.
Матриця плутанини
Оцінка ймовірності не є реальністю або базовою істиною . Існує чотири можливі результати для кожного виводу бінарного класифікатора. Для прикладу класифікатора спаму, якщо ви розмістите базову істину у вигляді стовпців, а прогноз моделі – у вигляді рядків, результатом буде наступна таблиця, яка називається матрицею плутанини :
| Фактично позитивний | Фактичний негативний | |
|---|---|---|
| Прогнозовано позитивний | Істинно позитивний результат (TP) : Лист зі спамом правильно класифіковано як лист зі спамом. Це листи зі спамом, які автоматично надсилаються до папки зі спамом. | Хибнопозитивний результат (ХСП) : електронний лист, який не є спамом і помилково класифікується як спам. Це справжні електронні листи, які потрапляють у папку зі спамом. |
| Прогнозовано негативно | Хибнонегативний результат (ХН) : спам-лист, помилково класифікований як не спам. Це спам-листи, які не перехоплюються спам-фільтром і потрапляють до папки "Вхідні". | Істинно негативний (TN) : електронний лист, який не є спамом і правильно класифіковано як такий. Це справжні електронні листи, що надсилаються безпосередньо до папки "Вхідні". |
Зверніть увагу, що сума в кожному рядку дає всі прогнозовані позитивні (TP + FP) та всі прогнозовані негативні (FN + TN), незалежно від валідності. Тим часом сума в кожному стовпці дає всі дійсні позитивні (TP + FN) та всі дійсні негативні (FP + TN) значення, незалежно від класифікації моделі.
Коли загальна кількість фактично позитивних значень не близька до загальної кількості фактично негативних значень, набір даних є незбалансованим . Прикладом незбалансованого набору даних може бути набір із тисяч фотографій хмар, де рідкісний тип хмар, який вас цікавить, скажімо, волютові хмари, з'являється лише кілька разів.
Вплив порогу на істинні та хибнопозитивні та хибнонегативні результати
Різні порогові значення зазвичай призводять до різної кількості істинно позитивних та хибнопозитивних, а також істинно та хибнонегативних результатів. У наступному відео пояснюється, чому це так.
Спробуйте змінити поріг самостійно.
Цей віджет містить три набори даних про іграшки:
- Розділені , де позитивні та негативні приклади загалом добре розрізняються, причому більшість позитивних прикладів мають вищі бали, ніж негативні.
- Нерозділений , де багато позитивних прикладів мають нижчі бали, ніж негативні, а багато негативних прикладів мають вищі бали, ніж позитивні.
- Незбалансований , що містить лише кілька прикладів позитивного класу.