Перегляньте варіанти, наведені нижче.
Розгляньмо модель класифікації, яка розділяє електронну пошту на дві категорії: "спам" і "не спам". Як змінюватиметься показник влучності, якщо підняти поріг класифікації?
Однозначно зростатиме.
Зазвичай із підвищенням порогу класифікації влучність зростає, але це не означає, що вона збільшуватиметься рівномірно.
Імовірно, зростатиме.
Загалом, коли підвищується поріг класифікації, зменшується кількість хибнопозитивних результатів, а отже, влучність збільшується.
Імовірно, знижуватиметься.
Загалом, коли підвищується поріг класифікації, зменшується кількість хибнопозитивних результатів, а отже, влучність збільшується.
Однозначно знижуватиметься.
Загалом, коли підвищується поріг класифікації, зменшується кількість хибнопозитивних результатів, а отже, влучність збільшується.
Перегляньте варіанти, наведені нижче.
Розгляньмо модель класифікації, яка розділяє електронну пошту на дві категорії: "спам" і "не спам". Як змінюватиметься показник повноти, якщо підняти поріг класифікації?
Завжди зростатиме.
Підвищення порогу класифікації призведе до обох наслідків, зазначених нижче.
- Кількість істиннопозитивних результатів зменшуватиметься або буде незмінною.
- Кількість хибнонегативних результатів збільшуватиметься або буде незмінною.
Завжди знижуватиметься або буде незмінним.
Якщо підвищити поріг класифікації, кількість істиннопозитивних результатів зменшуватиметься або буде незмінною, а хибнонегативних – збільшуватиметься чи буде незмінною. Тому показник повноти або буде незмінним, або знижуватиметься.
Завжди буде незмінним.
Якщо підвищити поріг класифікації, кількість істиннопозитивних результатів зменшуватиметься або буде незмінною, а хибнонегативних – збільшуватиметься чи буде незмінною. Тому показник повноти або буде незмінним, або знижуватиметься.
Перегляньте варіанти, наведені нижче.
Дві моделі, А й Б, оцінюють однаковий набір даних.
Яке з тверджень, наведених нижче, правильне?
Якщо влучність моделі A вища, ніж моделі Б, то модель A краща.
Попри те, що висока влучність – це добре, часто її досягають завдяки значному зниженню повноти. Зазвичай потрібно оцінювати як влучність, так і повноту або узагальнені показники (наприклад, AUC), які розглядаються далі.
Якщо повнота моделі A вища, ніж моделі Б, то модель A краща.
Попри те, що високий показник повноти – це добре, часто його досягають завдяки значному зниженню влучності. Зазвичай потрібно оцінювати як влучність, так і повноту або узагальнені показники (наприклад, AUC), які розглядаються далі.
Якщо показники влучності й повноти моделі A вищі, ніж моделі Б, то модель A, імовірно, краща.
Зазвичай кращою моделлю вважається та, яка перевершує іншу як за влучністю, так і за повнотою. Звісно, щоб отримати корисні результати, слід переконатися, що порівнюються значення влучності/повноти, які мають практичне значення. Наприклад, уявімо, що для моделі виявлення спаму потрібен показник влучності, який становить щонайменше 90%, щоб вона була ефективною і не помилялася. У цьому разі порівнювати одну модель (її влучність – 20%, а повнота – 99%) з іншою (влучність – 15%, повнота – 98%) не дуже корисно, оскільки обидві моделі не задовольняють вимогу щодо 90% влучності. Якщо не враховувати це застереження, такий спосіб порівняння моделей за допомогою показників влучності й повноти цілком вдалий.