Точность
Изучите варианты ниже.
В каком из следующих сценариев высокое значение точности предполагает, что модель машинного обучения работает хорошо?
Смертельное, но излечимое заболевание поражает 0,01% населения. Модель машинного обучения использует симптомы как признаки и предсказывает это заболевание с точностью 99,99%.
Точность здесь плохой показатель. В конце концов, даже «глупая» модель, которая всегда предсказывает «не болен», все равно будет точной на 99,99%. Ошибочное предсказание «не болен» для человека, который на самом деле болен, может быть смертельным.
Дорогой роботизированный цыпленок пересекает очень загруженную дорогу тысячу раз в день. Модель машинного обучения оценивает схемы движения и предсказывает, когда эта курица сможет безопасно перейти улицу с точностью 99,99%.
Значение точности 99,99% на очень оживленной дороге убедительно свидетельствует о том, что модель ML намного лучше, чем случайность. Однако в некоторых условиях цена даже небольшого количества ошибок все еще слишком высока. Точность 99,99% означает, что дорогого цыпленка нужно будет менять в среднем каждые 10 дней. (Курица также может нанести значительный ущерб автомобилям, в которые она врезается.)
В игре в рулетку шарик падает на вращающееся колесо и в конечном итоге попадает в один из 38 слотов. Используя визуальные характеристики (вращение мяча, положение колеса в момент падения мяча, высоту мяча над колесом), модель машинного обучения может предсказать слот, в который приземлится мяч, с точностью до 4%. .
Эта модель машинного обучения делает прогнозы намного лучше, чем случайность; случайное предположение было бы правильным в 1/38 случаев, что дает точность 2,6%. Хотя точность модели составляет «всего» 4%, преимущества успеха намного перевешивают недостатки неудачи.
Точность
Изучите варианты ниже.
Рассмотрим модель классификации, которая разделяет электронную почту на две категории: «спам» и «не спам». Если вы повысите порог классификации, что произойдет с точностью?
Однозначно увеличивать.
Повышение порога классификации обычно увеличивает точность; однако не гарантируется монотонное увеличение точности при повышении порога.
Вероятно увеличение.
В общем, повышение порога классификации уменьшает количество ложных срабатываний, тем самым повышая точность.
Вероятно снижение.
В общем, повышение порога классификации уменьшает количество ложных срабатываний, тем самым повышая точность.
Однозначно уменьшать.
В общем, повышение порога классификации уменьшает количество ложных срабатываний, тем самым повышая точность.
Отзывать
Изучите варианты ниже.
Рассмотрим модель классификации, которая разделяет электронную почту на две категории: «спам» и «не спам». Если поднять порог классификации, что будет с памятью?
Всегда увеличивать.
Повышение порога классификации вызовет оба следующих явления:
- Количество истинных срабатываний уменьшится или останется прежним.
- Количество ложноотрицательных результатов увеличится или останется прежним.
Всегда уменьшайте или оставайтесь на прежнем уровне.
Повышение нашего порога классификации приведет к тому, что количество истинных положительных результатов уменьшится или останется прежним, а количество ложных отрицательных результатов увеличится или останется прежним. Таким образом, припоминание либо останется постоянным, либо уменьшится.
Всегда оставаться постоянным.
Повышение нашего порога классификации приведет к тому, что количество истинных положительных результатов уменьшится или останется прежним, а количество ложных отрицательных результатов увеличится или останется прежним. Таким образом, припоминание либо останется постоянным, либо уменьшится.
Точность и отзыв
Изучите варианты ниже.
Рассмотрим две модели — A и B — каждая из которых оценивает один и тот же набор данных. Какое из следующих утверждений верно?
Если модель A имеет лучшую точность, чем модель B, то модель A лучше.
Хотя более высокая точность — это хорошо, она может быть достигнута за счет значительного снижения отзыва. В общем, нам нужно рассматривать как точность, так и полноту вместе, или сводные показатели, такие как AUC, о которых мы поговорим далее.
Если модель A лучше запоминает, чем модель B, то модель A лучше.
Хотя лучший отзыв — это хорошо, он может быть достигнут за счет значительного снижения точности. В общем, нам нужно рассматривать как точность, так и полноту вместе, или сводные показатели, такие как AUC, о которых мы поговорим далее.
Если модель A имеет лучшую точность и лучший отзыв, чем модель B, то модель A, вероятно, лучше.
В общем, модель, которая превосходит другую модель как по точности, так и по полноте, вероятно, является лучшей моделью. Очевидно, нам нужно убедиться, что сравнение выполняется в точке точности/отзыва, которая полезна на практике, чтобы это имело смысл. Например, предположим, что наша модель обнаружения спама должна иметь точность не менее 90%, чтобы быть полезной и избегать ненужных ложных тревог. В этом случае сравнение одной модели с точностью {20 %, полнота 99 %} с другой моделью с точностью {15 %, полнота 98 %} не особенно информативна, поскольку ни одна из моделей не соответствует требованию точности 90 %. Но с учетом этого предостережения это хороший способ подумать о сравнении моделей при использовании точности и полноты.