ROC-кривая
Кривая ROC (кривая рабочих характеристик приемника ) представляет собой график, показывающий эффективность модели классификации при всех пороговых значениях классификации. Эта кривая отображает два параметра:
- Истинная положительная скорость
- Ложноположительный результат
True Positive Rate ( TPR ) является синонимом отзыва и поэтому определяется следующим образом:
Ложноположительный показатель ( FPR ) определяется следующим образом:
Кривая ROC отображает соотношение TPR и FPR при различных порогах классификации. Снижение порога классификации позволяет классифицировать больше элементов как положительные, тем самым увеличивая количество ложных срабатываний и истинных срабатываний. На следующем рисунке показана типичная кривая ROC.
Рисунок 4. Коэффициент TP и FP при различных порогах классификации.
Чтобы вычислить точки на ROC-кривой, мы могли бы много раз оценивать модель логистической регрессии с разными порогами классификации, но это было бы неэффективно. К счастью, существует эффективный алгоритм, основанный на сортировке, который может предоставить нам эту информацию, называемый AUC.
AUC: площадь под кривой ROC
AUC означает «Площадь под кривой ROC». То есть AUC измеряет всю двумерную область под всей кривой ROC (например, интегральное исчисление) от (0,0) до (1,1).
Рисунок 5. AUC (площадь под ROC-кривой).
AUC обеспечивает совокупный показатель производительности по всем возможным пороговым значениям классификации. Один из способов интерпретации AUC — это вероятность того, что модель ранжирует случайный положительный пример выше, чем случайный отрицательный пример. Например, учитывая следующие примеры, которые расположены слева направо в порядке возрастания прогнозов логистической регрессии:
Рисунок 6. Прогнозы ранжированы в порядке возрастания оценки логистической регрессии.
AUC представляет собой вероятность того, что случайный положительный (зеленый) пример расположен справа от случайного отрицательного (красный) примера.
Значение AUC варьируется от 0 до 1. Модель, чьи прогнозы на 100 % неверны, имеет значение AUC, равное 0,0; тот, чьи предсказания верны на 100%, имеет AUC 1,0.
AUC желателен по следующим двум причинам:
- AUC не зависит от масштаба . Он измеряет, насколько хорошо ранжируются прогнозы, а не их абсолютные значения.
- AUC не зависит от порога классификации . Он измеряет качество прогнозов модели независимо от выбранного порога классификации.
Однако обе эти причины сопровождаются оговорками, которые могут ограничивать полезность AUC в определенных случаях использования:
Масштабная инвариантность не всегда желательна. Например, иногда нам действительно нужны хорошо откалиброванные выходные данные вероятности, и AUC не скажет нам об этом.
Инвариантность порога классификации не всегда желательна. В тех случаях, когда существуют большие различия в стоимости ложноотрицательных и ложноположительных результатов, может быть важно минимизировать один тип ошибки классификации. Например, при обнаружении спама в электронной почте вы, вероятно, захотите свести к минимуму ложные срабатывания (даже если это приведет к значительному увеличению ложноотрицательных результатов). AUC не является полезным показателем для этого типа оптимизации.