Krzywa charakterystyki operacyjnej odbiornika (ROC)
Krzywa ROC (krzywa cechy operacyjnej odbiornika) to wykres przedstawiający skuteczność modelu klasyfikacji we wszystkich progach klasyfikacji. Na tej krzywej pojawią się 2 parametry:
- Rzeczywisty dodatni
- Współczynnik wyników fałszywie pozytywnych
Współczynnik dodatniy (TPR) jest synonimem rozpoznawalności, więc został określony w ten sposób:
Współczynnik dodatniy (FPR) jest zdefiniowany w ten sposób:
Na krzywej ROC naniesione są wartości TPR i FPR przy różnych progach klasyfikacji. Obniżenie progu klasyfikacji powoduje sklasyfikowanie większej liczby elementów jako pozytywnych, co skutkuje wzrostem wyników fałszywie pozytywnych i pozytywnych. Poniższa ilustracja przedstawia typową krzywą ROC.
Rysunek 4. Wskaźnik TP i FP na różnych progach klasyfikacji.
Aby obliczyć punkty na krzywej ROC, możemy wielokrotnie ocenić model regresji logistycznej o różnych progach klasyfikacji, ale byłoby to nieefektywne. Na szczęście istnieje skuteczny, oparty na sortowanie algorytm, który może dostarczyć nam tych informacji, nazywany AUC.
AUC: obszar pod krzywą ROC
AUC oznacza „obszar” pod krzywą ROC. Oznacza to, że AUC mierzy cały dwuwymiarowy obszar pod całą krzywą ROC (myślnik całkowity) od (0,0) do (1,1).
Rysunek 5. AUC (obszar wokół krzywej ROC).
AUC zapewnia zbiorczy pomiar skuteczności we wszystkich możliwych progach klasyfikacji. Jednym ze sposobów interpretacji wartości AUC jest prawdopodobieństwo, że model uzyskuje losowy przykład dodatni częściej niż losowy przykład ujemny. Na przykład te przykłady są ułożone w kolejności od lewej do prawej, w kolejności rosnącej regresji logicznej:
Rysunek 6. Przewidywania w kolejności rosnącej według regresji logistycznej.
AUC reprezentuje prawdopodobieństwo, że losowy (zielony) przykład jest umieszczony po prawej stronie przykładu losowego ujemnego (czerwonego).
AUC ma wartość od 0 do 1. Model, którego prognozy są w 100% nieprawidłowe, ma AUC 0,0, a ten, którego prognozy są w 100% poprawne, AUC 1,0.
AUC jest pożądane z następujących 2 powodów:
- UCUC są niezmienne. Rozwiązanie określa pozycję stron w rankingu, a nie ich wartości bezwzględne.
- AUC to klasyfikacja progów-progów, Mierzy jakość prognozy modelu niezależnie od tego, jaki próg sklasyfikowania zostanie wybrany.
Oba te kwestie wiążą się z zastrzeżeniami, które jednak w niektórych przypadkach mogą zmniejszać przydatność AUC:
Niezmienność skali nie zawsze jest odpowiednia. Czasem naprawdę potrzebne są dobrze wykadrowane dane o prawdopodobieństwach, a AUC nie informuje nas o tym.
Zmienność progów klasyfikacji nie zawsze jest odpowiednia. W przypadkach, w których występują znaczne różnice w koszcie fałszywie negatywnych wyników i w wyniku fałszywie pozytywnego, bardzo ważne jest, aby zminimalizować jeden typ błędu klasyfikacji. Na przykład podczas wykrywania spamu w e-mailach warto zdecydować się na minimalizację fałszywie pozytywnych wyników (nawet jeśli prowadzi to do znacznego wzrostu liczby fałszywych dopasowań). AUC nie jest przydatne w przypadku tego typu optymalizacji.