Klasyfikacja: precyzja i czułość

Szacowany czas: 9 minut

Precyzja

Usługa Precyzja próbuje odpowiedzieć na to pytanie:

Jaki odsetek ocen pozytywnych był w tym przypadku prawidłowy?

Precyzja jest zdefiniowana w następujący sposób:

$$\text{Precision} = \frac{TP}{TP+FP}$$

Uwaga: model, który nie generuje wyników fałszywie pozytywnych, ma precyzję 1,0.

Obliczmy precyzję modelu systemów uczących się z poprzedniej sekcji, która analizuje guzy:

Rzeczywiste pozytywne (TP): 1	Fałszywy wynik (FP): 1
Fałszywe wyniki negatywne: 8	Prawda i fałsz: 90

$$\text{Precision} = \frac{TP}{TP+FP} = \frac{1}{1+1} = 0.5$$

Nasz model ma precyzję 0,5.Innymi słowy, gdy przewiduje, że guz jest złośliwy, jest poprawny w 50% przypadków.

Czułość

Rozpoznawalność próbuje odpowiedzieć na to pytanie:

Odsetek rzeczywistych pozytywnych wyników został poprawnie zidentyfikowany.

Matematyka jest określana w ten sposób:

$$\text{Recall} = \frac{TP}{TP+FN}$$

Uwaga: model, który nie generuje fałszywych wyników, ma wycofanie z zakresu 1,0.

Obliczmy rozpoznawalność naszego klasyfikatora nowotworów:

Rzeczywiste pozytywne (TP): 1	Fałszywy wynik (FP): 1
Fałszywe wyniki negatywne: 8	Prawda i fałsz: 90

$$\text{Recall} = \frac{TP}{TP+FN} = \frac{1}{1+8} = 0.11$$

Model ma rozpoznawalność 0,11.Oznacza to, że poprawnie identyfikuje 11% wszystkich nowotworów złośliwych.

Precyzja i czułość: smokingi

Aby w pełni ocenić skuteczność modelu, musisz zbadać zarówno precyzję, jak i czułość. Niestety precyzja i czułość jest często napięta. Oznacza to, że większa precyzja zazwyczaj zmniejsza czułość i odwrotnie. Możesz się temu dowiedzieć, korzystając z tego przykładu, który przedstawia 30 podpowiedzi utworzonych przez model klasyfikacji e-maili. Po prawej stronie progu klasyfikacji są klasyfikowane jako „"spam&quot”, a po lewej – „"spam”.

Rysunek 1. klasyfikowanie e-maili jako spamu lub spamu,

Obliczamy precyzję i rozpoznawalność na podstawie wyników z rysunku 1.

Rzeczywiste korzyści (TP): 8	Fałszywy plus (FP): 2
Fałszywe wyniki negatywne (FN):	Rzeczywiste negatywne (TN):

Precyzja mierzy odsetek e-maili oznaczonych jako spam, które zostały prawidłowo sklasyfikowane – jest to procent kropek po prawej stronie progu, który jest zielony na rysunku 1:

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{8}{8+2} = 0.8$$

Czułość rozpoznawa odsetek rzeczywistych e-maili ze spamem, które zostały prawidłowo sklasyfikowane – czyli odsetek zielonych kropek znajdujących się po prawej stronie progu płatności na rysunku 1:

$$\text{Recall} = \frac{TP}{TP + FN} = \frac{8}{8 + 3} = 0.73$$

Rysunek 2 pokazuje efekt zwiększenia progu klasyfikacji.

Rysunek 2. Zwiększam próg klasyfikacji.

Liczba fałszywych dopasowań wzrosła, ale wzrosła liczba fałszywych wyników. W związku z tym precyzja rośnie, a czułość spada:

Rzeczywiste korzyści (TP): 7	Fałszywy wynik (FP): 1
Fałszywe wyniki negatywne (FN):	Rzeczywiste negatywne (TN):

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{7}{7+1} = 0.88$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{7}{7 + 4} = 0.64$$

I na odwrót: ilustracja efektu zmniejszenia progu klasyfikacji (z pierwotnej pozycji na rysunku 1).

Rysunek 3. Zmniejszam próg klasyfikacji.

Wzrost liczby fałszywie pozytywnych i spadek wyników fałszywie negatywnych. W efekcie skróciła się precyzja i czułość:

Rzeczywiste korzyści (TP): 9	Fałszywy plus (FP): 3
Fałszywe wyniki negatywne (FN):	Rzeczywiste negatywne (TN):

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{9}{9+3} = 0.75$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{9}{9 + 2} = 0.82$$

Opracowano różne wskaźniki, które opierają się zarówno na precyzji, jak i czułości. Zobacz na przykład wynik F1.

 

Kluczowe terminy

dokładność

czułość

Centrum pomocy