ROC eğrisi
ROC eğrisi (alıcı çalışma özelliği eğrisi), tüm sınıflandırma eşiklerinde bir sınıflandırma modelinin performansını gösteren grafiktir. Bu eğri iki parametreyi çizer:
- Gerçek Pozitif Oran
- Yanlış Pozitif Oran
Gerçek Pozitif Oranı (TPR), geri çağırmanın eş anlamlısıdır ve dolayısıyla şu şekilde tanımlanır:
Hatalı Pozitif Oranı (FPR) şu şekilde tanımlanır:
ROC eğrisi, farklı sınıflandırma eşiklerinde TPR ve FPR karşılaştırması yapar. Sınıflandırma eşiğini düşürmek, daha fazla öğeyi pozitif olarak sınıflandırır. Bu da hem Yanlış Pozitif'i hem de Gerçek Pozitif'i artırır. Aşağıdaki şekilde tipik bir ROC eğrisi gösterilmektedir.
4. Şekil. Farklı sınıflandırma eşiklerinde TP ve FP oranı.
ROC eğrisindeki noktaları hesaplamak için lojistik regresyon modelini birçok farklı sınıflandırma eşiğiyle değerlendirebiliyoruz. Bu da verimli olmaz. Neyse ki bu bilgileri AUC olarak sağlayabilecek, sıralama temelli verimli bir algoritma var.
AUC: ROC Eğrisi Altındaki Alan
AUC, ROC Eğrisi altındaki "Alan" anlamına gelir. Yani AUC, ROC eğrisinin tamamı (integral kalkülüs) altında bulunan (0,0) ile (1,1) arasındaki iki boyutlu alanın tamamını ölçer.
5. Şekil. AUC (ROC Eğrisi altındaki alan).
AUC, olası tüm sınıflandırma eşiklerinde performansa dair toplu bir ölçüm sağlar. AUC'yi yorumlamanın bir yolu, modelin rastgele bir pozitif örneği rastgele bir negatif örnekten daha yüksek bir sıralamada sıralama olasılığıdır. Örneğin, lojistik regresyon tahminlerinde artan düzende soldan sağa doğru sıralanmış aşağıdaki örnekler verilmiştir:
6. Şekil. Tahminler, lojistik regresyon puanına göre artan sırada sıralanır.
AUC, rastgele bir pozitif (yeşil) örneğin rastgele bir negatif (kırmızı) örneğin sağında yer alma olasılığını temsil eder.
AUC değeri 0 ile 1 arasında değişir. Tahminleri% 100 yanlış olan bir modelin AUC'si 0.0'dır; tahminleri% 100 doğru olan AUC'nin AUC'si 1.0'dır.
AUC, aşağıdaki iki nedenden dolayı tercih edilir:
- AUC ölçek açısından değişken değildir. Tahminlerin mutlak değerleri yerine ne kadar iyi sıralandığını ölçer.
- AUC sınıflandırma-eşik-değişkenidir. Bu, seçilen sınıflandırma eşiğinin ne olduğuna bakılmaksızın modelin kalitesini ölçer.
Ancak her iki neden de uyarıyla gelir. Bu durum, belirli kullanım alanlarında AUC'nin faydasını sınırlandırabilir:
Ölçek değişikliği her zaman tercih edilmez. Örneğin, bazen iyi kalibre edilmiş olasılık çıkışlarına ihtiyacımız olur ve AUC bize bunu söylemez.
Sınıflandırma eşiği değişimi her zaman istenmez. Yanlış negatiflerin maliyetiyle yanlış pozitiflerin maliyeti arasındaki farkın büyük olduğu durumlarda, bir sınıflandırma hatasını en aza indirmek kritik öneme sahip olabilir. Örneğin, e-posta spam'i tespit ederken yanlış pozitiflerin en aza indirilmesine öncelik vermek isteyebilirsiniz (yanlış pozitiflerin önemli ölçüde artmasına neden olsa bile). AUC, bu optimizasyon türü için yararlı bir metrik değildir.