Önceki bölümde, tümü tek bir sınıflandırma eşiği değerinde hesaplanan bir dizi model metriği sunulmuştur. Ancak bir modelin kalitesini tüm olası eşiklerde değerlendirmek istiyorsanız farklı araçlara ihtiyacınız vardır.
Alıcı çalışma özelliği eğrisi (ROC)
ROC eğrisi, tüm eşiklerde model performansının görsel bir temsilidir. Adın uzun versiyonu olan alıcı çalışma özelliği, 2. Dünya Savaşı'ndaki radar algılamasından kalma bir terimdir.
ROC eğrisi, mümkün olan her eşikte (pratikte, seçilen aralıklarda) gerçek pozitif oranı (TPR) ve yanlış pozitif oranı (FPR) hesaplanarak ve ardından TPR'nin FPR'ye göre grafiği çizilerek oluşturulur. Belirli bir eşikte TPR'si 1,0 ve FPR'si 0, 0 olan mükemmel bir model, diğer tüm eşikler yoksayılırsa (0, 1) noktasında bir noktayla veya aşağıdakilerle temsil edilebilir:
Eğri altı alan (AUC)
ROC eğrisinin altındaki alan (AUC), rastgele seçilen bir pozitif ve negatif örnek verildiğinde modelin pozitif örneği negatiften daha yüksek bir sıralamaya yerleştirme olasılığını temsil eder.
Kenar uzunluğu 1 olan bir kare içeren yukarıdaki mükemmel modelin eğri altında kalan alanı (AUC) 1,0'dur. Bu, modelin rastgele seçilen bir pozitif örneği rastgele seçilen bir negatif örnekten daha yüksek bir puanla doğru şekilde sıralama olasılığının% 100 olduğu anlamına gelir. Diğer bir deyişle, aşağıdaki veri noktalarının dağılımına bakıldığında AUC, modelin rastgele seçilen bir kareyi rastgele seçilen bir dairenin sağına yerleştirme olasılığını verir. Bu olasılık, eşiğin nerede ayarlandığından bağımsızdır.
Daha somut bir ifadeyle, AUC değeri 1,0 olan bir spam sınıflandırıcı, rastgele bir spam e-postasına her zaman rastgele bir geçerli e-postaya kıyasla daha yüksek bir spam olma olasılığı atar. Her e-postanın gerçek sınıflandırması, seçtiğiniz eşiğe bağlıdır.
İkili sınıflandırıcılar için, rastgele tahminler veya bozuk para atma işlemi kadar iyi performans gösteren bir modelin ROC'si (0,0) ile (1,1) arasında diyagonal bir çizgidir. AUC 0, 5'tir ve rastgele bir pozitif ve negatif örneğin doğru sıralanmasıyla ilgili% 50 olasılığı temsil eder.
Spam sınıflandırıcı örneğinde, AUC değeri 0,5 olan bir spam sınıflandırıcı, rastgele bir spam e-postasına rastgele bir meşru e-postaya kıyasla yalnızca yarı yarıya daha yüksek bir spam olma olasılığı atar.
(İsteğe bağlı, gelişmiş) Hassasiyet/geri çağırma eğrisi
AUC ve ROC, veri kümesi sınıflar arasında kabaca dengeli olduğunda modelleri karşılaştırmak için iyi çalışır. Veri kümesi dengesiz olduğunda hassasiyet-hatırlama eğrileri (PRC'ler) ve bu eğrilerin altındaki alan, model performansını karşılaştırmalı olarak daha iyi görselleştirmeye yardımcı olabilir. Hassasiyet/geri çağırma eğrileri, tüm eşiklerde hassasiyetin y ekseninde, geri çağırmanın ise x ekseninde gösterilmesiyle oluşturulur.
Model ve eşik seçme için AUC ve ROC
AUC, veri kümesi kabaca dengeli olduğu sürece iki farklı modelin performansını karşılaştırmak için faydalı bir ölçümdür. Eğri altındaki alan ne kadar büyük olursa model de o kadar iyidir.
ROC eğrisinde (0,1) değerine en yakın noktalar, belirli bir model için en iyi performans gösteren eşik aralığını temsil eder. Eşikler, Karıştırma matrisi ve Metrik seçimi ve değiş tokuş bölümlerinde belirtildiği gibi, seçtiğiniz eşik belirli kullanım alanı için en önemli metriğe bağlıdır. Aşağıdaki şemada A, B ve C noktalarını düşünün. Bu noktalar her biri bir eşiği temsil etmektedir:
Yanlış pozitifler (yanlış alarmlar) çok maliyetliyse TPR düşse bile A noktasındaki gibi daha düşük bir FPR sağlayan bir eşik seçmek mantıklı olabilir. Buna karşılık, yanlış pozitifler ucuz ve yanlış negatifler (bulunmayan gerçek pozitifler) çok pahalıysa TPR'yi en üst düzeye çıkaran C noktası için eşik tercih edilebilir. Maliyetler yaklaşık olarak eşdeğer ise B noktası, TPR ile FPR arasında en iyi dengeyi sunabilir.
Daha önce gördüğümüz verilerin ROC eğrisi aşağıda verilmiştir:
Alıştırma: Anlaşıp anlamadığınızı kontrol edin
(İsteğe bağlı, gelişmiş) Bonus soru
İşletmeniz açısından kritik bir e-postayı spam klasörüne göndermek yerine bazı spam e-postaların gelen kutusuna ulaşmasına izin vermenin daha iyi olduğu bir durum düşünün. Pozitif sınıfın spam, negatif sınıfın ise spam olmayan olduğu bu durum için bir spam sınıflandırıcı eğittiniz. Sınıflandırıcınızın ROC eğrisinde aşağıdaki noktalardan hangisi tercih edilir?