Doğruluk, sınıflandırma modellerinin değerlendirilmesinde kullanılan bir metriktir. Doğruluk, modelimizin doğru tahmin sunma oranıdır. Doğruluk, resmi olarak aşağıdaki tanıma sahiptir:
İkili program sınıflandırmasında, doğruluk pozitif ve negatif olarak aşağıdaki gibi de hesaplanabilir:
Burada TP = Doğru Pozitif, TN = Doğru Negatif, FP = Yanlış Pozitif ve FN = Yanlış Negatif.
Aşağıdaki modeli, 100 tümörü uyumsuz (pozitif sınıf) veya tehlikeli (negatif sınıf) olarak sınıflandıran modelin doğruluğunu hesaplamaya çalışalım:
Gerçek Pozitif (TP):
|
Hatalı Pozitif (FP):
|
False Negatif (FN):
|
Gerçek Negatif (TN):
|
Doğruluk oranı %0, 91 veya %91'e ulaşır (toplam 100 örnekten 91'i doğru tahmin). Yani tümör sınıflandırıcımız, kötü amaçlıları tanımlama konusunda iyi bir iş çıkarıyor.
Aslında, modelimizin performansı hakkında daha fazla bilgi sahibi olmak için pozitif ve negatif negatifleri daha yakından analiz edelim.
100 tümör örneğinden 91'i tehlikesiz (90 TN ve 1 FP) ve 9'u kötü huylu (1 TP ve 8 FN'dir).
Model, 91 iyi huylu tümörden 90'ını iyi huylu olarak tanımlamıştır. Bu iyi bir rakam. Ancak, 9 kötü huylu tümörden yalnızca 1 tanesi kötü niyetli olarak tanımlanmış. Bu, kötü bir sonuçtır ve 9 kötü huyludan 8'i teşhis edilmemiştir!
%91 doğruluk ilk bakışta iyi görünebilir ancak her zaman yararlı olacağını tahmin eden bir başka tümör sınıflandırıcı modelinin de örneklerimizde tam olarak aynı doğruluğu (91/100 doğru tahmin) sağlayacağını tahmin ediyoruz. Diğer bir deyişle, modelimiz, kötü huylu tümörleri iyi huylu tümörlerden ayırt edebilme yeteneğinin sıfır olduğu bir modelden daha iyi değildir.
Olumlu ve olumsuz etiketlerin sayısı arasında büyük bir fark vardır.
Sonraki bölümde, sınıf dengesiz problemleri değerlendirmek için iki daha iyi metrik kullanacağız: hassasiyet ve geri çağırma.