Bir modeli değerlendirirken, testin veya doğrulama grubunun tamamı için hesaplanan metrikler, her zaman modelin ne kadar adil olduğuna dair doğru bir fikir vermez.
1.000 hastadan oluşan bir doğrulama kümesi ile tıbbi kayıtlar arasında değerlendirilen tümörlerin varlığını tahmin etmek için geliştirilen yeni bir modeli kullanmayı düşünün. 500 kayıt kadın hastalardan, 500 kayıt ise erkek hastalardan yapılmıştır. Aşağıdaki konfigürasyon matrisi,1.000 örneğin tamamı için sonuçları özetlemektedir:
| Gerçek Pozitifler (TPS): 16 | Yanlış Pozitifler (FP'ler): 4 |
| Yanlış Negatifler: 6 | Gerçek Negatifler (TN'ler): 974 |
| $$\text{Precision} = \frac{TP}{TP+FP} = \frac{16}{16+4} = 0.800$$ | |
| $$\text{Recall} = \frac{TP}{TP+FN} = \frac{16}{16+6} = 0.727$$ | |
Bu sonuçlar umut verici: %80 hassasiyet ve %72,7 geri çağırma. Ancak, sonuçları her hasta kümesi için ayrı ayrı hesaplarsak ne olur? Sonuçları, biri kadın, diğeri erkek hastalar olmak üzere iki ayrı matris şeklinde ayıralım.
Kadın Hasta Sonuçları
| Gerçek Pozitifler (TPS): 10 | Yanlış Pozitifler (yanlış pozitifler): 1 |
| Yanlış Negatifler: 1 | Gerçek Negatifler (TN'ler): 488 |
| $$\text{Precision} = \frac{TP}{TP+FP} = \frac{10}{10+1} = 0.909$$ | |
| $$\text{Recall} = \frac{TP}{TP+FN} = \frac{10}{10+1} = 0.909$$ | |
Erkek Hasta Sonuçları
| Gerçek Pozitifler (TPS): 6 | Yanlış Pozitifler (yanlış pozitifler): 3 |
| Yanlış Negatifler (yanlış negatif): 5 | Gerçek Negatifler (TN'ler): 486 |
| $$\text{Precision} = \frac{TP}{TP+FP} = \frac{6}{6+3} = 0.667$$ | |
| $$\text{Recall} = \frac{TP}{TP+FN} = \frac{6}{6+5} = 0.545$$ | |
Metrikleri kadın ve erkek hastalar için ayrı ayrı hesapladığımızda her grubun model performansında önemli farklılıklar görürüz.
Kadın hastalar:
Modelde tümörleri olan 11 kadın hastanın %10'u (hatırlanabilirlik oranı: %90, 9) için model doğru bir şekilde pozitif tahminde bulundu. Diğer bir deyişle, model, kadın vakaların% 9,1'inde tümör teşhisini atlıyor.
Benzer şekilde, model kadın hastalarda tümör için pozitif sonuç verdiğinde, 11 vakadan 10'unda doğrudur (hassas oran: %90,9); diğer bir deyişle, model, kadın vakaların% 9,1'inde tümörü yanlış tahmin eder.
Erkek hastalar:
Ancak, tümörleri olan 11 erkek hasta arasından model, yalnızca 6 hasta için pozitif tahminde bulunuyor (hatırlanabilirlik oranı: %54,5). Yani model, erkek vakalarının% 45,5'inde tümör teşhisini atlıyor.
Model, erkek hastalarda tümör için pozitif sonuç verdiğinde, 9 vakanın yalnızca 6'sında doğru sonuç vermiştir (hassaslık oranı: %66,7); başka bir deyişle, model, erkek vakaların% 33,3'ünde tümörü yanlış tahmin ediyor.
Şimdi, modelin tahminlerinin doğasındaki ön yargıları ve modelin genel nüfusta tıbbi kullanım için yayınlanması halinde her bir alt grubun risklerini daha iyi anlıyoruz.
Ek Adalet Kaynakları
Adalet, makine öğrenimi dalının nispeten yeni bir alt alanıdır. Makine öğrenimi modellerinde ön yargıyı tespit edip hafifletmeye yönelik yeni araç ve teknikler geliştirmeye adanmış araştırma ve girişimler hakkında daha fazla bilgi edinmek için Google'ın Makine Öğrenimi Adalet kaynakları sayfası.