Klasifikasi: Akurasi

Akurasi adalah salah satu metrik untuk mengevaluasi model klasifikasi. Secara informal, akurasi adalah fraksi prediksi model kita yang benar. Secara formal, akurasi memiliki definisi berikut:

$$\text{Accuracy} = \frac{\text{Number of correct predictions}}{\text{Total number of predictions}}$$

Untuk klasifikasi biner, akurasi juga dapat dihitung dalam hal positif dan negatif sebagai berikut:

$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN}$$

Dengan TP = Positif Benar, TN = Negatif Benar, FP = Positif Palsu, dan FN = Negatif Palsu.

Mari kita coba menghitung akurasi untuk model berikut yang mengklasifikasikan 100 tumor sebagai ganas (kelas positif) atau jinak (kelas negatif):

Positif Benar (TP):
  • Realitas: Ganas
  • Model ML yang diprediksi: Ganas
  • Jumlah hasil TP: 1
Positif Palsu (PP):
  • Realitas: Jinak
  • Model ML yang diprediksi: Ganas
  • Jumlah hasil FP: 1
Negatif Palsu (FN):
  • Realitas: Ganas
  • Model ML yang diprediksi: Jinak
  • Jumlah hasil FN: 8
Negatif Benar (TN):
  • Realitas: Jinak
  • Model ML yang diprediksi: Jinak
  • Jumlah hasil TN: 90
$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN} = \frac{1+90}{1+90+1+8} = 0.91$$

Akurasinya adalah 0, 91 atau 91% (91 prediksi yang benar dari total 100 contoh). Itu berarti pengklasifikasi tumbuhan kita melakukan pekerjaan yang baik dalam mengidentifikasi keganasan, bukan?

Sebenarnya, mari kita lakukan analisis yang lebih dekat terhadap positif dan negatif untuk mendapatkan lebih banyak insight tentang performa model kita.

Dari 100 contoh Tumor, 91 bersifat jinak (90 TN dan 1 FP) dan 9 bersifat ganas (1 TP dan 8 FN).

Dari 91 tumor jinak, model mengidentifikasi 90 sebagai jinak. Itu bagus. Namun, dari 9 tumor ganas, model hanya mengidentifikasi 1 dengan benar sebagai ganas—hasil yang mengerikan, karena 8 dari 9 keganasan tidak terdiagnosis!

Meskipun akurasi 91% mungkin tampak bagus secara sekilas, model pengklasifikasi Tumbuhan lain yang selalu memprediksi jinak akan mencapai akurasi yang sama persis (91/100 prediksi yang benar) pada contoh kita. Dengan kata lain, model kita tidak lebih baik daripada model yang tidak memiliki kemampuan prediksi untuk membedakan kanker ganas dan jinak.

Akurasi saja tidak memberikan gambaran lengkap saat Anda menangani set data yang tidak seimbang di kelas, seperti ini, di mana ada perbedaan yang signifikan antara jumlah label positif dan negatif.

Di bagian berikutnya, kita akan melihat dua metrik yang lebih baik untuk mengevaluasi masalah kelas yang tidak seimbang: presisi dan perolehan.