Klasifikasi: Akurasi

Akurasi adalah salah satu metrik untuk mengevaluasi model klasifikasi. Secara informal, akurasi adalah fraksi prediksi model kita yang benar. Secara formal, akurasi memiliki definisi berikut:

$$\text{Akurasi} = \frac{\text{Jumlah prediksi benar}}{\text{Jumlah total prediksi}}$$

Untuk klasifikasi biner, akurasi juga dapat dihitung dalam hal positif dan negatif sebagai berikut:

$$\text{Akurasi} = \frac{PB+NB}{PB+NB+PP+NP}$$

Yang memiliki arti PB = Positif Benar, NB = Negatif Benar, PP = Positif Palsu, dan NP = Negatif Palsu.

Mari coba hitung akurasi model berikut yang mengklasifikasikan 100 tumor sebagai ganas (kelas positif) atau jinak (kelas negatif):

Positif Benar (PB):
  • Realitas: Ganas
  • Model ML yang diprediksi: Ganas
  • Jumlah hasil PB: 1
Positif Palsu (PP):
  • Realitas: Jinak
  • Model ML yang diprediksi: Ganas
  • Jumlah hasil PP: 1
Negatif Palsu (NP):
  • Realitas: Ganas
  • Model ML yang diprediksi: Jinak
  • Jumlah hasil NP: 8
Negatif Benar (NB):
  • Realitas: Jinak
  • Model ML yang diprediksi: Jinak
  • Jumlah hasil NB: 90
$$\text{Akurasi} = \frac{PB+NB}{PB+NB+PP+NP} = \frac{1+90}{1+90+1+8} = 0.91$$

Akurasinya adalah 0,91 atau 91% (91 prediksi yang benar dari contoh total 100). Hal ini berarti pengklasifikasi tumor kita mengidentifikasi keganasan dengan baik, bukan begitu?

Sebenarnya, mari kita lakukan analisis yang lebih mendalam terhadap hasil positif dan hasil negatif untuk mendapatkan lebih banyak data mengenai performa model kita.

Dari 100 contoh tumor, 91 bersifat ganas (90 NB dan 1 PP) dan 9 bersifat jinak (1 PB dan 8 NP).

Dari 91 tumor ganas, model mengidentifikasi 90 tumor sebagai ganas. Itu bagus. Namun, dari 9 tumor ganas, model hanya 1 kali benar mengidentifikasi sebagai ganas—hasil yang cukup disayangkan, karena 8 dari 9 tumor ganas tidak terdiagnosis!

Meskipun 91% akurasi mungkin terlihat bagus pada awalnya, model pengklasifikasi tumor lain yang selalu memprediksi tumor ganas akan dapat memberikan akurasi yang sama persis (91/100 prediksi benar) pada contoh kita. Dengan kata lain, model kita tidak lebih baik daripada yang tidak memiliki kemampuan prediksi untuk membedakan tumor ganas dan jinak.

Akurasi saja tidak memberikan gambar keseluruhan jika Anda menggunakan kumpulan data kelas tidak seimbang, layaknya contoh ini, di mana terdapat perbedaan yang signifikan antara jumlah label positif dan negatif.

Pada bagian ini, kita akan mempelajari dua metrik yang lebih baik untuk mengevaluasi masalah kelas tidak seimbang: presisi dan perolehan.