Klasifikasi: Presisi dan Perolehan

Presisi

Presisi mencoba menjawab pertanyaan berikut:

Berapa proporsi identifikasi positif yang benar?

Presisi didefinisikan sebagai berikut:

$$\text{Presisi} = \frac{PB}{PB+PP}$$

Mari kita hitung presisi model ML kita dari bagian sebelumnya yang tentang menganalisis tumor:

Positif Benar (PB): 1 Positif Palsu (PP): 1
Negatif Palsu (NP): 8 Negatif Benar (NB): 90
$$\text{Presisi} = \frac{PB}{PB+PP} = \frac{1}{1+1} = 0.5$$

Model kita memiliki presisi 0,5—dengan kata lain, saat model memprediksi tumor sebagai tumor ganas, hal tersebut benar 50% dari waktu.

Perolehan

Perolehan mencoba menjawab pertanyaan berikut:

Berapa proporsi positif yang diidentifikasi yang benar?

Secara matematika, perolehan didefinisikan sebagai berikut:

$$\text{Perolehan} = \frac{PB}{PB+NP}$$

Mari kita hitung perolehan untuk pengklasifikasi tumor:

Positif Benar (PB): 1 Positif Palsu (PP): 1
Negatif Palsu (NP): 8 Negatif Benar (NB): 90
$$\text{Perolehan} = \frac{PB}{PB+NP} = \frac{1}{1+8} = 0,11$$

Model kita memiliki perolehan 0,11—dengan kata lain, model dengan benar mengidentifikasi 11% dari semua tumor ganas.

Presisi dan Perolehan: Tarik Tambang

Untuk sepenuhnya mengevaluasi keefektifan model, Anda harus menguji keduanya, presisi dan perolehan. Sayangnya, presisi dan perolehan sering tidak selaras. Yaitu, meningkatkan presisi biasanya mengurangi perolehan, dan sebaliknya. Pelajari gagasan ini dengan melihat gambar berikut, yang menampilkan 30 prediksi yang dibuat oleh model klasifikasi email. Yang ada di sebelah kanan batas klasifikasi diklasifikasikan sebagai "spam", sementara yang ada di sebelah kiri diklasifikasikan sebagai "bukan spam".

Garis nomor dari 0 hingga 1,0 yang merupakan tempat 30 contoh telah dilakukan.

Gambar 1. Mengklasifikasikan pesan email sebagai spam atau bukan spam.

Mari kita hitung presisi dan perolehan berdasarkan hasil yang ditampilkan di Gambar 1:

Positif Benar (PB): 8 Positif Palsu (PP): 2
Negatif Palsu (NP): 3 Negatif Benar (NB): 17

Presisi mengukur persentase email yang diberi tanda sebagai spam yang diklasifikasikan dengan benar—yaitu, persentase titik pada sebelah kanan garis batas yang berwarna hijau di Gambar 1:

$$\text{Presisi} = \frac{PB}{PB+PP} = \frac{8}{8+2} = 0,8$$

Perolehan mengukur persentase email yang benar-benar spam yang diklasifikasikan dengan benar—yaitu, persentase titik hijau di sebelah kanan garis batas pada Gambar 1:

$$\text{Perolehan} = \frac{PB}{PB+NP} = \frac{8}{8+3} = 0,73$$

Gambar 2 menggambarkan efek dari meningkatkan batas klasifikasi.

Set contoh yang sama, namun dengan batas klasifikasi yang sedikit meningkat. 2 dari 30 contoh telah diklasifikasi ulang.

Gambar 2. Meningkatkan batas klasifikasi.

Jumlah positif palsu menurun, namun negatif palsu meningkat. Akibatnya, presisi meningkat, sementara perolehan menurun:

Positif Benar (PB): 7 Positif Palsu (PP): 1
Negatif Palsu (NP): 4 Negatif Benar (NB): 18
$$\text{Presisi} = \frac{PB}{PB + PP} = \frac{7}{7+1} = 0,88$$ $$\text{Perolehan} = \frac{PB}{PB + NP} = \frac{7}{7 + 4} = 0,64$$

Sebaliknya, Gambar 3 menggambarkan efek dari menurunkan batas klasifikasi (dari posisi awalnya di Gambar 1).

Set contoh yang sama, namun dengan batas klasifikasi yang menurun.

Gambar 3. Menurunkan batas klasifikasi.

Positif palsu meningkat, dan negatif palsu menurun. Akibatnya, kali ini, presisi menurun dan perolehan meningkat:

Positif Benar (PB): 9 Positif Palsu (PP): 3
Negatif Palsu (NP): 2 Negatif Benar (NB): 16
$$\text{Presisi} = \frac{PB}{PB + PP} = \frac{9}{9+3} = 0,75$$ $$\text{Perolehan} = \frac{PB}{PB + NP} = \frac{9}{9 + 2} = 0,82$$

Berbagai metrik yang bergantung pada presisi dan perolehan telah dikembangkan. Misalnya, lihat skor F1.