Klasifikasi: Presisi dan Perolehan

Perkiraan Waktu: 9 menit

Presisi

Presisi mencoba menjawab pertanyaan berikut:

Berapa proporsi identifikasi positif yang benar?

Presisi didefinisikan sebagai berikut:

$$\text{Precision} = \frac{TP}{TP+FP}$$

Catatan: Model yang tidak menghasilkan positif palsu (PP) memiliki presisi 1,0.

Mari kita hitung presisi model ML kita dari bagian sebelumnya yang menganalisis tumbuhan:

Positif Benar (TP): 1	Positif Palsu (PP): 1
Negatif Palsu (NP): 8	Negatif Benar (TN): 90

$$\text{Precision} = \frac{TP}{TP+FP} = \frac{1}{1+1} = 0.5$$

Model kami memiliki presisi 0,5—dengan kata lain, saat model memprediksi bahwa suatu sifat ganas, kanker sudah benar 50%.

Recall

Perolehan mencoba menjawab pertanyaan berikut:

Berapa proporsi positif yang diidentifikasi yang benar?

Secara matematika, penarikan didefinisikan sebagai berikut:

$$\text{Recall} = \frac{TP}{TP+FN}$$

Catatan: Model yang tidak menghasilkan negatif palsu (NP) memiliki perolehan 1,0.

Mari kita hitung penarikan untuk pengklasifikasi tumpukan kita:

Positif Benar (TP): 1	Positif Palsu (PP): 1
Negatif Palsu (NP): 8	Negatif Benar (TN): 90

$$\text{Recall} = \frac{TP}{TP+FN} = \frac{1}{1+8} = 0.11$$

Model kita memiliki penarikan 0,11—dengan kata lain, model mengidentifikasi 11% dari semua kanker ganas dengan benar.

Presisi dan Perolehan: Tarik Tambang

Untuk sepenuhnya mengevaluasi keefektifan model, Anda harus memeriksa baik presisi maupun perolehan. Sayangnya, presisi dan perolehan sering tidak selaras. Artinya, meningkatkan presisi biasanya mengurangi perolehan dan sebaliknya. Pelajari ide ini dengan melihat gambar berikut, yang menunjukkan 30 prediksi yang dibuat oleh model klasifikasi email. Yang ada di sebelah kanan batas klasifikasi diklasifikasikan sebagai "spam", sedangkan yang di sebelah kiri diklasifikasikan sebagai "bukan spam."

Gambar 1. Mengklasifikasikan pesan email sebagai spam atau bukan spam.

Mari kita hitung presisi dan perolehan berdasarkan hasil yang ditampilkan di Gambar 1:

Positif Benar (TP): 8	Positif Palsu (PP): 2
Negatif Palsu (NP): 3	Negatif Benar (TN): 17

Presisi mengukur persentase email yang ditandai sebagai spam yang diklasifikasikan dengan benar—yaitu, persentase titik pada sebelah kanan garis batas yang berwarna hijau di Gambar 1:

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{8}{8+2} = 0.8$$

Ingatan mengukur persentase email spam yang sebenarnya yang diklasifikasikan dengan benar—yaitu, persentase titik hijau di sebelah kanan garis batas pada Gambar 1:

$$\text{Recall} = \frac{TP}{TP + FN} = \frac{8}{8 + 3} = 0.73$$

Gambar 2 menggambarkan efek dari meningkatkan batas klasifikasi.

Gambar 2. Meningkatkan batas klasifikasi.

Jumlah positif palsu menurun, tetapi negatif palsu meningkat. Hasilnya, presisi meningkat, sementara perolehan menurun:

Positif Benar (TP): 7	Positif Palsu (PP): 1
Negatif Palsu (NP): 4	Negatif Benar (TN): 18

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{7}{7+1} = 0.88$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{7}{7 + 4} = 0.64$$

Sebaliknya, Gambar 3 menggambarkan efek penurunan batas klasifikasi (dari posisi aslinya pada Gambar 1).

Gambar 3. Menurunkan batas klasifikasi.

Positif palsu meningkat, dan negatif palsu menurun. Hasilnya, kali ini presisi dan pengurangan presisi meningkat:

Positif Benar (TP): 9	Positif Palsu (PP): 3
Negatif Palsu (NP): 2	Negatif Benar (TN): 16

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{9}{9+3} = 0.75$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{9}{9 + 2} = 0.82$$

Berbagai metrik telah dikembangkan, yang mengandalkan presisi dan perolehan. Misalnya, lihat skor F1.

 

Istilah Penting

presisi

penarikan

Pusat Bantuan