Inferensi Statis (Offline)
Pelajari opsi di bawah ini.
Dalam inferensi offline, kita membuat prediksi pada sejumlah besar data sekaligus.
Kemudian, kami menempatkan prediksi tersebut dalam tabel pencarian untuk digunakan nanti.
Manakah dari pernyataan berikut ini yang benar tentang inferensi offline?
Kita harus membuat prediksi untuk semua input yang memungkinkan.
Ya, kita harus membuat prediksi untuk semua input yang memungkinkan dan menyimpannya ke dalam cache atau tabel pencarian untuk menggunakan inferensi offline.
Ini adalah salah satu kelemahan dari inferensi offline. Kita hanya dapat menampilkan prediksi untuk contoh-contoh yang sudah diketahui. Tidak masalah jika kumpulan hal yang kita prediksi terbatas, seperti semua kota dunia atau semua item dalam tabel database.
Namun, untuk input bentuk bebas seperti kueri pengguna yang memiliki longtail dari
item yang tidak biasa atau langka, kami tidak dapat memberikan cakupan lengkap
dengan sistem inferensi offline.
Setelah membuat prediksi, kita dapat memverifikasinya sebelum menerapkannya.
Ini adalah salah satu hal yang berguna tentang inferensi offline. Kita dapat memeriksa dan memverifikasi semua prediksi sebelum digunakan.
Untuk input yang diberikan, kita dapat menampilkan prediksi lebih cepat daripada dengan inferensi online.
Salah satu keunggulan dari inferensi offline adalah setelah prediksi ditulis ke beberapa tabel pencarian, prediksi tersebut dapat ditampilkan dengan latensi minimal. Tidak ada komputasi fitur atau inferensi model yang perlu dilakukan pada waktu permintaan.
Kita perlu memantau sinyal input dengan cermat dalam jangka
waktu yang lama.
Pada kasus inilah kita sebenarnya tidak perlu memantau sinyal input dalam jangka waktu yang lama. Hal ini karena setelah prediksi ditulis ke tabel pencarian, kita tidak lagi bergantung pada fitur input. Perhatikan bahwa setiap pembaruan model berikutnya akan memerlukan putaran verifikasi input baru.
Kami akan dapat bereaksi dengan cepat terhadap perubahan di dunia.
Tidak, ini adalah kelemahan dari inferensi offline. Kita harus menunggu hingga serangkaian prediksi baru telah ditulis ke tabel pencarian sebelum dapat merespons secara berbeda berdasarkan perubahan apa pun di dunia.
Inferensi Dinamis (Online)
Pelajari opsi di bawah ini.
Inferensi dinamis (online) berarti membuat prediksi sesuai permintaan. Artinya, dalam inferensi online, kita menempatkan model yang dilatih pada server dan mengeluarkan permintaan inferensi sesuai kebutuhan. Manakah dari pernyataan berikut ini yang benar tentang inferensi dinamis?
Anda dapat memberikan prediksi untuk semua item yang mungkin.
Ya, ini adalah kekuatan inferensi online. Setiap permintaan yang masuk akan diberi skor. Inferensi online menangani distribusi longtail (yang memiliki banyak item langka), seperti spasi dari semua kalimat yang memungkinkan, yang ditulis dalam ulasan film.
Anda dapat melakukan verifikasi prediksi sebelum digunakan.
Secara umum, tidak mungkin melakukan verifikasi semua prediksi sebelum digunakan karena prediksi dibuat sesuai permintaan. Namun, Anda dapat memantau kualitas prediksi agregat untuk memberikan beberapa tingkat pemeriksaan kesehatan, tetapi tindakan ini akan memberi sinyal alarm kebakaran hanya setelah api menyebar.
Anda harus memantau sinyal input dengan cermat.
Ya. Sinyal dapat berubah tiba-tiba karena masalah upstream, sehingga merusak prediksi kita.
Saat melakukan inferensi online, Anda tidak perlu mengkhawatirkan latensi prediksi (waktu keterlambatan untuk menampilkan prediksi) sebanyak saat melakukan inferensi offline.
Latensi prediksi sering kali menjadi masalah nyata dalam inferensi online.
Sayangnya, Anda tidak dapat selalu memperbaiki masalah latensi prediksi dengan menambahkan lebih banyak server inferensi.