Halaman ini berisi istilah glosarium Model Urutan. Untuk semua istilah glosarium, klik di sini.
M
Bigram
N-gram yang mana N=2.
E
masalah gradien yang meledak
Kecenderungan gradien di jaringan neural dalam (terutama jaringan neural berulang) menjadi sangat curam (tinggi). Gradien curam sering menyebabkan pembaruan yang sangat besar pada bobot setiap node di jaringan neural dalam.
Model yang mengalami masalah gradien yang meledak menjadi sulit atau tidak mungkin dilatih. Pemangkasan gradien dapat mengurangi masalah ini.
Bandingkan dengan masalah gradien yang hilang.
F
gerbang lupa
Bagian dari sel Memori Jangka Pendek yang Panjang yang mengatur aliran informasi melalui sel. Lupakan gateway untuk mempertahankan konteks dengan menentukan informasi mana yang akan dihapus dari status sel.
G
pemotongan gradien
Mekanisme yang biasa digunakan untuk mengurangi masalah gradien yang meledak dengan membatasi (memotong) nilai gradien maksimum secara artifisial saat menggunakan penurunan gradien untuk melatih model.
L
Memori Jangka Pendek (LSTM) yang Panjang
Jenis sel di jaringan neural berulang yang digunakan untuk memproses urutan data dalam aplikasi seperti pengenalan tulisan tangan, terjemahan mesin, dan teks gambar. LSTM menangani masalah gradien yang hilang yang terjadi saat melatih RNN karena urutan data yang lama dengan mempertahankan histori dalam status memori internal berdasarkan input dan konteks baru dari sel sebelumnya di RNN.
LSTM
Singkatan untuk Memori Jangka Pendek Panjang.
N
N gram
Urutan N kata yang diurutkan. Misalnya, truly madly adalah 2 gram. Karena urutan bersifat relevan, nilai 2 gram pada madly true berbeda dengan truly madly.
N | Nama untuk jenis N-gram ini | Contoh |
---|---|---|
2 | bigram atau 2 gram | pergi, makan, makan siang, dan makan malam |
3 | trigram atau 3 gram | makan terlalu banyak, tiga tikus tunanetra, bel berbunyi |
4 | 4 gram | berjalan di taman, debu tertiup angin, anak itu makan lentil |
Banyak model natural language understanding bergantung pada N-gram untuk memprediksi kata berikutnya yang akan diketik atau diucapkan pengguna. Misalnya, seorang pengguna mengetik three blind. Model NLU berdasarkan trigram kemungkinan akan memprediksi bahwa pengguna selanjutnya akan mengetik mice.
Membandingkan N-gram dengan kantong data, yang merupakan rangkaian kata yang tidak berurutan.
R
jaringan neural berulang (recurrent neural network)
Jaringan neural yang sengaja dijalankan beberapa kali, yang mana bagian dari setiap feed akan dijalankan pada proses berikutnya. Secara khusus, lapisan tersembunyi dari proses sebelumnya memberikan bagian dari input ke lapisan tersembunyi yang sama pada proses berikutnya. Jaringan neural berulang sangat berguna untuk mengevaluasi urutan, sehingga lapisan tersembunyi dapat belajar dari pengoperasian jaringan neural sebelumnya pada bagian urutan sebelumnya.
Misalnya, gambar berikut menunjukkan jaringan neural berulang yang berjalan empat kali. Perhatikan bahwa nilai yang dipelajari di lapisan tersembunyi dari proses pertama menjadi bagian dari input untuk lapisan tersembunyi yang sama dalam proses kedua. Demikian pula, nilai yang dipelajari dalam lapisan tersembunyi pada proses kedua menjadi bagian dari input untuk lapisan tersembunyi yang sama dalam proses ketiga. Dengan cara ini, jaringan neural berulang secara bertahap melatih dan memprediksi makna dari keseluruhan urutan, bukan hanya arti dari setiap kata.
RNN
Singkatan untuk recurrent neural networks.
4
model urutan
Model yang inputnya memiliki dependensi berurutan. Misalnya, memprediksi video berikutnya yang akan ditonton dari urutan video yang ditonton sebelumnya.
T
timestep
Satu sel "unrolled" dalam jaringan neural berulang. Misalnya, gambar berikut menunjukkan tiga langkah waktu (dilabeli dengan subskrip t-1, t, dan t+1):
trigram
N-gram yang mana N=3.
V
masalah gradien yang menghilang
Kecenderungan gradien lapisan tersembunyi awal dari beberapa jaringan neural dalam menjadi sangat mengejutkan (rendah). Gradien yang semakin rendah akan menghasilkan perubahan yang semakin kecil pada bobot pada node dalam jaringan neural dalam, yang menyebabkan sedikit atau tidak ada pembelajaran. Model yang mengalami masalah gradien yang menghilang akan sulit atau tidak mungkin dilatih. Sel Memori Jangka Pendek mengatasi masalah ini.
Bandingkan dengan masalah gradien yang meledak.