Makine Öğrenimi Sözlüğü: Dizi Modelleri

Bu sayfada, sıralı modeller sözlüğündeki terimler yer almaktadır. Tüm terimler için burayı tıklayın.

B

büyük harf

#seq

#language

N=2 olan bir N-gram.

E

patlayan gradyan sorunu

#seq

Derin nöral ağlarda (özellikle yinelenen nöral ağlarda) gradyanların şaşırtıcı derecede dik (yüksek) olma eğilimi. Dik eğimler genellikle derin bir nöral ağdaki her düğümün ağırlıklarında çok büyük güncellemelere neden olur.

Patlayan gradyan sorunundan etkilenen modellerin eğitilmesi zor veya imkansız hale gelir. Gradyan kırpma bu sorunu hafifletebilir.

Eşik eğim sorunu ile karşılaştırın.

C

forget gate

#seq

Uzun Kısa Süreli Bellek hücresinin, hücredeki bilgi akışını düzenleyen kısmı. Unutma kapıları, hücre durumundan hangi bilgilerin atılacağına karar vererek bağlamı korur.

G

gradyan kırpma

#seq

Bir modeli eğitmek için gradyan azalma kullanılırken gradyanların maksimum değerini yapay olarak sınırlayarak (kırparak) gradyan patlaması sorununu azaltmak için yaygın olarak kullanılan bir mekanizmadır.

L

Uzun kısa süreli bellek (LSTM)

#seq

El yazısı tanıma, makine çevirisi ve resim altyazı ekleme gibi uygulamalarda veri dizilerini işlemek için kullanılan yineleyici sinir ağında bir hücre türü. LSTM'ler, RNN'lerin uzun veri dizileri nedeniyle eğitilirken ortaya çıkan gradyan kaybolma sorununu, geçmişi RNN'deki önceki hücrelerden gelen yeni girişe ve içeriğe dayalı bir dahili bellek durumunda tutarak çözer.

LSTM

#seq

Uzun Kısa Süreli Bellek kısaltması.

H

N-gram

#seq

#language

N kelimelik sıralı bir dizi. Örneğin, truly madly 2 gramdır. Sıralama önemli olduğundan madly truly, truly madly'den farklı bir 2 gramdır.

H	Bu tür bir N-gram için adlar	Örnekler
2	iki heceli veya 2 heceli	gitmek, gitmek için, öğle yemeği yemek, akşam yemeği yemek
3	üçlü veya 3'lü	ate too much, happily ever after, the bell tolls
4	4 gram	walk in the park, dust in the wind, the boy ate lentils

Birçok doğal dil anlama modeli, kullanıcının yazacağı veya söyleyeceği bir sonraki kelimeyi tahmin etmek için N-gramlara dayanır. Örneğin, bir kullanıcının sonsuza kadar mutlu yazdığını varsayalım. Üçlülere dayalı bir NLU modeli, kullanıcının bir sonraki kelimeyi sonra yazacağını tahmin eder.

N-gramları, sırasız kelime grupları olan kelime torbası ile karşılaştırın.

Daha fazla bilgi için Makine Öğrenimi Hızlandırılmış Kursu'ndaki Büyük dil modelleri bölümüne bakın.

K

yinelemeli nöral ağ

#seq

Her çalıştırmanın bölümlerinin bir sonraki çalıştırmaya aktarıldığı, kasıtlı olarak birden çok kez çalıştırılan bir nöral ağ. Daha açık belirtmek gerekirse, önceki çalıştırmadan gelen gizli katmanlar, sonraki çalıştırmada aynı gizli katmanın girişinin bir kısmını sağlar. Yinelemeli sinir ağları özellikle dizileri değerlendirmek için kullanışlıdır. Böylece gizli katmanlar, nöral ağın dizinin önceki bölümlerinde yaptığı önceki çalışmalardan bilgi edinebilir.

Örneğin, aşağıdaki şekilde dört kez çalışan bir tekrarlayan nöral ağ gösterilmektedir. İlk çalıştırmadaki gizli katmanlarda öğrenilen değerlerin, ikinci çalıştırmadaki aynı gizli katmanların girişinin bir parçası haline geldiğini unutmayın. Benzer şekilde, ikinci çalıştırmadaki gizli katmanda öğrenilen değerler üçüncü çalıştırmadaki aynı gizli katmanın girişinin bir parçası olur. Bu sayede, tekrarlayan sinir ağı, yalnızca kelimelerin anlamını değil, tüm dizenin anlamını kademeli olarak eğitip tahmin eder.

RNN

#seq

Yinelemeli nöral ağlar kısaltması.

S

sıra modeli

#seq

Girişlerinin sıralı bir bağımlılığı olan bir model. Örneğin, daha önce izlenen videoların sırasına göre izlenecek bir sonraki videoyu tahmin etme.

T

adım aralığı

#seq

Yineleyici nöral ağ içindeki bir "açılmış" hücre. Örneğin, aşağıdaki şekilde üç adım (t-1, t ve t+1 alt dizeleri ile etiketlenmiştir) gösterilmektedir:

üçlü

#seq

#language

N=3 olan bir N-gram.

V

gradyanın kaybolması sorunu

#seq

Bazı derin nöral ağların erken gizli katmanlarının gradyanlarının şaşırtıcı bir şekilde düz (düşük) olma eğilimi. Gittikçe daha düşük gradyanlar, derin nöral ağdaki düğümlerdeki ağırlıklarda giderek daha küçük değişikliklere neden olur ve öğrenmenin çok az olmasına veya hiç olmamasına yol açar. Eğilmenin kaybolması sorunundan muzdarip modellerin eğitilmesi zor veya imkansız hale gelir. Uzun kısa süreli bellek hücreleri bu sorunu giderir.

Patlayan gradyan sorunu ile karşılaştırın.