Diese Seite enthält Begriffe aus dem Glossar für Sequenzmodelle. Alle Glossarbegriffe finden Sie hier.
B
Bigram
Ein N-Gramm, in dem N = 2.
E
Problem mit explodierendem Farbverlauf
Die Neigung von Gradienten in tiefen neuronalen Netzwerken (insbesondere wiederkehrende neuronale Netzwerke) zu überraschend steilen (hohen). Steile Gradienten verursachen häufig sehr große Aktualisierungen der Gewichtung jedes Knotens in einem neuronalen Deep-Learning-Netzwerk.
Modelle, die an einem explodierenden Gradientenproblem leiden, werden schwer oder unmöglich zum Trainieren. Dieses Problem lässt sich durch Verlaufsüberschneidungen beheben.
Vergleichen Sie sie mit Problem mit Farbverlauf beheben.
F
Tor vergessen
Der Teil einer Zelle des langfristigen Gedächtnisses, der den Informationsfluss durch die Zelle reguliert. Vergiss Tore, um den Kontext beizubehalten, indem du entscheidest, welche Informationen aus dem Zellenstatus verworfen werden sollen.
G
Farbverlaufs-Clipping
Ein häufig verwendeter Mechanismus, um das Problem mit explodierenden Farbverläufen zu reduzieren, indem der Höchstwert von Gradienten beim Gradientenabstieg zum Trainieren eines Modells künstlich begrenzt wird.
l
Langzeitspeicher (LSTM)
Ein Zellentyp in einem wiederkehrenden neuronalen Netzwerk, der zur Verarbeitung von Datensequenzen in Anwendungen wie Handschrifterkennung, maschineller Übersetzung und Bilduntertiteln verwendet wird. LSTMs beheben das vorläufige Gradientenproblem, das beim Trainieren von RNNs aufgrund langer Datensequenzen auftritt, indem der Verlauf in einem internen Speicherstatus basierend auf neuen Eingaben und Kontext aus vorherigen Zellen in der RNN beibehalten wird.
Logo: LSTM
Abkürzung für Long Short-Term Memory.
N
N-Gramm
Eine geordnete Folge von N Wörtern. Beispiel: wahrhaftig ist ein 2 Gramm. Da die Reihenfolge relevant ist, ist wirklich ein anderes 2 Gramm als echt verrückt.
| N | Name(n) für diese Art von N-Gramm | Beispiele |
|---|---|---|
| 2 | Bigram oder 2 Gramm | gehen, zu essen gehen, zu essen gehen, zu essen gehen |
| 3 | Trigramm oder 3 Gramm | Ich habe zu viel, drei blinde Mäuse gezögert, die Mautglocken |
| 4 | 4 Gramm | gehen im Park, Staub im Wind, der Junge hat Linsen gegessen |
Viele Natural Language Understanding-Modelle verwenden N-Gramme, um das nächste Wort vorherzusagen, das der Nutzer eingeben oder sagen wird. Beispiel: Ein Nutzer gibt drei Jalousien ein. Ein NLU-Modell auf Basis von Trigrammen würde wahrscheinlich vorhersagen, dass der Nutzer als Nächstes Mäuse eingibt.
Kontrastiere N-Gramme mit Bag of Words, bei denen es sich um ungeordnete Wörter handelt.
R
wiederkehrendes neuronales Netzwerk
Ein neuronales Netzwerk, das absichtlich mehrmals ausgeführt wird, wobei Teile von jeder Ausführung in die nächste Ausführung eingespeist werden. Insbesondere enthalten ausgeblendete Ebenen aus der vorherigen Ausführung einen Teil der Eingabe für dieselbe ausgeblendete Ebene bei der nächsten Ausführung. Wiederkehrende neuronale Netzwerke sind besonders nützlich, um Sequenzen auszuwerten. So können die verborgenen Ebenen aus vorherigen Ausführungen des neuronalen Netzwerks in früheren Teilen der Sequenz lernen.
Die folgende Abbildung zeigt beispielsweise ein wiederkehrendes neuronales Netzwerk, das viermal ausgeführt wird. Beachten Sie, dass die Werte, die bei der ersten Ausführung in den ausgeblendeten Ebenen erkannt wurden, in die ausgeblendeten Ebenen der zweiten Ausführung aufgenommen werden. Analog dazu werden die bei der zweiten Ausführung in der ausgeblendeten Ebene erlernten Werte Teil der dritten ausgeblendeten Ebene. Auf diese Weise wird das wiederkehrende neuronale Netzwerk schrittweise trainiert und die Bedeutung der gesamten Sequenz vorhergesagt, anstatt nur die Bedeutung einzelner Wörter.
RMN
Abkürzung für wiederkehrende neuronale Netzwerke.
S
Sequenzmodell
Ein Modell, dessen Eingaben eine sequenzielle Abhängigkeit haben. Zum Beispiel die Vorhersage des nächsten angesehenen Videos aus einer Sequenz zuvor angesehener Videos.
T
Timestep
Eine nicht gerollte Zelle in einem wiederkehrenden neuronalen Netzwerk. Die folgende Abbildung zeigt beispielsweise drei Zeitschritte (mit den tiefgestellten Zeichen t-1, t und t+1):
Trigramm
Ein N-Gramm, in dem N = 3.
V
Problem mit Farbverlauf
Die Neigung der Gradienten früher verborgener Schichten einiger tiefer neuronaler Netzwerke, die erstaunlich flach (niedrig) werden. Immer niedrigere Gradienten führen zu immer kleineren Änderungen der Gewichtungen für Knoten in einem neuronalen Deep-Learning-Netzwerk, was zu wenig oder gar keinem Lernprozess führt. Modelle, die an dem verschwindenden Gradienten leiden, sind schwer oder unmöglich zu trainieren. Langzeit-Arbeitsspeicher-Zellen beheben dieses Problem.
Vergleichen Sie das Problem mit einem explodierenden Farbverlauf.