Diese Seite enthält Begriffe aus dem Glossar zur Sprachbewertung. Alle Glossarbegriffe finden Sie hier.
A
aufmerksamkeit
Ein Mechanismus, der in einem neuronalen Netzwerk verwendet wird und die Bedeutung eines bestimmten Wortes oder eines Teils eines Wortes angibt. Attention komprimiert die Menge an Informationen, die ein Modell benötigt, um das nächste Token/Wort zu vorhersagen. Ein typischer Aufmerksamkeitsmechanismus besteht aus einer gewichteten Summe über einer Reihe von Eingaben, wobei die Gewichtung für jede Eingabe von einem anderen Teil des neuronalen Netzwerks berechnet wird.
Weitere Informationen findest du unter Self-Attention und Multi-head Self Attention, den Bausteinen von Transformers.
Autoencoder
Ein System, das lernt, die wichtigsten Informationen aus der Eingabe zu extrahieren. Autoencoder sind eine Kombination aus einem Encoder und einem Decoder. Autoencoder nutzen den folgenden zweistufigen Prozess:
- Der Encoder ordnet die Eingabe einem (in der Regel) verlustbehafteten, wenigerdimensionalen (Zwischenformat) zu.
- Der Decoder erstellt eine verlustbehaftete Version der ursprünglichen Eingabe, indem das wenigerdimensionale Format dem ursprünglichen, höherdimensionalen Eingabeformat zugeordnet wird.
Autoencoder werden durch Ende-zu-Ende-Training trainiert. Dabei versuchen sie, die ursprüngliche Eingabe aus dem Zwischenformat des Encoders so weit wie möglich zu rekonstruieren. Da das Zwischenformat kleiner (niedriger) als das Originalformat ist, wird der Autoencoder gezwungen, zu lernen, welche Informationen in der Eingabe erforderlich sind. Die Ausgabe ist daher nicht genau mit der Eingabe identisch.
Beispiel:
- Wenn die Eingabedaten eine Grafik sind, ähnelt die nicht genau kopierte Kopie der ursprünglichen Grafik, wurde aber geringfügig geändert. Beispielsweise entfernt der nicht genau formatierte Text Geräusche aus der ursprünglichen Grafik oder füllt einige fehlende Pixel aus.
- Wenn die Eingabedaten Text sind, generiert ein Autoencoder neuen Text, der dem Originaltext nachahmt (aber nicht identisch ist).
Weitere Informationen finden Sie unter Verschiedene Autoencoder.
Modell für automatisch wiederkehrende Geschäfte
Ein Modell, das eine Vorhersage anhand seiner eigenen vorherigen Vorhersagen ableitet. Beispielsweise vorhersagen die automatisch rekursiven Sprachmodelle das nächste Token anhand der zuvor vorhergesagten Tokens. Alle Transformatoren auf Basis von großen Sprachmodellen sind automatisch rekursiv.
Im Gegensatz dazu sind GAN-basierte Bildmodelle in der Regel nicht automatisch rekursiv, da sie ein Image in einem einzelnen Forward-Pass enthalten und nicht iterativ in Schritten generiert werden. Bestimmte Modelle zur Bildgenerierung werden jedoch automatisch retourniert, da sie in mehreren Schritten ein Bild generieren.
B
Wortschatz
Eine Darstellung der Wörter in einer Wortgruppe oder Passage, unabhängig von ihrer Reihenfolge. So werden beispielsweise die folgenden drei Wortgruppen identisch dargestellt:
- Der Hund springt
- springt den Hund
- Hund springt
Jedes Wort wird einem Index in einem spärlichen Vektor zugeordnet, wobei der Vektor einen Index für jedes Wort im Vokabular hat. Die Wortgruppe Hunde springt wird beispielsweise einem Featurevektor mit Werten ungleich null in den drei Indexen zugeordnet, die den Wörtern The, dog und Jumps entsprechen. Der Wert ungleich null kann Folgendes sein:
- Eine 1 für das Vorhandensein eines Wortes.
- Gibt an, wie oft ein Wort im Beutel vorkommt. Wenn beispielsweise die Wortgruppe Maroon Hund ist ein Hund mit kastanienbraunem Fell lautet, werden sowohl Kastanienbraun als auch Hund als 2 dargestellt, während die anderen Wörter als 1 dargestellt werden.
- Anderer Wert, z. B. der Logarithmus, wie oft ein Wort im Beutel vorkommt
BERT (Bidirectional Encoder Representations from Transformers)
Eine Modellarchitektur für die Textdarstellung. Ein trainiertes BERT-Modell kann als Teil eines größeren Modells für Textklassifizierung oder andere ML-Aufgaben fungieren.
BERT hat die folgenden Eigenschaften:
- Nutzt die Transformer-Architektur und setzt daher auf Selbstaufsicht.
- Verwendet den Encoder des Transformators. Die Aufgabe des Encoders ist es, gute Textdarstellungen zu erstellen statt eine bestimmte Aufgabe wie die Klassifizierung auszuführen.
- Ist bidirektional.
- Verwendet Maskierung für unüberwachtes Training.
Zu den Varianten von BERT gehören:
Eine Übersicht über BERT finden Sie unter Open-Surcing BERT: Hochmodernes Pre-Training für Natural Language Processing.
Bigram
Ein N-Gramm, in dem N=2 steht.
bidirektional
Ein Begriff, der zur Beschreibung eines Systems verwendet wird, das den Text bewertet, der einem Zielabschnitt des Textes vorgeht und ihm folge. Im Gegensatz dazu wird bei einem unidirektionalen System nur der Text ausgewertet, der einem Zielabschnitt vorstellt.
Beispiel: Ein Masked-Sprachmodell, das die Wahrscheinlichkeit für das Wort oder die Wörter ermitteln muss, die den Unterstrichen der folgenden Frage entsprechen:
Wie heißt _____?
Ein unidirektionales Sprachmodell muss lediglich auf dem Wahrscheinlichkeitskontext basieren, der durch die Wörter „was“, „ist“ und „der“ bereitgestellt wird. Im Gegensatz dazu kann ein bidirektionales Sprachmodell auch Kontext von „mit“ und „ich“ erhalten, wodurch das Modell bessere Vorhersagen generieren kann.
bidirektionales Sprachmodell
Ein Sprachmodell, das bestimmt, wie wahrscheinlich es ist, dass ein bestimmtes Token an einer bestimmten Position in einem Auszug aus Text basierend auf dem vorherigen und folgenden Text vorhanden ist.
BLEU (Bilingual Evaluation Understudy)
Ein Wert zwischen 0, 0 und 1, 0, der die Qualität einer Übersetzung zwischen zwei menschlichen Sprachen angibt (z.B.zwischen Englisch und Russisch). Ein BLEU-Wert von 1,0 gibt eine perfekte Übersetzung an; ein BLEU-Wert von 0,0 bedeutet eine schreckliche Übersetzung.
C
Kausales Sprachmodell
Synonym für unidirektionales Sprachmodell.
Im Abschnitt zu bidirektionalen Sprachmodellen werden verschiedene Richtungskonzepte für die Sprachmodellierung verglichen.
Aufforderungen zum Denken
Ein Prompt Engineering-Verfahren, bei dem ein großes Sprachmodell (LLM) seine Begründung Schritt für Schritt erklärt. Betrachten Sie zum Beispiel die folgende Aufforderung und achten Sie besonders auf den zweiten Satz:
Wie viel g Force würde ein Fahrer in 7 Sekunden in einem Auto erleben, das von 0 auf 100 km/h fährt? Zeigen Sie in der Antwort alle relevanten Berechnungen an.
Die Antwort der LLM würde wahrscheinlich:
- Zeigen Sie eine Abfolge von Physikformeln an und fügen Sie die Werte 0, 60 und 7 an den entsprechenden Stellen ein.
- Erläutern Sie, warum diese Formeln ausgewählt wurden und was die verschiedenen Variablen bedeuten.
Eine aufdenkliche Aufforderung erzwingt den LLM dazu, alle Berechnungen durchzuführen, was zu einer genaueren Antwort führen könnte. Darüber hinaus kann der Nutzer, die eine Denkanstöße erhalten, die Schritte des LLM untersuchen, um festzustellen, ob die Antwort sinnvoll ist.
Wahlanalyse
Teilen eines Satzes in kleinere grammatikalische Strukturen („Elemente“). Ein späterer Teil des ML-Systems, z. B. ein Natural Language Understanding-Modell, kann die Bestandteile leichter parsen als der ursprüngliche Satz. Betrachten Sie zum Beispiel den folgenden Satz:
Mein Freund hat zwei Katzen übernommen.
Ein Beitragender-Parser kann diesen Satz in die folgenden beiden Bestandteile aufteilen:
- Mein Freund ist eine Nomenform.
- Hat zwei Katzen angenommen ist eine Verbformulierung.
Diese Bestandteile können weiter in kleinere Bestandteile unterteilt werden. Beispiel: Die Verbformulierung
hat zwei Katzen übernommen
können weiter unterteilt werden in:
- adopt ist ein Verb.
- zwei Katzen ist eine weitere Nominalgruppe.
Absturzblüte
Ein Satz oder eine Wortgruppe mit einer zweideutigen Bedeutung. Absturzblüten stellen ein erhebliches Problem im natürlichen Sprachverständnis dar. Der Anzeigentitel Red Tape Holding Skyscraper ist beispielsweise eine Crashblüte, weil ein NLU-Modell den Anzeigentitel wörtlich oder bildlich interpretieren könnte.
D
Decoder
Im Allgemeinen werden alle ML-Systeme, die von einer verarbeiteten, dichten oder internen Darstellung in eine rohere, dünnbesetzte oder externe Darstellung umgewandelt werden, verwendet.
Decoder sind oft Bestandteil eines größeren Modells, wo sie häufig mit einem Encoder gekoppelt werden.
In Sequenzsequenzen startet ein Decoder mit dem internen Zustand, der vom Encoder generiert wird, um die nächste Sequenz vorherzusagen.
Die Definition eines Decoders in der Transformer-Architektur finden Sie unter Transformator.
Rauschen
Ein gängiger Ansatz für selbstüberwachtes Lernen, bei dem Folgendes zutrifft:
Durch Rauschen wird das Lernen aus Beispielen ohne Label ermöglicht. Das ursprüngliche Dataset dient als Ziel oder Label und die ungenauen Daten als Eingabe.
Für einige maskierten Sprachmodelle wird die Rauschunterdrückung so verwendet:
- Rauschen wird einem nicht beschrifteten Satz künstlich maskiert, indem einige Tokens maskiert werden.
- Das Modell versucht, die ursprünglichen Tokens vorherzusagen.
direkte Aufforderung
Synonym für Zero-Shot-Aufforderung.
E
Entfernung bearbeiten
Ein Maß dafür, wie sich zwei Textstrings ähneln. Beim maschinellen Lernen ist die Entfernungsbearbeitung hilfreich, da sie einfach und einfach zu berechnen ist und zwei effektive Strings vergleichen kann, die einem bestimmten String ähneln.
Es gibt mehrere Definitionen für „Distanzbearbeitung“ mit unterschiedlichen Stringvorgängen. Beispielsweise werden bei der Levenshtein-Entfernung so wenig Vorgänge wie das Löschen, Einfügen und Ersetzen berücksichtigt.
Die Levenshtein-Abstände zwischen den Wörtern „Herz“ und „Pfeile“ sind beispielsweise 3, weil die folgenden 3 Änderungen nur sehr wenige Worte umfassen, um ein Wort in ein anderes zu verwandeln:
- Herz → Deart (ersetzen Sie „h“ durch „d“)
- de→ → Dart (löschen "e")
- Dart → Darts (ein "s")
Einbettungsebene
Eine spezielle ausgeblendete Ebene, die mit einem hochdimensionalen kategorialen Feature trainiert wird, um nach und nach einen Einbettungsvektor mit niedrigerer Dimension zu erlernen. Mit einer Einbettungsebene kann ein neuronales Netzwerk viel effizienter trainieren als nur mit dem hochdimensionalen kategorialen Merkmal.
Beispielsweise unterstützt Google Earth derzeit etwa 73.000 Baumarten. Angenommen, Baumstrukturen sind ein Feature in Ihrem Modell. Die Eingabeebene Ihres Modells enthält also einen One-Hot-Vektor mit einer Länge von 73.000 Elementen.
Zum Beispiel könnte baobab so aussehen:
Ein Array mit 73.000 Elementen ist sehr lang. Wenn Sie dem Modell keine Einbettungsebene hinzufügen, wird das Multiplizieren von 72.999 Nullen sehr zeitaufwendig. Sie können die Einbettungsebene auch aus 12 Dimensionen auswählen. Die Einbettungsschicht lernt daher nach und nach einen neuen Einbettungsvektor.
In bestimmten Situationen ist Hashing eine sinnvolle Alternative zu einer Einbettungsebene.
Einbettungsbereich
Der d-dimensionale Vektorbereich, der aus einem höherdimensionalen Vektorraum stammt, wird zugeordnet. Idealerweise enthält der Einbettungsbereich eine Struktur, die aussagekräftige mathematische Ergebnisse liefert. In einem idealen Einbettungsbereich können beispielsweise Worte gemäß der Einbettung durch Subtrahieren und Subtrahieren gelöst werden.
Das Punktprodukt zweier Einbettungen ist ein Maß für die Ähnlichkeit.
Einbettungsvektor
Allgemein ausgedrückt besteht ein Array mit Gleitkommazahlen aus einer beliebigen verborgenen Ebene, die die Eingaben für diese ausgeblendete Ebene beschreibt. Oft ist ein Einbettungsvektor das Array von Gleitkommazahlen, die in einer eingebetteten Ebene trainiert wurden. Angenommen, eine Einbettungsschicht muss für jede der 73.000 Baumarten auf der Erde einen eingebetteten Vektor lernen. Vielleicht ist das folgende Array der Einbettungsvektor für einen Baobab-Baum:
Ein eingebetteter Vektor ist keine Reihe von Zufallszahlen. In einer Einbettungsebene werden diese Werte durch Training ermittelt, ähnlich wie ein neuronales Netzwerk während des Trainings andere Gewichtungen erlernt. Jedes Element des Arrays ist eine Bewertung entlang einer für eine Baumart charakteristischen Eigenschaft. Welches Element stellt das Merkmal von Baumarten dar? Das ist für Menschen sehr schwer zu erkennen.
Der mathematisch bemerkenswerte Teil eines Einbettungsvektors ist, dass ähnliche Elemente ähnliche Gleitkommazahlen haben. Ähnliche Baumarten haben beispielsweise eine ähnliche Gruppe von Gleitkommazahlen als ähnliche Baumarten. Mammutbäume und Mammutbäume sind verwandte Baumarten. Daher haben sie einen ähnlichen Satz von schwimmenden Spitzen wie Mammutbäume und Kokospalmen. Die Zahlen im eingebetteten Vektor ändern sich jedes Mal, wenn Sie das Modell neu trainieren. Dies gilt auch dann, wenn Sie das Modell mit identischer Eingabe neu trainieren.
Encoder
Im Allgemeinen wird jedes ML-System, das aus einer unverarbeiteten, dünnbesetzten oder externen Darstellung in eine stärker verarbeitete, dichtere oder stärker interne Darstellung umwandelt, umgewandelt.
Encoder sind oft Bestandteil eines größeren Modells, das häufig mit einem Decoder gekoppelt wird. Einige Transformatoren koppeln Encoder mit Decoder, während andere nur den Encoder oder nur den Decoder nutzen.
Einige Systeme verwenden die Ausgabe des Encoders als Eingabe für ein Klassifizierungs- oder Regressionsnetzwerk.
Bei Sequenzsequenzen übernimmt ein Encoder eine Eingabesequenz und gibt einen internen Status (einen Vektor) zurück. Der Decoder verwendet dann diesen internen Status, um die nächste Sequenz vorherzusagen.
Informationen zur Definition eines Encoders in der Transformer-Architektur finden Sie unter Transformer.
F
Aufforderung mit wenigen Schuss
Eine Eingabeaufforderung, die mehr als ein Beispiel enthält, um zu zeigen, wie das große Sprachmodell reagieren sollte. Die folgende ausführliche Eingabeaufforderung enthält beispielsweise zwei Beispiele, die ein großes Sprachmodell für die Beantwortung einer Abfrage zeigen.
| Bestandteile einer Anfrage | Hinweise |
|---|---|
| Wie hoch ist die offizielle Währung des angegebenen Landes? | Die Frage, die der LLM beantworten soll. |
| Frankreich: EUR | Ein Beispiel: |
| Vereinigtes Königreich: GBP | Ein weiteres Beispiel. |
| Indien: | Die tatsächliche Abfrage. |
Ein paar Aufforderungen zu Bildern erhalten in der Regel bessere Ergebnisse als die Kurzbefehl-Eingabeaufforderung und One-Shot-Aufforderung. Eine einmalige Aufnahme erfordert jedoch eine längere Aufforderung.
Wenige Bildaufforderung ist eine Form des wenigen Schusses, die auf aufforderungsbasiertes Lernen angewendet wird.
Geige
Eine Python-orientierte Konfigurationsbibliothek, die die Werte von Funktionen und Klassen ohne den invasiven Code oder die Infrastruktur festlegt. Im Fall von Pax und anderen ML-Codebasen stellen diese Funktionen und Klassen Modelle und Training Hyperparameter dar.
Bei Geigen wird davon ausgegangen, dass Codebasis für maschinelles Lernen normalerweise in folgende Kategorien unterteilt ist:
- Bibliothekscode, der die Ebenen und Optimierer definiert.
- Dataset-Klebcode, der die Bibliotheken aufruft und alle Komponenten verdrahtet
Fiddle erfasst die Aufrufstruktur des Klebstoffcodes in einer nicht bewerteten und änderbaren Form.
Feinabstimmung
Ein zweiter, aufgabenspezifischer Trainingspass, der für ein vortrainiertes Modell ausgeführt wird, um seine Parameter für einen bestimmten Anwendungsfall zu verfeinern. Die vollständige Trainingssequenz für einige große Sprachmodelle sieht beispielsweise so aus:
- Vor dem Training:Trainieren Sie ein großes Sprachmodell mit einem riesigen allgemeinen Dataset, z. B. allen englischsprachigen Wikipedia-Seiten.
- Feinabstimmung: Trainieren Sie das vortrainierte Modell für eine bestimmte Aufgabe, z. B. die Beantwortung medizinischer Abfragen. Die Feinabstimmung umfasst normalerweise Hunderte oder Tausende von Beispielen für die jeweilige Aufgabe.
Ein weiteres Beispiel: Die vollständige Trainingssequenz für ein großes Bildmodell sieht so aus:
- Vor dem Training:Trainieren Sie ein großes Bildmodell mit einem riesigen allgemeinen Bild-Dataset, z. B. alle Bilder in Wikimedia Common.
- Feinabstimmung: Trainieren Sie das vortrainierte Modell für die Ausführung einer bestimmten Aufgabe, z. B. das Generieren von Bildern von Orcas.
Die Feinabstimmung kann eine beliebige Kombination der folgenden Strategien beinhalten:
- Alle bestehenden Parameter des vortrainierten Modells ändern. Das wird manchmal als vollständige Feinabstimmung bezeichnet.
- Nur einige der vorhandenen Parameter des vortrainierten Modells ändern (in der Regel die Ebenen, die der Ausgabeebene am nächsten sind), während andere vorhandene Parameter unverändert bleiben (in der Regel die Ebenen, die der Eingabeebene am nächsten sind).
- Weitere Ebenen hinzufügen, normalerweise auf den vorhandenen Ebenen, die der Ausgabeebene am nächsten sind.
Die Feinabstimmung ist eine Form des Lerntransfers. Daher kann die Feinabstimmung eine andere Verlustfunktion oder einen anderen Modelltyp verwenden, als der, der zum Trainieren des vortrainierten Modells verwendet wird. Sie können beispielsweise ein vortrainiertes großes Bildmodell verfeinern, um ein Regressionsmodell zu erstellen, das die Anzahl der Vögel in einem Eingabebild zurückgibt.
Vergleichen Sie die Feinabstimmung mit den folgenden Begriffen:
Kristallgrau
Leistungsstarke Open-Source-Bibliothek für tiefgreifendes Lernen auf Basis von JAX Flax bietet Funktionen zum Training von neuronalen Netzwerken sowie Methoden zur Bewertung ihrer Leistung.
Flachsformer
Eine auf Flax basierende Open-Source-Bibliothek für Transformer, die hauptsächlich für Natural Language Processing und multimodale Forschung entwickelt wurde.
G
generative KI
Ein neues transformatives Feld ohne formale Definition. Die meisten Experten sind sich jedoch einig, dass generative KI-Modelle Folgendes erstellen können (generieren):
- Komplex
- einheitlich
- ursprünglich
Ein generatives KI-Modell kann beispielsweise anspruchsvolle Aufsätze oder Bilder erstellen.
Einige ältere Technologien, einschließlich LSTMs und RNNs, können auch eigene und kohärente Inhalte generieren. Einige Experten betrachten diese früheren Technologien als generative KI, während andere der Meinung sind, dass echte generative KI eine komplexere Ausgabe erfordert als ältere Technologien.
Im Gegensatz dazu steht ein prognostisches ML zur Verfügung.
GPT (generativer vortrainierter Transformator)
Eine Reihe von Transformer-basierten großen Sprachmodellen, die von OpenAI entwickelt wurden.
GPT-Varianten können für mehrere Modalitäten gelten, darunter:
- Bilderstellung (z. B. ImageGPT)
- Text-zu-Image-Generierung (z. B. DALL-E).
H
Halluzination
Die Produktion von plausiblen, aber sachlich falschen Ergebnissen durch ein generatives KI-Modell, das vorgibt, eine Erkenntnis über die reale Welt zu erheben. Beispiel: Ein generatives KI-Modell, das angibt, dass Barack Obama 1865 gestorben ist, hallociniert.
I
kontextbezogenes Lernen
Synonym für wenige Aufnahmeanfragen.
L
LaMDA (Sprachmodell für Dialoganwendungen)
Ein von Google entwickelter Transformator auf Basis eines großen Sprachmodells, das auf einem großen Dialog-Dataset trainiert wurde, das realistische Unterhaltungen liefern kann.
LaMDA: Unsere bahnbrechende Gesprächstechnologie bietet einen Überblick.
Sprachmodell
Ein Modell, das die Wahrscheinlichkeit eines Tokens oder einer Abfolge von Tokens schätzt, die in einer längeren Tokensequenz vorkommen.
Großes Sprachmodell
Ein informeller Begriff ohne feste Definition, der in der Regel ein Sprachmodell mit einer großen Anzahl von Parametern bedeutet. Einige große Sprachmodelle enthalten über 100 Milliarden Parameter.
M
Maskiertes Sprachmodell
Ein Sprachmodell, das die Wahrscheinlichkeit von Kandidatentokens vorhersagt, die Lücken in einer Sequenz ausfüllen sollen. So können mit einem Maskenmodell wahrscheinlich die Wahrscheinlichkeiten für mögliche Wörter in einem der folgenden Sätze berechnet werden:
Die ____ im Hut ist zurückgekehrt.
In der Literatur wird normalerweise der String „MASK“ anstelle eines Unterstriches verwendet. Beispiel:
Die „MASK“ im Hut kam zurück.
Die meisten modernen Maskenmodelle sind bidirektional.
Meta-Learning
Ein Teilbereich des maschinellen Lernens, der einen Lernalgorithmus erkennt oder verbessert. Ein Meta-Learning-System kann auch darauf abzielen, ein Modell zu trainieren, um schnell eine neue Aufgabe aus einer kleinen Datenmenge oder aus der Erfahrung aus vorherigen Aufgaben zu lernen. Meta-Learning-Algorithmen versuchen in der Regel Folgendes:
- Verbessern/lernen von Features (z. B. Initialisierer oder Optimierer).
- Seien Sie dateneffizienter und recheneffizienter.
- Generalisierung verbessern
Meta-Learning ist mit wenigen Bildern verbunden.
Modalität
Eine allgemeine Datenkategorie. Zahlen, Text, Bilder, Video und Audio sind beispielsweise fünf verschiedene Modalitäten.
Modellparallelität
Eine Methode zum Skalieren von Trainings oder Inferenzen, die verschiedene Teile eines Modells auf verschiedene Geräte verteilen. Durch die Modellparallelität können Modelle zu groß sein, um auf ein einzelnes Gerät zu passen.
Ein System führt normalerweise die folgenden Schritte aus, um die Modellparallelität zu implementieren:
- Das Modell wird in kleinere Teile aufgeteilt.
- Verteilt das Training dieser kleineren Teile auf mehrere Prozessoren. Jeder Prozessor trainiert seinen eigenen Teil des Modells.
- Kombiniert die Ergebnisse, um ein einzelnes Modell zu erstellen.
Die Modellparallelität verlangsamt das Training.
Siehe auch Datenparallelität.
Mehrkopf-Selbstaufmerksamkeit
Eine Erweiterung der Selbstaufmerksamkeit, bei der der Mechanismus zur Selbstüberwachung für jede Position in der Eingabesequenz mehrmals angewendet wird.
Transformatoren haben die Selbstfokussierung mit mehreren Kopfen eingeführt.
Multimodales Modell
Ein Modell, dessen Ein- und/oder Ausgaben mehr als eine Modalität enthalten. Beispiel: Nehmen Sie ein Modell, das sowohl ein Bild als auch eine Textunterschrift (zwei Modalitäten) als Merkmale aufnimmt und eine Bewertung ausgibt, wie passend die Bildunterschrift für das Bild ist. Die Eingaben dieses Modells sind also multimodal und die Ausgabe ist unimodal.
N
Natural Language Understanding
Bestimmen der Absichten eines Nutzers auf Grundlage dessen, was er eingegeben oder gesagt hat Beispielsweise wird bei einer Suchmaschine auf der Grundlage natürlicher Sprache ermittelt, wonach ein Nutzer sucht.
N-Gramm
Eine geordnete Reihenfolge von N Wörtern. Zum Beispiel ist wirklich verrückt ein 2-Gramm-Objekt. Da die Reihenfolge relevant ist, ist vermutlich ein anderes 2-Gramm-Format als wirklich verrückt.
| N | Name(n) für diese Art von N-Gramm | Beispiele |
|---|---|---|
| 2 | Bigram oder 2-Gramm | essen gehen, essen gehen, zu essen gehen |
| 3 | Trigramm oder 3-Gramm | zu viel, drei blinde Mäuse, zu viele Glocken |
| 4 | 4 Gramm | ein Spaziergang im Park, Staub im Wind, der Junge isst Linsen |
Viele Natural Language Understanding-Modelle basieren auf N-Grammen, um das nächste Wort vorherzusagen, das der Nutzer eingibt oder sagt. Angenommen, ein Nutzer hat drei blinde Geräte eingegeben. Ein NLU-Modell, das auf Trigrammen basiert, würde wahrscheinlich vorhersagen, dass der Nutzer als Nächstes Mäuse eingibt.
Kontrastiere N-Gramme mit Bags von Wörtern, bei denen es sich um ungeordnete Wortgruppen handelt.
NLU
Abkürzung für Natural Language Understanding.
O
Aufforderung mit einmaliger Aufnahme
Eine Eingabeaufforderung, die ein Beispiel enthält, das zeigt, wie das große Sprachmodell reagieren sollte. Die folgende Eingabeaufforderung enthält beispielsweise ein Beispiel für ein großes Sprachmodell, mit dem eine Abfrage beantwortet werden sollte.
| Bestandteile einer Anfrage | Hinweise |
|---|---|
| Wie hoch ist die offizielle Währung des angegebenen Landes? | Die Frage, die der LLM beantworten soll. |
| Frankreich: EUR | Ein Beispiel: |
| Indien: | Die tatsächliche Abfrage. |
Vergleichen Sie One-Shot-Aufforderung mit den folgenden Begriffen und kontrastieren Sie sie:
P
parametereffiziente Feinabstimmung
Eine Reihe von Techniken zur Feinabstimmung eines großen vortrainierten Sprachmodells, um effizienter zu arbeiten als mit der Feinabstimmung. Durch parametereffiziente Feinabstimmung werden in der Regel weitaus weniger Parameter optimiert als bei der Feinabstimmung. In der Regel wird jedoch ein großes Sprachmodell erstellt, das ebenso gut (oder fast so gut) wie ein großes Sprachmodell mit vollständiger Feinabstimmung funktioniert.
Parameter effizient abstimmen und vergleichen:
Parametereffiziente Feinabstimmung wird auch als parametereffiziente Feinabstimmung bezeichnet.
Rohrleitung
Eine Form der Modellparallelität, bei der die Verarbeitung eines Modells in aufeinanderfolgende Phasen aufgeteilt und jede Phase auf einem anderen Gerät ausgeführt wird. Während der Verarbeitung eines Batches in einer Phase kann die vorherige Phase mit dem nächsten Batch fortfahren.
Siehe auch gestaffeltes Training.
Polnischen PLM
Abkürzung für vortrainiertes Sprachmodell.
Positionscodierung
Eine Methode zum Hinzufügen von Informationen zur Position eines Tokens in einer Sequenz in die Einbettung des Tokens. Transformatormodelle verwenden die Positionscodierung, um die Beziehung zwischen verschiedenen Teilen der Sequenz besser zu verstehen.
Eine gängige Implementierung der Positionscodierung verwendet eine Sinusfunktion. Genauer gesagt werden die Frequenz und Amplitude der Sinus Funktion anhand der Position des Tokens in der Sequenz bestimmt. Mit diesem Verfahren kann ein Transformer-Modell anhand seiner Position lernen, an verschiedenen Teilen der Sequenz teilzunehmen.
vortrainiertes Modell
Modelle oder Modellkomponenten, z. B. ein Einbettungsvektor, die bereits trainiert wurden Manchmal füttern Sie vortrainierte Einbettungsvektoren mit einem neuronalen Netzwerk. In anderen Fällen trainiert das Modell die Einbettungsvektoren selbst, anstatt die vortrainierten Einbettungen zu verwenden.
Der Begriff vortrainiertes Sprachmodell bezieht sich auf ein großes Sprachmodell, das vor dem Training durchläuft.
vor dem Training
Das anfängliche Training eines Modells auf einem großen Dataset. Einige vortrainierten Modelle sind ungeschickte Riesen und müssen in der Regel durch zusätzliches Training verfeinert werden. So können ML-Experten beispielsweise ein großes Sprachmodell in einem riesigen Text-Dataset vorab trainieren, z. B. auf allen englischen Seiten in Wikipedia. Nach dem Vortraining kann das resultierende Modell mit einer der folgenden Methoden weiter verfeinert werden:
- destilliert
- feinabstimmung
- Feinabstimmung von Anleitungen
- parametereffiziente Feinabstimmung
- Aufforderung zur Aufforderung
Aufforderung
Jeder Text, der als Eingabe für ein großes Sprachmodell eingegeben wird, um das Modell auf bestimmte Weise zu verhalten. Anfragen können so kurz wie eine Wortgruppe oder beliebig lang sein, z. B. der gesamte Text eines Romans. Aufforderungen lassen sich in mehrere Kategorien unterteilen, einschließlich der in der folgenden Tabelle aufgeführten:
| Aufforderungskategorie | Beispiel | Hinweise |
|---|---|---|
| Frage | Wie schnell kann eine Taube fliegen? | |
| Anleitung | Verfasse ein lustiges Gedicht zu Arbitrage. | Eine Aufforderung, in dem das Sprachmodell aufgefordert wird, etwas zu tun. |
| Beispiel | Markdown-Code in HTML übersetzen Beispiel:
Markdown: * Listeneintrag HTML: <ul> <li>Listeneintrag</li> </ul> |
Der erste Satz in diesem Beispiel ist eine Anweisung. Der Rest der Aufforderung ist das Beispiel. |
| Rolle | Warum wird der Gradientenabstieg beim maschinellen Lernen zum Abschluss eines PhD-Abschlusses verwendet? | Der erste Teil des Satzes ist eine Anweisung und der Satz „zu einem PhD in Physik“ ist der Rollenteil. |
| Teileingabe für das Modell, das abgeschlossen werden soll | Der Ministerpräsident des Vereinigten Königreichs lebt in | Eine Teileingabeeingabe kann wie in diesem Beispiel abrupt enden oder mit einem Unterstrich enden. |
Ein generatives KI-Modell kann auf eine Aufforderung mit Text, Code, Bildern, Einbettungen, Videos usw. reagieren.
auf Aufforderungen basierendes Lernen
Eine Funktion bestimmter Modelle, mit der sie ihr Verhalten als Reaktion auf beliebige Texteingaben (Aufforderungen) anpassen können. Bei einem typischen, auf Aufforderungen basierenden Lernmodell antwortet ein großes Sprachmodell auf Aufforderungen, indem es Text generiert. Angenommen, ein Nutzer gibt die folgende Eingabeaufforderung ein:
Fassen Sie das dritte Bewegungsgesetz von Newton zusammen.
Ein Modell, das für ein Aufforderungsbasiertes Lernen geeignet ist, ist nicht speziell auf die Beantwortung der vorherigen Aufforderung trainiert. Vielmehr versteht das Modell viele Fakten zur Physik, viele zu allgemeinen Sprachregeln und viele nützliche Antworten im Allgemeinen. Dieses Wissen reicht aus, um eine (hoffentlich) nützliche Antwort zu geben. Zusätzliches menschliches Feedback („Diese Antwort war zu kompliziert.“ oder „Was ist eine Reaktion?“) ermöglicht es einigen aufschlussreichen Lernsystemen, die Nützlichkeit ihrer Antworten schrittweise zu verbessern.
Aufforderungsdesign
Synonym für Prompt Engineering.
Prompt Engineering
Das Erstellen von Aufforderungen, die die gewünschten Antworten aus einem großen Sprachmodell auslösen. Der Mensch führt Sofortentwicklungen durch. Das Schreiben gut formulierter Aufforderungen ist wichtig, um nützliche Antworten aus einem großen Sprachmodell gewährleisten zu können. Das Prompt Engineering hängt von vielen Faktoren ab, darunter:
- Das Dataset, das zum Vortrainieren und möglicherweise bei der Optimierung des großen Sprachmodells verwendet wird.
- Die Temperatur und andere Decodierungsparameter, die das Modell zum Generieren von Antworten verwendet.
Weitere Informationen zum Schreiben hilfreicher Vorschläge finden Sie unter Einführung in Aufforderungsdesigns.
Prompt Design ist ein Synonym für Prompt Engineering.
Aufforderung zur Feinabstimmung
Ein parametereffizienter Mechanismus, der ein „Präfix“ lernt, das dem System der tatsächlichen Aufforderung vorangestellt wird.
Eine Variante der Feinabstimmung – manchmal auch als Präfixoptimierung bezeichnet – besteht darin, das Präfix auf jeder Ebene vorzubereiten. Bei der meisten Feinabstimmung wird dagegen der Eingabeebene ein Präfix hinzugefügt.
R
Aufforderung zur Rolle
Ein optionaler Teil einer Eingabeaufforderung, die eine Zielgruppe für die Antwort eines generativen KI-Modells identifiziert. Ohne Rollenantwort stellt ein großes Sprachmodell eine Antwort bereit, die für die Person, die die Fragen stellt, hilfreich sein kann. Mit einer Rollenaufforderung kann ein großes Sprachmodell dann so antworten, dass es für eine bestimmte Zielgruppe relevanter und hilfreicher ist. Beispielsweise ist der Rollenaufforderungsteil der folgenden Aufforderungen fett dargestellt:
- Fassen Sie diesen Artikel für einen Doktortitel in Wirtschaft zusammen.
- Beschreiben Sie, wie die Gezeiten für einen Zehnjährigen funktionieren.
- Erläutern Sie die Finanzkrise im Jahr 2008. Du kannst mit einem jungen Kind oder einem Golden Retriever sprechen.
S
Selbstaufmerksamkeit (auch für Anwesenheitserkennung)
Eine neuronale Netzwerkebene, die eine Sequenz von Einbettungen (z. B. Token-Einbettungen) in eine andere Einbettungssequenz umwandelt. Zum Einbetten in die Ausgabesequenz werden Informationen aus den Elementen der Eingabesequenz über einen Aufsichtsmechanismus integriert.
Der Teil selbstvon auf sich selbst achten bezieht sich auf die Sequenz, die auf sich selbst stößt, und nicht auf einen anderen Kontext. Die Selbstachtsamkeit ist einer der wichtigsten Bausteine für Transformer. Er verwendet die Wörterbuchsuche, z. B. „query“, „key“ und „value“.
Eine Ebene zur Selbstaufsicht beginnt mit einer Sequenz von Eingabedarstellungen, einer pro Wort. Die Eingabedarstellung für ein Wort kann eine einfache Einbettung sein. Das Netzwerk bewertet für jedes Wort in einer Eingabesequenz die Relevanz des Worts für jedes Element in der gesamten Wortfolge. Die Relevanzbewertungen bestimmen, wie stark die endgültige Darstellung des Worts die Darstellungen anderer Wörter berücksichtigt.
Betrachten Sie zum Beispiel den folgenden Satz:
Das Tier kam nicht über die Straße, weil es zu müde war.
Die folgende Abbildung (von Transformer: A Novel Neural Network Architecture for Language Understanding) zeigt das Aufmerksamkeitsmuster der Schicht für das Pronomen it in ihrer eigenen Aufmerksamkeit, wobei die Dunkelheit jeder Zeile angibt, wie viel jedes Wort zur Darstellung beiträgt:
Auf dieser Ebene werden Wörter hervorgehoben, die für das Produkt relevant sind. In diesem Fall hat die Aufmerksamkeitsschicht gelernt, Wörter hervorzuheben, auf die es sich beziehen kann, und Tier die höchste Gewichtung zuzuweisen.
Bei einer Sequenz von n Tokens transformiert die Selbstaufsicht eine Sequenz von Einbettungen n separat, und zwar einmal an jeder Position in der Sequenz.
Weitere Informationen finden Sie unter Aufmerksamkeit und Mehrfachkopf-Aufmerksamkeit.
Histogramm: Sentimentanalyse
Mit Statistik- oder ML-Algorithmen beurteilen Sie die allgemeine (positive oder negative) Einstellung einer Gruppe gegenüber einem Dienst, einem Produkt, einer Organisation oder einem Thema. Mit dem Natural Language Understanding kann ein Algorithmus die Stimmungsanalyse anhand des Textfeedbacks eines Universitätskurses erstellen. So lässt sich feststellen, wie gut der Kurs im Allgemeinen gefallen hat.
Sequenz-zu-Sequenz-Aufgabe
Eine Aufgabe, die eine Eingabesequenz von Tokens in eine Ausgabesequenz von Tokens konvertiert. Zwei beliebte Arten von Aufgaben mit Sequenzsequenzen sind beispielsweise:
- Übersetzer:
- Beispiel einer Eingabesequenz: „Ich liebe dich.“
- Beispiel für die Ausgabesequenz: „Je t'aime“.
- Beantwortung der Frage:
- Beispiel einer Eingabesequenz: „Brauche ich mein Auto in New York?“
- Beispiel für eine Ausgabesequenz: „Nein. Lassen Sie Ihr Auto zu Hause.“
dünnbesetztes Feature
Ein Feature, dessen Werte überwiegend null oder leer sind. Ein Feature, das einen einzelnen 1-Wert und eine Million 0-Werte enthält, ist beispielsweise ein spärliches Merkmal. Im Gegensatz dazu hat ein dichtes Merkmal Werte, die vorwiegend nicht null oder leer sind.
Überraschende Merkmale des maschinellen Lernens sind dünnbesetzte Merkmale. Kategoriale Merkmale sind in der Regel dünnbesetzte Merkmale. Von den 300 möglichen Baumarten in einem Wald könnte beispielsweise nur ein Ahornbaum identifiziert werden. Oder von den Millionen der möglichen Videos in einer Videobibliothek könnte ein einzelnes Beispiel nur „Casablanca“ identifizieren.
In einem Modell stellen Sie in der Regel dünnbesetzte Features mit One-Hot-Codierung dar. Wenn die One-Hot-Codierung sehr groß ist, können Sie eine Einbettungsebene über die One-Hot-Codierung setzen, um die Effizienz zu erhöhen.
spärliche Darstellung
Nur die Position(en) von Elementen ungleich null in einem dünnbesetzten Feature speichern
Angenommen, ein kategoriales Feature namens species identifiziert die 36 Baumarten in einem bestimmten Wald. Außerdem wird angenommen, dass in jedem Beispiel nur eine Spezies identifiziert wird.
Mit einem One-Hot-Vektor können Sie die Baumarten in jedem Beispiel darstellen.
Ein One-Hot-Vektor enthält eine einzelne 1 (für die jeweilige Baumart in diesem Beispiel) und 35 0s (für die 35 Baumarten nicht in diesem Beispiel). Die One-Hot-Darstellung von maple könnte also so aussehen:
Alternativ dazu würde eine spärliche Darstellung einfach die Position der jeweiligen Spezies identifizieren. Wenn maple an Position 24 steht, ist die dünnbesetzte Darstellung von maple einfach so:
24
Die dünnbesetzte Darstellung ist deutlich kompakter als die One-Hot-Darstellung.
Klicken Sie auf das Symbol, um ein etwas komplexeres Beispiel aufzurufen.
Angenommen, jedes Beispiel in Ihrem Modell muss die Wörter (aber nicht die Reihenfolge dieser Wörter) in einem englischen Satz darstellen. Englisch besteht aus etwa 170.000 Wörtern, sodass Englisch ein kategoriales Merkmal mit etwa 170.000 Elementen ist. Die meisten englischen Sätze verwenden einen sehr kleinen Bruchteil dieser 170.000 Wörter. Daher sind die Wörter in einem einzelnen Beispiel mit Sicherheit dünnbesetzte Daten.
Berücksichtigen Sie dabei den folgenden Satz:
My dog is a great dog
Sie könnten eine Variante eines One-Hot-Vektors verwenden, um die Wörter in diesem Satz darzustellen. Bei dieser Variante können mehrere Zellen im Vektor einen Wert ungleich null enthalten. Darüber hinaus kann eine Zelle in dieser Variante eine ganzzahlige Ganzzahl enthalten. Obwohl die Wörter „my“, „is“, „a“ und „great“ nur einmal im Satz vorkommen, wird das Wort „Hund“ zweimal verwendet. Die Verwendung dieser Variante von One-Hot-Vektoren zur Darstellung der Wörter in diesem Satz ergibt den folgenden Vektor mit 170.000 Elementen:
Eine spärliche Darstellung desselben Satzes wäre folgender:
0: 1 26100: 2 45770: 1 58906: 1 91520: 1
gestaffeltes Training
Eine Taktik zum Trainieren eines Modells in einer Abfolge separater Phasen. Das Ziel kann entweder sein, den Trainingsprozess zu beschleunigen oder eine bessere Modellqualität zu erreichen.
Hier ist ein Beispiel für den Progressive-Stacking-Ansatz:
- Phase 1 enthält drei ausgeblendete Ebenen, Phase 2 sechs ausgeblendete Ebenen und Phase 3 12 verborgene Ebenen.
- Phase 2 beginnt mit dem Training mit den in den drei verborgenen Schichten von Phase 1 erlernten Gewichtungen. Phase 3 beginnt mit dem Training mit den Gewichtungen, die in Phase 2 in den 6 verborgenen Ebenen erlernt wurden.
Weitere Informationen finden Sie unter Rohrleitung.
D
T5
Ein Text-zu-Text-Modell, das 2020 von der KI von Google eingeführt wurde. T5 ist ein Encoder-Decoder-Modell, das auf der Architektur von Transformer basiert und mit einem extrem großen Dataset trainiert wird. Dies ist bei vielen Natural Language Processing-Aufgaben effektiv, z. B. bei der Generierung von Text, der Übersetzung von Sprachen und der Beantwortung von Fragen auf dialogorientierte Weise.
T5 erhält seinen Namen von den fünf Ts in „Text-to-Text Transfer Transformer“.
T5x
Ein Open-Source-Framework für maschinelles Lernen, das zum Erstellen und Trainieren großer NLP-Modelle (Natural Language Processing) entwickelt wurde. T5 wird auf der T5X-Codebasis implementiert, die auf JAX und Flax basiert.
Temperatur
Ein Hyperparameter, der den Zufall der Ausgabe eines Modells steuert. Höhere Temperaturen führen zu einer zufälligen Ausgabe, während niedrigere Temperaturen zu einer zufälligen Ausgabe führen.
Die Auswahl der besten Temperatur hängt von der jeweiligen Anwendung und den gewünschten Attributen der Modellausgabe ab. Sie können beispielsweise die Temperatur wahrscheinlich erhöhen, wenn Sie eine Anwendung erstellen, die die Creative-Ausgabe generiert. Umgekehrt würden Sie wahrscheinlich die Temperatur senken, wenn Sie ein Modell erstellen, das Bilder oder Text klassifiziert, um die Genauigkeit und Konsistenz des Modells zu verbessern.
Die Temperatur wird oft mit Softmax verwendet.
Textspanne
Der Array-Index-Span, der einem bestimmten Unterabschnitt eines Textstrings zugeordnet ist.
Das Wort good im Python-String s="Be good now" nimmt beispielsweise den Textbereich zwischen 3 und 6 an.
Token
In einem Sprachmodell ist die Atomeinheit, in der das Modell trainiert wird, und es werden Vorhersagen getroffen. Ein Token ist in der Regel eines der folgenden:
- Der Begriff „Hunde wie Katzen“ setzt sich z. B. aus drei Worttokens zusammen: „Hunde“, „Gefällt mir“ und „Katzen“.
- ein Zeichen. Zum Beispiel besteht der Ausdruck „Fahrradfisch“ aus neun Zeichentokens. Hinweis: Das Leerzeichen zählt als eines der Tokens.
- Unterwörter, wobei ein einzelnes Wort aus einem einzelnen oder mehreren Tokens bestehen kann. Ein Unterwort besteht aus einem Stammwort, einem Präfix oder einem Suffix. Ein Sprachmodell, das untergeordnete Wörter als Token verwendet, kann das Wort „Hunde“ beispielsweise als zwei Tokens ansehen (das Stammwort „Hund“ und das Pluralsuffix „s“). Dasselbe Sprachmodell kann das einzelne Wort „größer“ als zwei Unterwörter (das Stammwort „tall“ und das Suffix „er“) betrachten.
In Domains außerhalb von Sprachmodellen können Tokens andere Arten von atomaren Einheiten darstellen. Bei maschinellem Sehen kann ein Token beispielsweise eine Teilmenge eines Bilds sein.
Transformator
Eine bei Google entwickelte neuronale Umgebung, die auf Selbstaufklärung-Mechanismen basiert, um eine Sequenz von Eingabeeinbettungen in eine Sequenz von Ausgabeeinbettungen umzuwandeln, ohne Convolutions oder recurrent neuronale Netzwerke zu verwenden. Ein Transformator ist ein Stapel von Ebenen mit Selbstaufmerksamkeit.
Ein Transformator kann Folgendes enthalten:
Ein Encoder verwandelt eine Sequenz von Einbettungen in eine neue Sequenz derselben Länge. Ein Encoder enthält N identische Ebenen, von denen jede zwei Unterebenen umfasst. Diese beiden Unterebenen werden an jeder Position der Sequenz für die Eingabeeinbettung angewendet und verwandeln jedes Element der Sequenz in eine neue Einbettung. Auf der ersten Unterebene des Encoders werden Informationen aus der Eingabesequenz aggregiert. Die zweite Unterebene des Encoders wandelt die aggregierten Informationen in eine Ausgabeeinbettung um.
Ein Decoder wandelt eine Sequenz von Eingabeeinbettungen in eine Sequenz von Ausgabeeinbettungen um, möglicherweise mit einer anderen Länge. Ein Decoder enthält auch N identische Ebenen mit drei Unterebenen, von denen zwei den Untercodierungs-Unterebenen ähneln. Die untergeordnete Subebene verwendet die Ausgabe des Encoders und wendet den Mechanismus zur Selbstaufmerksamkeit an, um Informationen daraus zu erfassen.
Der Blogpost Transformer: A Novel Neural Network Architecture for Language Understanding bietet eine gute Einführung in Transformer.
Trigramm
Ein N-Gramm, wobei N=3 lautet.
U
unidirektional
Ein System, das nur den Text auswertet, der einem Zielabschnitt des Textes vorstellt. Im Gegensatz dazu wird in einem bidirektionalen System sowohl der Text, der dem Zielabschnitt vorwärts als auch vorteilt, bewertet. Weitere Informationen finden Sie unter bidirektional.
unidirektionales Sprachmodell
Ein Sprachmodell, das seine Wahrscheinlichkeit nur auf den Tokens basiert, die vor und nicht nach den Zieltoken(s) angezeigt werden. Vergleichen Sie das bidirektionale Sprachmodell.
V
Varialer Autoencoder (VAE)
Ein Autoencoder, der die Abweichung zwischen Eingaben und Ausgaben nutzt, um modifizierte Versionen der Eingaben zu generieren. Verschiedene Autoencoder sind für die generative KI nützlich.
VAEs basieren auf variabelen Inferenzen, einer Technik zum Schätzen der Parameter eines Wahrscheinlichkeitsmodells.
W
Worteinbettung
Darstellung jedes Worts in einem Satz von Wörtern in einem Einbettungsvektor. Das heißt, dass jedes Wort als Vektor von Gleitkommawerten zwischen 0.0 und 1.0 dargestellt wird. Wörter mit ähnlicher Bedeutung haben eine ähnliche Bedeutung wie Wörter mit unterschiedlichen Bedeutungen. Zum Beispiel weisen Karotten, Celery und Gurken relativ ähnliche Darstellungen auf, die sich sehr von den Darstellungen von Flugzeugen, Sonnenbrillen und Zahnpasta unterscheiden.
Z
Aufforderung für die Aufnahme nicht aufgenommen
Eine Aufforderung, die kein Beispiel dafür ist, wie das große Sprachmodell reagieren soll. Beispiel:
| Bestandteile einer Anfrage | Hinweise |
|---|---|
| Wie hoch ist die offizielle Währung des angegebenen Landes? | Die Frage, die der LLM beantworten soll. |
| Indien: | Die tatsächliche Abfrage. |
Das große Sprachmodell kann mit einem der folgenden Elemente antworten:
- Rupie
- INR
- ₹
- Indische Rupie
- Rupie
- Die indische Rupie
Alle Antworten sind richtig. Sie möchten aber auch ein bestimmtes Format verwenden.
Vergleichen Sie Zero-Shot-Aufforderung mit den folgenden Begriffen: