Questa pagina contiene i termini del glossario dell'AI generativa. Per tutti i termini del glossario, fai clic qui.
R
modello autoregressivo
Un model che deduce una previsione in base alle proprie previsioni precedenti. Ad esempio, i modelli linguistici autoregressivi prevedono il token successivo in base a quelli previsti in precedenza. Tutti i modelli linguistici di grandi dimensioni basati su Transformer sono autoregressivi.
Al contrario, i modelli di immagine basati su GAN di solito non sono autoregressivi poiché generano un'immagine in un singolo passaggio in avanti e non in passaggi iterativi. Tuttavia, alcuni modelli di generazione di immagini sono regressivi perché generano un'immagine in passaggi.
C
prompt di catena di pensiero
Una tecnica di ingegneria dei messaggi che incoraggia un modello linguistico di grandi dimensioni (LLM) a spiegarne il ragionamento passo dopo passo. Ad esempio, considera il seguente prompt, prestando particolare attenzione alla seconda frase:
Quante forze g un conducente sperimenterebbe in un'auto che va da 0 a 96 km orari in 7 secondi? Nella risposta, mostra tutti i calcoli pertinenti.
Probabilmente la risposta dell'LLM:
- Mostra una sequenza di formule di fisica, inserendo i valori 0, 60 e 7 nei punti appropriati.
- Spiega perché ha scelto queste formule e il significato delle varie variabili.
I prompt della catena di pensiero costringono l'LLM a eseguire tutti i calcoli, il che potrebbe portare a una risposta più corretta. Inoltre, la richiesta di informazioni a catena di pensiero consente all'utente di esaminare i passaggi dell'LLM per determinare se la risposta ha senso o meno.
D
prompt diretti
Sinonimo di zero-shot prompting.
distillazione
Il processo di riduzione delle dimensioni di un model (noto come model) in un modello più piccolo (noto come model) che emula le previsioni del modello originale nel modo più fedele possibile. La distillazione è utile perché il modello più piccolo ha due vantaggi chiave rispetto al modello più grande (l'insegnante):
- Tempi di inferenza più rapidi
- Consumo energetico e memoria ridotti
Tuttavia, in genere le previsioni dello studente non corrispondono a quelle dell'insegnante.
La distillazione addestra il modello di studente per ridurre al minimo una funzione di perdita in base alla differenza tra gli output dei modelli di studenti e di insegnanti.
Confronta la distillazione con i seguenti termini:
F
prompt few-shot
Una richiesta contenente più di un esempio (solo alcuni) che mostra come dovrebbe rispondere il modello linguistico di grandi dimensioni (Large Language Model). La seguente lunga richiesta contiene due esempi che mostrano come rispondere a una query in un modello linguistico di grandi dimensioni (LLM).
| Parti di un prompt | Note |
|---|---|
| Qual è la valuta ufficiale del paese specificato? | La domanda a cui vuoi che l'LLM risponda. |
| Francia: EUR | Ecco un esempio. |
| Regno Unito: GBP | Un altro esempio. |
| India: | La query effettiva. |
I prompt few-shot in genere producono risultati più desiderabili rispetto ai prompt zero-shot e ai prompt one-shot. Tuttavia, i prompt few-shot richiedono un prompt più lungo.
I prompt few-shot sono una forma di apprendimento few-shot applicata all'apprendimento basato su prompt.
messa a punto
Un secondo pass per l'addestramento specifico per le attività eseguito su un modello preaddestrato per affinarne i parametri per un caso d'uso specifico. Ad esempio, la sequenza completa di addestramento per alcuni modelli linguistici di grandi dimensioni è la seguente:
- Pre-addestramento: addestra un modello linguistico di grandi dimensioni (LLM) su un vasto set di dati generale, ad esempio tutte le pagine di Wikipedia in lingua inglese.
- Perfezionamento: addestra il modello preaddestrato per eseguire un'attività specifica, ad esempio rispondere a domande mediche. Il perfezionamento richiede in genere centinaia o migliaia di esempi incentrati sull'attività specifica.
Come un altro esempio, la sequenza completa di addestramento per un modello con immagini di grandi dimensioni è la seguente:
- Pre-addestramento: addestra un modello di immagine di grandi dimensioni su un vasto set di dati di immagini generali, come tutte le immagini in Wikimedia Commons.
- Perfezionamento: addestra il modello preaddestrato per eseguire un'attività specifica, ad esempio la generazione di immagini di orche.
Il perfezionamento può prevedere qualsiasi combinazione delle seguenti strategie:
- Modifica di tutti i parametri esistenti del modello preaddestrato. Questa operazione viene a volte chiamata ottimizzazione completa.
- Modificare solo alcuni dei parametri esistenti del modello preaddestrato (in genere i livelli più vicini al livello di output), mantenendo invariati gli altri parametri esistenti (in genere i livelli più vicini al livello di input). Consulta la sezione Ottimizzazione efficiente dei parametri.
- Aggiunta di più livelli, in genere sopra quelli esistenti più vicini al livello di output.
Il perfezionamento è una forma di apprendimento trasferito. Di conseguenza, il perfezionamento potrebbe utilizzare una funzione di perdita diversa o un tipo di modello diverso rispetto a quelli utilizzati per addestrare il modello preaddestrato. Ad esempio, potresti ottimizzare un modello di immagine di grandi dimensioni preaddestrato per produrre un modello di regressione che restituisce il numero di uccelli in un'immagine di input.
Confronta il perfezionamento con i seguenti termini:
G
l'IA generativa
Un campo trasformativo emergente senza una definizione formale. Detto questo, la maggior parte degli esperti concorda sul fatto che i modelli di AI generativa possono creare ("generare") contenuti che soddisfano tutti i seguenti requisiti:
- complesso
- coerente
- originale
Ad esempio, un modello di AI generativa può creare saggi o immagini sofisticati.
Anche alcune tecnologie precedenti, tra cui LSTM e RNN, possono generare contenuti originali e coerenti. Alcuni esperti considerano queste tecnologie precedenti come AI generativa, mentre altri ritengono che la vera AI generativa richieda risultati più complessi di quanto non sia possibile produrre con le tecnologie precedenti.
Contrasto con il ML predittivo.
I
apprendimento contestuale
Sinonimo di few-shot prompting.
ottimizzazione delle istruzioni
Una forma di ottimizzazione che migliora la capacità di un modello di AI generativa di seguire le istruzioni. L'ottimizzazione delle istruzioni comporta l'addestramento di un modello su una serie di prompt di istruzioni, che in genere coprono una vasta gamma di attività. Il modello ottimizzato per l'istruzione risultante tende quindi a generare risposte utili ai prompt zero-shot in una varietà di attività.
Confronta con:
O
prompt one-shot
Una richiesta contenente un esempio che mostra come dovrebbe rispondere il modello LLM. Ad esempio, il seguente prompt contiene un esempio che mostra un modello linguistico di grandi dimensioni (LLM) come dovrebbe rispondere a una query.
| Parti di un prompt | Note |
|---|---|
| Qual è la valuta ufficiale del paese specificato? | La domanda a cui vuoi che l'LLM risponda. |
| Francia: EUR | Ecco un esempio. |
| India: | La query effettiva. |
Confronta i prompt one-shot con i seguenti termini:
P
ottimizzazione efficiente dei parametri
Un insieme di tecniche per perfezionare un modello linguistico preaddestrato (PLM) di grandi dimensioni in modo più efficiente rispetto al perfezionamento completo. L'ottimizzazione efficiente in base ai parametri in genere perfeziona molti meno parametri rispetto all'ottimizzazione completa, ma generalmente produce un modello linguistico di grandi dimensioni che ha le stesse prestazioni (o quasi lo stesso) di un modello LLM realizzato con un'ottimizzazione completa.
Confronta l'ottimizzazione efficiente dei parametri con:
L'ottimizzazione efficiente dei parametri è nota anche come ottimizzazione efficiente dei parametri.
PLM
Abbreviazione di modello linguistico preaddestrato.
modello preaddestrato
Modelli o componenti del modello (come un vettore di incorporamento) già addestrati. A volte, invii vettori di incorporamento preaddestrati in una rete neurale. Altre volte, il modello addestrerà autonomamente i vettori di incorporamento, invece di affidarsi agli incorporamenti preaddestrati.
Il termine modello linguistico preaddestrato si riferisce a un modello linguistico di grandi dimensioni che è stato sottoposto a pre-addestramento.
pre-addestramento
L'addestramento iniziale di un modello su un set di dati di grandi dimensioni. Alcuni modelli preaddestrati sono giganti goffi e in genere devono essere perfezionati tramite addestramento aggiuntivo. Ad esempio, gli esperti di ML potrebbero preaddestrare un modello linguistico di grandi dimensioni su un ampio set di dati di testo, come tutte le pagine in inglese di Wikipedia. In seguito all'addestramento, il modello risultante potrebbe essere ulteriormente perfezionato tramite una delle seguenti tecniche:
- distillazione
- ottimizzazione
- ottimizzazione delle istruzioni
- ottimizzazione efficiente dei parametri
- ottimizzazione dei prompt
prompt
Qualsiasi testo inserito come input a un modello linguistico di grandi dimensioni per condizionare il modello affinché si comporti in un determinato modo. I prompt possono essere brevi come una frase o arbitrariamente lunghi (ad esempio l'intero testo di un romanzo). I prompt ricadono in più categorie, tra cui quelle mostrate nella seguente tabella:
| Categoria della richiesta | Esempio | Note |
|---|---|---|
| Domanda | Quanto veloce può volare un piccione? | |
| Istruzione | Scrivi una poesia divertente sull'arbitraggio. | Un prompt che chiede al modello LLM di fare qualcosa. |
| Esempio | Traduci il codice di Markdown in HTML. Ad esempio:
Markdown: * voce elenco HTML: <ul> <li>elemento dell'elenco</li> </ul> |
La prima frase di questo prompt di esempio è un'istruzione. Il resto della richiesta è l'esempio. |
| Ruolo | Spiega perché la discesa del gradiente viene utilizzata nell'addestramento del machine learning per un dottorato in fisica. | La prima parte della frase è un'istruzione; la parte relativa al ruolo è la frase "per un dottorato di ricerca in fisica". |
| Input parziale per il modello da completare | Il Primo ministro del Regno Unito vive a | Un prompt di input parziale può terminare bruscamente (come in questo esempio) o terminare con un trattino basso. |
Un modello di AI generativa può rispondere a un prompt con testo, codice, immagini, incorporamenti, video... quasi qualsiasi cosa.
apprendimento basato su prompt
Una funzionalità di alcuni modelli che consente loro di adattare il loro comportamento in risposta a un input di testo arbitrario (richieste). In un tipico paradigma di apprendimento basato su prompt, un modello LLM risponde a un prompt generando testo. Ad esempio, supponiamo che un utente inserisca il seguente prompt:
Riassumi la terza legge del moto di Newton.
Un modello in grado di eseguire l'apprendimento basato su prompt non è addestrato in modo specifico per rispondere alla richiesta precedente. Piuttosto, il modello "conosce" molte informazioni sulla fisica, molto sulle regole generali del linguaggio e molto su ciò che costituisce risposte generalmente utili. Queste conoscenze sono sufficienti per fornire (si spera) una risposta utile. Il feedback aggiuntivo da parte di persone fisiche ("Questa risposta era troppo complicata" o "Che cos'è una reazione?") consente ad alcuni sistemi di apprendimento basati sul prompt di migliorare gradualmente l'utilità delle loro risposte.
progettazione di prompt
Sinonimo di prompt engineering.
ingegneria del prompt
L'arte di creare messaggi in grado di generare le risposte desiderate da un modello linguistico di grandi dimensioni. Gli esseri umani svolgono l'ingegneria del prompt. Scrivere prompt ben strutturati è una parte essenziale per garantire risposte utili da un modello linguistico di grandi dimensioni (LLM). Il prompt engineering dipende da molti fattori, tra cui:
- Il set di dati utilizzato per preaddestrare e possibilmente ottimizzare il modello LLM.
- La temperatura e gli altri parametri di decodifica che il modello utilizza per generare le risposte.
Consulta Introduzione alla progettazione dei prompt per ulteriori dettagli su come scrivere prompt utili.
Progettazione del prompt è un sinonimo di ingegneria del prompt.
ottimizzazione dei prompt
Un meccanismo di ottimizzazione efficiente dei parametri che apprende un "prefisso" che il sistema antepone al messaggio effettivo.
Una variante dell'ottimizzazione dei prompt, a volte chiamata ottimizzazione del prefisso, consiste nell'anteporre il prefisso a ogni livello. Al contrario, la maggior parte dell'ottimizzazione dei prompt aggiunge un prefisso solo al livello di input.
R
Reinforcement Learning from Human Feedback (RLHF)
Utilizzare il feedback di revisori per migliorare la qualità delle risposte di un modello. Ad esempio, un meccanismo RLHF può chiedere agli utenti di valutare la qualità della risposta di un modello con un'emoji 👍 o 👎. Il sistema può quindi modificare le risposte future in base a quel feedback.
suggerimenti di ruolo
Una parte facoltativa di una richiesta che identifica un pubblico di destinazione per la risposta di un modello di AI generativa. In assenza di una richiesta di ruolo, un modello linguistico di grandi dimensioni (LLM) fornisce una risposta che potrebbe essere o meno utile per la persona che pone le domande. Con un prompt di ruolo, un modello linguistico di grandi dimensioni può rispondere in un modo più appropriato e più utile per un pubblico di destinazione specifico. Ad esempio, la parte relativa al prompt del ruolo delle seguenti richieste è in grassetto:
- Riassumi questo articolo per un dottorato di ricerca in economia.
- Descrivi come funzionano le maree per un bambino di dieci anni.
- Spiegare la crisi finanziaria del 2008. Parla come faresti a un bambino o a un golden retriever.
T
temperatura
Un iperparametro che controlla il grado di casualità dell'output di un modello. Le temperature più alte generano un output più casuale, mentre le temperature più basse generano un output meno casuale.
La scelta della temperatura migliore dipende dall'applicazione specifica e dalle proprietà desiderate dell'output del modello. Ad esempio, probabilmente aumenteresti la temperatura durante la creazione di un'applicazione che genera un output di creatività. Al contrario, è probabile che abbassi la temperatura quando crei un modello che classifica immagini o testo per migliorarne l'accuratezza e la coerenza.
La temperatura viene spesso utilizzata con softmax.
Z
prompt zero-shot
Una richiesta che non fornisce un esempio di come vuoi che il modello LLM risponda. Ad esempio:
| Parti di un prompt | Note |
|---|---|
| Qual è la valuta ufficiale del paese specificato? | La domanda a cui vuoi che l'LLM risponda. |
| India: | La query effettiva. |
Il modello linguistico di grandi dimensioni (LLM) potrebbe rispondere con una delle seguenti opzioni:
- Rupia
- INR
- ₹
- Rupia indiana
- La rupia
- La rupia indiana
Tutte le risposte sono corrette, anche se potresti preferire un formato particolare.
Confronta i prompt zero-shot e confrontali con i seguenti termini: