Cosa si intende per "generativo" nel nome "Rete adversative generativa"? "Generativo" descrive una classe di modelli statistici in contrasto con i modelli discriminative.
In modo informale:
- I modelli generativi possono generare nuove istanze di dati.
- I modelli discriminatori fanno distinzione tra i diversi tipi di istanze di dati.
Un modello generativo potrebbe generare nuove foto di animali che assomigliano ad animali reali, mentre un modello discriminatorio potrebbe distinguere un cane da un gatto. I GAN sono solo un tipo di modello generativo.
In modo più formale, dato un insieme di istanze di dati X e un gruppo di etichette Y:
- I modelli generativi acquisiscono la probabilità congiunta p(X, Y) o solo p(X) se non ci sono etichette.
- I modelli Discriminative acquisiscono la probabilità condizionale p(Y | X).
Un modello generativo include la distribuzione dei dati stessi e ti mostra quanto è probabile un dato esempio. Ad esempio, i modelli che prevedono la parola successiva in una sequenza sono in genere generativi (di solito molto più semplici dei GAN) perché possono assegnare una probabilità a una sequenza di parole.
Un modello discriminatorio ignora la domanda se una determinata istanza è probabile e ti dice semplicemente con quale probabilità un'etichetta si applica all'istanza.
Tieni presente che questa è una definizione molto generale. Esistono molti tipi di modelli generativi. I GAN sono solo un tipo di modello generativo.
Probabilità di modellazione
Nessun tipo di modello deve restituire un numero che rappresenta una probabilità. Puoi modellare la distribuzione dei dati imitandola.
Ad esempio, un classificatore discriminatorio come un albero decisionale può etichettare un'istanza senza assegnare una probabilità a tale etichetta. Tale categoria di classificazione sarebbe comunque un modello perché la distribuzione di tutte le etichette previste modellerebbe la reale distribuzione delle etichette nei dati.
Allo stesso modo, un modello generativo può modellare una distribuzione producendo dati convincenti "fasulli" che sembrano tratti dalla distribuzione.
I modelli generativi sono rigidi
I modelli generativi affrontano un'attività più difficile rispetto ai modelli discriminatori analoghi. I modelli generativi devono modellare di più.
Un modello generativo per le immagini potrebbe catturare correlazioni come "gli oggetti che appaiono come barche probabilmente appariranno vicino a cose che sembrano acqua" e "è improbabile che gli occhi appaiano sulla fronte". Si tratta di distribuzioni molto complicate.
Al contrario, un modello discriminatorio potrebbe scoprire la differenza tra "barca a vela" o "non barca a vela" cercando semplicemente alcuni schemi che raccontano. Potrebbe ignorare molte delle correlazioni che il modello generativo deve funzionare correttamente.
I modelli discriminatori tentano di tracciare i confini nello spazio dei dati, mentre i modelli generativi cercano di modellare il modo in cui i dati vengono posizionati all'interno dello spazio. Ad esempio, il seguente diagramma mostra modelli discriminatori e generativi di cifre scritte a mano:
Figura 1: modelli discriminatori e generativi di cifre scritte a mano.
Il modello discriminatorio cerca di distinguere 0's e 1's disegnando una linea nello spazio dati. Se trova la linea a destra, può distinguere gli 0 da 1 senza dover modellare esattamente dove si trovano le istanze nello spazio dei dati su entrambi i lati della linea.
Al contrario, il modello generativo cerca di produrre 1's e 0's generando cifre che cadano vicino alle loro controparti reali nello spazio dati. Deve modellare la distribuzione nell'intero spazio dati.
Le GAN offrono un modo efficace per addestrare modelli così completi per assomigliare a una distribuzione reale. Per comprendere come funzionano, dovremo comprendere la struttura di base di un GAN.
Verifica le tue conoscenze: modelli generativi e discriminatori
- Tira tre dadi a sei lati.
- Moltiplica il risultato per una costante w.
- Ripeti 100 volte e prendi la media di tutti i risultati.