GANs haben eine Reihe häufiger Fehlermodi. All diese häufig auftretenden Probleme sind Bereiche der aktiven Forschung. Keines dieser Probleme wurde behoben.
Verlaufsverläufe
Studien haben ergeben, dass das Generatortraining aufgrund verglichener Gradienten fehlschlagen kann, wenn Ihr Diskriminator zu gut ist. Tatsächlich liefert ein optimaler Diskriminator nicht genügend Informationen für den Generator.
Abhilfemaßnahmen
- Verlust von Wasserstein: Mit dem Wasserstein-Verlust sollen Gradienten verhindert werden, auch wenn Sie den Diskriminator so optimieren, dass er optimal funktioniert.
- Geänderter Verlust von Minimax-Modellen: Im ursprünglichen GAN-Papier wurde eine Änderung an Minimax-Verlust für den Wegfall von Gradienten vorgeschlagen.
Modus „Minimieren“
Normalerweise soll Ihr GAN eine Vielzahl von Ausgaben generieren. Sie möchten zum Beispiel ein anderes Gesicht für jede zufällige Eingabe in Ihren Gesichtergenerator.
Wenn ein Generator jedoch eine besonders plausible Ausgabe erzeugt, lernt der Generator möglicherweise nur diese Ausgabe. Der Generator versucht immer, die Ergebnisse zu finden, die für den Diskriminator am plausibelsten sind.
Wenn der Generator immer wieder dieselbe Ausgabe (oder eine kleine Gruppe von Ausgaben) erzeugt, lernt der Diskriminator, diese Ausgabe immer abzulehnen. Wenn jedoch die nächste Generation von Diskriminator in einem lokalen Minimum steckt und die beste Strategie nicht findet, ist es für die nächste Generatorvariation zu einfach, um die plausible Ergebnisse für den aktuellen Diskriminator zu finden.
Jede Iteration eines Generators wird für einen bestimmten Diskriminator zu oft optimiert. Der Diskriminator lernt nie aus der Falle heraus. Daher wechseln die Generatoren durch eine kleine Gruppe von Ausgabetypen. Diese Form des GAN-Fehlers wird als Modus minimieren bezeichnet.
Abhilfemaßnahmen
Mit den folgenden Ansätzen wird der Generator gezwungen, seinen Anwendungsbereich zu erweitern, indem verhindert wird, dass er für einen einzelnen festgelegten Diskriminator optimieren kann:
- Verlust von Wasserstein: Mit dem Wasserstein-Verlust können Sie den Modus minimieren, indem Sie den Diskriminator so trainieren, dass er die optimale Leistung erzielt, ohne sich um den Wegfall von Gradienten kümmern zu müssen. Wenn der Diskriminator in einer lokalen Minima nicht feststeckt, lernt er, die Ausgaben abzulehnen, auf die sich der Generator stabilisiert. Der Generator muss also etwas Neues ausprobieren.
- Ungerollte GANs: Ungerollte GANs verwenden eine Generatorverlustfunktion, die nicht nur die aktuellen Klassifizierungen von Diskriminatoren, sondern auch die Ausgaben zukünftiger Diskriminierungsversionen einbindet. Daher kann der Generator nicht zu stark für einen einzelnen Diskriminator optimieren.
Fehler beim Konvergieren
GANs konvergieren häufig nicht, wie im Modul zum Training erläutert.
Abhilfemaßnahmen
Forscher haben versucht, verschiedene Formen der Normalisierung zu verwenden, um die GAN-Konvergenz zu verbessern, darunter:
- Rauschen bei diskriminierenden Eingaben hinzufügen: Siehe z. B. Toward Principled Methods for Training Generative Adversarial Networks.
- Benachteiligung von Diskriminatorgewichtungen: Siehe z. B. Stabilisieren des Trainings von generativen kontradiktorischen Netzwerken über Normalisierung.