常見問題

GAN 有許多常見的失敗模式,這些常見問題都是在積極研究方面。儘管問題完全沒有解決,但我們提及了使用者嘗試過的一些問題。

漸層漸層

研究建議,如果歧視器產品的準確度過高,發電機訓練可能會因為漸層梯度有誤而失敗。實際上,最佳歧視器提供的資訊並不能讓產生器產生進度。

嘗試救濟措施

收合模式

通常您希望 GAN 產生各種輸出內容。例如,您想要在相片產生器的每個隨機輸入內容中,都換一個不同的臉孔。

不過,如果產生器產生特別可行的輸出,產生器可能會學習「僅」產生該輸出內容。事實上,產生器不斷嘗試尋找看似最容易歧視的輸出。

如果產生器持續產生相同的輸出內容 (或一小組輸出內容),則判定器的最佳做法是學習如何一律拒絕該輸出內容。但是,如果新一代的轉接器卡住在本機最小值中,卻找不到最佳策略,則對下一代的產生器疊代來說,這種做法顯得不易,因此可以為當前的辨別器找出最合理的輸出內容。

每個疊代的疊代子都會經過最佳化處理,讓特定歧視內容變得過度最佳化,而且歧視器絕對不會管理相關資訊。因此,產生器會旋轉一組小型輸出類型。這種形式的 GAN 失敗稱為「模式收合」

嘗試救濟措施

下列方法會防止單一最佳化器對單一固定歧視器進行最佳化,以強制發電機擴大範圍:

  • Wasserstein 損失Wasserstein 損失可讓您讓訓練器收到最優異的可視區域,而不必擔心梯度消失。如果歧視器沒有卡在本機小型環境中,則會學會拒絕產生器的穩定模式。因此,發電機必須嘗試新的事物。
  • 未復原的 GAN未復原的 GAN 使用的產生器損失函式,不僅包含目前的歧視內容類別,也包含日後子母畫面版本的輸出內容。因此,生成器無法過度最佳化單一歧視器。

無法收容

訓練模組中所述,GAN 往往無法融合。

嘗試救濟措施

研究人員會嘗試使用各種形式的正規化來改善 GAN 融合,包括: