Como uma GAN contém duas redes treinadas separadamente, o algoritmo de treinamento dela precisa resolver duas complicações:
- As GANs precisam manipular dois tipos diferentes de treinamento (gerador e discriminador).
- A convergência da GAN é difícil de identificar.
Treinamento alternado
O gerador e o discriminador têm processos de treinamento diferentes. Então, como treinamos a GAN como um todo?
O treinamento da GAN prossegue em períodos alternados:
- O discriminador é treinado por uma ou mais épocas.
- O gerador é treinado por uma ou mais épocas.
- Repita as etapas 1 e 2 para continuar treinando as redes do gerador e do discador.
Mantemos o gerador constante durante a fase de treinamento do discriminador. Como o treinamento de discriminação tenta descobrir como diferenciar dados reais de falsos, ele precisa aprender a reconhecer as falhas do gerador. Esse é um problema diferente em um gerador totalmente treinado do que em um gerador não treinado que produz resultados aleatórios.
Da mesma forma, mantemos a constante do discriminador durante a fase de treinamento do gerador. Caso contrário, o gerador estaria tentando atingir um alvo em movimento e nunca convergiria.
É isso que permite que as GANs lidem com problemas generativos intratáveis. Para ficarmos atentos ao difícil problema generativo, começamos com um problema de classificação muito mais simples. Por outro lado, se não for possível treinar um classificador para diferenciar os dados reais e gerados mesmo para a saída inicial do gerador aleatório, não vai ser possível iniciar o treinamento da GAN.
Convergência
À medida que o gerador melhora com o treinamento, o desempenho do discriminador é pior porque o discriminador não pode facilmente distinguir entre real e falso. Se o gerador for bem-sucedido, o discriminador terá uma precisão de 50%. Na verdade, o discriminador joga uma moeda para fazer a previsão.
Essa progressão representa um problema de convergência da GAN como um todo: o feedback do diferenciador se torna menos significativo ao longo do tempo. Se a GAN continuar treinando além do ponto em que o discriminador fornece feedback completamente aleatório, o gerador começa a treinar com o lixo eletrônico, e a própria qualidade pode ser recolhida.
Para uma GAN, a convergência costuma ser um estado breve, em vez de estável.