Inicialização de rede neural

Este exercício usa os dados XOR novamente, mas analisa a repetibilidade do treinamento de redes neurais e a importância da inicialização.

Tarefa 1: execute o modelo quatro ou cinco vezes conforme mostrado. Antes de cada teste, pressione o botão Redefinir a rede para receber uma nova inicialização aleatória. O botão Redefinir a rede é uma seta circular que aponta para o à esquerda do botão Reproduzir.) Permita que cada teste dure pelo menos 500 etapas para garantir a convergência. Para qual forma cada saída do modelo converge? O que isso diz sobre o papel da inicialização em modelos de otimização?

Tarefa 2:torne o modelo um pouco mais complexo adicionando uma camada e alguns nós extras. Repita os testes da tarefa 1. Será que isso dar mais estabilidade aos resultados?

As respostas aparecem logo abaixo do exercício.

---

---

Clique no ícone de adição para receber uma resposta à Tarefa 1.

O modelo aprendido tinha formas diferentes em cada execução. O que foi convergente a perda de teste variou quase duas vezes, do menor para o maior.

Clique no ícone de adição para receber uma resposta à Tarefa 2.

A adição da camada e de nós extras produziu resultados mais repetíveis. Em cada execução, o modelo resultante era praticamente o mesmo. Além disso, a perda de teste convergente mostrou menos variação entre as execuções.