Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Inicialização de rede neural
Este exercício usa os dados XOR novamente, mas analisa a repetibilidade
do treinamento de redes neurais e a importância da inicialização.
Tarefa 1: execute o modelo quatro ou cinco vezes conforme mostrado. Antes de cada teste,
pressione o botão Redefinir a rede para receber uma nova inicialização aleatória.
O botão Redefinir a rede é uma seta circular que aponta para o
à esquerda do botão Reproduzir.) Permita que cada teste dure pelo menos 500 etapas
para garantir a convergência. Para qual forma cada saída do modelo converge?
O que isso diz sobre o papel da inicialização em modelos
de otimização?
Tarefa 2:torne o modelo um pouco mais complexo adicionando uma camada
e alguns nós extras. Repita os testes da tarefa 1. Será que isso
dar mais estabilidade aos resultados?
As respostas aparecem logo abaixo do exercício.
Clique no ícone de adição para receber uma resposta à Tarefa 1.
O modelo aprendido tinha formas diferentes em cada execução. O que foi convergente
a perda de teste variou quase duas vezes, do menor para o maior.
Clique no ícone de adição para receber uma resposta à Tarefa 2.
A adição da camada e de nós extras produziu resultados mais repetíveis.
Em cada execução, o modelo resultante era praticamente o mesmo. Além disso,
a perda de teste convergente mostrou menos variação entre as execuções.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Não contém as informações de que eu preciso","missingTheInformationINeed","thumb-down"],["Muito complicado / etapas demais","tooComplicatedTooManySteps","thumb-down"],["Desatualizado","outOfDate","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Problema com as amostras / o código","samplesCodeIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2024-08-22 UTC."],[[["Neural networks with the same architecture and data can converge to different solutions due to random initialization, highlighting its role in non-convex optimization."],["Increasing the complexity of a neural network by adding layers and nodes can improve the stability and repeatability of training results, leading to more consistent model performance."],["Initialization significantly impacts the final model and the variance in test loss, especially in simpler network structures."],["While simpler networks can exhibit diverse solutions and varying losses, more complex models demonstrate increased stability and repeatable convergence."]]],[]]
