Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
Inicialización de redes neuronales
Este ejercicio vuelve a usar los datos XOR, pero analiza la repetibilidad
del entrenamiento de redes neuronales
y la importancia de la inicialización.
Tarea 1: Ejecuta el modelo especificado cuatro o cinco veces. Antes de cada prueba,
presiona el botón Reset the network para obtener una nueva inicialización aleatoria.
(El botón Restablecer la red es la flecha de restablecimiento circular que se encuentra justo al
a la izquierda del botón Reproducir). Permite que cada prueba se ejecute durante al menos 500 pasos.
para garantizar la convergencia. ¿A qué forma converge el resultado de cada modelo?
¿Qué dice esto sobre el rol de la inicialización en objetos no convexos?
optimización?
Tarea 2: Agrega una capa para intentar hacer que el modelo sea un poco más complejo.
y un par de nodos adicionales. Repite las pruebas de la Tarea 1. ¿Esto
agregar estabilidad adicional a los resultados?
(Las respuestas aparecen justo debajo del ejercicio).
Haz clic en el ícono de signo más para obtener la respuesta de la Tarea 1.
El modelo aprendido tiene diferentes formas en cada ejecución. La convergencia
la pérdida de prueba varió casi
el doble, de menor a mayor.
Haz clic en el ícono de signo más para obtener la respuesta de la Tarea 2.
Agregar la capa y los nodos adicionales produjo resultados más repetibles.
En cada ejecución, el modelo resultante se ve más o menos igual. Además,
la pérdida de prueba convergente mostró menos variación entre las ejecuciones.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Falta la información que necesito","missingTheInformationINeed","thumb-down"],["Muy complicado o demasiados pasos","tooComplicatedTooManySteps","thumb-down"],["Desactualizado","outOfDate","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Problema con las muestras o los códigos","samplesCodeIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2024-08-22 (UTC)"],[[["Neural networks with the same architecture and data can converge to different solutions due to random initialization, highlighting its role in non-convex optimization."],["Increasing the complexity of a neural network by adding layers and nodes can improve the stability and repeatability of training results, leading to more consistent model performance."],["Initialization significantly impacts the final model and the variance in test loss, especially in simpler network structures."],["While simpler networks can exhibit diverse solutions and varying losses, more complex models demonstrate increased stability and repeatable convergence."]]],[]]
