Introducción a las redes neuronales: Ejercicios de Playground

En este ejercicio, entrenaremos nuestra primera red neuronal. Las redes neuronales nos brindan una forma de aprender modelos no lineales sin usar combinaciones de atributos explícitos.

Tarea 1: El modelo especificado combina dos atributos de entrada en una sola neurona. ¿Este modelo podrá aprender una no linealidad? Ejecuta el modelo para confirmar tu respuesta.

Tarea 2: Intenta aumentar el número de neuronas en la capa oculta de 1 a 2. También intenta cambiar de una activación lineal a una activación no lineal, como ReLU. ¿Puedes crear un modelo que aprenda no linealidades?

Tarea 3: Para seguir experimentando, agrega o quita capas ocultas y neuronas por capa. Puedes cambiar las tasas de aprendizaje, la regularización y otras opciones de configuración del aprendizaje. ¿Cuál es la menor cantidad de nodos y capas que puedes usar para obtener una pérdida de prueba de 0.177 o menos?

(Las respuestas se muestran después del ejercicio).



Este ejercicio vuelve a usar los datos XOR, pero analiza la repetitibilidad del entrenamiento de redes neuronales y la importancia de la inicialización.

Tarea 1: Ejecuta el modelo especificado cuatro o cinco veces. Antes de cada prueba, presiona el botón Reiniciar la red para obtener una nueva inicialización aleatoria. (El botón Reiniciar la red es la flecha de reinicio circular a la izquierda del botón Reproducir). Permite que cada prueba ejecute al menos 500 pasos para garantizar la convergencia. ¿A qué forma converge el resultado de cada modelo? ¿Qué podemos inferir sobre el rol de la inicialización en una optimización no convexa?

Tarea 2: Agrega una capa y un par de nodos adicionales, para que el modelo sea un poco más complejo. Repite las pruebas de la Tarea 1. ¿Esta acción hace que los resultados sean más estables?

(Las respuestas se muestran después del ejercicio).



Este conjunto de datos es una espiral muy compleja. Sin duda, un modelo lineal no servirá aquí. Incluso será difícil construir combinaciones de atributos definidas manualmente.

Tarea 1: Entrena el mejor modelo posible; usa solo X1 yX2. Si lo deseas, agrega o quita capas y neuronas, o cambia las opciones de configuración de aprendizaje, como la tasa de aprendizaje, la tasa de regularización y el tamaño del lote. ¿Cuál es la mejor pérdida de prueba que puedes obtener? ¿Qué tan uniforme es la superficie del resultado del modelo?

Tarea 2: Incluso con las redes neuronales, a menudo se deben modificar los atributos para lograr un mejor resultado. Prueba agregar producto cruzado de atributos adicionales o aplicar otras transformaciones, como sin(X1) y sin(X2). ¿Lograste un mejor modelo? ¿La superficie del resultado del modelo es más suave?

(Las respuestas se muestran después del ejercicio).