Regresión lineal: Ejercicio de descenso de gradientes

En este ejercicio, volverás a ver el gráfico de datos de eficiencia del combustible del ejercicio de parámetros. Pero, esta vez, usarás el descenso de gradientes para conocer los valores óptimos de peso y sesgo para un modelo lineal que minimice la pérdida.

Completa las tres tareas que se encuentran debajo del gráfico.

Esta visualización interactiva puede producir imágenes parpadeantes cuando se establece en una tasa de aprendizaje alta, lo que puede afectar a las personas fotosensibles.

Tarea 1: Ajusta el control deslizante de Tasa de aprendizaje que se encuentra debajo del gráfico para establecer una tasa de aprendizaje de 0.03. Haz clic en el botón Iniciar para ejecutar el descenso del gradiente.

¿Cuánto tiempo tarda el entrenamiento del modelo en converger (alcanzar un valor de pérdida mínimo estable)? ¿Cuál es el valor del MSE en la convergencia del modelo? ¿Qué valores de peso y sesgo producen este valor?

Haz clic en el ícono de signo más para ver nuestra solución.

Cuando establecimos una tasa de aprendizaje de 0.03, el modelo convergió en aproximadamente 30 segundos y alcanzó un MSE de 2.67 con valores de peso y sesgo de -1.14 y 20.389, respectivamente. Esto indica que elegimos un buen valor de la tasa de aprendizaje.

Tarea 2: Haz clic en el botón Restablecer que se encuentra debajo del gráfico para restablecer los valores de peso y sesgo en el gráfico. Ajusta el control deslizante de Tasa de aprendizaje a un valor cercano a 1.10e^-5. Haz clic en el botón Iniciar para ejecutar el descenso del gradiente.

¿Qué observas sobre el tiempo que tarda el entrenamiento del modelo en converger esta vez?

Haz clic en el ícono de signo más para ver la solución.

Después de varios minutos, el entrenamiento del modelo aún no converge. Las pequeñas actualizaciones de los valores de peso y sesgo siguen generando valores de pérdida ligeramente más bajos. Esto sugiere que elegir una tasa de aprendizaje más alta permitiría que el descenso del gradiente encuentre los valores óptimos de peso y sesgo con mayor rapidez.

Tarea 3: Haz clic en el botón Restablecer que se encuentra debajo del gráfico para restablecer los valores de peso y sesgo en el gráfico. Ajusta el control deslizante de Tasa de aprendizaje hasta 1. Haz clic en el botón Iniciar para ejecutar el descenso del gradiente.

¿Qué sucede con los valores de pérdida a medida que se ejecuta el descenso del gradiente? ¿Cuánto tiempo tardará el entrenamiento del modelo en converger esta vez?

Haz clic en el ícono de signo más para ver la solución.

Los valores de pérdida fluctúan mucho en valores altos (MSE superior a 300). Esto indica que la tasa de aprendizaje es demasiado alta y que el entrenamiento del modelo nunca alcanzará la convergencia.