Reducción de la pérdida: Ejercicio de Playground

Tasa de aprendizaje y convergencia

Este es el primero de varios ejercicios de Playground, un programa desarrollado específicamente para este curso para enseñar los principios del aprendizaje automático.

Cada ejercicio de Playground genera un conjunto de datos, que cuenta con una etiqueta con dos valores posibles. Estos pueden ser, por ejemplo, "es spam" frente a "no es spam" o "árboles sanos" frente a "árboles enfermos". El objetivo en la mayoría de los ejercicios es ajustar varios hiperparámetros para crear un modelo que clasifique correctamente (separe o distinga) el valor de una etiqueta de otro. Debes tener en cuenta que la mayoría de los conjuntos de datos contienen una cierta cantidad de datos inconsistentes, lo que hace imposible clasificar correctamente todos los ejemplos.

En la interfaz de este ejercicio, hay tres botones:

Ícono Nombre ¿Qué hace?
Botón Restablecer. Restablecer Restablece las iteraciones a 0. Restablece los pesos que el modelo haya aprendido.
Botón Paso. Paso Avanza una iteración. Con cada iteración, el modelo cambia, a veces de forma sutil y otras de forma drástica.
Botón Volver a generar. Volver a generar Genera un conjunto de datos nuevo. No restablece las iteraciones.

En el primer ejercicio de Playground, probarás la tasa de aprendizaje en dos tareas.

Tarea 1: Observa el menú de la tasa de aprendizaje que se encuentra en la parte superior derecha de Playground. La tasa de aprendizaje proporcionada (3) es muy alta. Para observar de qué manera esa elevada tasa de aprendizaje afecta tu modelo, haz clic en el botón "Paso" 10 o 20 veces. Al comienzo de cada interación, advierte los cambios drásticos en la visualización del modelo. Incluso, es posible que veas inestabilidad después de que el modelo parezca haber convergido. Además, ten en cuenta las líneas que se extienden de x1 y x2 a la visualización del modelo. Los pesos de estas líneas indican los pesos de esos atributos en el modelo. Es decir, una línea gruesa indica un peso elevado.

Tarea 2: Haz lo siguiente:

  1. Presiona el botón Restablecer.
  2. Reduce la tasa de aprendizaje.
  3. Presiona el botón Paso reiteradas veces.

¿De qué manera la reducción en la tasa de aprendizaje afectó la convergencia? Examina la cantidad de pasos necesarios para la convergencia del modelo y, además, la regularidad y la constancia de la convergencia del modelo. Prueba introducir valores incluso más bajos en la tasa de aprendizaje. ¿Resulta útil una tasa de aprendizaje demasiado lenta? (Encontrarás un debate al respecto debajo del ejercicio).