Regularización para lograr simplicidad: Lambda

Para definir el impacto general del término de regularización, los programadores de modelos multiplican su valor por un escalar conocido como lambda (también denominado tasa de regularización). Es decir, el objetivo de los programadores de modelos es lograr lo siguiente:

$$\text{minimize(Loss(Data|Model)} + \lambda \text{ complexity(Model))}$$

La regularización L2 tiene el siguiente efecto en un modelo

  • Lleva los valores de las ponderaciones hacia 0 (pero no exactamente 0).
  • Lleva la media de las ponderaciones hacia 0, con una distribución normal (en forma de campana o gaussiana).

Aumentar el valor de lambda fortalece el efecto de la regularización. Por ejemplo, el histograma de ponderaciones para un valor alto de lambda puede verse como se muestra en la Figura 2.

Histograma de las ponderaciones de un modelo con una media de cero y una distribución normal

Figura 2. Histograma de ponderaciones.

Reducir el valor de lambda tiende a lograr un histograma más plano, como se muestra en la Figura 3.

Histograma de las ponderaciones de un modelo con una media de cero y una distribución entre plana y normal

Figura 3. Histograma de ponderaciones producido por un valor de lambda más bajo.

Al elegir un valor de lambda, el objetivo es lograr el balance adecuado entre la simpleza y el ajuste de los datos de entrenamiento:

  • Si el valor de lambda es demasiado alto, el modelo será simple, pero corres el riesgo de subajustar los datos. El modelo no aprenderá lo suficiente sobre los datos de entrenamiento para hacer predicciones útiles.

  • Si el valor de lambda es demasiado bajo, el modelo será más complejo, pero corres el riesgo de sobreajustar los datos. El modelo aprenderá demasiado sobre las particularidades de los datos de entrenamiento y no será capaz de generalizar con respecto a datos nuevos.

El valor ideal de lambda produce un modelo que generaliza sin problemas los datos nuevos, nunca antes vistos. Lamentablemente, el valor ideal de lambda, depende de los datos, por lo que deberás realizar algunos.