Regularización para lograr simplicidad: Lambda

Tiempo estimado: 8 minutos

Para ajustar el impacto general del término de regularización, los desarrolladores de modelos multiplican su valor por un escalar conocido como lambda (también denominado tasa de regularización). Es decir, el objetivo de los desarrolladores de modelos es hacer lo siguiente:

$$\text{minimize(Loss(Data|Model)} + \lambda \text{ complexity(Model))}$$

La regularización L₂ tiene el siguiente efecto en un modelo

• Lleva los valores de los pesos hacia 0 (pero no exactamente 0).
• Lleva la media de los pesos hacia 0, con una distribución normal (en forma de campana o gaussiana).

Aumentar el valor de lambda fortalece el efecto de la regularización. Por ejemplo, el histograma de ponderaciones para un valor alto de lambda podría verse como se muestra en la Figura 2.

Figura 2: Histograma de ponderaciones

Reducir el valor de lambda tiende a producir un histograma más plano, como se muestra en la Figura 3.

Figura 3: Histograma de pesos producido por un valor de lambda más bajo.

Cuando eliges un valor de lambda, el objetivo es lograr el equilibrio adecuado entre la simplicidad y el ajuste de los datos de entrenamiento:

• Si el valor de lambda es demasiado alto, el modelo será simple, pero corres el riesgo de subajustar los datos. El modelo no aprenderá lo suficiente sobre los datos de entrenamiento como para hacer predicciones útiles.

• Si el valor de lambda es demasiado bajo, el modelo será más complejo, pero corres el riesgo de sobreajustar los datos. Tu modelo aprenderá mucho sobre las particularidades de los datos de entrenamiento y no será capaz de generalizar con datos nuevos.

Nota: Si estableces el valor de lambda como cero, quitarás la regularización por completo. En este caso, el entrenamiento se centra exclusivamente en minimizar la pérdida, lo que implica el mayor riesgo posible de sobreajuste.

El valor ideal de lambda produce un modelo que generaliza bien los datos nuevos nunca antes vistos. Lamentablemente, ese valor ideal de lambda depende de los datos, por lo que deberás realizar algunos ajustes de.

Haz clic en el ícono de signo más para obtener información sobre la regularización L₂ y la tasa de aprendizaje.

Existe una estrecha conexión entre la tasa de aprendizaje y lambda. Los valores de la regularización L₂ estricta tienden a acercar los pesos de atributos a 0. Las tasas de aprendizaje más bajas (con interrupción anticipada) suelen producir el mismo efecto porque los pasos que se alejan del 0 no son tan grandes. En consecuencia, la modificación simultánea de la tasa de aprendizaje y el valor lambda puede tener efectos confusos.

Interrupción anticipada significa finalizar el entrenamiento antes de que el modelo alcance por completo la convergencia. En la práctica, a menudo obtenemos alguna interrupción anticipada implícita cuando entrenamos en línea (continuo). Es decir, algunas tendencias nuevas todavía no tienen suficientes datos para converger.

Como se mencionó, los efectos de los cambios en los parámetros de regularización pueden confundirse con los efectos de los cambios en la tasa de aprendizaje o la cantidad de iteraciones. Una práctica útil (cuando entrenas en un lote fijo de datos) es darte una cantidad lo suficientemente alta de iteraciones para que la interrupción anticipada no implique un impacto.

Términos clave

interrupción anticipada	lambda
tasa de regularización

Centro de ayuda