Regularización para lograr dispersión: Comprueba tu comprensión

Regularización L1

Explora las opciones que aparecen a continuación.

Imagina un modelo lineal con 100 atributos de entrada:
  • 10 son muy informativas.
  • 90 no son informativas.
  • Asume que todos los atributos tienen valores entre -1 y 1. ¿Cuáles de las siguientes afirmaciones son verdaderas?
    La regularización L1 hará que muchas de las ponderaciones no informativas sean casi (pero no exactamente) 0.0.
    En general, la regularización L1 con valores de lambda suficientemente altos tiende a hacer que los atributos no informativos tengan ponderaciones exactamente de 0.0. A diferencia de la regularización L2, la regularización L1 "presiona" para alcanzar el valor 0.0, sin importar la diferencia de la ponderación con 0.0.
    La regularización L1 hará que la mayoría de las ponderaciones no informativas sean exactamente 0.0.
    La regularización L1 de suficientes lambdas tiende a hacer que las ponderaciones no informativas sean exactamente 0.0. Al hacerlo, esos atributos no informatioas saldrán del modelo.
    La regularización L1 puede causar que los atributos informativos tengan una ponderación exactamente de 0.0.
    Ten cuidado, la regularización L1 puede causar que los diferentes tipos de atributos siguientes tengan ponderaciones exactamente de 0.0:
  • Atributos informativos débiles
  • Atributos informativos fuertes en diferentes escalas
  • Atributos informativos fuertemente correlacionados con otros atributos informativos similares
  • Comparación entre la regularización L1 y la L2

    Explora las opciones que aparecen a continuación.

    Imagina un modelo lineal con 100 atributos de entrada, todas con valores entre -1 y 1:
  • 10 son muy informativas.
  • 90 no son informativas.
  • ¿Qué tipo de regularización producirá el modelo más pequeño?
    regularización L2
    La regularización L2 raramente reduce la cantidad de atributos. En otras palabras, la regularización L2 raramente reduce el tamaño del modelo.
    regularización L1
    La regularización L1 tiende a reducir la cantidad de atributos. En otras palabras, la regularización L1 a menudo reduce el tamaño del modelo.

    Enviar comentarios sobre…

    Curso intensivo de aprendizaje automático