Gleichmäßigkeit bei räumlicher Trennung

In diesem Modul geht es um die besonderen Anforderungen für Modelle, die anhand von Featurevektoren mit vielen Dimensionen erlernt wurden.

Regularisierung für Sparsity

  • Warnung:Sparse Feature Crosses können den Featurebereich erheblich erhöhen.
  • Mögliche Probleme:
    • Modellgröße (RAM) kann riesig werden
    • „Rauschen“-Koeffizienten (verursachen eine Überanpassung)
  • Möchte die L0-Norm der Gewichtungen bestrafen
    • Nicht-konvexe Optimierung; NP-schwer
  • Möchte die L0-Norm der Gewichtungen bestrafen
    • Nicht-konvexe Optimierung; NP-schwer
  • Relaxen Sie zur L1-Regularisierung:
    • Summe von abs(weights) bestrafen
    • Konvexe-Problem
    • Fördern von Datenknappheit im Gegensatz zu L2