Croisement excessif ?

Avant de regarder la vidéo ou de lire la documentation, veuillez remplir Cet exercice explore l'utilisation abusive des croisements de caractéristiques.

Tâche 1:exécuter le modèle tel quel, avec tous les produits croisés donnés caractéristiques. Y a-t-il des surprises dans la façon dont le modèle ajuste les données ? Quelle est la nature du problème ?

Tâche 2:essayez de supprimer différentes caractéristiques de produits croisés pour améliorer (même légèrement). Pourquoi la suppression de fonctionnalités améliorer les performances ?

(Les réponses s'affichent juste en dessous de l'exercice.)

---

---

Cliquez sur l'icône Plus pour afficher la réponse à la tâche 1.

Étonnamment, la frontière de décision du modèle semble un peu farfelue. En particulier, une zone en haut à gauche tend vers le bleu, cela n'est pas visible dans les données.

Regardez l'épaisseur des cinq traits reliant les entrées à la sortie. Ces traits représentent la pondération relative de chaque caractéristique. Les lignes partant de X₁ et X₂ sont beaucoup plus épaisses que celles provenant des croisements de caractéristiques. Les croisements de caractéristiques qui contribuent beaucoup moins au modèle que les caractéristiques normales (non croisées).

Cliquez sur l'icône Plus pour afficher la réponse à la tâche 2.

La suppression de tous les croisements de caractéristiques permet d'obtenir un modèle plus raisonnable (il existe une ligne courbe suggérant un surapprentissage) et fait converger la perte d'évaluation.

Après 1 000 itérations, la perte d'évaluation devrait être légèrement inférieure que lors du croisement de caractéristiques (même si vos résultats peut varier légèrement en fonction de l'ensemble de données).

L'ensemble de données de cet exercice contient essentiellement des données linéaires et du bruit. Si nous utilisons un modèle trop complexe, par exemple un modèle avec trop de nous lui donnons la possibilité de s'adapter au bruit des données d'entraînement, souvent au prix d'une mauvaise performance du modèle sur les données de test.