Validation : testez votre intuition

Avant d'entamer ce module, demandez-vous si l'utilisation du processus d'apprentissage défini dans la section Ensembles d'apprentissage et d'évaluation présente des risques.

Examinez les options suivantes.

Nous avons envisagé d'utiliser un ensemble d'évaluation et un ensemble d'apprentissage pour effectuer les itérations de développement du modèle. Pour chaque itération, nous avons entraîné le modèle avec les données de cet ensemble d'apprentissage et nous l'avons évalué avec les données de cet ensemble d'évaluation, afin d'orienter les décisions et les modifications liées à divers hyperparamètres du modèle, tels que le taux d'apprentissage et les caractéristiques. Cette approche vous semble-t-elle adaptée ? (Une seule réponse possible.)
Cette approche est adaptée. Le modèle doit être entraîné avec les données d'apprentissage et évalué avec des données d'évaluation séparées.
À vrai dire, cette approche présente un petit problème. Que pensez-vous qu'il se passerait si le nombre d'itérations effectuées de cette manière était particulièrement important ?
En suivant cette procédure de nombreuses fois, nous risquerions de finir par nous conformer aux particularités de cet ensemble d'évaluation spécifique.
Effectivement ! Plus le nombre d'itérations pour lesquelles nous utilisons le même ensemble d'évaluation est important, plus le risque de surapprentissage est élevé. Nous essaierons de définir un protocole plus approprié la prochaine fois.
Du point de vue de l'utilisation des ressources, cette approche n'est pas optimale. Il est préférable de choisir un ensemble d'hyperparamètres par défaut et de s'en contenter afin d'économiser les ressources.
Bien que ces types d'itérations soient onéreux, ils jouent un rôle essentiel dans le développement du modèle. La configuration des hyperparamètres peut avoir un impact majeur sur la qualité du modèle. C'est pourquoi le budget doit tenir compte du temps et des ressources informatiques nécessaires à l'optimisation de sa qualité.

Envoyer des commentaires concernant…

Cours d'initiation au machine learning