Les consignes de test du pipeline ne peuvent pas être affichées dans un Colab. Les exercices suivants vous aideront à appliquer les consignes. La page suivante décrit les ressources permettant de mettre en œuvre les consignes.
Pour les questions suivantes, cliquez sur votre sélection pour développer et vérifier votre réponse.
Après avoir lancé votre prédicteur d'apparence de licorne, vous devez le réactualiser en l'entraînant sur de nouvelles données. Comme vous collectez trop de nouvelles données pour l'entraînement, vous décidez de limiter les données d'entraînement en échantillonnant les nouvelles données sur une période donnée. Vous devez également tenir compte des tendances quotidiennes et annuelles dans les apparences de licorne. Et le plus rapide est de lancer les nouvelles versions tous les trois mois.
Quelle période de temps choisissez-vous ?
Un jour, car un intervalle plus important entraînerait une grande quantité de données et l'entraînement de votre modèle serait trop long.
Mauvaise réponse. Vous pouvez ajuster le taux d'échantillonnage des données pour limiter la taille de l'ensemble de données. Étant donné que vous ne pouvez mettre à jour votre modèle que tous les trois mois, un modèle entraîné sur une journée de données deviendra progressivement obsolète.
Une semaine pour que votre ensemble de données ne soit pas trop volumineux, mais que vous puissiez toujours lisser les modèles.
Mauvaise réponse. Vous pouvez ajuster le taux d'échantillonnage des données pour limiter la taille de l'ensemble de données. Étant donné que vous ne pouvez mettre à jour votre modèle que tous les trois mois, un modèle entraîné sur une semaine de données deviendra progressivement obsolète.
Un an, pour vous assurer que votre modèle n'est pas biaisé par des modèles quotidiens ou annuels.
Bonne réponse ! Vous devez choisir un ensemble de données représentatif afin que votre modèle apprenne la prédiction de tous les scénarios.
Vous lancez votre prédicteur d'apparence de licorne. Cela fonctionne bien ! Vous partez en vacances et revenez au bout de trois semaines pour constater que la qualité de votre modèle a considérablement chuté. Supposons que le comportement de la licorne ne changera probablement pas de manière significative dans trois semaines. Quelle en est probablement la raison ?
Décalage entraînement/inférence.
Bonne réponse. Bien que le comportement de la licorne n'ait probablement pas changé, les rapports ou la mise en forme des données sous-jacents ont peut-être changé dans les données d'inférence après la collecte des données d'entraînement.
Détectez le décalage potentiel entraînement/inférence en comparant les données d'inférence au schéma de données des données d'entraînement.
Vous avez oublié de tester la qualité du modèle sur un seuil fixe.
Mauvaise réponse. Tester la qualité d'un modèle permettrait d'identifier une baisse de la qualité, mais n'expliquerait pas la raison de cette baisse.
Votre modèle est obsolète.
Mauvaise réponse. Supposons que vos données d'entraînement couvrent tous les cycles de comportement de la licorne, comme abordé dans la question précédente.
Vous décidez de surveiller les prédictions pour l'Antarctique, car vous ne disposez pas de données d'entraînement suffisantes. La qualité de vos prédictions diminue mystérieusement pendant plusieurs jours, en particulier en hiver. Quelle peut en être la cause ?
Facteur environnemental
Bonne réponse. Vous découvrez que les tempêtes en Antarctique sont corrélées avec la baisse de la qualité des prédictions. En cas de tempête, le comportement de la licorne change. De plus, il est impossible de collecter des données lors de tempêtes en Antarctique, ce qui signifie que votre modèle ne peut pas s'entraîner pour de telles conditions.
Votre modèle devient obsolète.
Mauvaise réponse. Si cette cause est correcte, la qualité chuterait continuellement à mesure que votre modèle deviendrait obsolète, au lieu de chuter pendant quelques jours.
Aucune raison n'est nécessaire. Les modèles de ML ont un caractère aléatoire inhérent.
Mauvaise réponse. Si la qualité de votre modèle fluctue, vous devez en déterminer la cause. Essayez d'éliminer le caractère aléatoire de l'entraînement du modèle pour améliorer la reproductibilité.
Votre prédicteur d'apparence licorne fonctionne depuis un an. Vous avez résolu de nombreux problèmes. La qualité est désormais élevée. Vous remarquez cependant un problème mineur, mais persistant. La qualité de votre modèle a légèrement diminué dans les zones urbaines. Quelle peut en être la cause ?
La qualité élevée de vos prédictions conduit les utilisateurs à trouver facilement des licornes, ce qui a un impact sur l'apparence de la licorne.
Bonne réponse. Les licornes ont réagi à l'augmentation de l'attention en modifiant leur comportement dans les zones urbaines. À mesure que les prédictions de votre modèle s'adaptent à l'évolution du comportement, les licornes continuent à changer de comportement. Une telle situation, où le comportement de votre modèle affecte les données d'entraînement, est appelée une boucle de rétroaction.
Essayez de modifier la détection du décalage entraînement/inférence pour détecter les modifications de la diffusion des données qui correspondent à des changements de comportement de la licorne.
Les apparences de licornes sont signalées plusieurs fois dans des zones à forte densité de population, ce qui fausse vos données d'entraînement.
Mauvaise réponse. Ce n'est probablement pas la cause, car ce décalage aurait dû diminuer votre qualité dès le lancement.
Les zones urbaines sont difficiles à modéliser.
Mauvaise réponse. Si votre modèle rencontrait des difficultés à effectuer des prédictions en zone urbaine, la qualité serait faible dès le départ, au lieu de diminuer.