Glossaire du machine learning: principes de base du ML

Cette page contient les termes du glossaire de ML. Pour consulter tous les termes du glossaire, cliquez ici.

A

accuracy

#fundamentals

Nombre de prédictions de classification correctes divisé par le nombre total de prédictions. Par exemple :

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

Par exemple, un modèle ayant effectué 40 prédictions correctes et 10 prédictions incorrectes aurait une précision de:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

La classification binaire fournit des noms spécifiques pour les différentes catégories de prédictions correctes et de prédictions incorrectes. La formule de précision pour la classification binaire est la suivante:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

où :

• "VP" correspond au nombre de vrais positifs (bonnes prédictions).
• TN correspond au nombre de vrais négatifs (prédictions correctes).
• La FP correspond au nombre de faux positifs (prédictions incorrectes).
• FN correspond au nombre de faux négatifs (prédictions incorrectes).

Comparez la précision et le contraste avec la précision et le rappel.

Cliquez sur l'icône pour afficher d'autres notes.

Bien qu'elle soit utile pour certaines situations, la justesse est très trompeuse pour d'autres. En particulier, la justesse est généralement une métrique médiocre pour évaluer les modèles de classification qui traitent des ensembles de données déséquilibrés de classes.

Par exemple, supposons que la neige tombe seulement 25 jours par siècle dans une certaine ville subtropicale. Étant donné que les jours sans neige (classe négative) dépassent largement les jours avec neige (classe positive), l'ensemble de données sur les neiges de cette ville est déséquilibré. Prenons l'exemple d'un modèle de classification binaire censé prédire la neige ou aucune neige chaque jour, mais simplement "aucune neige" chaque jour. Ce modèle est extrêmement précis, mais n'offre aucune puissance de prédiction. Le tableau suivant récapitule les résultats pour un siècle de prédictions:

Catégorie	Number
VP	0
TN	36500
FP	25
FN	0

La justesse de ce modèle est donc:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

Bien qu'une précision de 99,93% semble très impressionnante, le modèle n'a en réalité pas de puissance prédictive.

Les métriques de précision et de rappel sont généralement plus utiles que la précision pour évaluer des modèles entraînés sur des ensembles de données déséquilibrés.

---

fonction d'activation

#fundamentals

Fonction qui permet aux réseaux de neurones d'apprendre des relations non linéaires (complexes) entre les caractéristiques et l'étiquette.

Voici les principales fonctions d'activation:

• ReLU
• Sigmoïde

Les tracés des fonctions d'activation ne sont jamais des lignes droites. Par exemple, le graphique de la fonction d'activation ReLU comprend deux lignes droites:

Voici un graphique de la fonction d'activation sigmoïde:

Cliquez sur l'icône pour voir un exemple.

Dans un réseau de neurones, les fonctions d'activation manipulent la somme pondérée de toutes les entrées d'un neurone. Pour calculer une somme pondérée, le neurone additionne les produits des valeurs et des pondérations pertinentes. Par exemple, supposons que l'entrée correspondante dans un neurone se compose des éléments suivants:

valeur d'entrée	Pondération de l'entrée
2	-1,3
-1	0,6
3	0,4

La somme pondérée est donc :

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Supposons que le concepteur de ce réseau de neurones choisit la fonction sigmoïde comme fonction d'activation. Dans ce cas, le neurone calcule la sigmoïde de -2.0, soit approximativement 0,12. Par conséquent, le neurone transmet 0,12 (plutôt que -2,0) à la couche suivante du réseau de neurones. La figure suivante illustre la partie pertinente du processus:

---

intelligence artificielle

#fundamentals

Un programme non humain ou un modèle capable de résoudre des tâches sophistiquées. Par exemple, un programme ou un modèle qui traduit du texte, ou un programme ou un modèle qui identifie des maladies à partir d'images radiologiques présentent toutes deux une intelligence artificielle.

Officiellement, le machine learning est un sous-domaine de l'intelligence artificielle. Toutefois, ces dernières années, certaines organisations ont commencé à utiliser les termes intelligence artificielle et machine learning de manière interchangeable.

AUC (aire sous la courbe ROC)

#fundamentals

Nombre compris entre 0,0 et 1,0 représentant la capacité d'un modèle de classification binaire à séparer les classes positives des classes négatives. Plus l'AUC est proche de 1,0, plus le modèle est capable de séparer les classes les unes des autres.

L'illustration ci-dessous illustre un modèle de classificateur qui sépare parfaitement les classes positives (ovules verts) des classes négatives (rectangles violets). Ce modèle irréalisable a une AUC de 1,0:

À l'inverse, l'illustration ci-dessous présente les résultats d'un modèle de classificateur ayant généré des résultats aléatoires. L'AUC de ce modèle est de 0,5:

Oui, l'AUC du modèle précédent est de 0,5, et non de 0,0.

La plupart des modèles se situent entre les deux extrêmes. Par exemple, le modèle suivant distingue un peu les positifs et les négatifs, et présente donc une AUC comprise entre 0,5 et 1,0:

L'AUC ignore toute valeur définie pour le seuil de classification. L'AUC tient compte de tous les seuils de classification possibles.

Cliquez sur l'icône pour en savoir plus sur la relation entre les courbes AUC et ROC.

L'AUC représente l'aire sous une courbe ROC. Par exemple, la courbe ROC d'un modèle qui sépare complètement les positifs des négatifs se présente comme suit:

L'AUC correspond à la zone grise de l'illustration précédente. Dans ce cas inhabituel, la zone correspond simplement à la longueur de la zone grise (1.0) multipliée par la largeur de la zone grise (1.0). Ainsi, le produit de 1,0 et de 1,0 produit un AUC exact de 1,0, qui est le score AAU le plus élevé possible.

À l'inverse, la courbe ROC d'un classificateur qui ne peut pas du tout séparer les classes est la suivante : La zone de cette zone grise est 0,5.

Une courbe ROC plus typique se présente comme suit:

Il serait fastidieux de calculer manuellement l'aire sous cette courbe. C'est pourquoi un programme calcule généralement la plupart des valeurs AUC.

---

Cliquez sur cette icône pour obtenir une définition plus formelle de l'AUC.

L'AUC indique qu'un classificateur est plus certain qu'un exemple positif choisi aléatoirement est positif qu'un exemple négatif choisi aléatoirement est positif.

---

Mrds

rétropropagation

#fundamentals

Algorithme qui implémente la descente de gradient dans les réseaux de neurones.

L'entraînement d'un réseau de neurones implique de nombreuses itérations du cycle en deux passages suivant:

1. Pendant la passe avant, le système traite un lot d'exemples pour générer des prédictions. Le système compare chaque prédiction à chaque valeur d'étiquette. La différence entre la prédiction et la valeur de l'étiquette correspond à la perte de cet exemple. Le système agrège les pertes pour tous les exemples afin de calculer la perte totale pour le lot actuel.
2. Pendant la rétropropagation (rétropropagation), le système réduit la perte en ajustant les pondérations de tous les neurones dans la ou les couches cachées.

Les réseaux de neurones contiennent souvent de nombreux neurones sur de nombreuses couches cachées. Chacun de ces neurones contribue à la perte globale de façon différente. La rétropropagation détermine s'il faut augmenter ou diminuer les pondérations appliquées à des neurones particuliers.

Le taux d'apprentissage est un multiplicateur qui contrôle le degré d'augmentation ou de diminution de chaque pondération pour chaque rétropropagation. Un taux d'apprentissage élevé augmente ou diminue chaque pondération plus qu'un petit taux d'apprentissage.

En termes de calcul, la rétropropagation met en œuvre la règle de chaîne de calcul. Autrement dit, la rétropropagation calcule la dérivée partielle de l'erreur par rapport à chaque paramètre. Pour en savoir plus, consultez ce tutoriel du cours d'initiation au machine learning.

Il y a des années, les professionnels du ML ont dû écrire du code pour implémenter la rétropropagation. Les API de ML modernes telles que TensorFlow implémentent désormais la rétropropagation pour vous. Ouf !

lot

#fundamentals

Ensemble d'exemples utilisés dans une itération d'entraînement. La taille de lot détermine le nombre d'exemples dans un lot.

Pour comprendre le lien entre un lot et une epoch, consultez la section epoch.

taille de lot

#fundamentals

Nombre d'exemples dans un lot. Par exemple, si la taille de lot est de 100, le modèle traite 100 exemples par itération.

Voici quelques stratégies de taille de lot populaires:

• Descente de gradient stochastique (SGD), dans laquelle la taille de lot est 1.
• Un lot complet, dans lequel la taille du lot correspond au nombre d'exemples dans l'ensemble d'entraînement. Par exemple, si l'ensemble d'entraînement contient un million d'exemples, la taille de lot correspond à un million d'exemples. Un lot complet est généralement une stratégie inefficace.
• mini-lot dans lequel la taille de lot est généralement comprise entre 10 et 1 000. Le mini-lot est généralement la stratégie la plus efficace.

biais (éthique/équité)

#fairness

#fundamentals

1. Stéréotypage, préjudice ou favoritisme envers certains objets, personnes ou groupes par rapport à d'autres. Ces biais peuvent affecter la collecte et l'interprétation des données, la conception d'un système et la manière dont les utilisateurs interagissent avec celui-ci. Les formes de ce type de biais sont les suivantes:

• biais d'automatisation
• biais de confirmation
• biais du testeur
• biais d'attribution de groupe
• biais implicite
• biais d'appartenance
• biais d'homogénéité de l'exogroupe

2. Erreur systématique introduite par une procédure d'échantillonnage ou de création de rapports. Les formes de ce type de biais sont les suivantes:

• biais de couverture
• biais de non-réponse
• biais de participation
• biais de fréquence
• biais d'échantillonnage
• biais de sélection

À ne pas confondre avec le terme biaisé dans les modèles de machine learning ou le biais de prédiction.

biais (mathématique) ou terme de biais

#fundamentals

Une interception ou un décalage par rapport à une origine. Le biais est un paramètre utilisé dans les modèles de machine learning, symbolisé par l'un des éléments suivants:

• M
• m₀

Par exemple, b est le biais de la formule suivante:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Dans une ligne simple à deux dimensions, le biais correspond simplement à "ordonnée à l'origine". Par exemple, le biais de la ligne de l'illustration suivante est 2.

Il existe un biais, car tous les modèles ne commencent pas à partir de l'origine (0,0). Par exemple, supposons que le parc d'attractions coûte 2 euros et 0,5 euro supplémentaire par heure de séjour. Par conséquent, un modèle mappant le coût total présente un biais de 2, car le coût le plus bas est de 2 euros.

Il ne faut pas confondre les biais avec les biais d'éthique et d'équité ni de biais de prédiction.

classification binaire

#fundamentals

Type de tâche de classification qui prédit l'une des deux classes mutuellement exclusives:

• Classe positive
• Classe négative

Par exemple, les deux modèles de machine learning suivants effectuent chacun une classification binaire:

• Un modèle qui détermine si les e-mails sont du spam (classe positive) ou non spam (classe négative).
• Modèle qui évalue les symptômes médicaux pour déterminer si une personne présente une maladie particulière (classe positive) ou n'a pas cette maladie (classe négative).

À comparer à la classification à classes multiples.

Consultez également les sections Régression logistique et Seuil de classification.

binning

#fundamentals

Conversion d'une seule caractéristique en plusieurs bins appelés buckets ou bins, généralement basés sur une plage de valeurs. Il s'agit généralement d'une fonctionnalité continue.

Par exemple, au lieu de représenter la température sous la forme d'une seule caractéristique continue à virgule flottante, vous pouvez hacher des plages de températures dans des buckets distincts, tels que:

• <= 10 degrés Celsius correspond au bucket "froid".
• 11 à 24 degrés Celsius serait le bucket "tempéré".
• >= 25 degrés Celsius serait un "bucket chaud".

Le modèle va traiter toutes les valeurs d'un même bucket de façon identique. Par exemple, les valeurs 13 et 22 se trouvent dans le bucket tempéré. Le modèle traite donc les deux valeurs de manière identique.

Cliquez sur l'icône pour afficher d'autres notes.

Si vous représentez la température en tant que caractéristique continue, le modèle traite la température comme une seule caractéristique. Si vous représentez la température sous la forme de trois buckets, le modèle traite chaque bucket comme une caractéristique distincte. Autrement dit, un modèle peut apprendre des relations distinctes entre chaque bucket et l'étiquette. Par exemple, un modèle de régression linéaire peut apprendre des pondérations distinctes pour chaque bucket.

L'augmentation du nombre de buckets rend votre modèle plus compliqué en augmentant le nombre de relations qu'il doit apprendre. Par exemple, les buckets froids, tempérés et chauds sont trois caractéristiques distinctes pour l'entraînement de votre modèle. Si vous décidez d'ajouter deux autres buckets, par exemple "gel" et "à chaud", votre modèle devra maintenant être entraîné avec cinq caractéristiques distinctes.

Comment connaître le nombre de buckets à créer ou les plages pour chaque bucket ? Les réponses nécessitent généralement un certain nombre de tests.

---

C

données catégorielles

#fundamentals

Caractéristiques ayant un ensemble spécifique de valeurs possibles. Prenons l'exemple d'une caractéristique catégorielle nommée traffic-light-state, qui ne peut avoir que l'une des trois valeurs suivantes:

• red
• yellow
• green

En représentant traffic-light-state en tant que caractéristique catégorielle, un modèle peut apprendre les différents impacts de red, green et yellow sur le comportement du conducteur.

Les caractéristiques catégorielles sont parfois appelées caractéristiques discrètes.

À comparer aux données numériques.

classe

#fundamentals

Catégorie à laquelle un libellé peut appartenir. Exemple :

• Dans un modèle de classification binaire qui détecte du spam, les deux classes peuvent être du spam et du non-spam.
• Dans un modèle de classification à classes multiples qui identifie les races de chien, les classes peuvent être caniche, beagle, pug, etc.

Un modèle de classification prédit une classe. En revanche, un modèle de régression prédit un nombre plutôt qu'une classe.

modèle de classification

#fundamentals

Modèle dont la prédiction est une classe Voici, par exemple, tous les modèles de classification:

• Modèle capable de prédire la langue d'une phrase d'entrée (français) Espagnol ? l'italien ?).
• Modèle permettant de prédire les espèces d'arbres (Érable) Chêne ? Baobab?).
• Modèle capable de prédire la classe positive ou négative pour une pathologie spécifique.

En revanche, les modèles de régression prédisent des nombres plutôt que des classes.

Il existe deux types de modèles de classification courants:

• classification binaire
• classification à classes multiples

seuil de classification

#fundamentals

Dans une classification binaire, un nombre compris entre 0 et 1 qui convertit la sortie brute d'un modèle de régression logistique en une prédiction de la classe positive ou de la classe négative. Notez que le seuil de classification est une valeur choisie par un humain, et non une valeur choisie par l'entraînement du modèle.

Un modèle de régression logistique génère une valeur brute comprise entre 0 et 1. Alors :

• Si cette valeur brute est supérieure au seuil de classification, la classe positive est prédite.
• Si cette valeur brute est inférieure au seuil de classification, la classe négative est prédite.

Par exemple, supposons que le seuil de classification soit de 0,8. Si la valeur brute est de 0,9, le modèle prédit la classe positive. Si la valeur brute est de 0,7, le modèle prédit la classe négative.

Le choix du seuil de classification influence fortement le nombre de faux positifs et de faux négatifs.

Cliquez sur l'icône pour afficher d'autres notes.

À mesure que les modèles ou les ensembles de données évoluent, les ingénieurs peuvent parfois modifier le seuil de classification. Lorsque le seuil de classification change, les prédictions de classes positives peuvent soudainement devenir des classes négatives et inversement.

Prenons l'exemple d'un modèle de prédiction de maladie binaire de classification. Supposons que le système s'exécute la première année:

• La valeur brute d'un patient est de 0,95.
• Le seuil de classification est de 0,94.

Par conséquent, le système diagnostique la classe positive. (le patient halète : "Oh non ! je suis malade !")

Un an plus tard, les valeurs peuvent maintenant se présenter comme suit:

• La valeur brute d'un même patient reste à 0,95.
• Le seuil de classification passe à 0,97.

Par conséquent, le système classe à nouveau ce patient comme étant une classe négative. ("Bonne journée ! Je ne suis pas malade.") Même patient. Diagnostic différent.

---

ensemble de données avec déséquilibre des classes

#fundamentals

Ensemble de données pour un problème de classification dans lequel le nombre total d'étiquettes de chaque classe diffère considérablement. Prenons l'exemple d'un ensemble de données de classification binaire dont les deux étiquettes sont divisées comme suit:

• 1 000 000 d'étiquettes à exclure
• 10 étiquettes positives

Le ratio d'étiquettes négatives et positives est de 100 000 pour 1. Il s'agit donc d'un ensemble de données avec déséquilibre des classes.

En revanche, l'ensemble de données suivant n'est pas déséquilibré, car le ratio entre les étiquettes négatives et positives est relativement proche de 1:

• 517 étiquettes à exclure
• 483 étiquettes positives

Les ensembles de données à classes multiples peuvent également être déséquilibrés. Par exemple, l'ensemble de données de classification à classes multiples suivant est également déséquilibré, car une étiquette comporte beaucoup plus d'exemples que les deux autres:

• 1 000 000 d'étiquettes avec la classe "vert"
• 200 étiquettes avec la classe "violet"
• 350 étiquettes avec la classe "orange"

Consultez également les sections entropie, classe principale et classe minoritaire.

bornement

#fundamentals

Technique pour gérer les anomalies en effectuant l'une des opérations suivantes ou les deux:

• Réduisez les valeurs de caractéristique supérieures à un seuil maximal.
• Augmenter les valeurs de caractéristiques inférieures à un seuil minimal par rapport à ce seuil minimal

Par exemple, supposons que moins de 0,5% des valeurs d'une caractéristique particulière ne soient pas comprises entre 40 et 60. Dans ce cas, vous pouvez procéder comme suit:

• Couper toutes les valeurs supérieures à 60 (seuil maximal) pour qu'elles soient exactement 60.
• Rogner toutes les valeurs inférieures à 40 (seuil minimal) pour qu'elles soient exactement 40.

Les anomalies peuvent endommager les modèles, ce qui entraîne parfois un dépassement de pondérations pendant l'entraînement. Certaines anomalies peuvent également gâcher considérablement les métriques telles que la précision. Il s'agit d'une technique courante pour limiter les dommages.

L'écrêtage de gradient force les valeurs de gradient dans une plage désignée pendant l'entraînement.

Matrice de confusion

#fundamentals

Une table NxN qui résume le nombre de prédictions correctes et incorrectes effectuées par un modèle de classification. Prenons l'exemple de la matrice de confusion suivante pour un modèle de classification binaire:

	Tumor (prédiction)	Non-Tumor (prédiction)
Tumor (vérité terrain)	18 (VP)	1 (FN)
Non-Tumor (vérité terrain)	6 (FP)	452 (TN)

La matrice de confusion précédente affiche les éléments suivants:

• Sur les 19 prédictions pour lesquelles vérité terrain était Tumor, le modèle a correctement classé 18 et incorrectement classé 1.
• Sur les 458 prédictions pour lesquelles la vérité terrain était "Non-Tumor", le modèle a correctement classé 452 et incorrectement classé 6.

La matrice de confusion pour un problème de classification à classes multiples peut vous aider à identifier des modèles d'erreurs. Prenons l'exemple de la matrice de confusion suivante pour un modèle de classification à classes multiples à trois classes qui classe trois types d'iris différents (Virginia, Versicolor et Setosa). Lorsque la vérité terrain était Virginica, la matrice de confusion montre que le modèle était beaucoup plus susceptible de prédire par erreur Versicolor que Setosa:

	Setosa (prédiction)	Versicolor (prédiction)	Virginie (prédiction)
Setosa (vérité terrain)	88	12	0
Versicolor (vérité terrain)	6	141	7
Virginie (vérité terrain)	2	27	109

Autre matrice : une matrice de confusion peut révéler qu'un modèle entraîné à reconnaître des chiffres manuscrits a tendance à prédire par erreur 9 au lieu de 4, ou avoir prédit par erreur 1 au lieu de 7.

Les matrices de confusion contiennent suffisamment d'informations pour calculer diverses métriques de performance, y compris la précision et le rappel.

caractéristique continue

#fundamentals

Caractéristique en virgule flottante avec une plage infinie de valeurs telles que la température ou la pondération.

À comparer à la fonctionnalité discrète.

convergence

#fundamentals

Un état atteint lorsque les valeurs de loss changent très peu, voire pas du tout, à chaque itération. Par exemple, la courbe de perte suivante suggère une convergence à environ 700 itérations:

Un modèle converge lorsqu'un entraînement supplémentaire ne l'améliore pas.

Dans le deep learning, les valeurs de perte restent parfois constantes, ou presque, pendant de nombreuses itérations avant de finir par une descente. Sur une longue période avec des valeurs de perte constantes, vous pouvez temporairement ressentir un sentiment de convergence.

Consultez également la section Arrêt prématuré.

D

DataFrame

#fundamentals

Type de données pandas populaire permettant de représenter les ensembles de données en mémoire.

Un DataFrame est semblable à une table ou à une feuille de calcul. Chaque colonne d'un DataFrame possède un nom (un en-tête) et chaque ligne est identifiée par un numéro unique.

Chaque colonne d'un DataFrame est structurée comme un tableau bidimensionnel, si ce n'est que chaque colonne peut avoir son propre type de données.

Consultez également la page de référence officielle pandas.DataFrame.

ensemble de données ou ensemble de données

#fundamentals

Ensemble de données brutes, généralement (mais pas exclusivement) organisées dans l'un des formats suivants:

• une feuille de calcul
• Fichier au format CSV (valeurs séparées par une virgule)

modèle profond

#fundamentals

Un réseau de neurones contenant plusieurs couches cachées

Un modèle profond est également appelé réseau de neurones profond.

À comparer au modèle large.

caractéristique dense

#fundamentals

Caractéristique dans laquelle la plupart ou la totalité des valeurs ne sont pas nulles, généralement un Tensor de valeurs à virgule flottante. Par exemple, le Tensor à 10 éléments suivant est dense, car neuf de ses valeurs sont différentes de zéro:

8

3

7

5

2

4

0

4

9

6

À comparer à la caractéristique creuse.

depth

#fundamentals

Somme des éléments suivants dans un réseau de neurones:

• Nombre de couches cachées
• Nombre de couches de sortie (généralement 1)
• le nombre de couches d'intégration ;

Par exemple, un réseau de neurones avec cinq couches cachées et une couche de sortie présente une profondeur de six couches.

Notez que la couche d'entrée n'a pas d'incidence sur la profondeur.

caractéristique discrète

#fundamentals

Caractéristique avec un ensemble limité de valeurs possibles. Par exemple, une caractéristique dont les valeurs peuvent être uniquement animal, légume ou minéral est une caractéristique discrète (ou catégorielle).

À comparer aux caractéristiques continues.

dynamic

#fundamentals

vous effectuez quelque chose fréquemment ou en continu ; Les termes dynamique et en ligne sont des synonymes en machine learning. Les cas d'utilisation courants de machine learning dynamiques et en ligne sont les suivants:

• Un modèle dynamique (ou modèle en ligne) est un modèle qui est entraîné à nouveau fréquemment ou en continu.
• L'entraînement dynamique (ou entraînement en ligne) est un processus d'entraînement fréquent ou continu.
• L'inférence dynamique (ou inférence en ligne) est le processus de génération de prédictions à la demande.

modèle dynamique

#fundamentals

Modèle fréquemment entraîné (peut-être de manière continue) Un modèle dynamique est un "apprentissage continu" qui s'adapte constamment à l'évolution des données. Un modèle dynamique est également appelé modèle en ligne.

À comparer au modèle statique.

E

arrêt prématuré

#fundamentals

Méthode de régularisation impliquant l'arrêt de l'entraînement avant la fin de la perte d'entraînement. Vous arrêtez volontairement l'entraînement du modèle lorsque la perte sur un ensemble de données de validation augmente, c'est-à-dire lorsque les performances de la généralisation se dégradent.

Cliquez sur l'icône pour afficher d'autres notes.

L'arrêt prématuré peut sembler contre-intuitif. Après tout, dire à un modèle d'arrêter l'entraînement alors que la perte diminue encore peut donner l'impression à un chef d'arrêter la cuisson avant que le dessert ne soit terminé. Toutefois, l'entraînement d'un modèle trop longtemps peut entraîner un surapprentissage. Autrement dit, si vous entraînez un modèle trop longtemps, celui-ci peut s'adapter si étroitement aux données d'entraînement qu'il ne génère pas de bonnes prédictions sur de nouveaux exemples.

---

Couche de représentation vectorielle continue

#language

#fundamentals

Couche cachée spéciale qui s'entraîne sur une caractéristique catégorielle de dimension élevée pour apprendre progressivement un vecteur de représentation vectorielle continue de dimension inférieure. Une couche de représentations vectorielles continues permet à un réseau de neurones d'effectuer un entraînement beaucoup plus efficacement que l'entraînement sur la caractéristique catégorielle à haute dimension.

Par exemple, la Terre abrite actuellement environ 73 000 espèces d'arbres. Supposons que l'espèce soit une caractéristique de votre modèle. La couche d'entrée de votre modèle comprend donc un vecteur one-hot de 73 000 éléments. Par exemple, baobab serait représenté comme suit:

Un tableau de 73 000 éléments est très long. Si vous n'ajoutez pas de couche de représentations vectorielles continues au modèle, l'entraînement prendra beaucoup de temps en raison de la multiplication de 72 999 zéros. Vous choisissez peut-être la couche de représentations vectorielles continues pour comporter 12 dimensions. Par conséquent, le calque de représentation vectorielle continue apprend progressivement un nouveau vecteur de représentation vectorielle continue pour chaque espèce d'arbre.

Dans certains cas, le hachage est une alternative raisonnable à une couche de représentations vectorielles continues.

epoch

#fundamentals

Un entraînement complet sur l'ensemble de l'ensemble d'entraînement de sorte que chaque exemple ait été traité une fois.

Une époque représente les itérations d'entraînement N/par lot, où N correspond au nombre total d'exemples.

Par exemple:

• L'ensemble de données comprend 1 000 exemples.
• La taille de lot est de 50 exemples.

Par conséquent, une epoch unique nécessite 20 itérations:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

exemple

#fundamentals

Valeurs d'une ligne de caractéristiques et, éventuellement, d'une étiquette. Les exemples d'apprentissage supervisé appartiennent à deux catégories générales:

• Un exemple avec étiquette se compose d'une ou de plusieurs caractéristiques et d'une étiquette. Les exemples étiquetés sont utilisés pendant l'entraînement.
• Un exemple sans étiquette se compose d'une ou de plusieurs caractéristiques, mais pas d'étiquette. Les exemples sans étiquette sont utilisés lors de l'inférence.

Par exemple, supposons que vous entraîniez un modèle pour déterminer l'influence des conditions météorologiques sur les résultats aux examens des élèves. Voici trois exemples étiquetés:

Fonctionnalités			Libellé
Température	Humidité	Pression	Score du test
15	47	998	Satisfaisantes
19	34	1020	Excellent
18	92	1012	Médiocre

Voici trois exemples sans étiquette:

Température	Humidité	Pression
12	62	1014
21	47	1017
19	41	1021

La ligne d'un ensemble de données correspond généralement à la source brute d'un exemple. Autrement dit, un exemple consiste généralement en un sous-ensemble de colonnes de l'ensemble de données. De plus, les caractéristiques d'un exemple peuvent également inclure des caractéristiques synthétiques, telles que les croisements de caractéristiques.

F

faux négatif (FN)

#fundamentals

Exemple dans lequel le modèle prédit par erreur la classe négative. Par exemple, le modèle prédit qu'un e-mail particulier n'est pas du spam (la classe négative), mais qu'il s'agit en réalité d'un spam.

faux positif (FP)

#fundamentals

Exemple dans lequel le modèle prédit par erreur la classe positive. Par exemple, le modèle prédit qu'un e-mail particulier est du spam (la classe positive), mais que cet e-mail n'est pas un spam.

taux de faux positifs (TFP)

#fundamentals

Proportion d'exemples négatifs réels pour lesquels le modèle a prédit à tort la classe positive. La formule suivante calcule le taux de faux positifs:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

Le taux de faux positifs correspond à l'axe des abscisses d'une courbe ROC.

fonctionnalité

#fundamentals

Variable d'entrée pour un modèle de machine learning. Un exemple contient une ou plusieurs caractéristiques. Par exemple, supposons que vous entraîniez un modèle pour déterminer l'influence des conditions météorologiques sur les résultats aux examens des élèves. Le tableau suivant présente trois exemples, chacun contenant trois caractéristiques et un libellé:

Fonctionnalités			Libellé
Température	Humidité	Pression	Score du test
15	47	998	92
19	34	1020	84
18	92	1012	87

À comparer au libellé.

croisement de caractéristiques

#fundamentals

Caractéristique synthétique formée par des caractéristiques catégorielles ou en buckets "croisées".

Prenons l'exemple d'un modèle de "prévision de l'humeur" qui représente la température dans l'un des quatre buckets suivants:

• freezing
• chilly
• temperate
• warm

Il représente la vitesse du vent dans l'un des trois segments suivants:

• still
• light
• windy

Sans croisements de caractéristiques, le modèle linéaire s'entraîne indépendamment sur chacun des sept buckets précédents. Ainsi, le modèle s'entraîne, par exemple, avec freezing indépendamment de l'entraînement sur windy.

Vous pouvez également créer un croisement de caractéristiques de température et de vitesse du vent. Cette fonctionnalité synthétique pourrait avoir les 12 valeurs suivantes:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Grâce aux croisements de caractéristiques, le modèle peut apprendre les différences d'humeur entre un jour freezing-windy et un jour freezing-still.

Si vous créez une caractéristique synthétique à partir de deux caractéristiques comportant chacune de nombreux buckets différents, le croisement de caractéristiques résultant sera associé à un grand nombre de combinaisons possibles. Par exemple, si une caractéristique contient 1 000 buckets et que l'autre en compte 2 000, le croisement de caractéristiques obtenu comprend 2 000 000 buckets.

Officiellement, le croisement est un produit cartésien.

Les croisements de caractéristiques sont principalement utilisés avec des modèles linéaires et sont rarement utilisés avec des réseaux de neurones.

extraction de caractéristiques

#fundamentals

#TensorFlow

Un processus comprend les étapes suivantes:

1. Déterminer les caractéristiques qui pourraient s'avérer utiles pour entraîner un modèle.
2. Convertir des données brutes de l'ensemble de données en versions efficaces de ces caractéristiques

Par exemple, vous pouvez déterminer que temperature peut être une fonctionnalité utile. Vous pouvez ensuite tester le binning pour optimiser ce que le modèle peut apprendre à partir de différentes plages temperature.

L'extraction de caractéristiques est parfois appelée extraction de caractéristiques.

Cliquez sur l'icône pour obtenir d'autres notes sur TensorFlow.

Dans TensorFlow, l'extraction de caractéristiques implique souvent de convertir des entrées de fichier journal brutes en tampons de protocole tf.Example. Consultez également tf.Transform.

---

ensemble de caractéristiques

#fundamentals

Groupe de caractéristiques utilisé pour l'entraînement de votre modèle de machine learning. Par exemple, le code postal, la taille et l'état de la propriété peuvent comporter un ensemble de caractéristiques simple pour un modèle qui prédit le prix d'un logement.

vecteur de caractéristiques

#fundamentals

Tableau de valeurs feature comprenant un exemple Le vecteur de caractéristiques est saisi pendant l'entraînement et pendant l'inférence. Par exemple, le vecteur de caractéristiques d'un modèle comportant deux caractéristiques distinctes peut être:

[0.92, 0.56]

Chaque exemple fournit des valeurs différentes pour le vecteur de caractéristiques. Le vecteur de caractéristiques du prochain exemple peut donc se présenter comme suit:

[0.73, 0.49]

L'extraction de caractéristiques détermine comment représenter les caractéristiques dans le vecteur de caractéristiques. Par exemple, une caractéristique catégorielle binaire avec cinq valeurs possibles peut être représentée par un encodage one-hot. Dans ce cas, la partie du vecteur de caractéristiques d'un exemple particulier serait constituée de quatre zéros et d'un seul 1,0 en troisième position, comme suit:

[0.0, 0.0, 1.0, 0.0, 0.0]

Supposons maintenant que votre modèle comporte trois caractéristiques:

• Une caractéristique catégorielle binaire avec cinq valeurs possibles représentées par un encodage one-hot (par exemple: [0.0, 1.0, 0.0, 0.0, 0.0])
• une autre caractéristique catégorielle binaire avec trois valeurs possibles représentées par un encodage one-hot ; par exemple: [0.0, 0.0, 1.0]
• Une caractéristique à virgule flottante, par exemple: 8.3

Dans ce cas, le vecteur de caractéristiques pour chaque exemple serait représenté par neuf valeurs. Compte tenu des exemples de valeurs de la liste précédente, le vecteur de caractéristiques serait:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

boucle de rétroaction

#fundamentals

En machine learning, les prédictions d'un modèle influencent les données d'entraînement du même modèle ou d'un autre. Par exemple, un modèle qui recommande des films influencera les films que les utilisateurs pourront voir, ce qui aura un impact sur les modèles de recommandation de films suivants.

G

généralisation

#fundamentals

Capacité d'un modèle à effectuer des prédictions correctes sur de nouvelles données auparavant inconnues. Un modèle pouvant être généralisé est l'inverse du surapprentissage.

Cliquez sur l'icône pour afficher d'autres notes.

Vous entraînez un modèle sur la base des exemples de l'ensemble d'entraînement. Par conséquent, le modèle apprend les particularités des données dans l'ensemble d'entraînement. La généralisation demande essentiellement si votre modèle peut faire de bonnes prédictions sur des exemples qui ne sont pas présents dans l'ensemble d'entraînement.

Pour encourager la généralisation, une régularisation permet d'entraîner moins un modèle exactement en fonction des particularités des données de l'ensemble d'entraînement.

---

courbe de généralisation

#fundamentals

Un graphique représentant à la fois la perte d'entraînement et la perte de validation en tant que fonction du nombre d'itérations.

Une courbe de généralisation peut vous aider à détecter un éventuel surapprentissage. Par exemple, la courbe de généralisation suivante suggère un surapprentissage, car la perte de validation devient finalement beaucoup plus élevée que la perte d'entraînement.

descente de gradient

#fundamentals

Technique mathématique permettant de minimiser la perte. La descente de gradient ajuste les pondérations et les biais de façon progressive afin de trouver progressivement la meilleure combinaison pour minimiser la perte.

La descente de gradient est plus ancienne (beaucoup plus ancienne) que le machine learning.

vérité terrain

#fundamentals

Réalité ?

Ce qui s'est passé.

Prenons l'exemple d'un modèle de classification binaire qui prédit si un étudiant de sa première année d'université recevra son diplôme dans les six ans. Pour ce modèle, la vérité terrain est de savoir si l'étudiant a effectivement obtenu son diplôme dans les six ans.

Cliquez sur l'icône pour afficher d'autres notes.

Nous évaluons la qualité du modèle par rapport à la vérité terrain. Cependant, la vérité terrain n'est pas toujours parfaite. Prenons l'exemple des exemples suivants d'imperfections potentielles en vérité terrain:

• Dans l'exemple de remise des diplômes, sommes-nous certains que les dossiers de chaque élève sont toujours corrects ? Les travaux d'archivage de l'université sont-ils parfaitement conformes ?
• Supposons que l'étiquette soit une valeur à virgule flottante mesurée par des instruments (par exemple, des baromètres). Comment s'assurer que chaque instrument est calibré de la même manière ou que chaque lecture a été effectuée dans les mêmes circonstances ?
• Si l'étiquette est liée à une opinion humaine, comment pouvons-nous être sûrs que chaque évaluateur humain évalue les événements de la même manière ? Pour améliorer la cohérence, des évaluateurs manuels experts interviennent parfois.

---

H

couche cachée

#fundamentals

Une couche dans un réseau de neurones entre la couche d'entrée (caractéristiques) et la couche de sortie (prédiction). Chaque couche cachée comprend un ou plusieurs neurones. Par exemple, le réseau de neurones suivant contient deux couches cachées, la première avec trois neurones et la seconde avec deux neurones:

Un réseau de neurones profond contient plusieurs couches cachées. Par exemple, l'illustration précédente est un réseau de neurones profond, car le modèle contient deux couches cachées.

hyperparamètre

#fundamentals

Les variables que vous ou un service de réglage des hyperparamètresajustez sont successives lors de l'entraînement successif d'un modèle. Par exemple, taux d'apprentissage est un hyperparamètre. Vous pouvez définir le taux d'apprentissage sur 0,01 avant une session d'entraînement. Si vous déterminez que 0,01 est trop élevé, vous pouvez peut-être définir le taux d'apprentissage sur 0,003 pour la prochaine session d'entraînement.

En revanche, les paramètres sont les différentes pondérations et biais que le modèle apprend lors de l'entraînement.

I

Répartition indépendante et identique (i.d.)

#fundamentals

Données extraites d'une distribution qui ne change pas et pour lesquelles chaque valeur dessinée ne dépend pas de valeurs déjà dessinées. Un iid est le gaz idéal du machine learning. C'est une construction mathématique utile qui ne se trouve pratiquement jamais dans le monde réel. Par exemple, la distribution des visiteurs d'une page Web peut se produire au cours d'une courte période, c'est-à-dire qu'elle ne change pas pendant cette courte période et que la visite d'un utilisateur est généralement indépendante de la visite d'un autre. Cependant, si vous étendez cette période, des différences saisonnières au niveau des visiteurs de la page Web peuvent apparaître.

Voir également la section Nonstationarité.

Inférence

#fundamentals

En machine learning, processus d'application de prédictions en appliquant un modèle entraîné à des exemples sans étiquette.

L'inférence a une signification légèrement différente dans les statistiques. Pour en savoir plus, consultez l' article Wikipédia sur l'inférence statistique.

couche d'entrée

#fundamentals

La couche d'un réseau de neurones qui contient le vecteur de caractéristiques. Autrement dit, la couche d'entrée fournit des exemples pour l'entraînement ou l'inférence. Par exemple, la couche d'entrée du réseau de neurones suivant comprend deux caractéristiques:

interprétabilité

#fundamentals

Capacité à expliquer ou à présenter le raisonnement d'un modèle de ML de façon compréhensible à un être humain

La plupart des modèles de régression linéaire, par exemple, sont hautement interprétables. (Il vous suffit d'examiner les pondérations entraînées pour chaque caractéristique.) Les forêts d'arbres décisionnels sont également hautement interprétables. Toutefois, certains modèles ont besoin d'une visualisation sophistiquée pour pouvoir les interpréter.

itération

#fundamentals

Mise à jour unique des paramètres d'un modèle (pondérations et biais du modèle) lors de l'entraînement. La taille de lot détermine le nombre d'exemples traités par le modèle en une seule itération. Par exemple, si la taille de lot est de 20, le modèle traite 20 exemples avant d'ajuster les paramètres.

Lors de l'entraînement d'un réseau de neurones, une seule itération implique les deux passes suivantes:

1. Transmission avant pour évaluer la perte sur un seul lot.
2. Rétropropagation (rétropropagation) permettant d'ajuster les paramètres du modèle en fonction de la perte et du taux d'apprentissage.

L

Régularisation L₀

#fundamentals

Type de régularisation qui pénalise le nombre total de pondérations non nulles dans un modèle. Par exemple, un modèle avec 11 pondérations non nulles sera pénalisé plus souvent qu'un modèle similaire avec 10 pondérations non nulles.

La régularisation L₀ est parfois appelée régularisation L0-norm.

Cliquez sur l'icône pour afficher d'autres notes.

La régularisation L₀ est généralement peu pratique dans les grands modèles, car elle entraîne un problème d'optimisation convexe.

---

Perte L₁

#fundamentals

Une fonction de perte qui calcule la valeur absolue de la différence entre les valeurs réelles d'étiquette et les valeurs prédites par un modèle. Par exemple, voici le calcul de la perte L₁ pour un lot de cinq exemples:

Valeur réelle de l'exemple	Valeur prédite du modèle	Valeur absolue de delta
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = perte L1

La perte L₁ est moins sensible aux anomalies que la perte L₂.

L'erreur absolue moyenne correspond à la perte L₁en moyenne par exemple.

Cliquez sur l'icône pour afficher le résultat.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

où :

• $n$ correspond au nombre d'exemples.
• $y$ correspond à la valeur réelle de l'étiquette.
• $\hat{y}$ est la valeur prédite par le modèle pour $y$.

---

Régularisation L₁

#fundamentals

Type de régularisation qui pénalise les pondérations proportionnellement à la somme de la valeur absolue des pondérations. La régularisation L₁aide à augmenter la pondération des caractéristiques non pertinentes ou à peu près pertinentes pour exactement 0. Une caractéristique ayant une pondération de 0 est supprimée du modèle.

À comparer à la régularisation L₂.

Perte L₂

#fundamentals

Une fonction de perte qui calcule le carré de la différence entre les valeurs réelles d'étiquette et les valeurs prédites par un modèle. Par exemple, voici le calcul de la perte L₂ pour un lot de cinq exemples:

Valeur réelle de l'exemple	Valeur prédite du modèle	Carré du delta
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = perte L2

En raison de la mise au carré, la perte L₂ amplifie l'influence des anomalies. Autrement dit, la perte L₂ réagit plus fortement aux prédictions incorrectes que la perte L₁. Par exemple, la perte L₁ pour le lot précédent serait de 8 au lieu de 16. Notez qu'une seule anomalie représente 9 des 16 anomalies.

Les modèles de régression utilisent généralement la perte L₂ en tant que fonction de perte.

L'erreur quadratique moyenne correspond à la perte moyenne L₂ par exemple. Le terme perte quadratique désigne la perte L₂.

Cliquez sur l'icône pour afficher le résultat.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

où :

• $n$ correspond au nombre d'exemples.
• $y$ correspond à la valeur réelle de l'étiquette.
• $\hat{y}$ est la valeur prédite par le modèle pour $y$.

---

Régularisation L₂

#fundamentals

Type de régularisation qui pénalise les pondérations proportionnellement à la somme des carrés des pondérations. La régularisation L₂ permet de rapprocher les pondérations anomalies (celles avec des valeurs positives ou négatives élevées) plus proches de 0, mais pas tout à fait égale à 0. Les caractéristiques dont les valeurs sont très proches de 0 restent dans le modèle, mais n'influencent que peu la prédiction du modèle.

La régularisation L₂ améliore toujours la généralisation des modèles linéaires.

À comparer à la régularisation L₁.

étiquette

#fundamentals

Dans le machine learning supervisé, il s'agit de la partie "réponse" ou "résultat" d'un exemple.

Chaque exemple avec étiquette se compose d'une ou de plusieurs caractéristiques et d'une étiquette. Par exemple, dans un ensemble de données de détection de spam, l'étiquette serait probablement "spam" ou "non-spam". Dans un ensemble de données de précipitations, l'étiquette peut indiquer le niveau de pluie tombé au cours d'une certaine période.

exemple étiqueté

#fundamentals

Exemple contenant une ou plusieurs caractéristiques et une étiquette. Par exemple, le tableau suivant présente trois exemples étiquetés d'un modèle d'évaluation d'auto-promotion, chacun avec trois caractéristiques et une étiquette:

Nombre de chambres	Nombre de salles de bain	Âge de la maison	Prix de l'auto-promotion (étiquette)
3	2	15	345 000 $
2	1	72	179 000 $
4	2	34	392 000 $

Dans le machine learning supervisé, les modèles s'entraînent sur des exemples étiquetés et effectuent des prédictions sur des exemples sans étiquette.

Contraste des exemples étiquetés et non étiquetés.

lambda

#fundamentals

Synonyme de taux de régularisation.

Lambda est un terme surchargé. Nous nous concentrons ici sur la définition du terme dans la régularisation.

cachée)

#fundamentals

Ensemble de neurones dans un réseau de neurones. Il existe trois types de couches courantes:

• La couche d'entrée, qui fournit des valeurs pour toutes les caractéristiques.
• Une ou plusieurs couches cachées, qui identifient des relations non linéaires entre les caractéristiques et l'étiquette.
• La couche de sortie, qui fournit la prédiction.

L'illustration ci-dessous montre un réseau de neurones avec une couche d'entrée, deux couches cachées et une couche de sortie:

Dans TensorFlow, les couches sont également des fonctions Python qui acceptent les Tensors et les options de configuration en entrée et produisent d'autres Tensors en sortie.

taux d'apprentissage

#fundamentals

Nombre à virgule flottante qui indique l'algorithme de descente de gradient à quel point il convient d'ajuster les pondérations et les biais à chaque itération. Par exemple, un taux d'apprentissage de 0,3 ajusterait les pondérations et les biais trois fois plus efficacement qu'un taux d'apprentissage de 0,1.

Le taux d'apprentissage est un hyperparamètre clé. Si vous définissez un taux d'apprentissage trop faible, l'entraînement prendra trop de temps. Si vous définissez un taux d'apprentissage trop élevé, la descente de gradient a souvent du mal à atteindre la convergence.

Cliquez sur l'icône pour obtenir une explication mathématique plus détaillée.

À chaque itération, l'algorithme de descente de gradient multiplie le taux d'apprentissage par le gradient. Le produit obtenu est appelé étape de gradient.

---

modèle linéaire

#fundamentals

Modèle qui attribue une pondération par caractéristique pour effectuer des prédictions. Les modèles linéaires intègrent également des biais. En revanche, la relation entre les caractéristiques et les prédictions dans les modèles profonds est généralement non linéaire.

Les modèles linéaires sont généralement plus faciles à entraîner et plus interprétables que les modèles profonds. Toutefois, les modèles profonds peuvent apprendre des relations complexes entre les caractéristiques.

La régression linéaire et la régression logistique sont deux types de modèles linéaires.

Cliquez sur l'icône pour afficher le calcul.

Un modèle linéaire suit la formule suivante:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

où :

• y' est la prédiction brute. (Dans certains types de modèles linéaires, cette prédiction brute sera davantage modifiée. consultez Régression logistique).
• b correspond aux biais.
• w est une pondération. Ainsi, w₁ est la pondération de la première caractéristique, w₂ est la pondération de la deuxième caractéristique, etc.
• x est une caractéristique. Ainsi, x₁ est la valeur de la première caractéristique, x₂ est la valeur de la deuxième, et ainsi de suite.

Par exemple, supposons qu'un modèle linéaire pour trois caractéristiques apprendre les biais et les pondérations suivants :

• b = 7
• w₁ = -2,5
• w₂ = -1,2
• w₃ = 1,4

Par conséquent, avec trois caractéristiques (x₁, x₂ et x₃), le modèle linéaire utilise l'équation suivante pour générer chaque prédiction :

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

Supposons qu'un exemple particulier contienne les valeurs suivantes:

• x₁ = 4
• x₂ = -10
• x₃ = 5

En intégrant ces valeurs dans la formule, vous obtenez une prédiction pour cet exemple :

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

Les modèles linéaires incluent non seulement des modèles qui n'utilisent qu'une équation linéaire pour effectuer des prédictions, mais également un ensemble plus large de modèles qui utilisent une équation linéaire comme l'un des composants de la formule qui en génère. Par exemple, la régression logistique posttraite la prédiction brute (y') pour produire une valeur de prédiction finale comprise entre 0 et 1, exclusivement.

---

linear

#fundamentals

Relation entre deux variables ou plus pouvant être représentées uniquement par l'addition et la multiplication.

Un graphique linéaire représente une courbe.

À comparer au paramètre non linéaire.

régression linéaire

#fundamentals

Type de modèle de machine learning dans lequel les deux conditions suivantes sont remplies:

• Le modèle est un modèle linéaire.
• La prédiction est une valeur à virgule flottante. Il s'agit de la partie de régression de la régression linéaire.

Contrastez la régression linéaire avec la régression logistique. Vous pouvez également comparer la régression avec la classification.

régression logistique

#fundamentals

Type de modèle de régression qui prédit une probabilité. Les modèles de régression logistique présentent les caractéristiques suivantes:

• Le libellé est catégoriel. Le terme de régression logistique fait généralement référence à la régression logistique binaire, c'est-à-dire à un modèle qui calcule des probabilités pour les étiquettes avec deux valeurs possibles. Une variante moins courante, la régression logistique multinomiale, calcule les probabilités pour les étiquettes ayant plus de deux valeurs possibles.
• La fonction de perte pendant l'entraînement est la perte logistique. (Plusieurs unités de perte de journal peuvent être placées en parallèle pour les étiquettes ayant plus de deux valeurs possibles.)
• Le modèle utilise une architecture linéaire, et non un réseau de neurones profond. Toutefois, le reste de cette définition s'applique également aux modèles profonds qui prédisent des probabilités pour les étiquettes catégorielles.

Prenons l'exemple d'un modèle de régression logistique qui calcule la probabilité qu'un e-mail d'entrée soit indésirable ou non. Lors de l'inférence, supposons que le modèle prédit 0,72. Par conséquent, le modèle estime:

• 72% de chances que l'e-mail soit considéré comme du spam
• 28% de chances que l'e-mail ne soit pas du spam.

Un modèle de régression logistique utilise l'architecture en deux étapes suivante:

1. Le modèle génère une prédiction brute (y') en appliquant une fonction linéaire de caractéristiques d'entrée.
2. Le modèle utilise cette prédiction brute en entrée dans une fonction sigmoïde, qui convertit la prédiction brute en une valeur comprise entre 0 et 1, exclusif.

Comme tout modèle de régression, un modèle de régression logistique prédit un nombre. Toutefois, ce nombre fait généralement partie d'un modèle de classification binaire, comme suit:

• Si la valeur prédite est supérieure au seuil de classification, le modèle de classification binaire prédit la classe positive.
• Si le nombre prédit est inférieur au seuil de classification, le modèle de classification binaire prédit la classe négative.

Perte logistique

#fundamentals

Fonction de perte utilisée dans la régression logistique binaire.

Cliquez sur l'icône pour afficher le calcul.

La formule suivante calcule la perte logistique:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

où :

• \((x,y)\in D\) est l'ensemble de données contenant de nombreux exemples étiquetés, qui sont des \((x,y)\) paires.
• \(y\) est le libellé dans un exemple étiqueté. Comme il s'agit de la régression logistique, chaque valeur de \(y\) doit être 0 ou 1.
• \(y'\) est la valeur prédite (comprise entre 0 et 1, exclusive), en fonction de l'ensemble des caractéristiques dans \(x\).

---

logarithme de probabilité

#fundamentals

Logarithme des cotes d'un événement.

Cliquez sur l'icône pour afficher le calcul.

Si l'événement est une probabilité binaire, cotes fait référence au ratio de la probabilité de réussite (p) par rapport à la probabilité d'échec (1-p). Par exemple, supposons qu'un événement donné présente une probabilité de réussite de 90 % et une probabilité d'échec de 10 %. Dans ce cas, les cotes sont calculées comme suit:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

Le logarithme de cote est simplement le logarithme de cote. Par convention, le "logarithme" fait référence au logarithme naturel, mais celui-ci peut correspondre à n'importe quelle base supérieure à 1. Concernant la convention, les cotes logarithmiques de notre exemple sont les suivantes:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

La fonction log-cotes est l'inverse de la fonction sigmoïde.

---

perte

#fundamentals

Au cours de l'entraînement d'un modèle supervisé, la mesure de la prédiction d'un modèle par rapport à son étiquette.

Une fonction de perte calcule la perte.

courbe de fonction de perte

#fundamentals

Un graphique de la perte en fonction du nombre d'itérations d'entraînement. Le graphique suivant montre une courbe de fonction de perte typique:

Les courbes de fonction de perte peuvent vous aider à déterminer si votre modèle est en convergence ou en surapprentissage.

Les courbes de fonction de perte permettent de représenter tous les types de perte suivants:

• perte d'entraînement
• perte de validation
• perte de test

Consultez également la courbe de généralisation.

fonction de perte

#fundamentals

Lors de l'entraînement ou des tests, une fonction mathématique qui calcule la perte sur un lot d'exemples Une fonction de perte renvoie une perte plus faible pour les modèles qui effectuent de bonnes prédictions que pour les modèles qui effectuent de mauvaises prédictions.

L'objectif de l'entraînement est généralement de minimiser la perte qu'une fonction de perte renvoie.

Il existe de nombreux types de fonctions de perte. Choisissez la fonction de perte adaptée au type de modèle que vous créez. Exemple :

• La perte L₂ (ou erreur quadratique moyenne) est la fonction de perte pour la régression linéaire.
• La perte logistique est la fonction de perte pour la régression logistique.

L

machine learning

#fundamentals

Programme ou système qui entraîne un modèle à partir de données d'entrée. Le modèle entraîné peut effectuer des prédictions utiles à partir de nouvelles données (jamais vues auparavant) extraites de la même distribution que celle utilisée pour entraîner le modèle.

Le machine learning (apprentissage automatique) désigne également le domaine d'étude de ces programmes ou systèmes.

classe majoritaire

#fundamentals

Étiquette la plus courante dans un ensemble de données avec déséquilibre des classes. Par exemple, dans le cas d'un ensemble de données contenant 99% d'étiquettes négatives et 1% d'étiquettes positives, les étiquettes négatives constituent la classe majoritaire.

À comparer à la classe minoritaire.

mini-lot

#fundamentals

Petit sous-ensemble d'un lot sélectionné de manière aléatoire, traité en une itération. La taille de lot d'un mini-lot est généralement comprise entre 10 et 1 000 exemples.

Par exemple, supposons que l'ensemble d'entraînement (le lot complet) comporte 1 000 exemples. Supposons également que vous définissiez la taille de lot de chaque mini-lot sur 20. Par conséquent, chaque itération détermine la perte sur 20 exemples sur les 1 000 exemples,puis ajuste les pondérations et les biais en conséquence.

Il est beaucoup plus efficace de calculer la perte sur un mini-lot que sur la perte de tous les exemples du lot complet.

classe minoritaire

#fundamentals

Étiquette la moins courante dans un ensemble de données avec déséquilibre des classes. Par exemple, dans le cas d'un ensemble de données contenant 99% d'étiquettes négatives et 1% d'étiquettes positives, les étiquettes positives constituent la classe minoritaire.

À comparer à la classe de majorité.

Cliquez sur l'icône pour afficher d'autres notes.

Un ensemble d'entraînements avec un million d'exemples peut sembler impressionnant. Toutefois, si la classe minoritaire est mal représentée, un ensemble d'entraînement très volumineux peut s'avérer insuffisant. Concentrez-vous moins sur le nombre total d'exemples dans l'ensemble de données et davantage sur le nombre d'exemples dans la classe minoritaire.

Si votre ensemble de données ne contient pas suffisamment d'exemples de classes minoritaires, pensez à utiliser le sous-échantillonnage (la définition du deuxième point) pour compléter la classe minoritaire.

---

modèle

#fundamentals

En général, toute construction mathématique qui traite les données d'entrée et renvoie un résultat. En d'autres termes, un modèle est l'ensemble des paramètres et de la structure nécessaires à un système pour effectuer des prédictions. Dans le machine learning supervisé, un modèle prend un exemple en entrée et déduit une prédiction en sortie. Dans le machine learning supervisé, les modèles diffèrent quelque peu. Exemple :

• Un modèle de régression linéaire se compose d'un ensemble de pondérations et d'un biais.
• Un modèle de réseau de neurones se compose des éléments suivants :
  • Un ensemble de couches cachées, chacune contenant un ou plusieurs neurones.
  • Pondérations et biais associés à chaque neurone.
• Un modèle d'arbre de décision comprend les éléments suivants :
  • Forme de l'arborescence, c'est-à-dire le modèle dans lequel les conditions et les feuilles sont liées.
  • Les conditions et les départs

Vous pouvez enregistrer, restaurer ou copier un modèle.

Le machine learning non supervisé génère également des modèles, généralement une fonction qui peut mapper un exemple d'entrée au cluster le plus approprié.

Cliquez sur l'icône pour comparer les fonctions algébriques et de programmation aux modèles de ML.

Une fonction algébrique telle que la suivante est un modèle:

  f(x, y) = 3x -5xy + y2 + 17

La fonction précédente mappe les valeurs d'entrée (x et y) sur la sortie.

De même, une fonction de programmation comme celle ci-dessous est également un modèle:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

Un appelant transmet des arguments à la fonction Python précédente, et la fonction Python génère une sortie (via l'instruction return).

Bien qu'un réseau de neurones profond présente une structure mathématique très différente de celle d'une fonction algébrique ou de programmation, un réseau de neurones profond accepte encore les entrées (un exemple) et renvoie un résultat (une prédiction).

Un programmeur humain code une fonction de programmation manuellement. En revanche, un modèle de machine learning apprend progressivement les paramètres optimaux lors de l'entraînement automatisé.

---

classification à classes multiples

#fundamentals

Dans l'apprentissage supervisé, problème de classification dans lequel l'ensemble de données contient plus de deux classes d'étiquettes. Par exemple, les étiquettes de l'ensemble de données Iris doivent appartenir à l'une des trois classes suivantes:

• Iris setosa
• Iris virginica
• Iris versicolor

Un modèle entraîné à partir de l'ensemble de données Iris, qui prédit le type Iris sur de nouveaux exemples, effectue une classification à classes multiples.

En revanche, les problèmes de classification qui font la distinction exactement entre deux classes sont des modèles de classification binaire. Par exemple, un modèle de messagerie qui prédit le spam ou le non-spam est un modèle de classification binaire.

Dans les problèmes de clustering, la classification à classes multiples fait référence à plus de deux clusters.

N

classe négative

#fundamentals

Dans la classification binaire, une classe est nommée positive et l'autre est négative. La classe positive correspond à l'élément ou à l'événement testé par le modèle. L'autre possibilité est la classe négative. Exemple :

• La classe négative d'un test médical peut être "pas une tumeur".
• La classe négative d'un classificateur d'e-mails peut être "non spam".

À comparer à la classe positive.

réseau de neurones

#fundamentals

Un modèle contenant au moins une couche cachée Un réseau de neurones profond est un type de réseau de neurones contenant plusieurs couches cachées. Par exemple, le schéma suivant illustre un réseau de neurones profond contenant deux couches cachées.

Chaque neurone d'un réseau de neurones se connecte à tous les nœuds de la couche suivante. Par exemple, dans le schéma précédent, vous remarquerez que chacun des trois neurones de la première couche cachée se connecte séparément aux deux neurones de la deuxième couche cachée.

Les réseaux de neurones implémentés sur des ordinateurs sont parfois appelés réseaux de neurones artificiels pour les différencier des réseaux de neurones présents dans le cerveau et d'autres systèmes nerveux.

Certains réseaux de neurones peuvent imiter des relations non linéaires extrêmement complexes entre différentes caractéristiques et l'étiquette.

Voir aussi réseau de neurones convolutif et réseau de neurones récurrent.

neurone

#fundamentals

En machine learning, unité distincte au sein d'une couche cachée d'un réseau de neurones. Chaque neurone effectue les deux étapes suivantes:

1. Calcule la somme pondérée des valeurs d'entrée multipliée par la pondération correspondante.
2. Transmet la somme pondérée en tant qu'entrée à une fonction d'activation.

Un neurone de la première couche cachée accepte les entrées des valeurs de caractéristiques de la couche d'entrée. Un neurone de n'importe quelle couche cachée au-delà de la première accepte les entrées des neurones de la couche cachée précédente. Par exemple, un neurone de la deuxième couche cachée accepte les entrées des neurones de la première couche cachée.

L'illustration suivante met en évidence deux neurones et leurs entrées.

Un neurone d'un réseau de neurones imite le comportement des neurones du cerveau et d'autres parties des systèmes nerveux.

nœud (réseau de neurones)

#fundamentals

Un neurone dans une couche cachée

non linéaire

#fundamentals

Relation entre deux variables ou plus qui ne peuvent pas être représentées uniquement par l'addition et la multiplication. Une relation linéaire peut être représentée par une ligne. Une relation non linéaire ne peut pas être représentée par une ligne. Prenons l'exemple de deux modèles qui associent chacun une seule caractéristique à une seule étiquette. Le modèle de gauche est linéaire, tandis que celui de droite est non linéaire:

non stationnaire

#fundamentals

Caractéristique dont les valeurs changent dans une ou plusieurs dimensions, généralement le temps. Prenons l'exemple de la non-stationnarité suivante:

• Le nombre de maillots de bain vendus dans un magasin donné varie selon la saison.
• La quantité d'un fruit spécifique récolté dans une région particulière est égale à zéro pendant une grande partie de l'année, mais grande pendant une courte période.
• En raison du changement climatique, les températures moyennes annuelles changent.

À comparer à la stationarité.

normalisation

#fundamentals

De manière générale, le processus de conversion de la plage de valeurs réelle d'une variable en une plage standard de valeurs, telle que:

• -1 pour +1
• Entre 0 et 1
• la répartition normale

Par exemple, supposons que la plage de valeurs réelle d'une certaine caractéristique soit comprise entre 800 et 2 400. Dans le cadre de l'extraction de caractéristiques, vous pouvez normaliser les valeurs réelles jusqu'à une plage standard, telle que -1 à +1.

La normalisation est une tâche courante en extraction de caractéristiques. Les modèles s'entraînent généralement plus rapidement (et produisent de meilleures prédictions) lorsque chaque caractéristique numérique du vecteur de caractéristiques est à peu près identique.

données numériques

#fundamentals

Caractéristiques représentées par des nombres entiers ou des nombres réels. Par exemple, un modèle d'évaluation d'un logement représentera probablement la taille d'un logement (en pieds carrés ou en mètres carrés) sous forme de données numériques. La représentation d'une caractéristique sous forme de données numériques indique que ses valeurs ont une relation mathématique avec l'étiquette. Autrement dit, le nombre de mètres carrés d'une maison est probablement mathématiquement lié à sa valeur.

Les données entières ne doivent pas toutes être représentées sous forme de données numériques. Par exemple, dans certains pays, les codes postaux sont des entiers, mais pas dans des modèles. Cela est dû au fait que le code postal 20000 n'est pas deux fois (ou la moitié) plus puissant que le code postal 10000. De plus, bien que différents codes postaux correspondent à différentes valeurs immobilières, nous ne pouvons pas supposer que les valeurs immobilières au code postal 20000 sont deux fois plus intéressantes que les valeurs immobilières correspondant au code postal 10000. Les codes postaux doivent être représentés par des données catégorielles.

Les caractéristiques numériques sont parfois appelées caractéristiques continues.

O

offline

#fundamentals

Synonyme de statique.

inférence hors ligne

#fundamentals

Processus de modèle qui génère un lot de prédictions, puis les met en cache (enregistrement). Les applications peuvent ensuite accéder à la prédiction souhaitée à partir du cache au lieu de réexécuter le modèle.

Prenons l'exemple d'un modèle qui génère des prévisions météorologiques locales (prédictions) une fois toutes les quatre heures. Après l'exécution de chaque modèle, le système met en cache toutes les prévisions météorologiques locales. Les applications météorologiques récupèrent les prévisions à partir du cache.

L'inférence hors connexion est également appelée inférence statique.

À comparer à l'inférence en ligne.

Encodage one-hot

#fundamentals

Représenter les données catégorielles sous forme de vecteur dans lequel:

• Un élément est défini sur 1.
• Tous les autres éléments sont définis sur 0.

L'encodage one-hot est couramment utilisé pour représenter des chaînes ou des identifiants ayant un ensemble limité de valeurs possibles. Par exemple, supposons qu'une certaine caractéristique catégorielle nommée Scandinavia ait cinq valeurs possibles:

• "Danemark"
• "Suède"
• "Norvège"
• "Finlande"
• "Islande"

L'encodage one-hot peut représenter chacune des cinq valeurs comme suit:

country	Vecteur
"Danemark"	1	0	0	0	0
"Suède"	0	1	0	0	0
"Norvège"	0	0	1	0	0
"Finlande"	0	0	0	1	0
"Islande"	0	0	0	0	1

Grâce à l'encodage one-hot, un modèle peut apprendre différentes connexions en fonction de chacun des cinq pays.

Présenter une caractéristique sous la forme de données numériques est une alternative à l'encodage one-hot. Malheureusement, représenter numériquement les pays scandinaves n'est pas un bon choix. Prenons l'exemple de la représentation numérique suivante:

• "Danemark" est 0
• "Suède" correspond à 1
• "Norvège" est 2
• "Finlande" correspond à 3
• "Islande" a 4 ans

Avec l'encodage numérique, un modèle interprète mathématiquement les nombres bruts et tente d'entraîner le modèle sur ces nombres. Toutefois, l'Islande n'est pas deux fois plus (ou moins) deux fois plus efficace que la Norvège. Le modèle peut donc établir des conclusions étranges.

un contre tous

#fundamentals

En raison d'un problème de classification lié à N classes, une solution composée de N classificateurs binaires distincts (un classificateur binaire pour chaque résultat possible). Par exemple, dans un modèle qui classe les exemples en tant qu'animaux, légumes ou minéraux, une solution un contre tous fournit les trois classificateurs binaires distincts suivants:

• animal vs non animal
• Légumes/Non légumes
• minéral ou non minéral

en ligne

#fundamentals

Synonyme de dynamique.

inférence en ligne

#fundamentals

Générer des prédictions à la demande Par exemple, supposons qu'une application transmet des données à un modèle et émette une requête de prédiction. Un système utilisant l'inférence en ligne répond à la requête en exécutant le modèle (et en renvoyant la prédiction à l'application).

À comparer à l'inférence hors ligne.

couche de sortie

#fundamentals

La "dernière" couche d'un réseau de neurones. La couche de sortie contient la prédiction.

L'illustration suivante montre un petit réseau de neurones profond avec une couche d'entrée, deux couches cachées et une couche de sortie:

surapprentissage

#fundamentals

Création d'un modèle correspondant aux données d'entraînement de sorte que le modèle ne puisse pas effectuer de prédictions correctes sur les nouvelles données

La régularisation peut réduire le surapprentissage. L'entraînement sur un vaste ensemble d'entraînement diversifié peut également réduire le surapprentissage.

Cliquez sur l'icône pour afficher d'autres notes.

Le surapprentissage revient à suivre strictement les conseils de votre enseignant préféré. Vous aurez probablement du succès dans le cours de cet enseignant, mais vous risquez de "surapprentissage" ses idées et d'échouer dans d'autres cours. Suivez les conseils d'enseignants qui vous aideront à vous adapter à de nouvelles situations.

---

P

pandas

#fundamentals

API d'analyse de données orientée colonnes reposant sur numpy. De nombreux frameworks de machine learning, y compris TensorFlow, sont compatibles avec les structures de données Pandas en tant qu'entrées. Pour en savoir plus, consultez la documentation de Pandas.

paramètre

#fundamentals

Pondérations et biais qu'un modèle apprend pendant l'entraînement. Par exemple, dans un modèle de régression linéaire, les paramètres sont constitués du biais (b) et de toutes les pondérations (w₁, w₂, etc.) dans la formule suivante:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

En revanche, les hyperparamètres sont les valeurs que vous (ou un service de rotation des hyperparamètres) fournissez au modèle. Par exemple, taux d'apprentissage est un hyperparamètre.

classe positive

#fundamentals

Classe pour laquelle vous testez.

Par exemple, la classe positive d'un modèle de cancer peut être "tumeur". La classe positive d'un classificateur d'e-mail peut être "spam".

À comparer à la classe négative.

Cliquez sur l'icône pour afficher d'autres notes.

Le terme classe positive peut prêter à confusion, car le résultat "positif" de nombreux tests est souvent indésirable. Par exemple, dans de nombreux tests médicaux, la classe positive correspond aux tumeurs ou aux maladies. En général, vous voulez qu'un médecin vous dise : Les résultats du test sont négatifs." Quoi qu'il en soit, la classe positive correspond à l'événement que le test cherche à trouver.

Vous devez admettre que vous testez simultanément les classes positives et négatives.

---

post-traitement

#fairness

#fundamentals

Ajuster la sortie d'un modèle après son exécution Le post-traitement peut être utilisé pour appliquer des contraintes d'équité sans modifier les modèles eux-mêmes.

Par exemple, vous pouvez appliquer un post-traitement à un classificateur binaire en définissant un seuil de classification de sorte que l'égalité des chances soit maintenue pour un attribut donné, en vérifiant que le taux de vrais positifs est le même pour toutes les valeurs de cet attribut.

prédiction

#fundamentals

Résultat d'un modèle. Exemple :

• La prédiction d'un modèle de classification binaire correspond à la classe positive ou négative.
• La prédiction d'un modèle de classification à classes multiples est une classe.
• La prédiction d'un modèle de régression linéaire est un nombre.

étiquettes de proxy

#fundamentals

Données utilisées pour estimer les étiquettes qui ne sont pas directement disponibles dans un ensemble de données.

Par exemple, supposons que vous deviez entraîner un modèle pour prédire le niveau de stress des employés. Votre ensemble de données contient de nombreuses caractéristiques prédictives, mais ne comporte pas d'étiquette nommée niveau de stress. Indéniable, vous choisissez "accidents" au travail comme étiquette de substitution pour le niveau de stress. Après tout, les employés stressés subissent plus d'accidents que les employés calmes. Ou bien ? Peut-être que les accidents du travail se multiplient pour plusieurs raisons.

Prenons un deuxième exemple. Supposons que vous souhaitiez qu'il pleuve est-il pluvieux, et qu'il ne contient pas de données sur la pluie. Si des photos sont disponibles, vous pouvez créer des photos de personnes portant des parapluies comme étiquette de substitution pour est-ce qu'il pleut ?. Est-ce un bon libellé de proxy ? C'est possible, mais les individus de certaines cultures sont plus susceptibles de porter des parasols pour se protéger du soleil que de la pluie.

Les étiquettes de proxy sont souvent imparfaites. Si possible, privilégiez les étiquettes réelles plutôt que les étiquettes de proxy. Cela dit, lorsqu'une étiquette réelle est absente, choisissez-la très soigneusement, en choisissant la moins choquante.

D

évaluateur

#fundamentals

Personne fournissant des étiquettes pour des exemples. "Annotator" est un autre nom attribué à l'évaluateur.

Unité de rectification linéaire (ReLU)

#fundamentals

Une fonction d'activation avec le comportement suivant:

• Si l'entrée est négative ou nulle, la sortie est égale à 0.
• Si l'entrée est positive, la sortie est égale à l'entrée.

Exemple :

• Si l'entrée est -3, la sortie est 0.
• Si l'entrée est +3, la sortie est 3.0.

Voici un graphique de ReLU:

La fonction d'activation ReLU est très populaire. Malgré son comportement simple, la fonction ReLU permet toujours à un réseau de neurones d'apprendre les relations non linéaires entre les caractéristiques et l'étiquette.

modèle de régression

#fundamentals

De manière informelle, un modèle qui génère une prédiction numérique. (En revanche, un modèle de classification génère une prédiction de classe.) Par exemple, voici les modèles de régression:

• Un modèle qui prédit la valeur d'une maison donnée, par exemple 423 000 euros.
• Modèle capable de prédire l'espérance de vie d'un arbre (23,2 ans, par exemple).
• Un modèle qui prédit le taux de pluie dans une ville donnée au cours des six prochaines heures (par exemple, 0,35 cm).

Les deux types de modèles de régression les plus courants sont les suivants:

• La régression linéaire, qui identifie la ligne qui correspond le mieux aux valeurs de libellé des caractéristiques.
• La régression logistique, qui génère une probabilité comprise entre 0,0 et 1,0 qu'un système met généralement en correspondance avec une prédiction de classe.

Tous les modèles qui génèrent des prédictions numériques ne sont pas tous un modèle de régression. Dans certains cas, une prédiction numérique n'est en réalité qu'un modèle de classification qui a des noms numériques de classe. Par exemple, un modèle qui prédit un code postal numérique est un modèle de classification, et non un modèle de régression.

régularisation

#fundamentals

Tout mécanisme qui réduit le surapprentissage. Voici les types de régularisation courants:

• régularisation L₁
• Régularisation L₂
• régularisation par abandon
• Arrêt prématuré (Il ne s'agit pas d'une méthode de régularisation formelle, mais elle peut limiter efficacement le surapprentissage)

La régularisation peut également être définie comme une pénalité pour la complexité d'un modèle.

Cliquez sur l'icône pour afficher d'autres notes.

La régularisation est contre-intuitive. L'augmentation de la régularisation augmente la perte d'entraînement, ce qui peut prêter à confusion, car l'objectif n'est-il pas de minimiser la perte d'entraînement ?

Non, le but n'est pas de minimiser la perte d'entraînement. L'objectif est de réaliser d'excellentes prédictions sur des exemples réels. Il est à noter que même si l'augmentation de la régularisation augmente la perte d'entraînement, elle permet généralement aux modèles de fournir de meilleures prédictions sur des exemples réels.

---

taux de régularisation

#fundamentals

Nombre indiquant l'importance relative de la régularisation lors de l'entraînement. L'augmentation du taux de régularisation réduit le surapprentissage, mais peut réduire les performances prédictives du modèle. À l'inverse, la réduction ou l'omission du taux de régularisation augmente le surapprentissage.

Cliquez sur l'icône pour afficher le calcul.

Le taux de régularisation est généralement représenté par le lambda de la lettre grecque. L'équation perte simplifiée suivante montre l'influence de la fonction lambda:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

où la régularisation est un mécanisme de régularisation, y compris :

• régularisation L₁
• Régularisation L₂

---

ReLU

#fundamentals

Abréviation de Unité de rectification linéaire.

Courbe ROC (Receiver Operating Characteristic)

#fundamentals

Graphique du taux de vrais positifs par rapport au taux de faux positifs pour différents seuils de classification dans la classification binaire.

La forme d'une courbe ROC suggère la capacité d'un modèle de classification binaire à séparer des classes positives des classes négatives. Supposons, par exemple, qu'un modèle de classification binaire sépare parfaitement toutes les classes négatives de toutes les classes positives:

La courbe ROC du modèle précédent se présente comme suit:

L'illustration suivante illustre les valeurs de régression logistique brutes pour un modèle de très mauvaise qualité qui ne peut pas distinguer les classes négatives des classes positives:

La courbe ROC de ce modèle se présente comme suit:

Dans le monde réel, la plupart des modèles de classification binaire séparent les classes positives et négatives dans une certaine mesure, mais pas toujours parfaitement. Ainsi, une courbe ROC typique se situe entre les deux extrêmes:

Le point d'une courbe ROC la plus proche de (0,0,1,0) identifie théoriquement le seuil de classification idéal. Cependant, plusieurs autres problèmes concrets influencent la sélection du seuil de classification idéal. Par exemple, il est possible que les faux négatifs entraînent beaucoup plus de douleurs que les faux positifs.

Une métrique numérique appelée AUC résume la courbe ROC en une seule valeur à virgule flottante.

la racine carrée de l'erreur quadratique moyenne (RMSE, Root Mean Squared Error)

#fundamentals

Racine carrée de l'erreur quadratique moyenne.

S

fonction sigmoïde

#fundamentals

Fonction mathématique qui "désigne" une valeur d'entrée dans une plage limitée, généralement de 0 à 1 ou de -1 à +1. Autrement dit, vous pouvez transmettre un nombre (deux, un million, un milliard négatif, etc.) à une fonction sigmoïde, et la sortie sera toujours dans la plage limitée. Voici un graphique de la fonction d'activation sigmoïde:

La fonction sigmoïde a plusieurs utilisations en machine learning:

• Convertir le résultat brut d'un modèle de régression logistique ou de régression multinomiale en probabilité.
• Agissant en tant que fonction d'activation dans certains réseaux de neurones.

Cliquez sur l'icône pour afficher le calcul.

La fonction sigmoïde sur un nombre d'entrée x a la formule suivante:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

En machine learning, x est généralement une somme pondérée.

---

softmax

#fundamentals

Fonction qui détermine les probabilités pour chaque classe possible dans un modèle de classification à classes multiples. La somme de ces probabilités est exactement 1,0. Par exemple, le tableau suivant montre comment softmax répartit différentes probabilités:

L'image est un...	Probabilité
chien	0,85
cat	,13
cheval	,02

Softmax est également appelé softmax complet.

À comparer à l'échantillonnage de candidats.

Cliquez sur l'icône pour afficher le calcul.

L'équation softmax est la suivante:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

où :

• $\sigma_i$ est le vecteur de sortie. Chaque élément du vecteur de sortie spécifie la probabilité de cet élément. La somme de tous les éléments du vecteur de sortie est 1,0. Le vecteur de sortie contient le même nombre d'éléments que le vecteur d'entrée $z$.
• $z$ est le vecteur d'entrée. Chaque élément du vecteur d'entrée contient une valeur à virgule flottante.
• $K$ correspond au nombre d'éléments dans le vecteur d'entrée (et dans le vecteur de sortie).

Par exemple, supposons que le vecteur d'entrée soit le suivant:

[1.2, 2.5, 1.8]

Par conséquent, softmax calcule le dénominateur comme suit:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

La probabilité softmax de chaque élément est donc la suivante:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

Le vecteur de sortie est donc le suivant:

$$\sigma = [0.154, 0.565, 0.281]$$

La somme des trois éléments dans $\sigma$ est 1,0. Ouf !

---

caractéristique creuse

#language

#fundamentals

Caractéristique dont les valeurs sont pour la plupart nulles ou vides. Par exemple, une caractéristique contenant une seule valeur 1 et un million de valeurs 0 est creuse. En revanche, une fonctionnalité dense possède des valeurs qui ne sont généralement pas nulles ou vides.

En machine learning, un nombre surprenant de caractéristiques est creux. Les caractéristiques catégorielles sont généralement creuses. Par exemple, parmi les 300 espèces d'arbres disponibles dans une forêt, un seul exemple peut permettre d'identifier un érable. Ou parmi les millions de vidéos possibles d'une bibliothèque, un seul exemple peut correspondre à "Casablanca".

Dans un modèle, vous représentez généralement des caractéristiques creuses avec un encodage one-hot. Si l'encodage one-hot est volumineux, vous pouvez placer une couche d'intégration sur l'encodage one-hot pour plus d'efficacité.

représentation creuse

#language

#fundamentals

Stockage de la position des éléments non nul dans une caractéristique éparse

Par exemple, supposons qu'une caractéristique catégorielle nommée species identifie les 36 espèces d'arbres d'une forêt particulière. Supposons également que chaque exemple n'identifie qu'une seule espèce.

Vous pouvez utiliser un vecteur one-hot pour représenter l'espèce d'arbre dans chaque exemple. Un vecteur one-hot contiendrait un seul 1 (pour représenter l'espèce d'arbre spécifique dans cet exemple) et 35 0 (pour représenter les 35 espèces d'arbres qui ne sont pas dans cet exemple). Ainsi, la représentation one-hot de maple peut se présenter comme suit:

Une représentation creuse pourrait simplement identifier la position de chaque espèce. Si maple est en position 24, la représentation creuse de maple serait simplement:

24

Notez que la représentation creuse est beaucoup plus compacte que la représentation à chaud.

Remarque :Vous ne devez pas transmettre une représentation creuse en tant qu'entrée directe de caractéristiques à un modèle. À la place, vous devez convertir la représentation creuse en une représentation one-hot avant l'entraînement.

Cliquez sur l'icône pour voir un exemple légèrement plus complexe.

Supposons que chaque exemple de votre modèle doit représenter les mots (mais pas l'ordre de ces derniers) dans une phrase en anglais. L'anglais étant constitué d'environ 170 000 mots, il s'agit d'une caractéristique catégorielle d'environ 170 000 éléments. La plupart des phrases en anglais utilisent une très petite portion de ces 170 000 mots. Par conséquent, l'ensemble de mots d'un seul exemple sera certainement des données creuses.

Prenons la phrase suivante:

My dog is a great dog

Vous pouvez utiliser une variante de vecteur one-hot pour représenter les mots de cette phrase. Dans cette variante, plusieurs cellules du vecteur peuvent contenir une valeur non nulle. De plus, dans cette variante, une cellule peut contenir un entier autre qu'un. Bien que les mots "mon", "est", "un" et "excellent" n'apparaissent qu'une seule fois dans la phrase, le mot "chien" apparaît deux fois. L'utilisation de cette variante de vecteurs one-hot pour représenter les mots de cette phrase génère le vecteur suivant : 170 000 éléments :

Une représentation creuse de la même phrase serait simplement:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

Cliquez sur l'icône si vous avez des doutes.

Le terme "représentation creuse" peut confondre de nombreuses personnes, car la représentation creuse n'est pas un vecteur creux. La représentation creuse est en réalité une représentation dense d'un vecteur creux. La représentation d'index du synonyme est un peu plus claire que la "représentation creuse".

---

vecteur creux

#fundamentals

Vecteur dont les valeurs sont principalement des zéros. Consultez également les articles sur les caractéristiques creuses et la parcimonie.

perte quadratique

#fundamentals

Synonyme de L₂ perte.

static

#fundamentals

Effectuer une action une seule fois plutôt que de manière continue Les termes statique et hors connexion sont des synonymes. Les utilisations statiques et hors connexion suivantes sont couramment utilisées en machine learning:

• Le modèle statique (ou modèle hors connexion) est un modèle entraîné une fois, puis utilisé pendant un certain temps.
• L'entraînement statique (ou entraînement hors connexion) est le processus d'entraînement d'un modèle statique.
• L'inférence statique (ou inférence hors ligne) est un processus par lequel un modèle génère un lot de prédictions à la fois.

À comparer au modèle dynamique.

inférence statique

#fundamentals

Synonyme d'inférence hors ligne.

stationnaire

#fundamentals

Fonctionnalité dont les valeurs ne changent pas selon une ou plusieurs dimensions, généralement le temps. Par exemple, une caractéristique dont les valeurs sont à peu près identiques en 2021 et en 2023 stationnaire.

Dans le monde réel, très peu de caractéristiques démontrent la stationnaire. Même les caractéristiques synonymes de stabilité (telles que le niveau de la mer) changent au fil du temps.

À comparer à la nonstationarité.

descente de gradient stochastique (SGD)

#fundamentals

Algorithme de descente de gradient dans lequel la taille de lot est égale à un. En d'autres termes, la commande SGD s'entraîne sur un seul exemple, choisi de manière uniforme au hasard dans un ensemble d'entraînement.

machine learning supervisé

#fundamentals

Entraîner un modèle à partir de caractéristiques et des étiquettes correspondantes Le machine learning supervisé est analogue à l'apprentissage d'un sujet en étudiant un ensemble de questions et les réponses correspondantes. Après avoir maîtrisé le mappage entre les questions et les réponses, un élève peut fournir des réponses à de nouvelles questions (jamais vues auparavant) sur le même sujet.

À comparer au machine learning non supervisé.

caractéristique synthétique

#fundamentals

Caractéristique non présente parmi les caractéristiques d'entrée, mais assemblée à partir d'une ou de plusieurs d'entre elles. Les méthodes suivantes permettent de créer des caractéristiques synthétiques:

• Binage d'une caractéristique continue dans des bins de plage
• Créer un croisement de caractéristiques
• Multiplier (ou diviser) une valeur de caractéristique par une ou plusieurs autres valeurs de caractéristique ou par elle-même Par exemple, si a et b sont des caractéristiques d'entrée, les exemples suivants de caractéristiques synthétiques sont les suivants :
  • ab
  • a².
• Application d'une fonction transcendante à une valeur de caractéristique Par exemple, si c est une caractéristique d'entrée, voici des exemples de caractéristiques synthétiques :
  • sin(c).
  • ln(c).

Les caractéristiques créées par la normalisation ou le scaling à elles seules ne sont pas considérées comme des caractéristiques synthétiques.

T

perte d'essai

#fundamentals

Métrique représentant la perte d'un modèle par rapport à l'ensemble de test. Lorsque vous créez un modèle, vous essayez généralement de minimiser la perte de test. En effet, une perte de test faible est un signal de meilleure qualité qu'une perte d'entraînement ou une perte de validation faible.

Un écart important entre la perte de test et la perte d'entraînement ou la perte de validation indique parfois que vous devez augmenter le taux de régularisation.

de modèle

#fundamentals

Processus visant à déterminer les paramètres idéaux (pondérations et biais) inclus dans un modèle. Pendant l'entraînement, un système lit des exemples et ajuste progressivement les paramètres. L'entraînement utilise chaque exemple n'importe où entre quelques fois et des milliards de fois.

perte d'entraînement

#fundamentals

Métrique représentant la perte d'un modèle lors d'une itération d'entraînement particulière. Par exemple, supposons que la fonction de perte soit erreur quadratique moyenne. La perte d'entraînement (erreur squarée en moyenne) pour la 10e itération est de 2,2, et la perte d'entraînement pour la 100e itération est de 1,9.

Une courbe de perte représente la perte d'entraînement par rapport au nombre d'itérations. Une courbe de fonction de perte fournit les indications suivantes sur l'entraînement:

• Une pente descendante implique une amélioration du modèle.
• Une pente ascendante signifie que le modèle s'aggrave.
• Une pente plate signifie que le modèle a atteint la convergence.

Par exemple, la courbe de perte suivante est parfaitement adaptée:

• Pente raide vers le bas lors des itérations initiales, ce qui implique une amélioration du modèle rapide.
• Une pente progressive (mais toujours en descendant) jusqu'à la fin de l'entraînement, ce qui implique une amélioration continue du modèle à un rythme légèrement plus long que les itérations initiales.
• Une pente plate vers la fin de l'entraînement, ce qui indique la convergence

Bien que la perte d'entraînement soit importante, consultez également la généralisation.

décalage entraînement/inférence

#fundamentals

Différence entre les performances d'un modèle lors de l'entraînement et celles du même modèle lors de l'inférence.

Ensemble d'entraînement

#fundamentals

Sous-ensemble de l'ensemble de données utilisé pour entraîner un modèle.

Traditionnellement, les exemples de l'ensemble de données sont divisés en trois sous-ensembles distincts:

• un ensemble d'entraînement
• Un ensemble de validation
• Un ensemble de test

Idéalement, chaque exemple de l'ensemble de données doit appartenir à l'un des sous-ensembles précédents. Par exemple, un seul exemple ne doit pas appartenir à la fois à l'ensemble d'entraînement et à l'ensemble de validation.

vrai négatif (VN)

#fundamentals

Exemple dans lequel le modèle prédit correctement la classe négative. Par exemple, le modèle déduit qu'un e-mail particulier n'est pas du spam et qu'il ne l'est pas.

vrai positif (VP)

#fundamentals

Exemple dans lequel le modèle prédit correctement la classe positive. Par exemple, le modèle déduit qu'un e-mail particulier est un spam, ce qui est vraiment le cas.

taux de vrais positifs (TPR)

#fundamentals

Synonyme de rappel. Par exemple :

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

Le taux de vrais positifs correspond à l'axe Y d'une courbe ROC.

U

sous-apprentissage

#fundamentals

Production d'un modèle avec une mauvaise capacité de prédiction, car le modèle n'a pas entièrement capturé la complexité des données d'entraînement. De nombreux problèmes peuvent provoquer un sous-apprentissage, y compris:

• Entraînement sur le mauvais ensemble de fonctionnalités
• Entraînement pour un nombre insuffisant d'époques ou à un taux d'apprentissage trop faible.
• Entraînement avec un taux de régularisation trop élevé.
• Fournir trop peu de couches cachées dans un réseau de neurones profond.

exemple sans étiquette

#fundamentals

Exemple contenant des caractéristiques, mais pas de libellé. Par exemple, le tableau suivant montre trois exemples sans étiquette d'un modèle de valeur de maison, chacun avec trois caractéristiques, sans valeur de maison:

Nombre de chambres	Nombre de salles de bain	Âge de la maison
3	2	15
2	1	72
4	2	34

Dans le machine learning supervisé, les modèles s'entraînent sur des exemples étiquetés et effectuent des prédictions sur des exemples sans étiquette.

Dans l'apprentissage semi-supervisé et non supervisé, des exemples sans étiquette sont utilisés pendant l'entraînement.

Comparer l'exemple sans étiquette à l'exemple avec étiquette.

machine learning non supervisé

#clustering

#fundamentals

Entraînement d'un modèle pour détecter des schémas dans un ensemble de données, généralement un ensemble de données sans étiquette.

Le machine learning non supervisé est le plus souvent utilisé pour clusters des données en groupes d'exemples similaires. Par exemple, un algorithme de machine learning non supervisé peut regrouper des titres en fonction de diverses propriétés de la musique. Les clusters obtenus peuvent servir d'entrée à d'autres algorithmes de machine learning (par exemple, à un service de recommandation musicale). Le clustering peut être utile lorsque les étiquettes utiles sont peu nombreuses ou absentes. Par exemple, dans des domaines tels que la lutte contre les utilisations abusives et la fraude, les clusters peuvent aider les utilisateurs à mieux comprendre les données.

À comparer au machine learning supervisé.

Cliquez sur l'icône pour afficher d'autres notes.

Un autre exemple de machine learning non supervisé est l'analyse en composantes principales (PCA). Par exemple, l'application de l'APC sur un ensemble de données contenant le contenu de millions de paniers peut révéler que ceux contenant des citrons contiennent également fréquemment des antiacides.

---

V

validation

#fundamentals

Évaluation initiale de la qualité d'un modèle. La validation vérifie la qualité des prédictions d'un modèle par rapport à l'ensemble de validation.

Étant donné que l'ensemble de validation diffère de l'ensemble d'entraînement, la validation permet d'éviter le surapprentissage.

Vous pouvez considérer l'évaluation du modèle par rapport à l'ensemble de validation comme la première série de tests et l'évaluation par rapport à l'ensemble de test comme la deuxième série de tests.

perte de validation

#fundamentals

Métrique représentant la perte d'un modèle sur l'ensemble de validation au cours d'une itération particulière de l'entraînement.

Consultez également la courbe de généralisation.

Ensemble de validation

#fundamentals

Sous-ensemble de l'ensemble de données qui effectue une évaluation initiale par rapport à un modèle entraîné. En règle générale, vous évaluez le modèle entraîné par rapport à l'ensemble de validation avant d'évaluer le modèle avec l'ensemble de test.

Traditionnellement, vous divisez les exemples de l'ensemble de données en trois sous-ensembles distincts:

• Un ensemble d'entraînement
• un ensemble de validation
• Un ensemble de test

Idéalement, chaque exemple de l'ensemble de données doit appartenir à l'un des sous-ensembles précédents. Par exemple, un seul exemple ne doit pas appartenir à la fois à l'ensemble d'entraînement et à l'ensemble de validation.

W

weight

#fundamentals

Valeur qu'un modèle multiplie par une autre valeur. L'entraînement est le processus permettant de déterminer les pondérations idéales d'un modèle. L'inférence est le processus qui consiste à utiliser ces pondérations pour apprendre des prédictions.

Cliquez sur l'icône pour afficher un exemple de pondérations dans un modèle linéaire.

Imaginez un modèle linéaire comportant deux caractéristiques. Supposons que l'entraînement détermine les pondérations (et les biais) suivants :

• Le biais b a une valeur de 2,2.
• La pondération _w associée à une caractéristique est 1, 5.
• La pondération, w₂ associée à l'autre caractéristique, est de 0,4.

Imaginez maintenant un exemple avec les valeurs de caractéristiques suivantes:

• La valeur d'une caractéristique, x ₁, est 6.
• La valeur de l'autre caractéristique, x₂, est égale à 10.

Ce modèle linéaire utilise la formule suivante pour générer une prédiction y :

$$y' = b + w_1x_1 + w_2x_2$$

La prédiction est donc:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

Si la pondération est égale à 0, la caractéristique correspondante ne contribue pas au modèle. Par exemple, si w₁ est égal à 0, la valeur de x₁ n'est pas pertinente.

---

somme pondérée

#fundamentals

Somme de toutes les valeurs d'entrée pertinentes multipliée par les pondérations correspondantes Par exemple, supposons que les entrées pertinentes se composent des éléments suivants:

valeur d'entrée	Pondération de l'entrée
2	-1,3
-1	0,6
3	0,4

La somme pondérée est donc:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Une somme pondérée est l'argument d'entrée d'une fonction d'activation.

Z

Normalisation du score Z

#fundamentals

Technique de mise à l'échelle qui remplace une valeur brute de caractéristique par une valeur à virgule flottante représentant le nombre d'écarts types par rapport à la moyenne de cette caractéristique. Prenons l'exemple d'une caractéristique dont la moyenne est de 800 et dont l'écart type est de 100. Le tableau suivant montre comment la normalisation du score Z mappe la valeur brute avec son score Z:

Valeur brute	Score Z
800	0
950	+1,5
575	-2,25

Le modèle de machine learning s'entraîne ensuite sur les scores Z de cette caractéristique plutôt que sur les valeurs brutes.