Représentations vectorielles continues : projection dans un espace à plus faible dimension

Vous pouvez résoudre les problèmes liés aux données d'entrée creuses en associant vos données de grande dimension dans un espace de plus faible dimension.

Comme vous avez pu le constater lors des exercices papier, même un petit espace à plusieurs dimensions permet de regrouper des éléments sémantiquement similaires et d'éloigner les éléments non similaires. La position (la distance et la direction) dans l'espace du vecteur permet d'encoder la sémantique dans une représentation vectorielle continue adéquate. Par exemple, les visualisations suivantes de représentations vectorielles continues réelles présentent des relations géométriques qui représentent les relations sémantiques, comme la relation entre un pays et sa capitale :

Figure 4 : Les représentations vectorielles continues peuvent produire des analogies remarquables.

Ce type d'espace significatif offre de nouvelles possibilités à votre système de Machine Learning, en lui permettant de détecter des modèles qui peuvent contribuer à la tâche d'apprentissage.

Réduire le réseau

Bien que nous souhaitions disposer de suffisamment de dimensions pour encoder les relations sémantiques riches, nous souhaitons également un espace de représentations vectorielles continues suffisamment petit pour pouvoir entraîner notre système plus rapidement. Une représentation vectorielle continue utile peut être de l'ordre de centaines de dimensions. Cela est probablement bien plus petit que la taille de votre vocabulaire pour effectuer une tâche dans un langage naturel.

Les représentations vectorielles continues en tant que tableaux de conversion

Une représentation vectorielle continue est une matrice dans laquelle chaque colonne est le vecteur qui correspond à un élément de votre vocabulaire. Pour obtenir un vecteur dense pour un seul élément de vocabulaire, vous récupérez la colonne correspondant à cet élément.

Cependant, comment traduiriez-vous un vecteur creux de sac de mots ? Pour obtenir le vecteur dense correspondant à un vecteur creux représentant plusieurs éléments de vocabulaire (tous les mots d'une phrase ou d'un paragraphe, par exemple), vous pouvez récupérer la représentation vectorielle continue de chaque élément individuel, puis agréger le tout.

Si le vecteur creux comprend le nombre des éléments de vocabulaire, vous pouvez multiplier chaque représentation vectorielle continue par le nombre d'instances de son élément correspond avant de l'ajouter à la somme.

Ces opérations vous sont peut-être familières.

La recherche de représentations vectorielles continues par la multiplication matricielle

La procédure de recherche, de multiplication et d'addition que nous venons de décrire équivaut à la multiplication matricielle. En partant d'une représentation creuse S de taille 1 X N et d'un tableau de représentations vectorielles continues E de taille N X M, la multiplication matricielle S X E vous donne le vecteur dense de taille 1 X M.

Cependant, comment obtient-on E à la base ? Nous étudierons comment obtenir des représentations vectorielles continues dans la section suivante.

Envoyer des commentaires concernant…

Cours d'initiation au machine learning