Représentations vectorielles continues

Une représentation vectorielle continue est un espace de relativement faible dimension dans lequel vous pouvez traduire des vecteurs de grande dimension. Les représentations vectorielles continues facilitent le machine learning sur des entrées volumineuses, telles que des vecteurs creux représentant des mots. Idéalement, une représentation vectorielle continue capture une partie de la sémantique de l'entrée en rapprochant les entrées sémantiquement similaires les unes des autres dans l'espace de représentation vectorielle. Une représentation vectorielle continue peut être apprise et réutilisée sur plusieurs modèles.

Représentations vectorielles continues

  • Entrée:1 000 000 de films que 500 000 utilisateurs ont choisi de regarder
  • Tâche : recommander des films aux utilisateurs

Pour ce faire, nous avons besoin d'une méthode qui nous permette de déterminer les similitudes entre les films.

Liste de films classés sur une seule ligne, de gauche à droite. Commence par la gauche, Les Indestructibles, Triplettes de Belleville

La même liste de films que dans la diapositive précédente, mais organisée en deux dimensions, par exemple "Shrek" se trouve à gauche et au-dessus de "Les Indestructibles".

Semblable au schéma précédent, mais avec un axe et des étiquettes pour chaque quadrant. La disposition des films est la suivante: dans le premier quadrant supérieur droit, les blockbusters réservés aux adultes contiennent &quot;Star Wars&quot; et &quot;The Dark Knight Rises&quot; avec les films &quot;Hero&quot; et &quot;Crouching Tiger, Hidden Dragon&quot; ont été ajoutés au blockbuster réservé aux adultes. Le deuxième quadrant, en bas à droite, est un film d&#39;art et d&#39;essai pour adultes. Il contient les films &quot;Bleu&quot; et &quot;Memento&quot;, où &quot;Waking Life&quot; a été ajouté à ce quadrant. Le troisième quadrant, en bas à gauche, est destiné aux enfants. Il contient le film &quot;Les Triplettes de Belleville&quot; et &quot;Wallace et Gromit&quot;. Le quatrième et dernier quadrant, en haut à gauche, est celui des blockbusters pour enfants. Il contient les films <ph type=&quot;x-smartling-void-element&quot;><br></ph>et &quot;Les Indestructibles&quot;, Harry Potter, et le film &quot;School of Rock&quot;, qui a été ajouté à ce quadrant.

Même disposition que la dernière diapositive. &quot;Shrek&quot; et &quot;Bleu&quot; sont mis en évidence à l&#39;aide d&#39;exemples de coordonnées dans le plan de représentation vectorielle en 2D.

  • Partons du principe que l'intérêt des utilisateurs pour les films peut être globalement expliqué
  • Chaque film devient un point à d dimensions, où la valeur de la dimension d représente l'adéquation de la vidéo.
  • Les représentations vectorielles continues peuvent être apprises des données
  • Aucun processus d'entraînement distinct n'est nécessaire : la couche de représentations vectorielles continues n'est qu'une couche cachée avec une unité par dimension.
  • Les informations supervisées (par exemple, les utilisateurs ont regardé les deux mêmes films) adaptent les représentations vectorielles continues apprises pour la tâche souhaitée.
  • Intuitivement, les unités cachées découvrent comment organiser les éléments dans l'espace à d dimensions afin d'optimiser au mieux l'objectif final.
  • Chaque exemple (une ligne de cette matrice) est un vecteur creux de caractéristiques (films) visionnées par l'utilisateur.
  • Représentation dense de cet exemple comme suit : (0, 1, 0, 1, 0, 0, 0, 1)

N'est pas efficace en termes d'espace et de temps.

Un tableau dans lequel chaque en-tête de colonne correspond à un film et chaque ligne représente un utilisateur et les films qu&#39;il a regardés.
  • Créez un dictionnaire mappant chaque caractéristique à un entier compris entre 0, ..., # films - 1
  • Représentez efficacement le vecteur creux pour décrire les films que l'utilisateur a regardés. Cela peut être représenté par : En fonction de la position des colonnes dans le vecteur creux affiché à droite, les films &quot;Les Triplettes de Belleville&quot;, &quot;Wallace et Gromit&quot; et &quot;Memento&quot; peuvent être représentés ainsi (0,1, 999999).
Vecteur creux représenté sous forme de tableau, chaque colonne représentant un film et chaque ligne représentant un utilisateur. Le tableau contient les films des diagrammes précédents et est numéroté de 1 à 999999. Chaque cellule du tableau est vérifiée si un utilisateur a regardé un film.

Problème de régression pour prédire le prix d'une vente immobilière:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire le prix d&#39;une vente immobilière

Problème de régression pour prédire le prix d'une vente immobilière:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire le prix de vente d&#39;une maison (encodage de vecteurs creux mis en évidence)

Problème de régression pour prédire le prix d'une vente immobilière:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire le prix de vente d&#39;une maison (couche cachée de la représentation vectorielle continue en trois dimensions encadrée)

Problème de régression pour prédire le prix d'une vente immobilière:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire le prix de vente d&#39;une maison (caractéristiques supplémentaires des entrées de latitude et de longitude en surbrillance)

Problème de régression pour prédire le prix d'une vente immobilière:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire le prix d&#39;une vente immobilière (caractéristiques d&#39;entrée alimentant plusieurs couches cachées)

Problème de régression pour prédire le prix d'une vente immobilière:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire le prix de vente d&#39;une maison (sortie du réseau de neurones profond en surbrillance)

Classification à classes multiples pour prédire un chiffre manuscrit:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire des chiffres manuscrits

Classification à classes multiples pour prédire un chiffre manuscrit:

Schéma d&#39;un réseau de neurones profond utilisé pour la prédiction des chiffres manuscrits (codage d&#39;entrée d&#39;un vecteur creux)

Classification à classes multiples pour prédire un chiffre manuscrit:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire des chiffres manuscrits (autres caractéristiques mises en évidence)

Classification à classes multiples pour prédire un chiffre manuscrit:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire des chiffres manuscrits (représentation vectorielle continue tridimensionnelle mise en surbrillance)

Classification à classes multiples pour prédire un chiffre manuscrit:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire des chiffres manuscrits (couches cachées en surbrillance)

Classification à classes multiples pour prédire un chiffre manuscrit:

Schéma d&#39;un réseau de neurones profond utilisé pour la prédiction des chiffres manuscrits (couche logit mise en surbrillance)

Classification à classes multiples pour prédire un chiffre manuscrit:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire des chiffres manuscrits (couche de la classe cible encadrée)

Filtrage collaboratif pour prédire les films à recommander:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire les films à recommander

Filtrage collaboratif pour prédire les films à recommander:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire les films à recommander (couche de classe cible mise en surbrillance)

Filtrage collaboratif pour prédire les films à recommander:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire les films à recommander (encodage de vecteurs creux mis en évidence)

Filtrage collaboratif pour prédire les films à recommander:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire les films à recommander (représentation vectorielle continue à trois dimensions encadrée)

Filtrage collaboratif pour prédire les films à recommander:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire les films à recommander (autres caractéristiques mises en avant)

Filtrage collaboratif pour prédire les films à recommander:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire les films à recommander (couches cachées en surbrillance)

Filtrage collaboratif pour prédire les films à recommander:

Schéma d&#39;un réseau de neurones profond utilisé pour prédire les films à recommander (couche de log mise en surbrillance)

Réseau profond

  • Chacune des unités masquées correspond à une dimension (caractéristique latente).
  • Les pondérations des bords entre une vidéo et une couche cachée sont des valeurs de coordonnées
    • Schéma représentant un réseau de neurones profond avec des nœuds situés dans la couche la plus basse et reliés à trois points dans la couche supérieure suivante

Vue géométrique d'une représentation vectorielle continue d'un film

Point dans un espace tridimensionnel correspondant au nœud de couche inférieure dans le diagramme du réseau de neurones profond.
  • Les représentations vectorielles continues de plus grande dimension peuvent représenter plus précisément les relations entre les valeurs d'entrée
  • Mais plus de dimensions augmentent les chances de surapprentissage et ralentissent l'entraînement
  • Règle empirique (un bon point de départ, mais qui doit être ajusté à l'aide des données de validation):
    • $$ dimensions \approx \sqrt[4]{possible\;values} $$
  • Les représentations vectorielles continues permettent de mapper des éléments (films, texte, etc.) sur des vecteurs réels de faible dimension, de sorte que les éléments similaires soient proches les uns des autres.
  • Les représentations vectorielles continues peuvent également être appliquées à des données denses (par exemple, des contenus audio) pour créer une métrique de similarité pertinente
  • L'intégration conjointe de divers types de données (par exemple, texte, images, audio, etc.) définit une similitude
Précédent
Exercice de programmation
Suivant
Motivation liée au filtrage collaboratif