Einbettungen

Eine Einbettung ist ein relativ niedrigdimensionaler Bereich, in den Sie hochdimensionale Vektoren übersetzen können. Einbettungen erleichtern das maschinelle Lernen bei großen Eingaben wie dünn besetzten Vektoren, die Wörter darstellen. Im Idealfall erfasst eine Einbettung einen Teil der Semantik der Eingabe, indem semantisch ähnliche Eingaben im Einbettungsbereich nahe beieinander platziert werden. Eine Einbettung kann modellübergreifend erlernt und wiederverwendet werden.

Einbettungen

  • Eingabe: 1.000.000 Filme, die sich 500.000 Nutzer angesehen haben
  • Aufgabe:Empfehlen Sie den Nutzern Filme.

Um dieses Problem zu lösen, ist eine Methode erforderlich, um festzustellen, welche Filme einander ähneln.

Eine Liste von Filmen, die in einer einzigen Zeile von links nach rechts angeordnet sind. Beginnend mit 'Shrek','The Incredibles','Die Triplets of Belleville'Harry Potter''Star Wars',',',##9;

Dieselbe Liste mit Filmen wie auf der vorherigen Folie, aber in zwei Dimensionen angeordnet: So ist beispielsweise „Shrek“ links und oberhalb von „The Incredibles“

Ähnlich wie im vorherigen Diagramm, aber mit Achse und Beschriftung für jeden Quadranten. Die Anordnung der Filme sieht so aus: Im ersten rechten oberen Viertel sind Adult Blockbusters mit den Stars aus Star Wars, Dark Knight Rises und den Filmen ##99;Hero##99;Crouching Tiger, Hidden Dragon' zum Block hinzugefügt. Der zweite untere Quadrant ist Adult Arthouse mit den Filmen und 39; Memento mit Wakeing Life und 39 dem Adult Arthouse-Quadrant. Der dritte, linke Quadrant ist „Children Arthouse“ und enthält den Film „The Triplets of Belleville“ und „Wallace and Gromit&#39“. Der vierte und letzte Quadrant oben links ist „Children Blockbusters“, der „The Sredeks“ und „The Incredibles“ sowie die Filme „Harry Potter“ und „The School of Rock&#39“ enthält, und wird dem Kinderblock „Children Blockbusters“ hinzugefügt.

Die gleiche Anordnung wie auf der letzten Folie &Shrek und 39; Bleu sind als Beispiele für ihre Koordinaten in der 2D-Einbettungsebene markiert.

  • Annahme, dass das Nutzerinteresse an Filmen ungefähr durch d Aspekte erklärt werden kann
  • Jeder Film wird zu einem d-dimensionalen Punkt, an dem der Wert der Dimension d angibt, inwieweit der Film zu diesem Aspekt passt.
  • Einbettungen können aus Daten gezogen werden
  • Kein separater Trainingsprozess erforderlich – die Einbettungsebene ist nur eine verborgene Ebene mit einer Einheit pro Dimension
  • Mithilfe der Elternaufsicht (z. B. wenn sich Nutzer dieselben Filme angesehen haben) können die Einbettungen der Aufgabe angepasst werden.
  • Intuitiv können Sie mithilfe der versteckten Einheiten die Elemente im d-dimensionalen Raum so organisieren, dass das endgültige Ziel bestmöglich optimiert wird.
  • Jedes Beispiel (eine Zeile in dieser Matrix) ist ein dünnbesetzter Vektor von Merkmalen (Filmen), die vom Benutzer angesehen wurden.
  • Dichte Darstellung dieses Beispiels als: (0, 1, 0, 1, 0, 0, 0, 1)

Ist in Bezug auf Raum und Zeit nicht effizient.

Eine Tabelle, in der jede Spaltenüberschrift einen Film darstellt und jede Zeile einen Nutzer und die Filme darstellt, die er sich angesehen hat.
  • Erstellen Sie ein Wörterbuch, das jede Funktion einer Ganzzahl von 0, ..., # Filme - 1 zuordnet
  • Stellen Sie den spärlichen Vektor effizient als nur die Filme dar, die der Nutzer angesehen hat. Dies kann so aussehen: Basierend auf der Spaltenposition der Filme im dünnbesetzten Vektor auf der rechten Seite können die Filme von Triplets aus Belleville und Memento als (0,1, 999999) dargestellt werden.
Ein dünnbesetzter Vektor als Tabelle, wobei jede Spalte für einen Film und jede Zeile für einen Nutzer steht. Die Tabelle enthält die Filme aus den vorherigen Diagrammen und ist von 1 bis 999999 nummeriert. Jede Zelle der Tabelle wird geprüft, wenn ein Nutzer einen Film angesehen hat.

Regressionsproblem zur Vorhersage von Hausverkaufspreisen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage von Immobilienpreisen

Regressionsproblem zur Vorhersage von Hausverkaufspreisen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage von Immobilienpreisen (wenige Vektorcodierung)

Regressionsproblem zur Vorhersage von Hausverkaufspreisen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage von Immobilienpreisen (ausgeblendete dreidimensionale Einbettungsebene)

Regressionsproblem zur Vorhersage von Hausverkaufspreisen:

Ein Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage von Immobilienpreisen (zusätzliche hervorgehobene Eingabefeatures für Breiten- und Längengrad)

Regressionsproblem zur Vorhersage von Hausverkaufspreisen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage von Immobilienpreisen (Eingabefeatures, die in mehrere verborgene Ebenen eingespeist werden)

Regressionsproblem zur Vorhersage von Hausverkaufspreisen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage von Immobilienpreisen (Ausgabe des neuronalen Deep-Learning-Netzwerks ist hervorgehoben)

Multiclass Classification zum Vorhersagen einer handschriftlichen Ziffer:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage handschriftlicher Ziffern

Multiclass Classification zum Vorhersagen einer handschriftlichen Ziffer:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage handschriftlicher Ziffern (Eingabe mit dünn besetzter Vektorcodierung)

Multiclass Classification zum Vorhersagen einer handschriftlichen Ziffer:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage handschriftlicher Ziffern (andere hervorgehobene Funktionen)

Multiclass Classification zum Vorhersagen einer handschriftlichen Ziffer:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage handschriftlicher Ziffern (dreidimensionale Einbettung hervorgehoben)

Multiclass Classification zum Vorhersagen einer handschriftlichen Ziffer:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage handschriftlicher Ziffern (verborgene Ebenen hervorgehoben)

Multiclass Classification zum Vorhersagen einer handschriftlichen Ziffer:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage handschriftlicher Ziffern (Logit-Ebene hervorgehoben)

Multiclass Classification zum Vorhersagen einer handschriftlichen Ziffer:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage handschriftlicher Ziffern (Zielklassenebene hervorgehoben)

Gemeinsames Filtern zur Vorhersage von Filmen, die empfohlen werden sollen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage der empfohlenen Filme

Gemeinsames Filtern zur Vorhersage von Filmen, die empfohlen werden sollen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage der Filme, die empfohlen werden sollen (Zielklassenebene hervorgehoben)

Gemeinsames Filtern zur Vorhersage von Filmen, die empfohlen werden sollen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage der empfohlenen Filme (dünn besetzte Vektorcodierung)

Gemeinsames Filtern zur Vorhersage von Filmen, die empfohlen werden sollen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage der empfohlenen Filme (dreidimensionale Einbettung hervorgehoben)

Gemeinsames Filtern zur Vorhersage von Filmen, die empfohlen werden sollen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage der Filme, die empfohlen werden sollen (andere Funktionen sind markiert)

Gemeinsames Filtern zur Vorhersage von Filmen, die empfohlen werden sollen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage der empfohlenen Filme (ausgeblendete Ebenen hervorgehoben)

Gemeinsames Filtern zur Vorhersage von Filmen, die empfohlen werden sollen:

Diagramm eines neuronalen Deep-Learning-Netzwerks zur Vorhersage der Filme, die empfohlen werden sollen (logitische Ebene hervorgehoben)

Tiefes Netzwerk

  • Jede ausgeblendete Einheit entspricht einer Dimension (spätes Merkmal)
  • Kantengewichte zwischen einem Film und einer ausgeblendeten Ebene sind Koordinatenwerte
  • Ein Baumdiagramm eines neuronalen Deep-Learning-Netzwerks mit Knoten in der untersten Ebene, die mit drei Punkten in der nächsthöheren Ebene verbunden sind

Geometrische Ansicht einer einzelnen Filmeinbettung

Ein Punkt in einem dreidimensionalen Bereich, der dem Knoten der unteren Ebene im neuronalen Deep-Learning-Netzwerk entspricht.
  • Hochdimensionale Einbettungen können die Beziehungen zwischen Eingabewerten genauer darstellen
  • Aber mehr Dimensionen erhöhen die Wahrscheinlichkeit einer Überanpassung und führen zu einem langsameren Training.
  • Empirische Faustregel (ein guter Ausgangspunkt, sollte aber mit den Validierungsdaten abgestimmt werden):
  • $$ dimensions \approx \sqrt[4]{possible\;values} $$
  • Einbettungen ordnen Elemente (z. B. Filme, Text usw.) tiefdimensionalen echten Vektoren so zu, dass sich ähnliche Elemente nah beieinander befinden.
  • Einbettungen können auch auf dichte Daten (z.B. Audio) angewendet werden, um einen sinnvollen Ähnlichkeitsmesswert zu erstellen
  • Gemeinsame Einbettung verschiedener Datentypen (z. B. Text, Bilder, Audio usw.) definiert eine Ähnlichkeit zwischen ihnen