Aby rozwiązać podstawowe problemy ze słabszymi danymi wejściowymi, przypisz dane o wysokich wymiarach do przestrzeni o mniejszym wymiarze.
Jak wspomnieliśmy wcześniej w ćwiczeniach filmowych, nawet mała, wielowymiarowa przestrzeń pozwala grupować elementy semantycznie podobne i oddzielić tę samą część. Pozycja (odległość i kierunek) w przestrzeni wektorowej pozwala zakodować semantykę w dobrze osadzonym miejscu. Na przykład te wizualizacje rzeczywistych osadzeń pokazują relacje geometryczne, które odzwierciedlają relacje semantyczne, takie jak relacja między krajem a jego stolicą:
Rysunek 4. Osadzanie może być źródłem niezwykłych analogii.
Ten obszar pozwala systemom uczącym się wykrywać wzorce, które mogą pomóc w wykonywaniu zadań.
Zmniejszam sieć
Mimo że zależy nam na ilości wystarczającej do zakodowania rozszerzonych relacji semantycznych, potrzebujemy też osadzenia wystarczającego do szybszego trenowania naszego systemu. Użyteczne umieszczanie elementów może mieć kilkaset wymiarów. W przypadku zadań dotyczących języka naturalnego jest to prawdopodobnie kilka rzędów wielkości mniejszej niż rozmiar słowa kluczowego.