Bạn có thể giải quyết các vấn đề cốt lõi của dữ liệu đầu vào thưa thớt bằng cách ánh xạ dữ liệu chiều cao của bạn vào một không gian chiều thấp hơn.
Như bạn đã thấy trong các bài tập về phim trước đó, ngay cả một không gian đa chiều nhỏ cũng giúp bạn có thể tự do nhóm các mục tương tự nhau về mặt ngữ nghĩa và giữ các mục khác nhau ở xa. Vị trí (khoảng cách và hướng) trong không gian vectơ có thể mã hóa ngữ nghĩa trong một lần nhúng tốt. Ví dụ: những hình ảnh trực quan sau về video nhúng thực tế cho thấy mối quan hệ hình học giúp nắm bắt các mối quan hệ ngữ nghĩa như mối quan hệ giữa một quốc gia và thủ đô của quốc gia đó:
Hình 4. Việc nhúng có thể tạo ra sự tương đồng rõ rệt.
Loại không gian có ý nghĩa này tạo cơ hội cho hệ thống máy học của bạn phát hiện các mẫu có thể hỗ trợ nhiệm vụ học tập.
Thu hẹp mạng
Mặc dù muốn có đủ kích thước để mã hoá các mối quan hệ ngữ nghĩa phong phú, nhưng chúng tôi cũng muốn có một không gian nhúng đủ nhỏ để cho phép hệ thống huấn luyện hệ thống nhanh hơn. Cách nhúng hữu ích có thể sắp xếp theo hàng trăm thứ nguyên. Đây có thể là một số đơn đặt hàng có quy mô nhỏ hơn kích thước từ vựng của bạn cho nhiệm vụ ngôn ngữ tự nhiên.