エンベディング

エンベディングは、高次元ベクトルを変換できる比較的低次元の空間です。エンベディングを使用すると、単語を表す疎なベクトルなどの大規模な入力で機械学習を簡単に行うことができます。理想的には、エンベディングは、意味的に類似した入力をエンベディング空間内の近くに配置することで、入力の一部のセマンティクスをキャプチャします。エンベディングは、学習してモデル間で再利用できます。

エンベディング

  • 入力: 500,000 人のユーザーが視聴することを選択した 1,000,000 本の映画
  • タスク: ユーザーに映画をおすすめする

この問題を解くには、どの映画が互いに類似しているかを判断する方法が必要です。

1 行で左から右に並べられた映画のリスト。&

前のスライドと同じ映画を 2 つのディメンションで並べたリスト（「'Shrek'」など）は、左側の「'The Incredibles」の左にあります。

前の図と似ていますが、各象限の軸とラベルがあります。映画の構成は次のとおりです。最初の右上のクアドラントは、スターバックウォーズを含むアダルトブロックバスターです。右下の第 4 象限は、アダルト アートハウスで、映画「ブルー」と「ブルー」があります。また、「メメント」では、「メイク ライフ」とともに、アダルト アート クアドラントに追加されました。左下 3 分の 1 は、チルドレン アートハウスで、映画「トリプル オブ ベルビル」 + ウォールス アンド グロミット チルドレン アート クアドラントに追加され、左上の 4 番目と 4 番目の象限は「チルドレン ブロックバスターズ」（'シュレック'、'インクレディブル'、'ハリー ポッター&#39、映画「ロック スクール オブ ロック』、チルダ ブロック クアドラントに追加）です。

最後のスライドと同じ配置'Shrek' と 'Bleu' は、2D 埋め込み平面における座標の例としてハイライト表示されています。

  • 映画へのユーザーの興味や関心は、
  • 各映画は D 次元のポイントになり、ディメンション d の値はその側面に映画がどれだけ適合しているかを表す
  • エンベディングはデータから学習できる
  • 個別のトレーニング プロセスは必要ありません。エンベディング レイヤは、ディメンションごとに 1 つのユニットを持つ隠れ層です。
  • 管理情報（ユーザーが同じ 2 本の映画を見ているなど）によって、目的のタスクに合わせて学習したエンベディングを調整する
  • 非表示にしたユニットは、最終的に目標を最適化するために D 次元空間内のアイテムを整理する方法を直感的に理解できます
  • それぞれの例（このマトリックスの行）は、ユーザーが視聴した特徴（映画）のスパース ベクトルです。
  • この例の密な表現: (0, 1, 0, 1, 0, 0, 0, 1)

スペースと時間の観点からは効率的ではありません。

各列見出しが映画で、各行がユーザーとユーザーが視聴した映画を表す表。
  • 各特徴を 0, ..., # 個の映画 - 1 の整数にマッピングする辞書を作成します
  • ユーザーが再生した映画のみを表すスパース ベクトルを効率的に表現します。これは次の形式で表します。 右側に表示されたまばらなベクトルの映画の列位置に基づいて、映画 ' The Triplet from Belleville', 'Wallace', 'Memento' は（0,1, 999999）と効率的に表すことができます。
テーブルとして表されるスパース ベクトル。各列は映画を表し、各行はユーザーを表します。このテーブルには、前の図の映画が 1 から 999999 まであります。テーブルの各セルは、ユーザーが映画を視聴したかどうかをチェックします。

住宅販売価格を予測する回帰問題:

住宅販売価格を予測するために使用されるディープ ニューラル ネットワークの図

住宅販売価格を予測する回帰問題:

住宅販売価格の予測に使用されるディープ ニューラル ネットワークの図（スパース ベクトルのエンコードをハイライト表示）

住宅販売価格を予測する回帰問題:

住宅販売価格の予測に使用されるディープ ニューラル ネットワークの図（3 次元埋め込みエンベディング レイヤをハイライト）

住宅販売価格を予測する回帰問題:

住宅販売価格の予測に使用されるディープ ニューラル ネットワークの図（追加の緯度と経度の入力機能をハイライト表示）

住宅販売価格を予測する回帰問題:

住宅販売価格の予測に使用されるディープ ニューラル ネットワークの図（ハイライト表示された複数の隠れ層にフィードされる特徴をハイライト表示）

住宅販売価格を予測する回帰問題:

住宅販売価格の予測に使用されるディープ ニューラル ネットワークの図（ハイライト表示されたディープ ニューラル ネットワークの出力）

手書きの数字を予測するマルチクラス分類:

手書きの数字を予測するために使用されるディープ ニューラル ネットワークの図

手書きの数字を予測するマルチクラス分類:

手書きの数字の予測に使用されるディープ ニューラル ネットワークの図（入力スパース ベクトルのエンコードをハイライト表示）

手書きの数字を予測するマルチクラス分類:

手書きの数字の予測に使用されるディープ ニューラル ネットワークの図（その他の機能がハイライト表示されている）

手書きの数字を予測するマルチクラス分類:

手書きの数字の予測に使用されるディープ ニューラル ネットワークの図（3 次元エンベディングをハイライト表示）

手書きの数字を予測するマルチクラス分類:

手書きの数字の予測に使用されるディープ ニューラル ネットワークの図（隠れ層をハイライト表示）

手書きの数字を予測するマルチクラス分類:

手書きの数字の予測に使用されるディープ ニューラル ネットワークの図（ロジット レイヤがハイライト表示されている）

手書きの数字を予測するマルチクラス分類:

手書きの数字の予測に使用されるディープ ニューラル ネットワークの図（ターゲット クラスレイヤをハイライト表示）

コラボレーション フィルタリングにより、おすすめする映画を予測する:

おすすめの映画を予測するために使用されるディープ ニューラル ネットワークの図

コラボレーション フィルタリングにより、おすすめする映画を予測する:

おすすめの映画を予測するために使用されるディープ ニューラル ネットワークの図（ターゲット クラス レイヤがハイライト表示されている）

コラボレーション フィルタリングにより、おすすめする映画を予測する:

おすすめの映画を予測するために使用されるディープ ニューラル ネットワークの図（スパース ベクトルのエンコードがハイライト表示されている）

コラボレーション フィルタリングにより、おすすめする映画を予測する:

おすすめの映画を予測するために使用されるディープ ニューラル ネットワークの図（3 次元エンベディングをハイライト表示）

コラボレーション フィルタリングにより、おすすめする映画を予測する:

おすすめの映画を予測するために使用されるディープ ニューラル ネットワークの図（他の機能がハイライト表示されている）

コラボレーション フィルタリングにより、おすすめする映画を予測する:

おすすめの映画を予測するために使用されるディープ ニューラル ネットワークの図（隠れ層をハイライト表示）

コラボレーション フィルタリングにより、おすすめする映画を予測する:

おすすめの映画を予測するために使用されるディープ ニューラル ネットワークの図（ロジットレイヤをハイライト）

ディープ ネットワーク

  • 隠されたユニットはそれぞれディメンション（潜在特徴）に対応する
  • ムービーと非表示レイヤの間のエッジの重みは座標値になります。
    • 最下層のノードが 1 つ下の層の 3 つのポイントに接続されているディープ ニューラル ネットワークのツリー図

単一の映画のエンベディングのジオメトリ ビュー

ディープ ニューラル ネットワークの図の下位レイヤのノードに対応する 3 次元空間内の点。
  • 高次元のエンベディングにより、入力値の関係をより正確に表現できる
  • ただし、ディメンションが多いほど、過学習のリスクが増し、トレーニング速度が低下する
  • 経験則（経験から始めることをおすすめしますが、検証データを用いて調整する必要があります）:
    • $$ dimensions \approx \sqrt[4]{possible\;values} $$
  • エンベディングは、アイテム（映画、テキストなど）を低次元の現実的なベクトルにマッピングし、類似のアイテムが互いに近接するようにします。
  • エンベディングを高密度データ（音声など）に適用し、有意な類似性の指標を作成する
  • 多様なデータタイプ（テキスト、画像、音声など）を共同で埋め込みることによる、それらの類似性の確立
前へ
プログラミング演習
次へ
コラボレーション フィルタリングの動機