背景: 生成モデルとは

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

「敵対的ネットワーク生成」という名前で「ジェネレーティブ」とはどういう意味ですか? "ジェネレーティブ" は、判別モデルと対照的な統計モデルのクラスを表しています。

非公式に:

  • ジェネレーティブ モデルは、新しいデータ インスタンスを生成できます。
  • 差別モデルは、さまざまな種類のデータ インスタンスを区別します。

生成モデルでは、実際の動物のように見える新しい動物の写真を生成できますが、識別モデルでは猫から犬を判別できます。GAN は 1 種類のみ生成モデルです。

より正式には、一連のデータ インスタンス X と一連のラベル Y があるとします。

  • ジェネレーティブ モデルは、ジョイント確率 p(X, Y) をキャプチャします。ラベルがない場合は、p(X) のみをキャプチャします。
  • 判別式モデルは、条件付き確率 p(Y | X) をキャプチャします。

ジェネレーティブ モデルは、データ自体の分布を含み、特定の例がどの程度の可能性を示すかを示します。たとえば、シーケンス内の次の単語を予測するモデルは、一般的にシーケンスに単語を割り当てることができるため、生成モデル(通常は GAN よりもはるかにシンプル)です。

識別モデルでは、特定のインスタンスの可能性について質問が無視され、インスタンスへのラベル適用の可能性が示されます。

これは非常に一般的な定義です。生成モデルにはさまざまな種類があります。GAN は一種の生成モデルにすぎません。

モデリングの確率

いずれの種類のモデルでも、確率を表す数値を返す必要はありません。データの分布は、模倣することでモデル化できます。

たとえば、ディシジョン ツリーのような差別的な分類器では、ラベルに確率を割り当てることなくインスタンスにラベルを適用できます。予測されたすべてのラベルの分布はデータ内のラベルの実際の分布をモデル化するため、このような分類器はモデルのままです。

同様に、ジェネレーティブ モデルは、その分布から引き出された説得力のある「偽」データを生成することによって、分布をモデル化できます。

生成モデルは困難

生成モデルは、類似の判別モデルよりも難しいタスクに取り組んでいます。ジェネレーティブ モデルはさらにモデル化する必要があります。

画像生成モデルでは、「ボート」のようなものが水に似たものに見える相関関係を捕捉できます。また、「目」が額に表示される可能性は低くなります。これらは非常に複雑な分布です。

一方で、識別モデルでは「ヨット」と「ヨット以外」の違いを学習できます。生成モデルが正しく対応する必要がある多くの相関関係は無視できます。

判別モデルはデータ空間に境界を描画しようとし、生成モデルは空間内にデータをどのように配置するかをモデル化します。たとえば、次の図は手書き数字の判別モデルと生成モデルを示しています。

2 つのグラフ。1 つは「識別モデル」、もう 1 つは「ジェネレーティブ モデル」というラベルが付けられています。どちらのグラフも、同じ 4 つのデータポイントを示しています。各点に、手書きの数字の画像がラベル付けされています。区別グラフには、2 つのデータポイントを残りの 2 つから分けた点線があります。点線より上の領域は 'y=0&#39、線より下の領域には 'y=1' とラベル付けされます。ジェネレーティブ グラフでは、2 つの点線の周りに 2 つの点線の円が描画されます。上の円は 'y=0&#39、一番下の円は 'y=1 とラベル付けされています

図 1: 手書きの数字の判別モデルと生成モデル。

判別モデルは、データ空間に線を引いて、手書きの 0 と 1 の違いを区別しようとします。ラインを正しく取得すると、ラインの両側のデータ空間でインスタンスが配置されている場所を正確にモデル化することなく、0 と 19 を区別できます。

一方、ジェネレーティブ モデルは、データ空間の中の対応する値に近い数字を生成することによって、説得力のある 1 と 0 を生成します。データ空間全体での分布をモデル化する必要がある。

GAN は、このような実際のモデルをトレーニングして実際の分布に近づけるための効果的な方法です。仕組みを理解するには、GAN の基本構造を理解する必要があります。

理解度をチェック: 生成モデルと差別モデル

1,000 人に対する IQ スコアがあります。次の手順で IQ スコアの分布をモデル化します。
  1. 6 面のサイコロを 3 つ振る。
  2. 出目に定数「w」を乗じます。
  3. 100 回繰り返し、すべての結果の平均を取ります。
プロシージャの結果が実際の IQ スコアの平均と等しくなるまで、w に異なる値を試します。モデルは生成モデルですか、または識別モデルですか。
生成モデル
正解: ロールが発生するたびに、架空の人物の IQ を効率的に生成している。さらに、生成されたモデルは IQ スコアが通常(ベル曲線上)で分布しているという事実を把握します。
判別モデル
不正解: 類似の判別モデルは、さまざまな種類の IQ スコアを区別しようとします。たとえば、識別モデルは IQ を偽物または本物として分類しようとします。
情報が不足しています。
このモデルは実際には、2 種類のモデルのいずれかの定義に当てはまります。
データ インスタンスを与えると、確率が返されます。このモデルは生成モデルですか、差別モデルですか?
生成モデル
生成モデルでは、インスタンスの確率とクラスラベルの確率を推定できます。
判別モデル
差別モデルは、インスタンスがクラスに属する確率を推定できます。
情報が不足しています。
生成モデルと差別モデルの両方が確率を推定できます(ただし、推定する必要はありません)。