最初のニューラル ネットワーク

この演習では、最初の小さなニューラル ネットワークをトレーニングします。 ニューラル ネットを活用すれば、コードを書かずに非線形モデルを 明示的な特徴クロスの使用が 推奨されます

タスク 1: このモデルは、2 つの入力特徴を組み合わせて 考えていますこのモデルは非線形性を学習しますか。実行して 考えてみましょう。

タスク 2: 次のように、隠れ層のニューロンの数を増やす 線形活性化から非線形活性化に変更してみます 必要があります。非線形性を学習できるモデルを作成できるか。モデル化できるか どうすればよいでしょうか。

タスク 3: 隠れ層のニューロンの数を増やす これは、ReLU などの非線形活性化関数です。データをモデル化できるか どうすればよいでしょうか。モデルの品質は実行ごとにどのように異なるか。

タスク 4: 非表示レイヤを追加または削除してテストを続ける レイヤあたりのニューロン数です学習率も自由に変更でき その他の学習設定が含まれます。最小サイズは テスト損失を発生させるために使用することのできるニューロンとレイヤの数 0.177 以下でしょうか。

モデルサイズを大きくすると、適合性または収束の速さは向上しますか？ これによって、優れたモデルに収束する頻度が変わるか。たとえば、 説明します。

• 3 つのニューロンを持つ最初の隠れ層。
• 3 つのニューロンを持つ 2 番目の隠れ層。
• 2 つのニューロンを持つ 3 番目の隠れ層。

（解答は演習のすぐ下に表示されます）。

---

---

タスク 1 の解答のプラスアイコンをクリックします。

活性化は線形に設定されているため、このモデルは学習できない 非線形性も排除できます損失が非常に大きく、モデルは学習に不適合 できます。

プラスアイコンをクリックすると、タスク 2 の解答が表示されます。

非線形活性化関数は、非線形モデルを学習できます。ただし、 2 つのニューロンを持つ 1 つの隠れ層では、モデルの ノイズがない場合でも大きな損失になります。 学習しきれないということです。これらのエクササイズは非決定的であるため、一部の実行は 他の実行では効果的なモデルが学習されませんが、他の実行ではかなり良い結果が得られます。 最適なモデルは、期待する形状と異なる場合があります。

プラスアイコンをクリックすると、タスク 3 の解答が表示されます。

この演習では、プレイグラウンドの非決定的な性質がよくわかります。 データセットをモデル化するには、3 つのニューロンを持つ 1 つの隠れ層で十分です（ すべての実行が適切なモデルに収束するとは限りません。

XOR 関数は 3 つの半平面（ReLU 活性化）の組み合わせで表現できるため、3 つのニューロンで十分です。このことは、 個々のニューロンの出力を示すニューロン画像優れたモデルの場合 3 つのニューロンと ReLU 活性化関数がある場合、ほぼすべての X¹ が正（または負。符号は ほぼ水平の線が入った 1 枚の画像で、 X²、対角線が入った 1 枚の画像、 です。

ただし、すべての実行が優れたモデルに収束するとは限りません。一部の実行では 2 つのニューロンを持つモデルよりも パフォーマンスが優れていることがわかります 対応できます

プラスアイコンをクリックすると、タスク 4 の解答が表示されます。

3 つのニューロンを持つ 1 つの隠れ層でデータをモデル化できますが、 ニューロンが喪失することになり 多くの実行で 良いモデルです単一レイヤに 3 つを超えるニューロンがあると、冗長性が高くなります。 優れたモデルに収束する可能性が高くなります

これまで見てきたように、ニューロンが 2 つしかない単一の隠れ層ではデータをモデル化できません。 ありますやってみると、出力レイヤ内のすべてのアイテムが これら 2 つのノードの線で構成されるシェイプのみを作成できます。この例では より深いネットワークにより、最初の隠れ層のみの場合よりも適切にデータセットをモデル化できます。 第 2 階層の個々のニューロンは、2 次元モデルのような、より複雑な形状をモデル化できます。 右上の象限になります。それを追加すると同時に 第 2 隠れ層でも、第 1 隠れ層よりも優れたデータセットをモデル化できます。 最初のレイヤにノードを追加して、 2 番目のレイヤがリソースを構築するための キットに含まれる行を増やせるようにします 適用できます。

しかし、最初の隠れ層にニューロンが 1 つあるモデルでは、 どんなに深いレベルでも学習できますこれは、最初の出力が 1 次元（通常は対角線）に沿ってのみ変化しますが、 十分にモデル化できるからです以降のレイヤではこれを補うことはできません。 どんなに複雑なものでも修復不可能な情報が入力データの わかります

小規模なネットワークを構築しようとするのではなく どうすればよいでしょうか。これまで見てきたように、最初の さまざまな傾きを試すことができます。2 つ目は、 さまざまな形状に蓄積できます。 後続のレイヤまで多くのシェイプが 重なっています

モデルが多種多様な形を考慮できるようにすることで、 モデルが学習を開始するのに十分なスペースが トレーニング セットのノイズに過学習が起こりやすくなり、 モデルではなく、トレーニング データの誤りに合わせて 理解できますこの例では、モデルの規模が大きいと、モデルの規模が 正確なデータポイントとのマッチングが実現されます。極端な場合、大規模なモデルは ノイズが発生している個々の点の周りの島を学習する 記憶できます。これだけモデルを大きくすることで 単純なモデルよりもパフォーマンスが劣る場合が 問題を解くのに十分な数のニューロンが 必要だとします