ニューラル ネットワークのトレーニング

誤差逆伝播法は、ニューラル ネットワークの最も一般的なトレーニング アルゴリズムです。これにより、多層ニューラル ネットワークで勾配降下法を実現できます。TensorFlow は誤差逆伝播を自動的に処理するため、アルゴリズムについて深く理解する必要はありません。その仕組みを理解するには、誤差逆伝播法のアルゴリズムの視覚的な説明をご覧ください。上記の説明をスクロールすると、次の点に注意してください。

  • グラフでのデータのフロー。
  • 動的プログラミングによって、グラフ全体で指数関数的に多数のパスを計算することを回避する方法。ここでの「動的プログラミング」とは、フォワードパスとバックワード パスの中間結果を記録するだけです。

ニューラル ネットワークのトレーニング

  • 勾配は重要
    • 微分可能であれば、それを使って学習できる可能性がある
  • 勾配は重要
    • 微分可能であれば、それを使って学習できる可能性がある
  • 勾配が消えることがある
    • レイヤを追加するごとに、信号雑音比が連続的に低下する場合がある
    • ここで ReLus が役立つ
  • 勾配は重要
    • 微分可能であれば、それを使って学習できる可能性がある
  • 勾配が消えることがある
    • レイヤを追加するごとに、信号雑音比が連続的に低下する場合がある
    • ここで ReLus が役立つ
  • 勾配が急上昇することがある
    • ここでは学習率が重要
    • バッチ正規化(便利なノブ)が効果的
  • 勾配は重要
    • 微分可能であれば、それを使って学習できる可能性がある
  • 勾配が消えることがある
    • レイヤを追加するごとに、信号雑音比が連続的に低下する場合がある
    • ここで ReLus が役立つ
  • 勾配が急上昇することがある
    • ここでは学習率が重要
    • バッチ正規化(便利なノブ)が効果的
  • ReLu レイヤが機能しなくなることがある
    • 落ち着いて学習率を下げましょう
  • 特徴量のスケーリングを妥当な範囲で行う
    • 中心がゼロで [-1, 1] の範囲が一般に適切に機能する
    • 勾配降下法の収束に役立つ、NaN トラップを回避する
    • また、外れ値を避けることも有効です。
  • 次の標準的な方法を使用できます。
    • 均等目盛
    • 最大、最小までの厳格な制限(クリッピング)
    • 対数目盛
  • ドロップアウト: NN に役立つ、別の正則化の形式
  • 1 つの勾配ステップで、ネットワーク内のユニットがランダムに「ドロップアウト」する仕組み
    • アンサンブル モデルに接続されています。
  • ドロップアウトが多いほど正則化が強くなる
    • 0.0 = ドロップアウト正則化なし
    • 1.0 = すべてを排除する何も学習しない
    • 中間値の有用性