学習率と収束

これはいくつかのプレイグラウンド演習の 1 つ目です。 プレイグラウンドはプログラムです。 ML の原則を教えるために 特別に開発されました このコースの各プレイグラウンド エクササイズには、埋め込みのプレイグラウンドが含まれています いくつか見てみましょう

Playground のエクササイズごとにデータセットが生成されます。このラベル 取り得る値は 2 つあります。この 2 つについては または、健全なツリーと病気のツリーなどを区別することもできます。 ほとんどの演習の目標は、さまざまなハイパーパラメータを微調整して 適切に分類（分離または区別）したモデル もう一方のラベル値が返されますほとんどのデータセットには特定の変数が 適切な分類を不可能にします。

この演習のインターフェースには、次の 3 つのボタンがあります。

アイコン 名前 機能
リセットボタン。 リセット [Iterations] を 0 にリセットします。モデルに与えられていた重みをすべてリセットします 学習します。
ステップボタン。 ステップ 1 つのイテレーションを進める。イテレーションのたびに、モデルは ときには微妙に、ときには劇的に変化しました。
[再生成] ボタン。 再生成 新しいデータセットを生成します。[反復処理] はリセットされません。

この最初のプレイグラウンド演習では、 学習率を算出します。

タスク 1: ページの右上にある [学習率] メニューを確認します。 プレイグラウンド。指定された学習率（3）が非常に高い。観測 [ステップ] をクリックして、高い学習率がモデルに与える影響 ボタンを 10 回または 20 回押します。初期のイテレーションごとに、モデルがどのように 劇的に変化しました場合によっては モデルに収束したと推定されます。また、現在実行中の行にも x1 と x2 をモデルの可視化に使用します。モデルの重み これらの線は、モデル内の特徴の重みを示しています。つまり、 太い線は重みが高いことを示します。

タスク 2: 次のことを行います。

  1. [Reset] ボタンを押します。
  2. [学習率] を下げます。
  3. [ステップ] ボタンを何回か押します。

学習率の低下は収束にどのような影響を与えましたか。両方の モデルが収束するまでに必要なステップ数、 着実にモデルが収束しますさらに低い値でテストして、 学習します学習率が遅すぎて役に立ちませんか？（ 演習のすぐ下にあるディスカッションでディスカッションできます）。