Линейная регрессия: упражнение градиентного спуска

В этом упражнении вы вернетесь к графику зависимости топливной эффективности от расхода топлива из упражнения «Параметры» . Но на этот раз вы используете градиентный спуск для определения оптимальных значений веса и смещения для линейной модели, которая минимизирует потери.

Выполните три задания, расположенные под графиком.

При высокой скорости обучения эта интерактивная визуализация может демонстрировать мигающие изображения, что может негативно сказаться на людях с повышенной светочувствительностью.

Задание №1: Отрегулируйте ползунок «Скорость обучения» под графиком, установив скорость обучения равной 0,03. Нажмите кнопку «Старт» , чтобы запустить градиентный спуск.

Сколько времени требуется для сходимости модели (достижения стабильного минимального значения функции потерь) в процессе обучения? Каково значение MSE при сходимости модели? Какие значения весов и смещений приводят к этому значению?

Нажмите на значок плюса, чтобы увидеть наше решение.

При установке скорости обучения 0,03 модель сошлась примерно за 30 секунд, достигнув среднеквадратичной ошибки (MSE) 2,67 при значениях веса и смещения –1,14 и 20,389 соответственно. Это указывает на то, что мы выбрали удачное значение скорости обучения.

Задание №2: Нажмите кнопку «Сброс» под графиком, чтобы сбросить значения веса и смещения на графике. Отрегулируйте ползунок «Скорость обучения» до значения около 1,10e ^–5 . Нажмите кнопку «Старт» , чтобы запустить градиентный спуск.

Что вы заметили в отношении времени, необходимого для сходимости обучения модели в этот раз?

Нажмите на значок плюса, чтобы увидеть решение.

Спустя несколько минут обучение модели так и не сошлось. Небольшие изменения значений весов и смещений продолжают приводить к незначительному снижению значений функции потерь. Это говорит о том, что выбор более высокой скорости обучения позволит градиентному спуску быстрее найти оптимальные значения весов и смещений.

Задание №3: Нажмите кнопку «Сброс» под графиком, чтобы сбросить значения веса и смещения на графике. Установите ползунок «Скорость обучения» на 1. Нажмите кнопку «Старт» , чтобы запустить градиентный спуск.

Что происходит со значениями функции потерь в процессе градиентного спуска? Сколько времени потребуется для сходимости обучения модели на этот раз?

Нажмите на значок плюса, чтобы увидеть решение.

Значения функции потерь сильно колеблются при высоких значениях (MSE более 300). Это указывает на то, что скорость обучения слишком высока, и обучение модели никогда не достигнет сходимости.