Изучение регуляризации L2
Это упражнение содержит небольшой зашумленный набор обучающих данных. В таких условиях переоснащение является настоящей проблемой. К счастью, регуляризация может помочь.
Это упражнение состоит из трех взаимосвязанных задач. Чтобы упростить сравнение трех задач, запускайте каждую задачу на отдельной вкладке.
- Задача 1: Запустите модель, как указано, как минимум на 500 эпох. Обратите внимание на следующее:
- Потеря теста.
- Разница между потерей теста и потерей обучения.
- Изученные веса функций и пересечений функций. (Относительная толщина каждой линии, идущей от ФУНКЦИИ к ВЫХОДУ, представляет собой изученный вес для этого объекта или перекрестия объектов. Вы можете найти точные значения веса, наведя курсор на каждую линию.)
- Задача 2: ( Рассмотрите возможность выполнения этой задачи на отдельной вкладке. ) Увеличьте коэффициент регуляризации с 0 до 0,3 . Затем запустите модель как минимум на 500 эпохах и найдите ответы на следующие вопросы:
- Чем потеря теста в задании 2 отличается от потери теста в задаче 1?
- Чем разница между потерей теста и потерей обучения в Задании 2 отличается от разницы в Задаче 1?
- Как изученные веса каждой функции и перекрестия функций отличаются от задачи 2 к задаче 1?
- Что ваши результаты говорят о сложности модели?
- Задача 3: Поэкспериментируйте со скоростью регуляризации, пытаясь найти оптимальное значение.
(Ответы приведены сразу под упражнением.)