Изучение регуляризации _L2

Это упражнение содержит небольшой зашумленный набор обучающих данных. В таких условиях переоснащение является настоящей проблемой. К счастью, регуляризация может помочь.

Это упражнение состоит из трех взаимосвязанных задач. Чтобы упростить сравнение трех задач, запускайте каждую задачу на отдельной вкладке.

• Задача 1: Запустите модель, как указано, как минимум на 500 эпох. Обратите внимание на следующее:
  • Потеря теста.
  • Разница между потерей теста и потерей обучения.
  • Изученные веса функций и пересечений функций. (Относительная толщина каждой линии, идущей от ФУНКЦИИ к ВЫХОДУ, представляет собой изученный вес для этого объекта или перекрестия объектов. Вы можете найти точные значения веса, наведя курсор на каждую линию.)
• Задача 2: ( Рассмотрите возможность выполнения этой задачи на отдельной вкладке. ) Увеличьте коэффициент регуляризации с 0 до 0,3 . Затем запустите модель как минимум на 500 эпохах и найдите ответы на следующие вопросы:
  • Чем потеря теста в задании 2 отличается от потери теста в задаче 1?
  • Чем разница между потерей теста и потерей обучения в Задании 2 отличается от разницы в Задаче 1?
  • Как изученные веса каждой функции и перекрестия функций отличаются от задачи 2 к задаче 1?
  • Что ваши результаты говорят о сложности модели?
• Задача 3: Поэкспериментируйте со скоростью регуляризации, пытаясь найти оптимальное значение.

(Ответы приведены сразу под упражнением.)

---

---

Нажмите значок плюса, чтобы увидеть ответы.

Увеличение коэффициента регуляризации с 0 до 0,3 дает следующие эффекты:

• Потери при тестировании значительно снижаются.

  Примечание. Хотя потери при тестировании уменьшаются, потери при обучении фактически увеличиваются . Это ожидаемо, поскольку вы добавили еще один член в функцию потерь, чтобы снизить сложность. В конечном счете, все, что имеет значение, — это потери при тестировании, поскольку это истинная мера способности модели делать хорошие прогнозы на новых данных.

• Разница между потерями при тестировании и потерей при обучении значительно снижается.
• Веса признаков и некоторых пересечений признаков имеют более низкие абсолютные значения, что означает, что сложность модели снижается.

Учитывая случайность набора данных, невозможно предсказать, какой уровень регуляризации принесет вам наилучшие результаты. Для нас коэффициент регуляризации 0,3 или 1 обычно приводил к наименьшим потерям в тесте.