Вивчення регуляризації L₂

Ця вправа містить невеликий набір зашумлених даних для навчання. У таких умовах справжньою проблемою є надмірне навчання. На щастя, може допомогти регуляризація.

Ця вправа складається з трьох пов’язаних завдань. Щоб було простіше порівнювати результати трьох завдань, виконуйте кожне в окремій вкладці.

• Завдання 1. Запустіть модель без змін, і нехай процес триває щонайменше 500 епох. Зверніть увагу на такі аспекти:
  • втрати при тестуванні;
  • дельту між значеннями втрат при тестуванні й навчанні;
  • ваги, отримані в процесі навчання для ознак і їх поєднань (відносна товщина кожної лінії, що йде від розділу "ОЗНАКИ" до "ВИХІДНІ ДАНІ", представляє вагу, отриману в процесі навчання для ознаки або поєднання ознак; щоб дізнатися точні значення ваги, наведіть курсор на кожну лінію).
• Завдання 2. (Рекомендуємо виконувати на окремій вкладці.) Збільште коефіцієнт регуляризації з 0 до 0,3. Потім запустіть модель (нехай процес триває принаймні 500 епох) і знайдіть відповіді на запитання, наведені нижче.
  • Чим втрати при тестуванні із завдання 2 відрізняються від цього значення із завдання 1?
  • Чим дельта між значеннями втрат при тестуванні й навчанні із завдання 2 відрізняється від дельти із завдання 1?
  • Чим відрізняються ваги, отримані в процесі навчання для кожної ознаки і їх поєднання для завдання 2 й завдання 1?
  • Що ваші результати говорять про складність моделі?
• Завдання 3. Поекспериментуйте з коефіцієнтом регуляризації і спробуйте знайти оптимальне значення.

(Відповіді наведено відразу під вправою.)

---

---

Щоб побачити відповіді, натисніть значок плюса.

Збільшення коефіцієнта регуляризації від 0 до 0,3 дає результати, описані нижче.

• Втрати при тестуванні значно зменшуються.

  Примітка. У той час як втрати при тестуванні зменшуються, втрати при навчанні насправді збільшуються. Це очікувано, оскільки ви додали ще одну умову до функції втрат, щоб штрафувати за складність. Зрештою, головне — втрати при тестуванні, оскільки саме вони є справжнім показником здатності моделі робити хороші прогнози на основі нових даних.

• Дельта між значеннями втрат при тестуванні й навчанні значно зменшуються.
• Ваги ознак і деяких поєднань ознак мають менші модулі. А це означає, що складність моделі знижується.

Враховуючи випадковість набору даних, неможливо передбачити, який коефіцієнт регуляризації дає найкращі результати. У цьому прикладі коефіцієнт регуляризації 0,3 або 1 зазвичай призводить до найменших втрат при тестуванні.