Вивчення регуляризації L₁

Ця вправа містить невеликий набір дещо зашумлених даних для навчання. У таких умовах справжньою проблемою є надмірне навчання. Може допомогти регуляризація. Але яку її форму використати?

Ця вправа складається з п’яти пов’язаних завдань. Щоб було простіше порівнювати результати п’ятьох завдань, виконуйте кожне в окремій вкладці. Зверніть увагу, що товщина ліній, які з’єднують ОЗНАКИ й РЕЗУЛЬТАТ, представляє відносну вагу кожної функції.

Завдання	Тип регуляризації	Коефіцієнт регуляризації (лямбда)
1	L2	0,1
2	L2	0,3
3	L1	0,1
4	L1	0,3
5	L1	Експеримент

Запитання:

1. Як перехід із регуляризації L₂ на L₁ впливає на дельту між значеннями втрат при тестуванні й навчанні?
2. Як перехід із регуляризації L₂ на L₁ впливає на ваги, отримані в процесі навчання?
3. Як збільшення коефіцієнта регуляризації L₁ (лямбди) впливає на ваги, отримані в процесі навчання?

(Відповіді наведено відразу під вправою.)

---

---

Щоб побачити відповіді, натисніть значок плюса.

1. Перехід із регуляризації L₂ на L₁ значно зменшує дельту між втратами при тестуванні й навчанні.
2. Перехід із регуляризації L₂ на L₁ послаблює всі ваги, отримані в процесі навчання.
3. Збільшення коефіцієнта регуляризації L₁ загалом послаблює ваги, отримані в процесі навчання; однак якщо коефіцієнт регуляризації стане надто високим, збіжність моделі буде неможлива, а втрати – дуже великими.