Перегляньте варіанти нижче.

Уявіть лінійну модель зі 100 вхідними ознаками:

10 – високоінформативні;

90 – неінформативні.

Припустімо, що всі ознаки мають значення від –1 до 1. Які з тверджень, наведених нижче, правильні?

Якщо використовується регуляризація L1, багато неінформативних ваг наближатимуться майже до 0,0 (але не дорівнюватимуть цьому числу).

Загалом регуляризація L1 із достатньою лямбдою сприяє наближенню ваг неінформативних ознак рівно до 0,0. На відміну від L2, регуляризація L1 однаково "штовхає" до 0,0 усі ваги, хоч як вони далеко від нього.

Якщо використовується регуляризація L1, більшість неінформативних ваг наближатимуться до 0,0 (і можуть дорівнювати цьому числу).

Регуляризація L1 із достатньою лямбдою сприяє наближенню неінформативних ваг рівно до 0,0. Завдяки цьому неінформативні ознаки перестають впливати на модель.

Через регуляризацію L1 значення інформативних ознак можуть отримати вагу рівно на 0,0.

Будьте обережні. Регуляризація L1 може призвести до того, що типам ознак, наведеним нижче, буде присвоєне вагу 0:

низькоінформативні ознаки;

високоінформативні ознаки з іншим масштабом;

інформативні ознаки, що дуже взаємопов’язані з іншими ознаками, які мають подібну інформативність.