Изучите варианты ниже.
Представьте себе линейную модель с двумя сильно коррелирующими функциями; то есть эти два объекта являются почти идентичными копиями друг друга, но один из них содержит небольшое количество случайного шума. Если мы обучим эту модель регуляризации L2 , что произойдет с весами этих двух функций?
Обе функции будут иметь примерно равный умеренный вес.
Регуляризация L2 приведет к тому, что функции получат примерно эквивалентные веса, которые составляют примерно половину того, что они имели бы, если бы в модели присутствовал только один из двух признаков.
Одна функция будет иметь большой вес; другой будет иметь вес почти 0,0.
Регуляризация L2 наказывает большие веса больше, чем маленькие. Таким образом, даже если один вес начнет падать быстрее, чем другой, регуляризация L 2 приведет к тому, что больший вес будет падать быстрее, чем меньший.
Одна функция будет иметь большой вес; другой будет иметь вес ровно 0,0.
Регуляризация L2 редко приводит к тому, что веса становятся точно равными 0,0. Напротив, регуляризация L 1 (обсуждаемая позже) приводит к тому , что веса становятся точно равными 0,0.