L 2 Регуляризация
Изучите варианты ниже.
Представьте себе линейную модель со 100 входными функциями: 10 очень информативны. 90 неинформативны. Предположим, что все функции имеют значения от -1 до 1. Какие из следующих утверждений верны?
Регуляризация L2 приведет к тому, что многие неинформативные веса будут равны почти (но не точно) 0,0.
Да, регуляризация L2 способствует тому, чтобы веса были близки к 0,0, но не точно к 0,0.
Регуляризация L2 будет способствовать тому, что большинство неинформативных весов будут равны точно 0,0.
Регуляризация L2 не приводит к приведению весов точно к 0,0. Регуляризация L2 наказывает большие веса больше, чем меньшие. Когда вес приближается к 0,0, L 2 менее сильно «подталкивает» к 0,0.
Регуляризация L2 может привести к тому, что модель приобретет умеренный вес для некоторых неинформативных функций.
Удивительно, но это может произойти, когда неинформативная функция соотносится с меткой. В этом случае модель неправильно отдает таким неинформативным функциям часть «кредита», который должен был быть отдан информативным функциям.
L 2 Регуляризация и коррелированные функции
Изучите варианты ниже.
Представьте себе линейную модель с двумя сильно коррелирующими функциями; то есть эти два объекта являются почти идентичными копиями друг друга, но один из них содержит небольшое количество случайного шума. Если мы обучим эту модель регуляризации L2 , что произойдет с весами этих двух функций?
Обе функции будут иметь примерно равный умеренный вес.
Регуляризация L2 приведет к тому, что функции будут иметь примерно эквивалентные веса, которые составляют примерно половину того, что они имели бы, если бы в модели присутствовал только один из двух признаков.
Одна функция будет иметь большой вес; другой будет иметь вес почти 0,0.
Регуляризация L2 наказывает большие веса больше, чем маленькие. Таким образом, даже если один вес начнет падать быстрее, чем другой, регуляризация L 2 приведет к тому, что больший вес будет падать быстрее, чем меньший.
Одна функция будет иметь большой вес; другой будет иметь вес ровно 0,0.
Регуляризация L2 редко приводит к тому, что веса становятся точно равными 0,0. Напротив, регуляризация L 1 (обсуждаемая позже) приводит к тому, что веса становятся точно равными 0,0.