Пересечение?
Прежде чем смотреть видео или читать документацию, выполните это упражнение, в котором рассматривается чрезмерное использование перекрестных функций.
Задача 1. Запустите модель как есть, со всеми заданными функциями перекрестного продукта. Есть ли какие-нибудь сюрпризы в том, как модель соответствует данным? В чем проблема?
Задача 2. Попробуйте удалить различные функции перекрестного продукта, чтобы повысить производительность (хотя и незначительно). Почему удаление функций может повысить производительность?
(Ответы приведены сразу под упражнением.)
Нажмите значок плюса, чтобы получить ответ на задание 1.
Удивительно, но граница принятия решений модели выглядит довольно странно. В частности, в левом верхнем углу есть область, намекающая на синий цвет, хотя видимого подтверждения этому в данных нет.
Обратите внимание на относительную толщину пяти линий, идущих от ВХОДА к ВЫХОДУ. Эти линии показывают относительный вес пяти функций. Линии, исходящие от X 1 и X 2 , намного толще, чем линии, исходящие от пересечений объектов. Таким образом, перекрестные признаки вносят гораздо меньший вклад в модель, чем обычные (непересекающиеся) признаки.
Нажмите значок плюса, чтобы получить ответ на задание 2.
Удаление всех пересечений признаков дает более разумную модель (больше нет изогнутой границы, указывающей на переобучение) и приводит к сходимости потерь при тестировании.
После 1000 итераций потери при тестировании должны быть немного меньшими, чем при использовании перекрестных функций (хотя ваши результаты могут немного отличаться в зависимости от набора данных).
Данные в этом упражнении представляют собой в основном линейные данные плюс шум. Если мы используем слишком сложную модель, например модель со слишком большим количеством крестов, мы даем ей возможность адаптироваться к шуму в обучающих данных, часто за счет плохой работы модели на тестовых данных.
