Надмірна кількість поєднань?

Перш ніж дивитися відео або читати документацію, виконайте цю вправу, щоб дізнатися, на що впливає надмірна кількість поєднань ознак.

Завдання 1. Запустіть модель без змін, з усіма заданими поєднаними ознаками різних продуктів. Чи було щось дивне в тому, як модель пристосовується до даних? У чому проблема?

Завдання 2. Спробуйте видалити різні поєднані ознаки, щоб підвищити ефективність (хоча б трохи). Чому ця дія може покращити роботу?

(Відповіді наведено відразу під вправою.)

---

---

Натисніть значок плюса, щоб переглянути відповідь на завдання 1.

Дивно, але границя рішення моделі видається дещо незрозумілою. Зокрема, у верхньому лівому куті є зона, колір якої ближчий до синього, хоча в даних немає видимих підтверджень цього.

Зверніть увагу на відносну товщину п’яти ліній, що проходять від розділу "ВХІДНІ ДАНІ" до розділу "ВИХІДНІ ДАНІ". Ці лінії позначають відносні значення ваги п’яти ознак. Лінії, проведені від X₁ і X₂, набагато товщі, ніж ті, що йдуть від поєднання ознак. Отже, поєднання ознак впливають на модель набагато менше, ніж звичайні ознаки (які не поєднано).

Натисніть значок плюса, щоб переглянути відповідь на завдання 2.

Якщо видалити всі поєднання ознак, модель даватиме доречніші результати (більше не буде кривої границі, що свідчить про надмірне навчання), а втрати при тестуванні досягнуть збіжності.

Після 1000 ітерацій втрати при тестуванні мають бути дещо меншими, ніж за наявності поєднання ознак (хоча ваші результати можуть дещо відрізнятися, адже залежать від набору даних).

У цій вправі використовуються в основному лінійні дані, а також шум. Якщо ми застосовуємо заскладну модель, наприклад, із великою кількістю поєднань, то даємо їй можливість пристосуватися до шуму, що міститься в навчальних даних. Часто це призводить до того, що модель погано працює з тестовими даними.