Складніші поєднання ознак

Тепер розгляньмо деякі розширені поєднання ознак. Набір даних, що використовується для цієї вправи в інтерактивному середовищі, трохи схожий на мішень для гри в дартс із синіми точками посередині й помаранчевими зовні.

Натисніть значок плюса, щоб дізнатися більше про візуалізацію моделі.

Кожна вправа в інтерактивному середовищі – це візуалізація поточного стану моделі. Ось приклад візуалізації:

Зверніть увагу на аспекти візуалізації моделі, описані нижче.

• Кожна вісь представляє певну ознаку. Якщо потрібно визначити, є лист спамом чи ні, ознаками можуть бути кількість слів і кількість отримувачів листа.
  Примітка. Доречні значення осей залежатимуть від даних ознак. Значення осей, показані вище, не підходять для кількості слів або отримувачів, оскільки ті не можуть бути від’ємними.
• Кожна точка показує значення ознаки для одного прикладу даних, такого як електронний лист.
• Колір точки позначає клас, до якого належить приклад. Сині точки можуть позначати листи без спаму, а помаранчеві – зі спамом.
• Колір фону – це прогноз моделі щодо того, де можна знайти приклади цього кольору. Синій фон навколо синьої точки означає, що модель правильно прогнозує цей приклад. І навпаки, помаранчевий фон навколо блакитної точки означає, що модель робить неправильний прогноз для цього прикладу.
• Синій і помаранчевий фон неоднорідні. Наприклад, ліва частина візуалізації повністю синя, але поступово перетворюється на білу в центрі. Можна вважати, що насиченість кольору вказує на впевненість моделі в припущенні. Так, насичений синій колір означає, що модель дуже впевнена в прогнозі, а блакитний – що вона менш упевнена. (Візуалізація моделі, показана на рисунку, погано справляється з прогнозуванням.)

Використовуйте візуалізацію, щоб оцінити прогрес моделі. (Наприклад, розміщення більшості синіх точок на такому самому тлі – це чудово, а на помаранчевому тлі – ні.) Окрім кольорів, інтерактивне середовище також відображає поточні втрати моделі в числовому вигляді. (Наприклад, ви можете побачити, що втрати зростають, а не зменшуються.)

Завдання 1. Запустіть цю лінійну модель без змін. Протягом хвилини-двох (але не довше) спробуйте різні налаштування швидкості навчання, щоб побачити, чи можна досягти якихось покращень. Чи може лінійна модель дати ефективні результати для цього набору даних?

Завдання 2. Тепер спробуйте додати поєднані ознаки, такі як x₁x₂, щоб оптимізувати ефективність.

• Які ознаки допомагають найбільше?
• Якої найкращої ефективності вдається досягти?

Завдання 3. Коли модель даватиме гарні результати, подивіться на візуалізацію її виводу (колір фону).

1. Чи схожа вона на лінійну модель?
2. Як би ви описали модель?

(Відповіді наведено відразу під вправою.)

---

---

Натисніть значок плюса, щоб переглянути відповідь на завдання 1.

Ні. Лінійна модель не може ефективно відображати закономірності цього набору даних. Втрати все одно наближаються до неприйнятно високого значення, хоч ми й зменшуємо їх, знижуючи швидкість навчання.

Натисніть значок плюса, щоб переглянути відповідь на завдання 2.

Набори даних інтерактивного середовища генеруються випадковим чином. Отже, наші відповіді можуть не завжди збігатися з вашими. Навіть якщо ви згенеруєте набір даних повторно перед наступним запуском, ваші результати можуть точно не збігатися з отриманими раніше. Проте ви отримаєте кращі результати, якщо виконаєте ці дії:

• використаєте і x₁², і x₂² як поєднання ознак (якщо додати як поєднання x₁x₂, це не допоможе);
• знизите швидкість навчання, наприклад, до 0,001.

Натисніть значок плюса, щоб переглянути відповідь на завдання 3.

Візуалізація виводу нагадує не лінійну модель, а радше еліптичну.