Швидкість навчання й збіжність
Це перша з кількох вправ в інтерактивному середовищі. Інтерактивне середовище – програма, розроблена спеціально для цього курсу, щоб допомогти вивчати принципи машинного навчання. У кожну таку вправу із цього курсу включено вбудований екземпляр інтерактивного середовища з попередньо встановленими параметрами.
Для кожної вправи в інтерактивному середовищі генерується набір даних. Його мітка має два можливих значення. Ви можете уявити, що це "спам" і "не спам" або "здорові дерева" й "хворі дерева". Мета більшості вправ – налаштувати різні гіперпараметри, щоб створити модель, яка успішно класифікує (відокремлює або розрізняє) ці значення мітки. Зверніть увагу, що в більшості наборів даних є певна кількість шумів, через які неможливо успішно класифікувати кожен приклад.
Натисніть значок плюса, щоб дізнатися більше про візуалізацію моделі.
Кожна вправа в інтерактивному середовищі – це візуалізація поточного стану моделі. Ось приклад візуалізації:
Зверніть увагу на аспекти візуалізації моделі, описані нижче.
- Кожна вісь представляє певну ознаку. Якщо потрібно визначити, є лист спамом чи ні, ознаками можуть бути кількість слів і кількість отримувачів листа.
- Кожна точка показує значення ознаки для одного прикладу даних, такого як електронний лист.
- Колір точки позначає клас, до якого належить приклад. Сині точки можуть позначати листи без спаму, а помаранчеві – зі спамом.
- Колір фону – це прогноз моделі щодо того, де можна знайти приклади такого кольору. Синій фон навколо синьої точки означає, що модель правильно прогнозує цей приклад. І навпаки, помаранчевий фон навколо синьої точки означає, що модель робить неправильний прогноз для цього прикладу.
- Синій і помаранчевий фон неоднорідні. Наприклад, ліва частина візуалізації повністю синя, але поступово перетворюється на білу в центрі. Можна вважати, що насиченість кольору вказує на впевненість моделі в припущенні. Так, насичений синій колір означає, що модель дуже впевнена в прогнозі, а блакитний – що вона менш упевнена. (Візуалізація моделі, показана на рисунку, погано справляється з прогнозуванням.)
Використовуйте візуалізацію, щоб оцінити прогрес моделі. (Наприклад, розміщення більшості синіх точок на такому самому тлі – це чудово, а на помаранчевому тлі – ні.) Окрім кольорів, інтерактивне середовище також відображає поточні втрати моделі в числовому вигляді. (Наприклад, ви можете побачити, що втрати зростають, а не зменшуються.)
Інтерфейс, доступний у цій вправі, складається з трьох кнопок:
| Значок | Назва | Опис |
|---|---|---|
|
Скинути | Скидає ітерації до 0. Скидає всі значення ваги, які модель уже вивчила. |
|
Крок | Переходить на одну ітерацію вперед. З кожною ітерацією модель змінюється – непомітно або кардинально. |
|
Згенерувати повторно | Генерує новий набір даних. Не скидає ітерації. |
У цій першій вправі інтерактивного середовища ви поекспериментуєте зі швидкістю навчання, виконавши два завдання.
Завдання 1. Зверніть увагу на меню Швидкість навчання у верхньому правому куті інтерактивного середовища. Зазначена швидкість навчання (3) дуже висока. Поспостерігайте, як вона впливає на вашу модель, натиснувши кнопку "Крок" 10 або 20 разів. Зверніть увагу на те, як кардинально змінюється візуалізація моделі після кожної ранньої ітерації. Можливо, ви навіть побачите певну нестабільність після того, як модель ніби досягла збіжності. Також зверніть увагу на лінії, проведені від x1 і x2 до візуалізації моделі. Параметри ваги ліній означають вагу цих ознак у моделі. Тобто жирна лінія вказує на велику вагу.
Завдання 2. Виконайте такі кроки:
- натисніть кнопку Скинути;
- знизьте показник Швидкість навчання;
- натисніть кнопку "Крок" кілька разів.
Як нижча швидкість навчання вплинула на збіжність моделі? Проаналізуйте кількість кроків, необхідних для її досягнення, а також те, наскільки цей процес плавний і стабільний. Поекспериментуйте зі ще меншими значеннями швидкості навчання. Можете виявити швидкість навчання, яка буде занизькою, щоб приносити користь? (Коментар до цього запитання наведено під вправою.)