Скорость обучения и конвергенция
Это первое из нескольких упражнений на игровой площадке. Playground — это программа, разработанная специально для этого курса для обучения принципам машинного обучения. Каждое упражнение на игровой площадке в этом курсе включает встроенный экземпляр игровой площадки с предустановками.
Каждое упражнение Playground генерирует набор данных. Метка для этого набора данных имеет два возможных значения. Вы можете думать об этих двух возможных значениях как «спам» и «не спам» или, возможно, «здоровые деревья» и «больные деревья». Цель большинства упражнений — настроить различные гиперпараметры для создания модели, которая успешно классифицирует (отделяет или отличает) одно значение метки от другого. Обратите внимание, что большинство наборов данных содержат определенное количество шума, из-за которого невозможно успешно классифицировать каждый пример.
Нажмите значок плюса, чтобы получить объяснение визуализации модели.
Каждое упражнение Playground отображает визуализацию текущего состояния модели. Например, вот визуализация:
Обратите внимание на следующее относительно визуализации модели:
- Каждая ось представляет собой конкретную функцию. В случае спама и не спама такими характеристиками могут быть количество слов и количество получателей электронного письма.
- Каждая точка отображает значения функций для одного примера данных, например электронного письма.
- Цвет точки обозначает класс, к которому принадлежит пример. Например, синие точки могут обозначать электронные письма, не являющиеся спамом, а оранжевые точки — спам-сообщения.
- Цвет фона представляет собой предсказание модели о том, где следует найти примеры этого цвета. Синий фон вокруг синей точки означает, что модель правильно предсказывает этот пример. И наоборот, оранжевый фон вокруг синей точки означает, что модель неправильно предсказывает этот пример.
- Фоновый синий и оранжевый цвета масштабируются. Например, левая сторона визуализации сплошного синего цвета, но постепенно становится белой в центре визуализации. Вы можете думать об интенсивности цвета как о уверенности модели в своем предположении. Сплошной синий цвет означает, что модель очень уверена в своем предположении, а голубой означает, что модель менее уверена. (Визуализация модели, показанная на рисунке, плохо прогнозирует.)
Используйте визуализацию, чтобы оценить прогресс вашей модели. («Отлично — большинство синих точек имеют синий фон» или «О нет! Синие точки имеют оранжевый фон».) Помимо цветов, Playground также отображает текущие потери модели в числовом виде. («О нет! Убытки растут, а не падают».)
Интерфейс этого упражнения содержит три кнопки:
| Икона | Имя | Что оно делает |
|---|---|---|
 | Перезагрузить | Сбрасывает итерации на 0. Сбрасывает все веса, которые модель уже изучила. |
 | Шаг | Продвиньтесь на одну итерацию. С каждой итерацией модель меняется — иногда незаметно, иногда резко. |
 | Регенерировать | Создает новый набор данных. Не сбрасывает Iterations . |
В этом первом упражнении на игровой площадке вы поэкспериментируете со скоростью обучения, выполнив два задания.
Задача 1. Обратите внимание на меню «Скорость обучения» в правом верхнем углу игровой площадки. Данная скорость обучения — 3 — очень высока. Посмотрите, как такая высокая скорость обучения влияет на вашу модель, нажав кнопку «Шаг» 10 или 20 раз. После каждой ранней итерации обратите внимание, как резко меняется визуализация модели. Вы можете даже увидеть некоторую нестабильность после того, как модель сойдется. Также обратите внимание на линии, идущие от x 1 и x 2 к визуализации модели. Веса этих линий указывают веса этих функций в модели. То есть толстая линия указывает на большой вес.
Задача 2: Сделайте следующее:
- Нажмите кнопку сброса .
- Уменьшите скорость обучения .
- Нажмите кнопку «Шаг» несколько раз.
Как более низкая скорость обучения повлияла на конвергенцию? Изучите количество шагов, необходимых для сходимости модели, а также то, насколько плавно и устойчиво сходится модель. Поэкспериментируйте с еще более низкими значениями скорости обучения. Можете ли вы найти скорость обучения слишком низкой, чтобы быть полезной? (Вы найдете обсуждение чуть ниже упражнения.)