Инициализация нейронной сети

В этом упражнении снова используются данные XOR, но рассматривается повторяемость обучения нейронных сетей и важность инициализации.

Задача 1: Запустите модель, как указано, четыре или пять раз. Перед каждым испытанием нажимайте кнопку «Сбросить сеть» , чтобы выполнить новую случайную инициализацию. (Кнопка «Сбросить сеть» представляет собой круглую стрелку сброса слева от кнопки «Воспроизвести».) Чтобы обеспечить сходимость, дайте каждому пробному запуску пройти не менее 500 шагов. К какой форме сходятся выходные данные каждой модели? Что это говорит о роли инициализации в невыпуклой оптимизации?

Задача 2. Попробуйте немного усложнить модель, добавив слой и пару дополнительных узлов. Повторите испытания из Задания 1. Добавляет ли это дополнительную стабильность результатам?

(Ответы приведены сразу под упражнением.)

---

---

Нажмите значок плюса, чтобы получить ответ на задание 1.

Изученная модель имела разные формы при каждом прогоне. Потери при конвергентном тестировании варьировались почти в 2 раза от самого низкого до самого высокого.

Нажмите значок плюса, чтобы получить ответ на задание 2.

Добавление слоя и дополнительных узлов дало более повторяемые результаты. При каждом запуске полученная модель выглядела примерно одинаково. Кроме того, потери в конвергентных тестах показали меньшую дисперсию между запусками.