Тримайте все під контролем за допомогою колекцій
Зберігайте контент і організовуйте його за категоріями відповідно до своїх потреб.
Ініціалізація нейронної мережі
У цій вправі знову використовуються дані XOR, але вона зосереджена на повторюваності навчання нейронних мереж і важливості ініціалізації.
Завдання 1. Запустіть модель без змін чотири або п’ять разів. Перед кожним випробуванням натискайте кнопку Скинути мережу, щоб отримати нову випадкову ініціалізацію.
(Кнопка Скинути мережу – це кругла стрілка скидання ліворуч від кнопки відтворення.) Нехай кожне випробування триває щонайменше 500 кроків: так ви забезпечите збіжність. До якої форми збігається результат кожної моделі?
Що це говорить про роль ініціалізації в неопуклій оптимізації?
Завдання 2. Спробуйте трохи ускладнити модель, додавши шар і пару додаткових вузлів. Повторіть випробування із завдання 1. Чи підвищилася завдяки цьому стабільність результатів?
(Відповіді наведено відразу під вправою.)
Натисніть значок плюса, щоб переглянути відповідь на завдання 1.
Навчена модель мала різні форми після кожного запуску. Різниця між найменшими й найбільшими тестовими втратами при збіжності була майже двократна.
Натисніть значок плюса, щоб переглянути відповідь на завдання 2.
Додавши шар і інші вузли, вдалося отримати більше повторюваних результатів.
Після кожного запуску модель мала приблизно однаковий вигляд. Крім того, дисперсія тестових втрат при збіжності, отриманих під час запусків, була меншою.
[[["Easy to understand","easyToUnderstand","thumb-up"],["Solved my problem","solvedMyProblem","thumb-up"],["Other","otherUp","thumb-up"]],[["Missing the information I need","missingTheInformationINeed","thumb-down"],["Too complicated / too many steps","tooComplicatedTooManySteps","thumb-down"],["Out of date","outOfDate","thumb-down"],["Translation issue","translationIssue","thumb-down"],["Проблема з кодом або зразками","samplesCodeIssue","thumb-down"],["Other","otherDown","thumb-down"]],["Останнє оновлення: 2025-04-22 (UTC)."],[[["Neural networks with the same architecture and data can converge to different solutions due to random initialization, highlighting its role in non-convex optimization."],["Increasing the complexity of a neural network by adding layers and nodes can improve the stability and repeatability of training results, leading to more consistent model performance."],["Initialization significantly impacts the final model and the variance in test loss, especially in simpler network structures."],["While simpler networks can exhibit diverse solutions and varying losses, more complex models demonstrate increased stability and repeatable convergence."]]],[]]