Предотвращение переобучения
Как и в случае любой модели машинного обучения, ключевой проблемой при обучении сверточной нейронной сети является переоснащение : модель настолько настроена на специфику обучающих данных, что ее невозможно обобщить на новые примеры. Два метода предотвращения переобучения при построении CNN:
- Увеличение данных : искусственное увеличение разнообразия и количества обучающих примеров путем выполнения случайных преобразований существующих изображений для создания набора новых вариантов (см. рисунок 7). Увеличение данных особенно полезно, когда исходный набор обучающих данных относительно невелик.
- Регуляризация отсева : случайное удаление единиц из нейронной сети во время шага градиента обучения.
Рисунок 7. Увеличение данных на одном изображении собаки (выдержка из набора данных «Собаки против кошек» , доступного на Kaggle). Слева : Исходное изображение собаки из тренировочного набора. Справа : девять новых изображений, сгенерированных из исходного изображения с использованием случайных преобразований.