Теория нейронных сетей

Обобщение данных в нейронных сетях



Разложение bias-variance

Способность нейронной сети к обобщению, переобучение, обучающая, валидационная и тестовая выборки, риск для квадратичной функции потерь, разложение bias-variance, связь сложности нейронной сети и способности к обобщению

Решение задач Список вопросов Экспериментальные исследования Проверь себя!

Контрольный тест


Кросс-валидация

Оценка точности нейросетевой модели, кросс-валидация, метод Монте-Карло, k-fold, holdout, leave-one-out кросс-валидация, стратификация выборки при кросс-валидации, внутренняя кросс-валидация

Решение задач Список вопросов Экспериментальные исследования Проверь себя!

Контрольный тест


Методы регуляризации нейронных сетей

Подходы к повышению обобщающей способности нейронной сети, методы регуляризации нейронных сетей, L1 и L2 регуляризация весов, отбор признаков при обучении нейронной сети, ранний останов процедуры обучения, аугментация данных, инъекция шума

Решение задач Список вопросов Экспериментальные исследования Проверь себя!

Контрольный тест


Dropout и Batch normailzation

Идея dropout-регуляризации слоёв нейронной сети, обучение dropout-слоя, dropout как крайний случай бэггинга, проблема смещения информационного потока в нейронных сетях (internal covariate shift), идея batch-нормализации скрытых слоёв нейронной сети, обучение batch normailzation-слоя, обратное распространение ошибки через batch normailzation-слой

Решение задач Список вопросов Экспериментальные исследования Проверь себя!

Контрольный тест

Контроль знаний

Контрольная работа

Контрольная работа

(Для зарегистрированных пользователей)