Теория нейронных сетей

Разложение bias-variance

Способность нейронной сети к обобщению, переобучение, обучающая, валидационная и тестовая выборки, риск для квадратичной функции потерь, разложение bias-variance, связь сложности нейронной сети и способности к обобщению

Кросс-валидация

Оценка точности нейросетевой модели, кросс-валидация, метод Монте-Карло, k-fold, holdout, leave-one-out кросс-валидация, стратификация выборки при кросс-валидации, внутренняя кросс-валидация

Методы регуляризации нейронных сетей

Подходы к повышению обобщающей способности нейронной сети, методы регуляризации нейронных сетей, L1 и L2 регуляризация весов, отбор признаков при обучении нейронной сети, ранний останов процедуры обучения, аугментация данных, инъекция шума

Dropout и Batch normailzation

Идея dropout-регуляризации слоёв нейронной сети, обучение dropout-слоя, dropout как крайний случай бэггинга, проблема смещения информационного потока в нейронных сетях (internal covariate shift), идея batch-нормализации скрытых слоёв нейронной сети, обучение batch normailzation-слоя, обратное распространение ошибки через batch normailzation-слой

Контрольная работа