Теория нейронных сетей

Градиентные методы обучения

Простой градиентный метод, метод наискорейшего спуска, градиентный метод с моментом, метод Нестерова, метод сопряжённых градиентов, параметры методов, особенности, преимущества и недостатки методов

Методы обучения с адаптивным шагом

Подходы к управлению скоростью обучения: программное и адаптивное изменение скорости, learning rate decay, методы AdaGrad, RMSProp, AdaDelta, Adam, RProp, параметры методов, особенности, преимущества и недостатки

Стохастический градиентный спуск

Метод стохастического градиента: особенности, преимущества и недостатки, эпоха обучения, режимы обучения нейронных сетей: пакетный, стохастический, mini-batch, практические рекомендации по выбору размера mini-batch'а

Методы обучения 2-го порядка

Метод Ньютона-Рафсена, квадратичная аппроксимация критерия обучения, квази-ньютоновские методы, метод Левенберга-Маркардта, метод BFGS, особенности использования методов 2-го порядка для обучения нейронных сетей

Инициализация параметров нейронной сети

Информационный поток в нейронной сети и проблема инициализации синаптических коэффициентов, сжимающийся и расходящийся информационные потоки, проблема затухающего градиента, метод Хавьера инициализации параметров сети

Контрольная работа