Методы обучения нейронных сетей
Градиентные методы обученияПростой градиентный метод, метод наискорейшего спуска, градиентный метод с моментом, метод Нестерова, метод сопряжённых градиентов, параметры методов, особенности, преимущества и недостатки методов |
|||||||
Методы обучения с адаптивным шагомПодходы к управлению скоростью обучения: программное и адаптивное изменение скорости, learning rate decay, методы AdaGrad, RMSProp, AdaDelta, Adam, RProp, параметры методов, особенности, преимущества и недостатки |
|||||||
Стохастический градиентный спускМетод стохастического градиента: особенности, преимущества и недостатки, эпоха обучения, режимы обучения нейронных сетей: пакетный, стохастический, mini-batch, практические рекомендации по выбору размера mini-batch'а |
|||||||
Методы обучения 2-го порядкаМетод Ньютона-Рафсена, квадратичная аппроксимация критерия обучения, квази-ньютоновские методы, метод Левенберга-Маркардта, метод BFGS, особенности использования методов 2-го порядка для обучения нейронных сетей |
|||||||
Инициализация параметров нейронной сетиИнформационный поток в нейронной сети и проблема инициализации синаптических коэффициентов, сжимающийся и расходящийся информационные потоки, проблема затухающего градиента, метод Хавьера инициализации параметров сети |
Контроль знаний
Контрольная работа(Для зарегистрированных пользователей) |