Теория нейронных сетей

Математическая модель многослойной нейронной сети

Математическая модель искусственного нейрона, активационные характеристики нейронов, стохастический нейрон, нейронные сети прямого распространения, математическая модель многослойной нейронной сети, универсальная аппроксимационная теорема, нейронная сеть как универсальный аппроскиматор

Постановка задачи обучения многослойной нейронной сети

Data-driven и model-based подходы к построению моделей, функция потерь, теоретический и эмпирический риск, принцип минимизации эмпирического риска, постановка задачи обучения многослойной нейронной сети

Функции потерь

Основные классы задач, решаемых с помощью многослойных нейронных сетей: регрессия и классификация, квадратичная функция потерь, статистический взгляд на задачу классификации, вероятностная модель данных, оценивание параметров модели, метод максимального правдоподобия, бинарная и категориальная кросс-энтропия

Метод обратного распространения ошибки

Расчёт градиента функции потерь, chain rule, метод обратного распространения ошибки (backpropagation algorithm), двойственные потенциалы нейронов, сеть обратного распространения, градиенты квадратичной функции потерь и кросс-энтропии

Контрольная работа