Машинное обучение

Статистические модели

Понятие статистической модели. Теоретические и статистические модели. Примеры. Регрессионные модели. Постановка задачи обучения регрессионной модели. Риск модели с квадратичной функцией потерь. Функция регрессии. Оптимальность регрессионных моделей. Задачи, виды и этапы регрессионного анализа.

Простейшая линейная регрессионная модель

Метод наименьших квадратов. Матрица плана и система нормальных уравнений. МНК-оценки параметров простейшей линейной регрессии. Ошибки и остатки модели. Предположения регрессионного анализа. Свойства МНК-оценок: линейность, состоятельность, несмещенность, эффективность, нормальность. Теорема Гаусса-Маркова. Связь предположений регрессионного анализа со свойствами МНК-оценок. Связь метода наименьших квадратов и метода максимального правдоподобия. Доверительные интервалы для МНК-оценок. Интервал предсказания. Проверка статистических гипотез о параметрах простейшей регрессионной модели.

Множественная линейная регрессия

Метод наименьших квадратов. Проекционная матрица. МНК-оценки параметров множественной линейной регрессии. Статистические характеристики МНК-оценок. Доверительные интервалы и проверка статистических гипотез о параметрах множественной регрессионной модели. Полиномиальная регрессия.

Взвешенный метод наименьших квадратов

Важность предположений регрессионного анализа. Проблема гетероскедастичности. Статистические тесты на гетероскедастичность. Визуальный анализ гетероскедастичности остатков регрессионной модели. Подходы к устранению гетероскедастичности. Взвешенный метод наименьших квадратов. Преобразование регрессионной модели, выравнивающее дисперсии. Связь весов и дисперсий ошибок регрессионной модели. Подходы к выбору весов. Устранение коррелированности ошибок модели. «Отбеливающее» преобразование. Обобщенный метод наименьших квадратов.

Робастный регрессионный анализ

Робастный регрессионный анализ. Метод наименьших модулей, LAR-регрессия. Постановка задачи и обучение. Использование взвешенного метода наименьших квадратов для обучения робастных моделей. Метод итеративного взвешивания (Iteratively Reweighted Least-Squares, IRLS). Стьюдентизация регрессионных остатков. Использование стьюдентизованных остатков для обнаружения выбросов. Биквадратное взвешивание.

Нелинейные регрессионные модели

Нелинейные регрессионные модели. Нелинейный метод наименьших квадратов. Преобразование нелинейной модели к линейной. Примеры. Обобщенные линейные модели (Generalized Linear Models, GLM). Функция связи. Виды функций связи. Этапы построения GLM. Примеры. Нейросетевая регрессионная модель.

Контрольная работа