Машинное обучение

Деревья решений

Понятие дерева решений. Регрессионные и классификационные деревья. Типы узлов дерева. Нисходящий жадный алгоритм обучения деревьев. Правило ветвления вершин. Показатели неоднородности вершин. Энтропия и индекс Джини. Преимущества и недостатки деревьев решений в сравнении с другими моделями машинного обучения. Способы уменьшения тенденции к переобучению деревьев. Обрезка дерева. Стратегии обрезки. Использование деревьев решений для оценивания важности признаков. MDI-важность признаков.

Обучение ансамблей

Подходы к обучению ансамблей. Бэггинг и бутстреппинг. Бэггинг-ансамбль. OOB-наблюдения и OOB-ошибка бэггинг-ансамбля. Валидация бэггинг-ансамбля. Случайный лес. Преимущества и недостатки бэггинга. Бустинг. Общие принципы AdaBoost. Алгоритмы AdaBoost.R2 и AdaBoost.M1. Пошаговое аддитивное обучение. Оптимальная базовая модель на каждом шаге обучения и ее аппроксимация. Понятие псевдоостатка. Виды и расчет псевдоостатков. Базовый алгоритм градиентного бустинга. Инициализация алгоритма. Градиентный бустинг деревьев решений. Регуляризованный градиентный бустинг. Градиентный бустинг со шринкажем. Стохастический градиентный бустинг. XGBoost

Контрольная работа