Модели машинного обучения: что выбрать

Модели машинного обучения: что выбрать

Модель это не магия, а способ провести линию через данные. Разница между методами в том, какую форму этой линии они допускают. Ниже типы задач, таблица моделей, интерактив про переобучение и порядок проверки.

Сначала тип задачи

ЗадачаЧто предсказываемПример
КлассификацияМетку из конечного набораЕсть осложнение или нет
РегрессияЧислоДлительность наблюдения
КластеризацияГруппы без известных метокПоиск похожих профилей
РанжированиеПорядок объектовОчередь на обследование

Тип задачи определяет и модель, и метрику. Ошибка на этом шаге делает бессмысленными все дальнейшие расчёты.

Основные модели

МодельКогда берутЧто важно знать
Линейная и логистическая регрессияНужна прозрачность, данных немногоКоэффициенты читаются, форма связи задана жёстко
Дерево решенийНужны простые правилаОдно дерево нестабильно, легко переобучается
Случайный лесТабличные данные, нужна устойчивостьУсредняет много деревьев, даёт важность признаков
Градиентный бустингТабличные данные, нужна точностьСильная базовая модель, требует настройки и контроля переобучения
Ближайшие соседиПростые случаи, мало признаковЧувствителен к масштабу, медленный на больших данных
Нейронная сетьИзображения, текст, сигналыНужны большие данные и вычислительные ресурсы

На табличных данных бустинг и случайный лес обычно не хуже нейросетей, а обучаются быстрее. Нейросети выигрывают там, где данные не табличные.

Переобучение наглядно

Ползунок задаёт сложность модели: степень полинома. Зелёные точки это данные, на которых модель учится, серые отложенные, которых она не видела. Оранжевая линия это модель. Ниже видно, что происходит с ошибкой на обучении и на отложенных данных.

признак степень полинома ошибка на обучении ошибка на отложенных данных

Обучать модели и сравнивать их на своих таблицах удобнее в АвИ Орбита.

Как проверять модель

Разбиение на три части
Обучение, настройка, финальная проверка. Отложенную часть не трогают до самого конца.
Кросс-валидация
Данные делят на блоки и по очереди проверяют на каждом. Даёт устойчивую оценку при небольшой выборке.
Отдельная проверка по времени
Если данные идут во времени, проверяют на более позднем периоде, а не на случайной части.
Проверка по центрам
Если данные из разных мест, проверяют на центре, которого не было при обучении.
Калибровка
Для вероятностей важно, совпадает ли заявленная вероятность с наблюдаемой частотой.

Сколько нужно данных

Для классификации распространён ориентир: не менее десяти событий нужного класса на каждый настраиваемый параметр. События, а не строки: если исход редкий, строк может быть много, а событий мало.

Для нейросетей ориентир выше, и оценка зависит от задачи. В любом случае сначала считают, сколько событий есть, и только потом выбирают модель.

Частые ошибки

Метрика на данных обучения
Модель, запомнившая данные, показывает отличный результат там, где училась. Проверяют только на отложенных.
Утечка из будущего
Признак, который становится известен позже момента предсказания, завышает метрики.
Балансировка до разбиения
Дублирование редкого класса до разделения данных приводит к одним и тем же объектам в обеих частях.
Подбор модели по отложенной выборке
Если по ней выбирали, она перестаёт быть отложенной. Для выбора нужна отдельная часть.
Одна метрика вместо нескольких
Точность может быть высокой при бесполезной модели на редком исходе. Смотрят полноту, точность и калибровку.

Источники

  1. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. 2-е изд. Springer, 2009.
  2. Breiman L. Random forests. Machine Learning, 2001, том 45, № 1, с. 5-32.
  3. Friedman J. H. Greedy function approximation: a gradient boosting machine. Annals of Statistics, 2001, том 29, № 5, с. 1189-1232.
  4. Pedregosa F. и соавт. Scikit-learn: machine learning in Python. Journal of Machine Learning Research, 2011, том 12, с. 2825-2830.

Связанные материалы