Регрессия: наклон, R² и когда модель не подходит

Регрессия: что показывает наклон и о чём молчит R²

Линейная регрессия описывает, как один показатель меняется при изменении другого. Ниже устройство модели, смысл коэффициентов, ловушки с R² и интерактивный пример, где видно, как шум влияет на оценку.

Что описывает модель

Линейная регрессия подбирает прямую, которая лучше всего проходит через точки. У прямой два параметра: наклон и свободный член.

y = b₀ + b₁ · x + e

b₀ это значение y при нулевом x. b₁ показывает, на сколько меняется y при изменении x на единицу. e это остаток, то есть то, что модель не объяснила.

Наклон это и есть содержательный результат. Он отвечает на вопрос «на сколько», а не только «есть ли связь». Поэтому в отчёте приводят коэффициент и его доверительный интервал, а не одно p-значение.

Что показывает R² и чего не показывает

R² это доля разброса отклика, которую объяснила модель. Значение 0,64 означает, что 64 процента разброса объяснено, а 36 процентов осталось в остатках.

УтверждениеКак на самом деле
Большой R² значит, что модель вернаR² растёт от добавления любых переменных, даже бессмысленных
Малый R² значит, что связи нетСвязь может быть, но слабая или нелинейная
R² показывает величину эффектаВеличина эффекта это наклон, а не доля объяснённого разброса
R² можно сравнивать между разными задачамиСравнение осмысленно только внутри одной задачи и одного набора данных

Как шум влияет на оценку

Ползунки задают истинный наклон и разброс. Точки это наблюдения, линия это модель, построенная по этим точкам. Наклон модели сравнивается с заданным.

предиктор отклик

Строить модели и проверять остатки удобнее в АвИ Орбита.

Когда линейную модель применять нельзя

Отклик бинарный
Да или нет, жив или нет. Здесь нужна логистическая регрессия, а не прямая.
Связь явно нелинейная
Если точки ложатся дугой, прямая опишет её плохо. Смотрят на график остатков, а не только на R².
Разброс растёт вместе с уровнем
Это гетероскедастичность. Оценки коэффициентов остаются смещёнными, а интервалы становятся неверными.
Наблюдения зависимы
Повторные измерения у одного объекта или данные по центрам требуют моделей со смешанными эффектами.
Сильное влияние отдельных точек
Одна точка может развернуть прямую. Проверяют расстоянием Кука и графиком остатков.

Частые ошибки

Вывод о причинности из коэффициента
Регрессия показывает связь при учтённых переменных. Причинность требует дизайна, а не модели.
Экстраполяция за пределы данных
Прямая продолжается формально, но никто не проверял, что связь там такая же.
Много предикторов на малой выборке
Модель подгоняется под шум. Ориентир: не менее десяти наблюдений на параметр, и то без гарантии.
Отбор переменных по p-значению
Пошаговый отбор по p завышает значимость оставшихся переменных.
Остатки не проверены
Форма остатков говорит больше, чем R². Систематический узор в остатках означает, что модель не описывает структуру.

Источники

  1. Draper N. R., Smith H. Applied Regression Analysis. 3-е изд. Wiley, 1998.
  2. Hosmer D. W., Lemeshow S., Sturdivant R. X. Applied Logistic Regression. 3-е изд. Wiley, 2013.
  3. Altman D. G. Practical Statistics for Medical Research. Chapman & Hall, 1991.
  4. Cook R. D. Detection of influential observation in linear regression. Technometrics, 1977, том 19, № 1, с. 15-18.

Связанные материалы