Линейная регрессия описывает, как один показатель меняется при изменении другого. Ниже устройство модели, смысл коэффициентов, ловушки с R² и интерактивный пример, где видно, как шум влияет на оценку.
Линейная регрессия подбирает прямую, которая лучше всего проходит через точки. У прямой два параметра: наклон и свободный член.
y = b₀ + b₁ · x + e
b₀ это значение y при нулевом x. b₁ показывает, на сколько меняется y при изменении x на единицу. e это остаток, то есть то, что модель не объяснила.
Наклон это и есть содержательный результат. Он отвечает на вопрос «на сколько», а не только «есть ли связь». Поэтому в отчёте приводят коэффициент и его доверительный интервал, а не одно p-значение.
R² это доля разброса отклика, которую объяснила модель. Значение 0,64 означает, что 64 процента разброса объяснено, а 36 процентов осталось в остатках.
| Утверждение | Как на самом деле |
|---|---|
| Большой R² значит, что модель верна | R² растёт от добавления любых переменных, даже бессмысленных |
| Малый R² значит, что связи нет | Связь может быть, но слабая или нелинейная |
| R² показывает величину эффекта | Величина эффекта это наклон, а не доля объяснённого разброса |
| R² можно сравнивать между разными задачами | Сравнение осмысленно только внутри одной задачи и одного набора данных |
Ползунки задают истинный наклон и разброс. Точки это наблюдения, линия это модель, построенная по этим точкам. Наклон модели сравнивается с заданным.
Строить модели и проверять остатки удобнее в АвИ Орбита.