Как читать статистику: p-значение и доверительный интервал

p-значение и доверительный интервал

Две величины, которые чаще всего понимают неправильно. Ниже простыми словами: что показывает p-значение, чего оно не показывает, зачем нужен доверительный интервал и как они связаны. В начале страницы калькулятор, который считает интервал по вашим данным.

Калькулятор доверительного интервала

Считает интервал для средней величины или для доли. Уровень надёжности выбирается кнопкой.

Что считаем
Уровень надёжности

Заполните поля и нажмите «Рассчитать».

Считать интервалы и проверять данные удобнее в АвИ Орбита: таблицы, контроль качества и расчёты в одном окне.

Результат

-

Значение выводится по нажатию кнопки.

Что такое p-значение

p-значение отвечает на узкий вопрос: насколько вероятно получить такую разницу или ещё больше, если на самом деле разницы нет.

Чем меньше p, тем хуже данные совместимы с предположением «разницы нет». Обычно сравнивают с порогом 0,05.

Пример. В двух группах среднее давление отличается на 5 мм рт. ст., p = 0,03. Это значит: если бы различия не было вовсе, такую разницу мы увидели бы примерно в 3 случаях из 100.

Нулевое распределение: наше исследование и столь же крайние случаи, p равно 6 из 200
Нулевое распределение: серые точки это повторы в мире, где разницы нет. Оранжевым отмечено наше исследование, красным столь же крайние случаи. Их доля и есть p. Иллюстрация: информационный ролик «Статистический вывод», НТЦ АвИ, 2026.

Чего p-значение не показывает

ЗаблуждениеКак на самом деле
p = 0,03 значит, что гипотеза верна на 97 процентовp не говорит о вероятности гипотезы. Он считается в предположении, что разницы нет
Малый p значит большой эффектp зависит от размера выборки. На большой выборке и ничтожная разница даст малый p
p больше 0,05 значит, что разницы нетТакой результат означает лишь, что разницу не удалось обнаружить
p показывает, насколько важна разницаВажность определяется величиной эффекта, а не значимостью

Доверительный интервал

Доверительный интервал это диапазон, в котором с заданной вероятностью находится истинное значение. Для уровня 95 процентов он строится так, чтобы при повторении исследования в 95 случаях из 100 накрывать истинную величину.

Формула для средней величины:

ДИ = среднее ± z · σ / √n

z равно 1,96 для уровня 95 процентов, 1,64 для 90 и 2,58 для 99. σ это стандартное отклонение, n это число наблюдений.

Для доли используют ту же логику, но с поправкой на то, что доля ограничена отрезком от 0 до 1. Калькулятор выше считает по формуле Уилсона: она устойчивее при малом числе наблюдений и при долях, близких к нулю или единице.

Двадцать интервалов: девятнадцать накрывают истинное значение, один промахивается
Двадцать выборок, двадцать интервалов. Девятнадцать накрывают истинное значение, один промахивается. Отсюда и смысл уровня 95 процентов: он про процедуру, а не про конкретный интервал. Иллюстрация: информационный ролик «Статистический вывод», НТЦ АвИ, 2026.

Как связаны p и интервал

Обе величины строятся из одних данных и часто дают согласованный ответ.

  • Если 95-процентный интервал не включает ноль, то p меньше 0,05.
  • Если интервал включает ноль, то p больше 0,05.
  • Ширина интервала показывает точность оценки: чем уже, тем точнее.

Поэтому вместо одной цифры p полезнее показать интервал. Он сразу говорит, насколько велика неопределённость.

Ширина интервала зависит от числа наблюдений Среднее 120, стандартное отклонение 15, уровень 95 процентов 110 115 120 125 130 n = 25 114,1 - 125,9 n = 100 117,1 - 122,9 n = 400 118,5 - 121,5 Чем больше наблюдений, тем уже интервал и тем точнее оценка. Положение центра при этом почти не меняется.

Пример

Измерено 100 наблюдений, среднее 120, стандартное отклонение 15. Считаем 95-процентный интервал.

  1. Делим 15 на корень из 100: получаем 1,5.
  2. Умножаем на 1,96: получаем 2,94.
  3. Прибавляем и вычитаем: интервал от 117,06 до 122,94.

Смысл: истинное среднее, вероятно, лежит в этом диапазоне. Ширина около 6 единиц говорит о точности, которую даёт выборка из 100 наблюдений.

Что важно до расчётов

Ни p-значение, ни интервал не исправят ошибок, сделанных на этапе сбора данных. Если наблюдения собраны с пропусками, дубликатами или по смещённой выборке, никакая статистика это не компенсирует.

Поэтому сбор данных и контроль полноты разумно вести отдельно от анализа. Для сбора есть АвИ Меркурий, для проверки и расчётов подходит АвИ Орбита.

Частые ошибки

Погоня за малым p
Число наблюдений увеличивают, пока p не опустится ниже 0,05. Значимость появляется, а вывод не становится содержательнее.
Сравнение p вместо эффектов
Два исследования дают p = 0,001 и p = 0,04. Это не значит, что эффект в первом больше.
Интервал без уровня
Запись «интервал 2 до 8» без указания уровня не определена: для 90 и 99 процентов границы будут разными.
Несколько сравнений без поправки
При проверке многих гипотез на уровне 0,05 доля ложных находок растёт. Нужна поправка или отдельный план.
Округление до значимости
Запись p = 0,049 и p = 0,051 различается только формально, а выводы делают противоположные.

Источники

  1. Wasserstein R. L., Lazar N. A. The ASA statement on p-values: context, process, and purpose. The American Statistician, 2016, том 70, № 2, с. 129-133.
  2. Greenland S. и соавт. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology, 2016, том 31, № 4, с. 337-350.
  3. Altman D. G. Practical Statistics for Medical Research. Chapman & Hall, 1991.
  4. Wilson E. B. Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 1927, том 22, № 158, с. 209-212.

Связанные материалы