Две величины, которые чаще всего понимают неправильно. Ниже простыми словами: что показывает p-значение, чего оно не показывает, зачем нужен доверительный интервал и как они связаны. В начале страницы калькулятор, который считает интервал по вашим данным.
Считает интервал для средней величины или для доли. Уровень надёжности выбирается кнопкой.
Заполните поля и нажмите «Рассчитать».
Считать интервалы и проверять данные удобнее в АвИ Орбита: таблицы, контроль качества и расчёты в одном окне.
Значение выводится по нажатию кнопки.
p-значение отвечает на узкий вопрос: насколько вероятно получить такую разницу или ещё больше, если на самом деле разницы нет.
Чем меньше p, тем хуже данные совместимы с предположением «разницы нет». Обычно сравнивают с порогом 0,05.
Пример. В двух группах среднее давление отличается на 5 мм рт. ст., p = 0,03. Это значит: если бы различия не было вовсе, такую разницу мы увидели бы примерно в 3 случаях из 100.
| Заблуждение | Как на самом деле |
|---|---|
| p = 0,03 значит, что гипотеза верна на 97 процентов | p не говорит о вероятности гипотезы. Он считается в предположении, что разницы нет |
| Малый p значит большой эффект | p зависит от размера выборки. На большой выборке и ничтожная разница даст малый p |
| p больше 0,05 значит, что разницы нет | Такой результат означает лишь, что разницу не удалось обнаружить |
| p показывает, насколько важна разница | Важность определяется величиной эффекта, а не значимостью |
Доверительный интервал это диапазон, в котором с заданной вероятностью находится истинное значение. Для уровня 95 процентов он строится так, чтобы при повторении исследования в 95 случаях из 100 накрывать истинную величину.
Формула для средней величины:
ДИ = среднее ± z · σ / √n
z равно 1,96 для уровня 95 процентов, 1,64 для 90 и 2,58 для 99. σ это стандартное отклонение, n это число наблюдений.
Для доли используют ту же логику, но с поправкой на то, что доля ограничена отрезком от 0 до 1. Калькулятор выше считает по формуле Уилсона: она устойчивее при малом числе наблюдений и при долях, близких к нулю или единице.
Обе величины строятся из одних данных и часто дают согласованный ответ.
Поэтому вместо одной цифры p полезнее показать интервал. Он сразу говорит, насколько велика неопределённость.
Измерено 100 наблюдений, среднее 120, стандартное отклонение 15. Считаем 95-процентный интервал.
Смысл: истинное среднее, вероятно, лежит в этом диапазоне. Ширина около 6 единиц говорит о точности, которую даёт выборка из 100 наблюдений.
Ни p-значение, ни интервал не исправят ошибок, сделанных на этапе сбора данных. Если наблюдения собраны с пропусками, дубликатами или по смещённой выборке, никакая статистика это не компенсирует.
Поэтому сбор данных и контроль полноты разумно вести отдельно от анализа. Для сбора есть АвИ Меркурий, для проверки и расчётов подходит АвИ Орбита.