Как читать статистику: гипотезы и их проверка

Гипотезы и их проверка

Как устроена проверка статистической гипотезы: что такое нулевая гипотеза, из каких шагов состоит проверка, чем отличается односторонняя от двусторонней и что на самом деле означает полученное p. В начале страницы калькулятор для одной выборки.

Калькулятор проверки средней

Сравнивает среднее значение выборки с заданным числом. Считает статистику t и p-значение.

Проверка

Заполните поля и нажмите «Рассчитать».

Проверять данные и считать статистику удобнее в АвИ Орбита: таблицы, контроль качества и расчёты в одном окне.

Результат

-

Значение выводится по нажатию кнопки.

Что такое гипотеза

Гипотеза это предположение о величине или о разнице между группами. Проверка начинается с нулевой гипотезы: предположения, что разницы нет.

Пример. Известно, что средняя длительность равна 5 дням. Нулевая гипотеза утверждает, что в совокупности среднее действительно 5. Альтернативная гипотеза говорит, что оно другое.

Проверка не отвечает на вопрос, верна ли гипотеза. Она показывает, насколько данные совместимы с нулевой гипотезой.

Откуда берётся p

Проверка сравнивает наблюдённое отличие с тем разбросом, который был бы, если бы разницы не существовало. Отличие делят на стандартную ошибку и получают статистику t. Она показывает, сколько стандартных ошибок составляет наше отличие.

Дальше строят распределение t для случая, когда нулевая гипотеза верна: оно центрировано на нуле, а медиана совпадает с нулём. Наблюдённое значение отмечают на этой оси. p это доля площади под кривой правее нашего значения и симметрично левее, если проверка двусторонняя.

Именно поэтому на p влияет число наблюдений: чем их больше, тем меньше стандартная ошибка, тем дальше от нуля уходит то же самое отличие и тем меньше остаётся площадь.

Проверьте сами

Ползунки общие для двух графиков. Верхний показывает, откуда берётся разброс средних, нижний переводит это в площадь за наблюдённым значением.

отличие среднего, в единицах измерения

Верхний график показывает разброс средних в обычных единицах измерения. Перекрытие кривых здесь не равно p: оно лишь показывает, насколько широк разброс. Важно расстояние между центрами, выраженное в стандартных ошибках.

значения статистики t, если нулевая гипотеза верна

Нижний график переводит то же расстояние в единицы стандартной ошибки: 0,70 это 2,33 стандартной ошибки. Здесь p-значение это площадь за отмеченным значением, и она равна 2 процентам.

Пять шагов проверки

ШагЧто делаем
1Формулируем нулевую и альтернативную гипотезы
2Выбираем уровень значимости, обычно 0,05
3Считаем статистику по данным: t, z или другую
4Находим p-значение для этой статистики
5Сравниваем p с уровнем значимости и записываем вывод

Шаги 1 и 2 делают до сбора данных. Иначе появляется соблазн подобрать гипотезу под результат.

Односторонняя и двусторонняя проверка

Двусторонняя проверка учитывает отличие в обе стороны. Односторонняя только в одну: например, что среднее больше заданного значения.

Направление выбирают до анализа, по постановке задачи. Если важно любое отличие, проверка двусторонняя.

Что означает p

p-значение показывает, как часто встречалась бы такая или более крайняя статистика, если бы нулевая гипотеза была верна.

Малое p означает, что данные плохо совместимы с нулевой гипотезой. Это не доказательство альтернативы и не мера величины эффекта. Подробнее в статье про p-значение и интервал.

Частые ошибки

Гипотеза сформулирована после просмотра данных
В этом случае p-значение считается уже под увиденный результат, и проверка теряет смысл.
Смена односторонней проверки на двустороннюю по ходу
Направление фиксируют заранее, иначе заявленный уровень значимости перестаёт соблюдаться.
Вывод по порогу без величины эффекта
Значимой может оказаться ничтожная разница. Поэтому рядом с p показывают величину разницы и её интервал.
Несколько гипотез без поправки
Чем больше проверок, тем выше вероятность хотя бы одной ложной находки.
Отрицательный результат принят за доказательство отсутствия
Если p больше 0,05, данные не позволяют обнаружить разницу. Это не то же самое, что её отсутствие.

Источники

  1. Fisher R. A. Statistical Methods for Research Workers. Oliver and Boyd, 1925.
  2. Neyman J., Pearson E. S. On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society A, 1933, том 231, с. 289-337.
  3. Wasserstein R. L., Lazar N. A. The ASA statement on p-values: context, process, and purpose. The American Statistician, 2016, том 70, № 2, с. 129-133.
  4. Altman D. G. Practical Statistics for Medical Research. Chapman & Hall, 1991.

Связанные материалы