Сравнение групп: какой критерий выбрать

Сравнение групп: какой критерий выбрать

Как сравнить две группы, когда данные не идеальны, и что показывать кроме p-значения. Ниже разбор критериев, калькулятор для двух независимых выборок и таблица выбора метода.

Калькулятор сравнения двух групп

Считает разницу средних, стандартную ошибку, статистику t по Уэлчу и p-значение. Уровень значимости 0,05.

Заполните поля и нажмите «Рассчитать».

Сравнивать группы и держать рядом таблицы, расчёты и графики удобнее в АвИ Орбита.

Результат

-

Значение выводится по нажатию кнопки.

Что именно сравнивают

Почти всегда сравнивают не группы целиком, а одну характеристику: среднее, медиану, долю. От этого зависит метод, поэтому вопрос формулируют узко.

Пример. Две схемы подготовки: одна даёт среднюю длительность 5,7 дня, другая 5,2. Разница 0,5 дня. Вопрос не в том, отличаются ли средние, а в том, насколько эта разница больше случайного разброса.

Таблица выбора критерия

ДанныеГруппыКритерий
Количественные, распределение близко к нормальномуДве независимыеt-критерий, лучше по Уэлчу
Количественные, распределение далеко от нормального или малая выборкаДве независимыеМанна и Уитни
Количественные, повторные измерения у тех же объектовДве связанныеПарный t-критерий или Уилкоксон
КоличественныеТри и болееДисперсионный анализ или Краскел и Уоллис
ДолиДве независимыеКритерий для долей, точный критерий Фишера при малых числах

Критерий выбирают до просмотра данных. Если перебрать несколько методов и оставить тот, где p меньше, результат перестаёт быть проверкой.

Почему по Уэлчу, а не по Стьюденту

Классический t-критерий предполагает, что разброс в группах одинаков. На практике он почти всегда разный, особенно при неравных размерах групп.

Критерий Уэлча не требует равенства разбросов и при этом почти не проигрывает, когда равенство всё-таки есть. Поэтому его берут по умолчанию.

t = (m₁ − m₂) / √(s₁²/n₁ + s₂²/n₂)

m это средние, s это стандартные отклонения, n это число наблюдений в каждой группе. Знаменатель называется стандартной ошибкой разницы.

Что показывать кроме p

p-значение отвечает, есть ли отличие. Насколько оно велико, показывает сама разница и её доверительный интервал.

Правило простое: в отчёте нужны три числа. Разница, интервал и число наблюдений в каждой группе. Без них p не читается, а разница не сравнивается с практическим порогом.

Частые ошибки

Сравнение более двух групп попарно
При трёх группах это три сравнения, и вероятность ложной находки растёт. Нужен общий критерий или поправка.
Парные данные посчитаны как независимые
Повторные измерения у одного объекта связаны между собой. Обычный критерий в этом случае завышает значимость.
Нормальность проверена только по одной группе
Для выбора метода смотрят обе группы, а при малых выборках больше доверяют неформальным критериям.
Значимость принята за величину эффекта
На большой выборке значимой становится ничтожная разница. Рядом с p показывают саму разницу.
Выбор критерия после просмотра результата
Метод фиксируют в протоколе. Иначе итоговое p перестаёт быть корректным.

Источники

  1. Student. The probable error of a mean. Biometrika, 1908, том 6, № 1, с. 1-25.
  2. Welch B. L. The generalization of Student's problem when several different population variances are involved. Biometrika, 1947, том 34, № 1-2, с. 28-35.
  3. Mann H. B., Whitney D. R. On a test of whether one of two random variables is stochastically larger than the other. Annals of Mathematical Statistics, 1947, том 18, № 1, с. 50-60.
  4. Altman D. G. Practical Statistics for Medical Research. Chapman & Hall, 1991.

Связанные материалы