Данные приходят с дефектами: пропусками, дублями, разными единицами. Если их не исправить, анализ покажет результат, которого в данных нет. Ниже порядок проверки и калькулятор, который считает доли дефектов.
Считает долю полных строк и доли трёх видов дефектов.
Заполните поля и нажмите «Рассчитать».
Проверять полноту и согласованность удобнее в АвИ Орбита. Если данные только собираются, контроль на входе настраивают в АвИ Меркурий.
Значение выводится по нажатию кнопки.
Метод анализа можно заменить. Данные заменить нельзя: если единицы перепутаны, статистика посчитает бессмыслицу аккуратно и с интервалами.
Пример. Часть значений записана в миллиграммах, часть в граммах. Среднее по колонке считается, разброс тоже, а вывод относится к неизвестной величине.
| Тип | Пример | Что допустимо |
|---|---|---|
| Количественная непрерывная | масса, рост, длительность | среднее, медиана, разброс, корреляция |
| Количественная дискретная | число обострений | медиана, доли, модели счёта |
| Порядковая | стадия, степень тяжести | медиана, ранги, сравнение распределений |
| Номинальная | пол, группа, тип вмешательства | частоты, доли, таблицы сопряжённости |
| Дата и время | дата включения, время события | интервалы, выживание, сезонность |
От типа зависит выбор метода. Среднее по кодам стадий не считается, хотя коды выглядят числами.
| Ситуация | Что означает | Что делать |
|---|---|---|
| Полностью случайные | Пропуск не связан ни с одной переменной | Строки можно исключить, потери предсказуемы |
| Случайные при условии | Пропуск связан с другими известными переменными | Восполнение по модели или анализ с учётом пропусков |
| Неслучайные | Пропуск связан с неизмеренным значением | Прямые методы смещены, нужен анализ чувствительности |
Нули вместо пропусков почти всегда ошибка. Ноль участвует в расчётах как обычное значение и тянет среднее вниз. Если пропусков немного и они случайны, честнее исключить такие строки и указать, сколько исключено.
Для количественной переменной границы считают от квартилей. Первый квартиль Q1 отсекает нижнюю четверть значений, третий Q3 верхнюю. Расстояние между ними называют межквартильным размахом, IQR.
выброс: x < Q1 − 1,5 · IQR или x > Q3 + 1,5 · IQR
На графике ящик это Q1 и Q3, линия внутри это медиана, усы доходят до крайних значений в пределах 1,5 IQR, а точки за усами это выбросы. Ниже видно, что делает с расчётами одна такая точка.