НТЦ АвИ · Разбор данных

Подготовка данных: что проверить до анализа

Подготовка данных: что проверить до анализа

Данные приходят с дефектами: пропусками, дублями, разными единицами. Если их не исправить, анализ покажет результат, которого в данных нет. Ниже порядок проверки и калькулятор, который считает доли дефектов.

Калькулятор качества данных

Считает долю полных строк и доли трёх видов дефектов.

Заполните поля и нажмите «Рассчитать».

Проверять полноту и согласованность удобнее в АвИ Орбита. Если данные только собираются, контроль на входе настраивают в АвИ Меркурий.

Результат

-

Значение выводится по нажатию кнопки.

Почему это важнее метода

Метод анализа можно заменить. Данные заменить нельзя: если единицы перепутаны, статистика посчитает бессмыслицу аккуратно и с интервалами.

Пример. Часть значений записана в миллиграммах, часть в граммах. Среднее по колонке считается, разброс тоже, а вывод относится к неизвестной величине.

Типы переменных

ТипПримерЧто допустимо
Количественная непрерывнаямасса, рост, длительностьсреднее, медиана, разброс, корреляция
Количественная дискретнаячисло обострениймедиана, доли, модели счёта
Порядковаястадия, степень тяжестимедиана, ранги, сравнение распределений
Номинальнаяпол, группа, тип вмешательствачастоты, доли, таблицы сопряжённости
Дата и времядата включения, время событияинтервалы, выживание, сезонность

От типа зависит выбор метода. Среднее по кодам стадий не считается, хотя коды выглядят числами.

Пропуски

СитуацияЧто означаетЧто делать
Полностью случайныеПропуск не связан ни с одной переменнойСтроки можно исключить, потери предсказуемы
Случайные при условииПропуск связан с другими известными переменнымиВосполнение по модели или анализ с учётом пропусков
НеслучайныеПропуск связан с неизмеренным значениемПрямые методы смещены, нужен анализ чувствительности

Нули вместо пропусков почти всегда ошибка. Ноль участвует в расчётах как обычное значение и тянет среднее вниз. Если пропусков немного и они случайны, честнее исключить такие строки и указать, сколько исключено.

Выбросы и ящик с усами

Для количественной переменной границы считают от квартилей. Первый квартиль Q1 отсекает нижнюю четверть значений, третий Q3 верхнюю. Расстояние между ними называют межквартильным размахом, IQR.

выброс: x < Q1 − 1,5 · IQR или x > Q3 + 1,5 · IQR

На графике ящик это Q1 и Q3, линия внутри это медиана, усы доходят до крайних значений в пределах 1,5 IQR, а точки за усами это выбросы. Ниже видно, что делает с расчётами одна такая точка.

значения признака

Дубликаты, единицы, кодирование

Дубликаты
Полные повторы ищут по всем колонкам. Частичные по ключу: идентификатору, дате и времени, набору признаков. Частичные найти труднее, поэтому их проверяют отдельно.
Единицы измерения
Проверяют по диапазону значений: масса 175 у взрослого это килограммы, а не сантиметры. Единицы записывают в словарь данных, а не держат в памяти.
Кодирование
Одна категория может быть записана как «да», «Да», «1» или «Y». Список допустимых значений делают закрытым.
Даты и время
Формат и часовой пояс фиксируют до сбора. Иначе события сдвигаются на сутки и меняют порядок.

Частые ошибки

Пропуски заменены нулями
Ноль искажает среднее и разброс. Нужно исключение строк или восполнение по модели.
Выбросы удалены без основания
Удаление неудобных значений подгоняет результат. Основание берут из источника данных: опечатка, другой прибор, другая единица.
Единицы проверены на глаз
Проверять нужно программно: минимум и максимум по каждой колонке, а не первые десять строк.
Признак построен по будущим данным
Например, среднее по всей истории вместо среднего на момент наблюдения. Модель показывает хорошие метрики, а при применении не работает.
Шаги очистки не записаны
Без журнала правок анализ не воспроизвести. Каждое изменение фиксируют в скрипте или в отчёте.

Источники

  1. Little R. J. A., Rubin D. B. Statistical Analysis with Missing Data. 3-е изд. Wiley, 2019.
  2. Tukey J. W. Exploratory Data Analysis. Addison-Wesley, 1977.
  3. Wickham H. Tidy data. Journal of Statistical Software, 2014, том 59, № 10, с. 1-23.
  4. Van den Broeck J., Cunningham S. A., Eeckels R., Herbst K. Data cleaning: detecting, diagnosing, and editing data abnormalities. PLoS Medicine, 2005, том 2, № 10, с. e267.

Связанные материалы