Разметка данных: как получить надёжные метки

Разметка данных: как получить надёжные метки

Модель учится на метках, а не на реальности. Если разметчики понимают задачу по-разному, модель выучит их разногласия. Ниже инструкция, контроль качества и калькулятор согласия двух разметчиков.

Что размечают и зачем

Разметка это перевод наблюдений в метки: есть явление или нет, к какому классу относится текст, где на снимке граница объекта. Метки нужны, чтобы обучить модель и чтобы её потом проверить.

Ключевой вопрос не «сколько размечено», а «насколько одинаково понимают задачу разные люди». На него отвечает согласие разметчиков.

Инструкция решает больше, чем число разметчиков

Перед разметкой пишут документ с определениями. В нём должно быть четыре вещи.

Определение каждого класса
Через наблюдаемые признаки, а не через общий смысл. Формулировка «выраженное ухудшение» требует уточнения, иначе каждый понимает её по-своему.
Пограничные случаи
Отдельный список с примерами: что относить к классу, когда признак слабый или противоречивый.
Порядок действий
Что смотреть в первую очередь, что делать при недостающих данных, куда писать сомнения.
Примеры с ответами
Обучающий набор, на котором разметчики тренируются до основной работы.

Согласие двух разметчиков

Заполните таблицу: сколько объектов каждый разметчик отнёс к классу и сколько нет. Считается доля совпадений и каппа Коэна.

Второй: даВторой: нет
Первый: да
Первый: нет

Значения пересчитываются автоматически.

Размечать и проверять согласие на своих данных удобнее в АвИ Орбита.

Почему процента совпадений мало

Если класс встречается редко, разметчики совпадут просто потому, что оба почти всегда отвечают «нет». Доля совпадений будет высокой при полном отсутствии содержательного согласия.

Каппа Коэна учитывает это: из наблюдаемого совпадения вычитается то, которое ожидалось бы случайно.

κ = (P − P₀) / (1 − P₀)

P это доля фактических совпадений, P₀ ожидаемая доля при случайном выборе с теми же частотами. Единица означает полное согласие, ноль случайный уровень.

Пороговые значения вроде 0,6 или 0,8 удобны как ориентир, но зависят от задачи. Для редких классов и сложных формулировок разумное согласие достигается труднее, и это нормально.

Что делать с разногласиями

Обсуждение спорных примеров
Расхождения разбирают вместе и дописывают в инструкцию. Так растёт согласие, а не подгоняется ответ.
Третий разметчик
При стойком расхождении спорный случай отдаёт независимому эксперту. Его решение фиксируют вместе с причиной.
Скрытые повторы
Часть объектов дают дважды под другими идентификаторами. Это проверяет устойчивость самого разметчика.
Выборочная проверка
Не менее десяти процентов работы перепроверяют. Проверяют не всё, но регулярно.

Сколько размечать

Объём зависит от задачи и числа классов. Для обучения ориентируются на сотни примеров на класс, для проверки на сотни объектов в целом.

Полезнее сначала разметить небольшую партию, посчитать согласие и поправить инструкцию. Если согласие низкое, размечать тысячи объектов бессмысленно: разногласия только увеличатся.

Частые ошибки

Инструкция написана после разметки
Тогда она описывает уже принятые решения, а не задаёт их. Разметчики работали по разным правилам.
Один разметчик на всё
Согласие проверить нечем. Ошибки систематичны и не видны.
Согласие проверено по проценту совпадений
При редком классе процент завышен. Нужна метрика с поправкой на случайность.
Спорные случаи выброшены
Именно они описывают границу задачи. Их разбирают, а не удаляют.
Разметчик видит предсказание модели
Метка подстраивается под модель, и проверка перестаёт быть независимой.

Источники

  1. Cohen J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 1960, том 20, № 1, с. 37-46.
  2. Landis J. R., Koch G. G. The measurement of observer agreement for categorical data. Biometrics, 1977, том 33, № 1, с. 159-174.
  3. Artstein R., Poesio M. Inter-coder agreement for computational linguistics. Computational Linguistics, 2008, том 34, № 4, с. 555-596.
  4. Krippendorff K. Content Analysis: An Introduction to Its Methodology. 2-е изд. Sage, 2004.

Связанные материалы