Метрики качества модели

Метрики качества модели

Одна цифра не описывает модель. Одни метрики зависят от распространённости явления, другие нет, и путаница между ними приводит к неверным выводам. Ниже матрица ошибок, основные метрики и калькулятор, где всё пересчитывается на лету.

Матрица ошибок

Всё начинается с четырёх чисел. Модель предсказывает да или нет, и мы сравниваем с тем, что было на самом деле.

Модель сказала даМодель сказала нет
На самом деле даВерно положительныйПропуск
На самом деле нетЛожная тревогаВерно отрицательный

Все метрики это разные отношения этих четырёх чисел. Поэтому одно и то же качество описывается по-разному в зависимости от того, что считают важным.

Калькулятор метрик

Задаёт качество теста и распространённость явления. Таблица и метрики пересчитываются сразу.

Значения пересчитываются автоматически.

Таблица сопряжённости

Модель: даМодель: нетВсего
Явление есть---
Явления нет---
Всего---

Метрики

Считать метрики на своих данных удобнее в АвИ Орбита.

Что означает каждая метрика

МетрикаЧто показываетЗависит от распространённости
ЧувствительностьДолю найденных среди тех, у кого явление естьНет
СпецифичностьДолю верно отвергнутых среди тех, у кого явления нетНет
Ценность положительного результатаДолю настоящих случаев среди всех положительных ответовДа
Ценность отрицательного результатаДолю действительно здоровых среди всех отрицательных ответовДа
ТочностьДолю верных ответов среди всехДа
F1Среднее гармоническое чувствительности и ценности положительного результатаДа
Отношение правдоподобия для положительного результатаВо сколько раз положительный ответ чаще у тех, у кого явление естьНет
Индекс ЮденаСумма чувствительности и специфичности минус единицаНет

Главное следствие: чувствительность, специфичность и отношение правдоподобия переносятся между популяциями, а ценность результата и точность нет. Один и тот же тест при редком явлении даёт много ложных тревог.

Почему точность обманчива

Если явление встречается у одного человека из ста, модель, которая всегда отвечает «нет», даёт точность 99 процентов и не находит ни одного случая.

Поэтому при редком исходе смотрят на чувствительность, ценность положительного результата и кривые. Точность в такой ситуации почти ничего не сообщает.

Порог и кривые

Модель выдаёт не ответ, а число, и порог отсечения выбирает человек. Меняя порог, мы обмениваем чувствительность на специфичность.

Кривая ROC
Показывает все пары чувствительности и специфичности при разных порогах. Площадь под ней не зависит от выбранного порога.
Кривая точность и полнота
Полезнее при редком исходе: ROC может выглядеть хорошо, когда ложных тревог много.
Калибровка
Показывает, совпадает ли заявленная вероятность с наблюдаемой частотой. Модель может хорошо различать и при этом завышать вероятности.

Частые ошибки

Отчёт одной метрикой
Чувствительность без специфичности не описывает тест. Нужны как минимум два числа и порог.
Ценность результата перенесена в другую популяцию
Она зависит от распространённости. Значение, полученное в одном месте, не переносится автоматически.
Порог выбран по тем же данным
Оптимальный порог, подобранный на проверочной выборке, завышает итоговые метрики.
Сравнение моделей по площади под кривой
Одинаковая площадь может скрывать разное поведение при рабочих порогах.
Метрики без доверительных интервалов
На малой выборке разница в несколько процентов ничего не значит.

Источники

  1. Fawcett T. An introduction to ROC analysis. Pattern Recognition Letters, 2006, том 27, № 8, с. 861-874.
  2. Saito T., Rehmsmeier M. The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLoS ONE, 2015, том 10, № 3, с. e0118432.
  3. Steyerberg E. W. Clinical Prediction Models. 2-е изд. Springer, 2019.
  4. Altman D. G., Machin D., Bryant T. N., Gardner M. J. Statistics with Confidence. 2-е изд. BMJ Books, 2000.

Связанные материалы