Одна цифра не описывает модель. Одни метрики зависят от распространённости явления, другие нет, и путаница между ними приводит к неверным выводам. Ниже матрица ошибок, основные метрики и калькулятор, где всё пересчитывается на лету.
Всё начинается с четырёх чисел. Модель предсказывает да или нет, и мы сравниваем с тем, что было на самом деле.
| Модель сказала да | Модель сказала нет | |
|---|---|---|
| На самом деле да | Верно положительный | Пропуск |
| На самом деле нет | Ложная тревога | Верно отрицательный |
Все метрики это разные отношения этих четырёх чисел. Поэтому одно и то же качество описывается по-разному в зависимости от того, что считают важным.
Задаёт качество теста и распространённость явления. Таблица и метрики пересчитываются сразу.
Значения пересчитываются автоматически.
| Модель: да | Модель: нет | Всего | |
|---|---|---|---|
| Явление есть | - | - | - |
| Явления нет | - | - | - |
| Всего | - | - | - |
Считать метрики на своих данных удобнее в АвИ Орбита.
| Метрика | Что показывает | Зависит от распространённости |
|---|---|---|
| Чувствительность | Долю найденных среди тех, у кого явление есть | Нет |
| Специфичность | Долю верно отвергнутых среди тех, у кого явления нет | Нет |
| Ценность положительного результата | Долю настоящих случаев среди всех положительных ответов | Да |
| Ценность отрицательного результата | Долю действительно здоровых среди всех отрицательных ответов | Да |
| Точность | Долю верных ответов среди всех | Да |
| F1 | Среднее гармоническое чувствительности и ценности положительного результата | Да |
| Отношение правдоподобия для положительного результата | Во сколько раз положительный ответ чаще у тех, у кого явление есть | Нет |
| Индекс Юдена | Сумма чувствительности и специфичности минус единица | Нет |
Главное следствие: чувствительность, специфичность и отношение правдоподобия переносятся между популяциями, а ценность результата и точность нет. Один и тот же тест при редком явлении даёт много ложных тревог.
Если явление встречается у одного человека из ста, модель, которая всегда отвечает «нет», даёт точность 99 процентов и не находит ни одного случая.
Поэтому при редком исходе смотрят на чувствительность, ценность положительного результата и кривые. Точность в такой ситуации почти ничего не сообщает.
Модель выдаёт не ответ, а число, и порог отсечения выбирает человек. Меняя порог, мы обмениваем чувствительность на специфичность.