Польза языковых моделей не в постановке диагноза, а в рутине вокруг текста. Ниже задачи, где они экономят время, условия, при которых это работает, и подбор сценария по вашей задаче.
Откуда берётся польза
Значительная часть рабочего времени уходит не на решения, а на текст вокруг них: прочитать, найти, перенести, оформить, переписать. Именно здесь модель полезна, потому что делает это быстро и в нужном формате.
Решение при этом остаётся за человеком. Модель готовит материал, человек проверяет и отвечает.
Подбор сценария
Два вопроса: что нужно сделать и есть ли проверка результата человеком.
Проверка человеком
Что получится
-
Нажмите «Подобрать», чтобы увидеть сценарий.
Работать с моделями, хранить запросы и проверять ответы по источникам удобнее в АвИ Магнетар.
Задачи, где модель полезна
Задача
Что даёт
Что проверяют
Извлечение полей из текста
Освобождает от ручного переноса данных
Полноту и совпадение с исходником
Поиск по документам
Находит нужный пункт и показывает источник
Что цитата подтверждает ответ
Черновик письма или текста
Убирает страх чистого листа
Факты, формулировки, отсутствие лишнего
Перевод и пересказ
Ускоряет работу с иностранными источниками
Терминологию и числа
Структурирование записей
Приводит свободный текст к таблице
Пропуски и потерянные оговорки
Проверка оформления
Находит несоответствия шаблону
Ложные срабатывания
Как понять, что польза есть
Пользу измеряют до внедрения и после, на одних и тех же задачах. Иначе остаётся впечатление, а не результат.
Время на задачу
Сколько минут уходит на один документ или один запрос до и после.
Доля ошибок
Сколько раз приходится исправлять результат. Считается на выборке, а не по памяти.
Доля проверок
Как часто человек действительно проверяет ответ, а не принимает его сразу. Это главный риск при внедрении.
Стоимость
Запросы, хранение, поддержка индекса. Дешёвый вызов модели не означает дешёвую систему.
Устойчивость
Что происходит на редких документах и нестандартных формулировках.
Частые ошибки
Начинать с самой сложной задачи
Самый рискованный сценарий даёт самый заметный провал. Начинают с рутины, где ошибка дешева и проверяема.
Считать экономию без проверки
Если результат всё равно перечитывают целиком, экономии нет. Смотрят на итоговое время вместе с проверкой.
Не фиксировать версию модели
Ответы меняются между версиями. Без фиксации результаты нельзя сравнивать.
Проверка превращается в формальность
Через месяц галочка ставится автоматически. Нужны выборочные контрольные проверки.
Модель отвечает вместо человека
Как только ответ уходит без проверки, сценарий перестаёт быть безопасным.
Источники
Sinsky C. и соавт. Allocation of physician time in ambulatory practice: a time and motion study in 4 specialties. Annals of Internal Medicine, 2016, том 165, № 11, с. 753-760.
Ayers J. W. и соавт. Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum. JAMA Internal Medicine, 2023, том 183, № 6, с. 589-596.
Singhal K. и соавт. Large language models encode clinical knowledge. Nature, 2023, том 620, с. 172-180.
Gao Y. и соавт. Retrieval-augmented generation for large language models: a survey. arXiv:2312.10997, 2023.