Где LLM действительно полезны

Где LLM действительно полезны

Польза языковых моделей не в постановке диагноза, а в рутине вокруг текста. Ниже задачи, где они экономят время, условия, при которых это работает, и подбор сценария по вашей задаче.

Откуда берётся польза

Значительная часть рабочего времени уходит не на решения, а на текст вокруг них: прочитать, найти, перенести, оформить, переписать. Именно здесь модель полезна, потому что делает это быстро и в нужном формате.

Решение при этом остаётся за человеком. Модель готовит материал, человек проверяет и отвечает.

Подбор сценария

Два вопроса: что нужно сделать и есть ли проверка результата человеком.

Проверка человеком

Что получится

-

Нажмите «Подобрать», чтобы увидеть сценарий.

Работать с моделями, хранить запросы и проверять ответы по источникам удобнее в АвИ Магнетар.

Задачи, где модель полезна

ЗадачаЧто даётЧто проверяют
Извлечение полей из текстаОсвобождает от ручного переноса данныхПолноту и совпадение с исходником
Поиск по документамНаходит нужный пункт и показывает источникЧто цитата подтверждает ответ
Черновик письма или текстаУбирает страх чистого листаФакты, формулировки, отсутствие лишнего
Перевод и пересказУскоряет работу с иностранными источникамиТерминологию и числа
Структурирование записейПриводит свободный текст к таблицеПропуски и потерянные оговорки
Проверка оформленияНаходит несоответствия шаблонуЛожные срабатывания

Как понять, что польза есть

Пользу измеряют до внедрения и после, на одних и тех же задачах. Иначе остаётся впечатление, а не результат.

Время на задачу
Сколько минут уходит на один документ или один запрос до и после.
Доля ошибок
Сколько раз приходится исправлять результат. Считается на выборке, а не по памяти.
Доля проверок
Как часто человек действительно проверяет ответ, а не принимает его сразу. Это главный риск при внедрении.
Стоимость
Запросы, хранение, поддержка индекса. Дешёвый вызов модели не означает дешёвую систему.
Устойчивость
Что происходит на редких документах и нестандартных формулировках.

Частые ошибки

Начинать с самой сложной задачи
Самый рискованный сценарий даёт самый заметный провал. Начинают с рутины, где ошибка дешева и проверяема.
Считать экономию без проверки
Если результат всё равно перечитывают целиком, экономии нет. Смотрят на итоговое время вместе с проверкой.
Не фиксировать версию модели
Ответы меняются между версиями. Без фиксации результаты нельзя сравнивать.
Проверка превращается в формальность
Через месяц галочка ставится автоматически. Нужны выборочные контрольные проверки.
Модель отвечает вместо человека
Как только ответ уходит без проверки, сценарий перестаёт быть безопасным.

Источники

  1. Sinsky C. и соавт. Allocation of physician time in ambulatory practice: a time and motion study in 4 specialties. Annals of Internal Medicine, 2016, том 165, № 11, с. 753-760.
  2. Ayers J. W. и соавт. Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum. JAMA Internal Medicine, 2023, том 183, № 6, с. 589-596.
  3. Singhal K. и соавт. Large language models encode clinical knowledge. Nature, 2023, том 620, с. 172-180.
  4. Gao Y. и соавт. Retrieval-augmented generation for large language models: a survey. arXiv:2312.10997, 2023.

Связанные материалы