RAG: ответы по своим документам

RAG: ответы по своим документам

RAG это способ отвечать не по памяти модели, а по найденным фрагментам документов. Ниже устройство схемы, что в ней настраивают и что ломается чаще всего.

Как это работает

Схема состоит из двух частей. Первая готовит документы: их режут на фрагменты и складывают в индекс. Вторая отвечает на вопрос: ищет подходящие фрагменты и передаёт их модели вместе с вопросом.

Документы Нарезка фрагменты Индекс векторы фрагментов Вопрос Поиск ближайшие фрагменты Ответ с ссылкой поиск идёт по индексу сверху подготовка документов, снизу ответ на вопрос

Ключевое отличие от обычной модели: ответ можно проверить. Он опирается на конкретный фрагмент, который лежит в индексе, а не на то, что модель запомнила при обучении.

Собирать поиск по документам и проверять цитаты удобнее в АвИ Магнетар.

Что настраивают

ПараметрНа что влияетКак выбирают
Размер фрагментаПолнота и точность поискаПо структуре текста: абзац, раздел, пункт протокола
ПерекрытиеСохранение смысла на границах10-30 процентов размера фрагмента
Число найденных фрагментовПолнота ответа и объём запросаОбычно 3-5, дальше растёт шум
Модель векторовКачество поиска по смыслуПроверяют на своих вопросах, а не по общей таблице
ПереранжированиеПорядок фрагментов в запросеВключают, если поиск возвращает похожие, но неверные фрагменты

Как проверять качество

Проверяют две вещи отдельно: находит ли поиск нужный фрагмент и правильно ли отвечает модель по найденному.

Полнота поиска
Доля вопросов, для которых нужный фрагмент попал в выдачу. Считается по заранее размеченным вопросам.
Точность цитат
Доля ответов, где ссылка действительно подтверждает утверждение. Проверяется выборочно человеком.
Доля отказов
Как часто система говорит, что ответа в документах нет. Это нужное поведение, а не сбой.
Устойчивость к перефразировке
Тот же вопрос другими словами должен давать тот же ответ.
Свежесть индекса
Обновлён ли индекс после изменения документов. Иначе ответ опирается на устаревший текст.

Что ломается чаще всего

Фрагменты рвут смысл
Разрезанная таблица или пункт без заголовка теряют смысл. Помогает нарезка по структуре, а не по счётчику знаков.
Ответ без опоры
Модель добавляет то, чего в найденных фрагментах нет. Лечится требованием цитировать и проверкой ответа на соответствие цитатам.
Поиск по словам вместо смысла
Вопрос «насколько опасен» не находит абзац со словом «риск». Нужен поиск по смыслу или гибридная схема.
Слишком много фрагментов в запросе
Лишние фрагменты отвлекают модель. Лучше меньше, но точнее.
Оценка на своих же примерах
Если набор вопросов составляли по тем же документам, метрика завышена. Набор откладывают заранее.

Источники

  1. Lewis P. и соавт. Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 2020, том 33, с. 9459-9474.
  2. Karpukhin V. и соавт. Dense passage retrieval for open-domain question answering. Proceedings of EMNLP, 2020, с. 6769-6781.
  3. Reimers N., Gurevych I. Sentence-BERT: sentence embeddings using Siamese BERT-networks. Proceedings of EMNLP, 2019, с. 3982-3992.
  4. Gao Y. и соавт. Retrieval-augmented generation for large language models: a survey. arXiv:2312.10997, 2023.

Связанные материалы