RAG это способ отвечать не по памяти модели, а по найденным фрагментам документов. Ниже устройство схемы, что в ней настраивают и что ломается чаще всего.
Схема состоит из двух частей. Первая готовит документы: их режут на фрагменты и складывают в индекс. Вторая отвечает на вопрос: ищет подходящие фрагменты и передаёт их модели вместе с вопросом.
Ключевое отличие от обычной модели: ответ можно проверить. Он опирается на конкретный фрагмент, который лежит в индексе, а не на то, что модель запомнила при обучении.
Собирать поиск по документам и проверять цитаты удобнее в АвИ Магнетар.
| Параметр | На что влияет | Как выбирают |
|---|---|---|
| Размер фрагмента | Полнота и точность поиска | По структуре текста: абзац, раздел, пункт протокола |
| Перекрытие | Сохранение смысла на границах | 10-30 процентов размера фрагмента |
| Число найденных фрагментов | Полнота ответа и объём запроса | Обычно 3-5, дальше растёт шум |
| Модель векторов | Качество поиска по смыслу | Проверяют на своих вопросах, а не по общей таблице |
| Переранжирование | Порядок фрагментов в запросе | Включают, если поиск возвращает похожие, но неверные фрагменты |
Проверяют две вещи отдельно: находит ли поиск нужный фрагмент и правильно ли отвечает модель по найденному.