Ваши модели “галлюцинируют”? Советы по измерению и снижению галлюцинаций в LLM.

Введение в проблему галлюцинаций в LLM

Модели языка (LLM) становятся все лучше, и их применение растет в сложных задачах, таких как ответ на вопросы и Summarization. Однако, чем сложнее задача, тем выше риск галлюцинаций.

Что такое галлюцинация?

Галлюцинация происходит, когда модель генерирует ответы, которые не основаны на реальных знаниях или контексте. Это может произойти при работе с трудными задачами, например, с вопросами, требующими глубины знаний.

Почему важна проблема галлюцинаций?

В некоторых областях, таких как медицина или юриспруденция, неверная информация может иметь серьезные последствия. Например, юристы могут ссылаться на несуществующие дела, а в медицинском поле чат-бот может давать опасные советы.

Как уменьшить галлюцинации

Методы уменьшения галлюцинаций

Существуют разные методы, которые можно применить для снижения проблемы галлюцинационных ответов:

Обучение и дообучение: управляем тренировочным набором данных для устранения знаний.
Инференс: настройки во время работы модели. Например, можно попросить модель не отвечать, если она не уверена.

Инженерия запросов

Простая техника – просить модель отвечать “не знаю”, когда она не уверена. Однако модели не всегда осознают, чего они не знают.

Метод RAG (Retrieval Augmented Generation)

Этот метод включает использование внешних источников знаний во время генерации ответа. Это значительно снижает вероятность галлюцинаций, так как модель основывается на проверенной информации.

Фильтры и охранные механизмы

Фильтры можно создать для определения, есть ли галлюцинации в ответах модели. Например, можно спросить модель, содержит ли ответ галлюцинации.

Измерение галлюцинаций

Для оценки ответов LLM можно использовать другие LLM в качестве судей. Этот метод позволяет автоматизировать процесс проверки на наличие галлюцинаций и других аспектов ответов.