RAG-Check: Новый ИИ для обнаружения ошибок в системах генерации с использованием нескольких источников данных

Проблема галлюцинаций в ИИ

Большие языковые модели (LLMs) кардинально изменили генеративный ИИ, обладая способностью генерировать ответы, похожие на человеческие. Однако они сталкиваются с проблемой галлюцинаций, когда создают неверную или нерелевантную информацию. Это может быть опасно в критически важных областях, таких как медицина, страхование и автономные системы принятия решений.

Решения для борьбы с галлюцинациями

Существуют различные методы для уменьшения галлюцинаций в языковых моделях:

FactScore: Улучшает точность, разбивая длинные утверждения на более мелкие части для проверки.
Lookback Lens: Анализирует контекст для выявления галлюцинаций.
MARS: Использует взвешенную систему для оценки ключевых компонентов утверждений.

Новая методика RAG-check

Исследователи предложили метод RAG-check для оценки многомодальных RAG-систем. Он состоит из трех компонентов:

Нейронная сеть для оценки релевантности данных.
Алгоритм для сегментации и категоризации выходных данных.
Нейронная сеть для проверки правильности данных.

Оценка и результаты

Система использует два основных показателя: Релевантность (RS) и Правильность (CS). Оценка показывает, что использование модели RS значительно улучшает релевантность, увеличивая её до 89.5%, хотя это требует больше вычислительных ресурсов.

Выводы

Метод RAG-check демонстрирует значительные улучшения в оценке производительности многомодальных RAG-систем. Модель GPT-4o оказалась наиболее эффективной для генерации контекста, что подчеркивает потенциал унифицированных многомодальных языковых моделей.