MIRAGE-Bench: Автоматическая многоязычная оценка для систем генерации с поддержкой поиска

Использование моделей для обработки информации

Большие языковые модели (БЯМ) становятся важными инструментами для обработки сложных запросов благодаря новым методам, которые улучшают поиск и генерацию ответов. Модель генерации, дополненная поиском (RAG) – это популярная концепция, которая делает ответы более точными и контекстуальными.

Как работает RAG?

В системах RAG БЯМ формирует ответ на основе найденной информации после шага поиска. Это позволяет моделям ссылаться на источники, что снижает вероятность ошибок и упрощает проверку фактов.

Пример: Bing от Microsoft

Bing использует подходы RAG для повышения надежности ответов, ссылаясь на источники. Однако существующие модели RAG в основном ориентированы на английский язык, что ограничивает их применение в многоязычных средах.

Проблемы существующих подходов

Существует два основных типа бенчмарков для оценки RAG систем:

Эвристические бенчмарки: Оценивают модели с использованием различных вычислительных мер, но могут зависеть от человеческих предпочтений.
Аренные бенчмарки: Используют мощную БЯМ для оценки выводов моделей в конкурентной среде, но это может быть дорого и ресурсоемко.

Решение: MIRAGE-BENCH

Исследователи из Университета Ватерлоо и VECTARA предложили новый подход MIRAGE-BENCH, который более экономично анализирует многоязычную генерацию на 18 языках. Эта система использует учебные данные и включает в себя семь ключевых факторов оценки, таких как качество цитирования и определение языка.