OPEN-RAG: Новый ИИ-фреймворк для улучшения логического мышления с открытыми LLM.

Open-RAG: Новый ИИ-фреймворк для улучшения способностей рассуждения

Большие языковые модели (LLMs) значительно продвинулись в области обработки естественного языка, но часто сталкиваются с проблемами фактической точности, особенно в сложных сценариях рассуждения. Текущие методы Retrieval-Augmented Generation (RAG) не всегда справляются с этой задачей.

Проблемы существующих решений

Существующие технологии RAG, особенно с использованием открытых моделей, испытывают трудности с обработкой сложной информации. Это приводит к:

шумным результатам;
недостаточной согласованности контекста;
трудностям в различении релевантных данных и отвлекающих факторов.

Решение: Open-RAG

Исследователи из различных университетов представили Open-RAG — новый фреймворк, который улучшает способности рассуждения моделей RAG с использованием открытых LLM. Open-RAG:

превращает плотную LLM в эффективную модель с разреженной смесью экспертов (MoE);
способен обрабатывать сложные задачи рассуждения;
выбирает релевантных экспертов для работы с отвлекающими факторами;
включает гибкий адаптивный метод извлечения информации.

Структура Open-RAG

Open-RAG объединяет:

конструктивное обучение;
архитектурные преобразования;
генерацию на основе рефлексии.

Это позволяет модели не только выполнять задачи, но и различать полезную информацию и отвлекающие факторы.

Результаты экспериментов

Эксперименты показали, что Open-RAG, основанный на Llama2-7B, превосходит другие модели RAG, такие как ChatGPT-RAG и Self-RAG, в задачах, требующих глубокого понимания. Например, он показал лучшие результаты в HotpotQA и MuSiQue.

Заключение

Open-RAG — это значительный шаг вперед в улучшении фактической точности и способностей рассуждения моделей RAG с открытыми LLM. Этот фреймворк демонстрирует потенциал открытых LLM для достижения высокой точности и эффективности.