FACTALIGN: Революционный AI-фреймворк для повышения достоверности долгих ответов LLMs, сохраняя их полезность
Практические решения и ценность:
FACTALIGN представляет собой инновационный фреймворк, который улучшает фактическую точность долгих ответов, сгенерированных LLMs. Он использует алгоритм fKTO для тонкой настройки на уровне предложения, что значительно повышает фактическую точность без ущерба полезности. Фреймворк позволяет контролировать точность и полноту фактов, адресуя проблемы галлюцинаций и нефактового контента, что приводит к значительному улучшению точности ответов LLMs.
Применение и практическая ценность:
FACTALIGN включает в себя процесс оценки фактической точности на уровне предложения и процесс выравнивания для улучшения фактической точности и полезности в LMs. Он использует атомные утверждения из предложений для создания уровня потерь на уровне предложения, обеспечивая более эффективное выравнивание. Фреймворк применяет итеративную оптимизацию для устранения расхождений между оценками ответов в реальном времени и данными обучения модели, обеспечивая непрерывное улучшение.
Эксперименты и результаты:
Эксперименты демонстрируют эффективность фреймворка FACTALIGN по сравнению с различными моделями, включая GPT-4-Turbo и LLaMA-2-70B-Chat. FACTALIGN значительно улучшает фактическую точность и полезность базовой модели Gemma-2B, достигая улучшений на 40,1% в f1@100 и на 29,2% в оценках MT-Bench. Полученные результаты показывают, что FACTALIGN в первую очередь улучшает фактическое воспроизведение, увеличивая количество фактических утверждений и незначительно улучшая точность. Анализ показывает необходимость итеративной оптимизации и позитивное влияние алгоритма fKTO и данных общего назначения на общую производительность модели.
Заключение:
Исследование представляет FACTALIGN – фреймворк для улучшения фактической точности долгих ответов, генерируемых LLMs. Фреймворк управляет точностью и полнотой фактов, решая проблемы галлюцинаций и нефактового контента, и демонстрирует значительное улучшение точности ответов LLMs на запросы открытого домена и информационного поиска, позволяя LLMs предоставлять более богатую информацию, сохраняя фактическую целостность.
