“`html
Patronus AI Releases Lynx v1.1: An 8B State-of-the-Art RAG Hallucination Detection Model
Компания Patronus AI выпустила серию LYNX v1.1, которая представляет собой значительный шаг вперед в области искусственного интеллекта, особенно в обнаружении галлюцинаций в контенте, созданном ИИ. Галлюцинации в контексте ИИ относятся к генерации информации, которая не имеет поддержки или противоречит предоставленным данным, что представляет собой значительное вызов для приложений, полагающихся на точные и надежные ответы. Модели LYNX решают эту проблему с помощью метода retrieval-augmented generation (RAG), который помогает обеспечить, что ответы, генерируемые ИИ, соответствуют предоставленным документам.
Применение в медицине и других областях
Версия 70B модели LYNX v1.1 продемонстрировала исключительную производительность в этой области. На оценке HaluBench, которая тестирует обнаружение галлюцинаций в реальных сценариях, модель 70B достигла впечатляющей точности 87,4%. Эта производительность превосходит другие ведущие модели, включая GPT-4o и GPT-3.5-Turbo, и показала превосходную точность в конкретных задачах, таких как ответы на медицинские вопросы в PubMedQA.
Эффективность модели 8B
Версия 8B модели LYNX v1.1, известная как Patronus-Lynx-8B-Instruct-v1.1, является тщательно отрегулированной моделью, которая находит баланс между эффективностью и возможностями. Обученная на разнообразных наборах данных, включая CovidQA, PubmedQA, DROP и RAGTruth, эта версия поддерживает максимальную длину последовательности 128 000 токенов и в первую очередь ориентирована на английский язык. Применяются передовые методы обучения, такие как обучение смешанной точности и внимание flash, чтобы улучшить эффективность без ущерба точности. Оценки проводились на 8 графических процессорах Nvidia H100 для обеспечения точных показателей производительности.
Практическое применение
С момента выпуска Lynx v1.0 тысячи разработчиков интегрировали его в различные прикладные программы, демонстрируя его практическую полезность. Несмотря на усилия по снижению галлюцинаций с использованием RAG, большие языковые модели (LLM) все еще могут допускать ошибки. Однако Lynx v1.1 значительно улучшает обнаружение галлюцинаций в реальном времени, что делает его наилучшей моделью обнаружения галлюцинаций RAG своего размера. Модель 8B показала значительные улучшения по сравнению с базовыми моделями, такими как Llama 3, с результатом 87,3% на HaluBench. Она превосходит модели, такие как Claude-3.5-Sonnet на 3% и GPT-4o на медицинские вопросы на 6,8%. Кроме того, по сравнению с Lynx v1.0, у нее на 1,4% выше точность на HaluBench и она превосходит все открытые модели на задачах LLM-как-судья.
Заключение
Модель 8B серии LYNX v1.1 является надежным и эффективным инструментом для обнаружения галлюцинаций в контенте, созданном ИИ. В то время как модель 70B лидирует в общей точности, версия 8B предлагает убедительный баланс между эффективностью и производительностью. Ее передовые методы обучения, а также значительные улучшения производительности, делают ее отличным выбором для различных приложений машинного обучения, особенно там, где критическое обнаружение галлюцинаций в реальном времени.
Lynx v1.1 является открытым продуктом с открытыми весами и данными, обеспечивая доступность и прозрачность для всех пользователей.
“`
