“`html

Galileo представляет Luna: модель основного оценивания для выявления галлюцинаций языковых моделей с высокой точностью и низкой стоимостью

Galileo Luna представляет собой значительный прорыв в оценке языковых моделей. Она специально разработана для решения распространенной проблемы галлюцинаций в больших языковых моделях (LLM). Галлюцинации, или случаи, когда модели генерируют информацию, не связанную с извлеченным контекстом, представляют собой значительное препятствие при внедрении языковых моделей в промышленные приложения. Galileo Luna – это специальная модель основного оценивания (EFM), которая обеспечивает высокую точность, низкую задержку и экономичность в выявлении и устранении этих галлюцинаций.

Проблема галлюцинаций в LLMs

Большие языковые модели революционизировали обработку естественного языка своей впечатляющей способностью генерировать текст, похожий на человеческий. Однако их склонность к производству фактически неверной информации (галлюцинации) подрывает их надежность, особенно в критических приложениях, таких как поддержка клиентов, юридические консультации и биомедицинские исследования. Галлюцинации могут возникать из-за различных факторов, включая устаревшие базы знаний, рандомизацию в генерации ответов, ошибки в обучающих данных и включение новых знаний во время тонкой настройки.

Luna: модель основного оценивания

Galileo Technologies представила Luna, модель DeBERTa-large, настроенную для обнаружения галлюцинаций в системах RAG. Luna выделяется высокой точностью, низкой стоимостью и скоростью вывода на уровне миллисекунд. Она превосходит существующие модели, включая GPT-3.5, как по производительности, так и по эффективности.

5 прорывов в оценке GenAI с помощью Galileo Luna:

Ведущие бенчмарки точности оценки: Luna на 18% точнее GPT-3.5 в обнаружении галлюцинаций в системах на основе RAG. Эта точность распространяется и на другие задачи оценки, такие как инъекции подсказок и обнаружение PII.

Ультранизкая стоимость оценки: Luna существенно снижает затраты на оценку на 97% по сравнению с GPT-3.5, что делает ее экономически эффективным решением для масштабных развертываний.

Ультранизкая задержка оценки: Luna в 11 раз быстрее GPT-3.5, обрабатывая оценки в миллисекундах, обеспечивая плавный и отзывчивый пользовательский опыт.

Обнаружение галлюцинаций, безопасность и конфиденциальность данных без эталонной правды: устраняется необходимость в дорогостоящих и трудоемких наборах тестов с эталонной правдой за счет использования предварительно обученных наборов данных, специфичных для оценки, что позволяет мгновенно и эффективно проводить оценку.

Построен для настраиваемости: Luna может быстро настраиваться для удовлетворения конкретных потребностей отрасли, обеспечивая модели оценки с ультравысокой точностью в течение нескольких минут.

Производительность и экономическая эффективность

Luna продемонстрировала превосходную производительность в обширном бенчмаркинге по сравнению с другими моделями. По сравнению с GPT-3.5 и другими коммерческими оценочными фреймворками, она достигает снижения затрат на 97% и снижения задержки на 91%. Эти эффективности критически важны для масштабного развертывания, где важными являются генерация откликов в реальном времени и управление стоимостью.

Способность модели обрабатывать до 16 000 токенов в миллисекунду делает ее подходящей для приложений в реальном времени, таких как поддержка клиентов и интерактивные чат-боты. Легкая архитектура Luna позволяет развертывать ее на локальных графических процессорах, обеспечивая конфиденциальность и безопасность данных, что является значительным преимуществом по сравнению с решениями на сторонних API.

Применения и настраиваемость

Luna разработана для высокой настраиваемости, что позволяет быстро настраивать ее для удовлетворения конкретных потребностей отрасли. Например, в фармацевтических приложениях, где галлюцинации могут иметь серьезные последствия, Luna может быть настроена для обнаружения конкретных классов галлюцинаций с точностью более 95%. Эта гибкость обеспечивает возможность адаптации модели к различным областям, повышая ее полезность и эффективность.

Luna поддерживает ряд задач оценки помимо обнаружения галлюцинаций, включая соблюдение контекста, использование фрагментов, актуальность контекста и проверку безопасности. Ее многозадачный подход к обучению позволяет выполнять несколько оценок с одним входом, обмениваясь информацией между задачами для более надежных и точных результатов.

Заключение

Введение Galileo Luna является значительным вехой в разработке моделей оценки для больших языковых систем. Ее высокая точность, экономичность и низкая задержка делают ее ценным инструментом для обеспечения надежности и доверия к приложениям, управляемым ИИ. Решая критическую проблему галлюцинаций в LLM, Luna прокладывает путь для более надежных и доверенных языковых моделей в различных отраслевых сферах.

“`