“`html
Google AI Introduce AGREE: A Machine Learning Framework that Enables LLMs to Self-Ground the Claims in their Responses and to Provide Precise Citations
Сохранение точности больших языковых моделей (LLM), таких как GPT, критически важно, особенно в случаях, требующих фактической точности, таких как новостное вещание или создание учебного контента. Несмотря на их впечатляющие возможности, LLM подвержены генерации правдоподобной, но недостоверной информации, известной как “галлюцинации”, обычно при ответе на открытые запросы, требующие широких знаний о мире. Исследователи Google AI представили AGREE для решения проблемы “галлюцинаций”, когда LLM генерируют ответ, который фактически неверен, бессмысленен или не связан с входным запросом.
Практические решения и ценность
Существующие подходы к предотвращению галлюцинаций в LLM включают в себя два метода: пост-фактум цитирование и основанное на запросах укоренение. Пост-фактум цитирование включает добавление ссылок после генерации ответов, часто с использованием моделей естественного языка. Однако этот метод сильно зависит от знаний внутри вложений LLM и сталкивается с проблемами фактов за пределами его обучающих данных. В то время как основанное на запросах укоренение использует возможности следования инструкциям и контекстного обучения LLM, но часто неэффективно, особенно в реальных сценариях, требующих высокой фактической точности.
Предложенное решение, AGREE (Adaptation for GRounding EnhancEment), представляет собой обучающуюся систему, которая позволяет LLM самостоятельно укоренять свои ответы и предоставлять точные цитаты. AGREE принимает комплексный подход, объединяя обучающуюся адаптацию и адаптацию во время тестирования (TTA). Во время обучения AGREE настраивает LLM с использованием синтетических данных из неразмеченных запросов, позволяя им самостоятельно укоренять свои утверждения, добавляя цитаты к своим ответам. AGREE использует итеративную стратегию вывода во время тестирования, позволяющую LLM активно искать дополнительную информацию на основе самостоятельно сгенерированных цитат, что помогает им улучшать свои ответы снова и снова.
На этапе обучения AGREE включает сбор синтетических данных из неразмеченных запросов, извлечение соответствующих отрывков из надежных источников с помощью модели извлечения и настройку базового LLM для самостоятельного укоренения своих утверждений. Процесс настройки использует модель естественного языка для оценки поддержки каждого утверждения и добавления соответствующих цитат. Эксперименты на пяти наборах данных демонстрируют эффективность AGREE в улучшении укоренения и точности цитирования по сравнению с базовыми методами. AGREE превосходит методы, основанные на запросах и пост-фактум цитировании, достигая относительного улучшения более 30% в качестве укоренения. Кроме того, AGREE может работать с данными вне области, что свидетельствует о его устойчивости к различным типам вопросов, включая знания вне области. Включение TTA в AGREE также приводит к улучшениям как в укоренении, так и в правильности ответов.
В заключение, AGREE эффективно улучшил проблему галлюцинаций в LLM, работая над их фактичностью и верифицируемостью. Позволяя LLM самостоятельно укоренять свои ответы и предоставлять точные цитаты, AGREE улучшает их надежность, особенно в областях, требующих высокой фактической точности. Подход AGREE, объединяющий обучающуюся адаптацию с адаптацией во время тестирования, представляет собой сильное решение, которое работает лучше текущих подходов и может использоваться в широком спектре наборов данных. В целом, AGREE обладает потенциалом для продвижения надежных языковых моделей, подходящих для реальных приложений, требующих высокой фактической точности.
Проверьте статью и блог. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter. Присоединяйтесь к нашему каналу в Telegram, Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 43k+ ML SubReddit. Также ознакомьтесь с нашей платформой AI Events.
The post Google AI Introduce AGREE: A Machine Learning Framework that Enables LLMs to Self-Ground the Claims in their Responses and to Provide Precise Citations appeared first on MarkTechPost.
Как использовать искусственный интеллект для развития вашего бизнеса
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Google AI Introduce AGREE: A Machine Learning Framework that Enables LLMs to Self-Ground the Claims in their Responses and to Provide Precise Citations.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на Telegram.
Попробуйте ИИ ассистент в продажах здесь. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.
“`
