Как улучшить обучение наградам для языковых моделей: модель обобщаемой награды (GRM)

 Generalizable Reward Model (GRM): An Efficient AI Approach to Improve the Generalizability and Robustness of Reward Learning for LLMs

“`html

Generalizable Reward Model (GRM): An Efficient AI Approach to Improve the Generalizability and Robustness of Reward Learning for LLMs

Предобученные большие модели показали впечатляющие способности во многих различных областях. Недавние исследования сосредотачиваются на обеспечении соответствия этих моделей человеческим ценностям и предотвращении вредных поведенческих моделей. Для достижения этой цели критически важны методы выравнивания, где два основных метода – это надзорная донастройка (SFT) и обучение с подкреплением на основе обратной связи от человека (RLHF). RLHF полезен для обобщения модели вознаграждения на новые пары запрос-ответ. Однако он сталкивается с проблемой обучения модели вознаграждения, которая хорошо работает с невидимыми данными. Одной из распространенных проблем является “переоптимизация” или “взлом вознаграждения”. Увеличение размера модели вознаграждения и объема обучающих данных может помочь решить эту проблему, но это не практично в реальных ситуациях.

Методы выравнивания

Эта статья обсуждает два подхода в связанной работе. Первый подход – моделирование вознаграждения, где модели вознаграждения обучаются на данных о предпочтениях человека для направления процесса RLHF или оптимизации запроса. Недавние исследования сосредотачиваются на разработке лучших моделей вознаграждения для улучшения производительности больших языковых моделей (LLM) в RLHF. Это включает улучшение моделирования вознаграждения путем улучшения качества или количества данных о предпочтениях. Второй подход – смягчение переоптимизации в RLHF, где модели вознаграждения часто переобучаются и испытывают трудности с обобщением за пределы обучающих данных, что приводит к проблеме переоптимизации. Можно наказывать слишком уверенные выходы модели, используя сглаживание меток или регуляризацию SFT для уменьшения этой проблемы.

Исследователи из HKUST, Georgia Institute of Technology и University of Illinois Urbana-Champaign представили Generalizable Reward Model (GRM), который использует регуляризацию генерации текста на скрытые состояния для улучшения производительности моделей вознаграждения. Их исследование показывает, что все три типа регуляризации генерации текста хорошо работают с GRM, при этом регуляризация SFT является наиболее эффективным и надежным решением. Результаты демонстрируют, что GRM значительно улучшает точность моделей вознаграждения в различных задачах вне распределения (OOD). Более того, он последовательно повышает производительность RLHF и помогает уменьшить проблему переоптимизации.

Для обучения моделей вознаграждения используется Unified-Feedback dataset, который является одним из крупнейших наборов парных наборов данных обратной связи. Все модели вознаграждения обучаются на подмножестве из 400 тыс. и 40 тыс. экземпляров из Unified-Feedback dataset и оцениваются на 8 тыс. экземпляров hold-out eval set. Более того, при оценке производительности модели на предпочтительных данных вне распределения используются наборы данных, такие как HHH-Alignment, MT-Bench Human Judgements и RewardBench. Набор данных HHH-Alignment оценивает языковые модели на полезность, честность и безвредность, в то время как набор данных MT-Bench содержит предпочтения человека для ответов модели на вопросы MT-bench.

Результаты GRM

GRM значительно улучшает способность моделей вознаграждения к обобщению, приводя к лучшей производительности как на внутрираспределенных (ID), так и на вне распределения (OOD) наборах оценки.

Все три типа потерь регуляризации генерации текста могут улучшить обобщение, причем регуляризация SFT является наиболее эффективным и последовательным.

Он показывает сильную производительность даже с ограниченными наборами данных, превосходя базовые значения с большим отрывом.

GRM эффективно уменьшает проблему переоптимизации в BoN и PPO и устойчив к помехам меток в данных о предпочтениях.

В заключение, исследователи предложили Generalizable Reward Model (GRM), эффективный метод, направленный на улучшение обобщаемости и устойчивости обучения на вознаграждение для LLM. GRM использует техники регуляризации на скрытых состояниях моделей вознаграждения, что значительно улучшает способность моделей к обобщению на невидимые данные. Более того, предложенный подход эффективно уменьшает проблему переоптимизации в RLHF. Эти результаты поддержат будущие исследования по созданию более сильных моделей вознаграждения, помогая более эффективно выравнивать большие модели и обеспечивать решения с оптимальным соотношением цены и качества.

Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.

Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.

Если вам нравится наша работа, вам понравится наша рассылка.

Не забудьте присоединиться к нашему сообществу 46 тыс. подписчиков в ML SubReddit.

Попробуйте ИИ ассистент в продажах здесь. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.


“`

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Многоходовое Внимание: Революция в Понимании Языковых Моделей

    Введение в механизмы внимания в языковых моделях Языковые модели (LLMs) активно используют механизмы внимания для эффективного извлечения контекстной информации. Однако традиционные методы внимания ограничены однотокеновым вниманием, что может затруднять понимание сложных языковых зависимостей.…

  • Amazon Nova Act: Революция в автоматизации веб-задач

    Введение в Amazon Nova Act Amazon представил революционную модель ИИ под названием Nova Act, предназначенную для автоматизации различных веб-задач. Этот ИИ-агент может автоматизировать процессы, такие как заполнение форм, навигация по интерфейсу и управление…

  • Руководство для начинающих по терминалу и командной строке: основные команды и советы

    Практические бизнес-решения с использованием Terminal/Command Prompt Введение Terminal и Command Prompt – это мощные инструменты для взаимодействия с компьютерами, которые могут значительно повысить производительность и эффективность в бизнесе. Преимущества использования Terminal/Command Prompt Эффективная…

  • Гибридная система вознаграждений ByteDance: улучшение RLHF с помощью RTV и GenRM

    Введение в Гибридную Систему Наград в ИИ Недавнее исследование от ByteDance представляет значительное достижение в области искусственного интеллекта через гибридную систему наград. Эта система объединяет Проверяющие Задачи Размышления (RTV) и Генеративную Модель Наград…

  • Революционная платформа AI для интеграции рассуждений и поиска

    Введение в ReSearch: Прогрессивная AI-структура Обзор ReSearch ReSearch представляет собой продвинутую структуру, которая обучает большие языковые модели (LLM) комбинировать рассуждения с поиском с помощью обучения с подкреплением, устраняя необходимость в контролируемых данных для…

  • Использование Git и Git Bash: Руководство для бизнеса

    Бизнес-преобразование с помощью Git и искусственного интеллекта Введение Использование Git и Git Bash может значительно улучшить управление проектами. Эти инструменты позволяют командам отслеживать изменения кода и эффективно сотрудничать, что значительно повышает производительность бизнеса.…

  • Создание инструмента для анализа рентгеновских снимков с открытым исходным кодом

    Создание инструмента для оценки рентгеновских снимков с открытым исходным кодом Практические бизнес-решения Создание прототипа инструмента для оценки рентгеновских снимков может значительно улучшить процессы диагностики и повысить качество обслуживания клиентов в медицинских учреждениях. Использование…

  • Увеличение разнообразия креативного письма с помощью DPO и ORPO в ИИ моделях

    Улучшение креативного письма с помощью ИИ: Практические решения для бизнеса Понимание проблемы креативного письма в ИИ Креативное письмо требует разнообразия и воображения, что представляет собой уникальную задачу для систем искусственного интеллекта (ИИ). В…

  • Оценка юридических ответов на соответствие GDPR с помощью платформы Atla

    Оценка юридических ответов для соблюдения GDPR с помощью платформы Atla Обзор Данный гид описывает практический подход к оценке качества юридических ответов, сгенерированных языковыми моделями, с использованием платформы Atla и Python SDK. Наша цель…

  • VideoMind: Прорыв в понимании видео с помощью ИИ

    Видеоминд: Применение AI для понимания видео Видеоминд представляет собой значительное достижение в области искусственного интеллекта, особенно в понимании видео. Этот инновационный подход решает уникальные задачи анализа видеоконтента. Понимание задач видеоконтента Видеоматериалы более сложны…

  • Hostinger Horizons: Создавайте веб-приложения без кода с помощью ИИ

    Практические бизнес-решения с использованием Hostinger Horizons Hostinger Horizons предлагает уникальные возможности для бизнеса благодаря своей платформе без кода, которая упрощает создание веб-приложений. Вот как это может улучшить бизнес и реальную жизнь: Преимущества использования…

  • Hunyuan-T1: Революция в Искусственном Интеллекте для Бизнеса

    Практические бизнес-решения Преобразование рабочих процессов Искусственный интеллект может значительно улучшить бизнес-операции. Вот практические шаги, которые стоит рассмотреть: 1. Определите возможности автоматизации Ищите процессы, которые можно автоматизировать для повышения эффективности. 2. Улучшите взаимодействие с…

  • FFN Fusion от NVIDIA: Революция в эффективности больших языковых моделей

    Введение в большие языковые модели Большие языковые модели (LLMs) становятся все более важными в различных секторах, обеспечивая работу приложений, таких как генерация естественного языка и разговорные агенты. Однако с увеличением размера и сложности…

  • UI-R1: Улучшение предсказания действий GUI с помощью обучения с подкреплением

    UI-R1 Framework: Улучшение предсказания действий GUI с помощью ИИ Обзор проблемы Традиционный метод обучения больших языковых моделей (LLMs) и агентов графического пользовательского интерфейса (GUI) требует больших объемов размеченных данных, что приводит к длительным…

  • Эффективное Масштабирование Времени Вывода для Бизнеса

    Оптимизация времени вывода для потоковых моделей: практические бизнес-решения Введение Недавние разработки в области искусственного интеллекта сместили акцент с увеличения размера модели и объема обучающих данных на повышение эффективности вычислений во время вывода. Эта…

  • Устойчивое развитие AI для временных рядов с помощью синтетических данных: инновационный подход Salesforce

    Возможности ИИ для анализа временных рядов с использованием синтетических данных Анализ временных рядов имеет огромное значение для бизнеса, но он сталкивается с проблемами доступности и качества данных. Использование синтетических данных может решить эти…

  • Руководство по решению уравнения Бюргера 1D с помощью PINNs в PyTorch

    Практическое руководство по преобразованию бизнеса с помощью ИИ Это руководство демонстрирует, как использовать физически обоснованные нейронные сети (PINNs) для решения уравнения Бургенса и как такие технологии могут улучшить бизнес-процессы и реальную жизнь. Шаги…

  • Открытие OpenVLThinker-7B: Новый уровень визуального мышления для бизнеса

    Улучшение визуального мышления с OpenVLThinker-7B Понимание проблемы Модели, объединяющие обработку языка и интерпретацию изображений, испытывают трудности с многошаговым мышлением. Это создает проблемы в таких задачах, как понимание графиков и решение визуальных математических задач.…