“`html

Искусственный интеллект и обучение с подкреплением

Модели на основе больших языков (LLM) всё чаще используют обучение с подкреплением на основе человеческой обратной связи (RLHF) для улучшения различных приложений, таких как генерация кода, математическое рассуждение и помощь в диалогах. Однако возникает проблема снижения разнообразия выходных данных при использовании RLHF.

Проблема разнообразия выходных данных

Исследования показывают, что существует компромисс между качеством согласования и разнообразием выходных данных в моделях, обученных с помощью RLHF. Высокая степень согласования с желаемыми целями приводит к ограниченной вариативности выходных данных. Это создает трудности для творческих задач, таких как генерация историй и синтез данных, где разнообразие выходных данных критически важно.

Решения для повышения разнообразия

Существующие подходы сосредоточены на улучшении следования инструкциям, безопасности и надежности через RLHF, но это часто происходит за счет разнообразия выходных данных. Разработаны различные методы, такие как использование f-дивергенции с алгоритмами DPO/PPO для балансировки разнообразия и согласования. Некоторые исследователи также применяют методы оценки, такие как SelfBLEU и Sentence-BERT, для повышения разнообразия, особенно для задач по проверке устойчивости.

Новая рамочная концепция CD-RLHF

Исследователи из Baidu предложили новую концепцию под названием “Обучение с подкреплением, основанное на любопытстве” (CD-RLHF), чтобы решить проблему компромисса между разнообразием и согласованием. Этот подход использует любопытство как внутренний механизм вознаграждения на этапе обучения RLHF, работая вместе с традиционными внешними наградами. CD-RLHF вычисляет ошибки предсказания, что помогает оценить уровень любопытства модели.

Результаты экспериментов

Рамочная концепция CD-RLHF была протестирована на двух основных наборах данных: TL;DR для резюмирования текста и UltraFeedback для следования инструкциям. Результаты показали, что CD-RLHF значительно улучшает разнообразие выходных данных и сохраняет высокое качество согласования.

Практическое применение ИИ в вашем бизнесе

Если вы хотите, чтобы ваша компания развивалась с помощью ИИ, используйте CD-RLHF для достижения лучших результатов. Проанализируйте, как ИИ может изменить вашу работу, и определите ключевые показатели эффективности (KPI), которые вы хотите улучшить с помощью ИИ.

Подберите подходящее ИИ-решение и внедряйте его постепенно, начиная с небольших проектов. На основе полученных данных расширяйте автоматизацию. Если вам нужны советы по внедрению ИИ, пишите нам.

Попробуйте ИИ-ассистента в продажах, который помогает отвечать на вопросы клиентов и генерировать контент для отдела продаж, снижая нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.

“`