“`html
Self-play muTuAl Reasoning (rStar): Новый подход в области искусственного интеллекта, усиливающий способности малых языковых моделей в рассуждениях во время вывода без Fein-Tuning
Большие языковые модели (LLMs) сделали значительные шаги в различных приложениях, но по-прежнему сталкиваются с существенными проблемами в сложных задачах рассуждения. Например, даже продвинутые модели, такие как Mistral-7B, могут достигнуть только 36,5% точности на наборе данных GSM8K, несмотря на применение техник, таких как Chain-of-Thought (CoT).
Исследователи из Microsoft Research Asia и Гарвардского университета представили подход Self-play muTuAl Reasoning (rStar), который представляет собой надежное решение для улучшения способностей малых языковых моделей в рассуждениях во время вывода, без использования Fein-Tuning или более продвинутых моделей.
Решение rStar:
rStar решает проблемы, с которыми сталкиваются SLM через уникальный процесс самостоятельной генерации и дискриминации. Этот метод использует обычный алгоритм Монте-Карло для самостоятельной генерации рассуждения, но расширяет набор рассуждений для имитации человеческого поведения. Для руководства исследованием сгенерированных рассуждений rStar вводит процесс дискриминации, который использует вторую SLM в качестве дискриминатора для предоставления безнадзорной обратной связи о кандидатских рассуждениях.
Результаты:
1. Производительность на различных задачах рассуждения: rStar значительно улучшил способности SLM по решению проблем. Например, точность LLaMA2-7B на наборе данных GSM8K повысилась с 12,51% с использованием CoT до 63,91% с rStar, почти соответствуя производительности после Fein-Tuning.
2. Эффективность: rStar показал значительное улучшение точности рассуждения с помощью всего 2 прокатов на наборе данных GSM8K.
3. Производительность на сложных математических наборах данных: На GSM-Hard и MATH-500 rStar значительно улучшил точность рассуждения SLM, улучшив производительность по сравнению с современными методами базовой линии.
4. Ablation-исследования: генератор MCTS в rStar превзошел другие подходы, такие как RAP и Self-Consistency для различных моделей и задач.
5. Сравнение моделей: различные модели были протестированы в качестве дискриминаторов, причем GPT-4 достиг наивысшей точности (92,57%) на GSM8K, за которой последовал Phi3-Mini-Instruct (91,13%).
Эти результаты подчеркивают эффективность rStar в улучшении способностей рассуждения SLM на различных задачах и моделях, превзойдя существующие методы как по точности, так и по эффективности.
Подробнее о статье. Вся заслуга за это исследование принадлежит исследователям этого проекта.
“`
This is the HTML format of the given text with the requested simple and clear language, along with highlights of the practical solutions and value.
