“`html

Роль синтетических данных в улучшении математических способностей крупных языковых моделей (LLM)

Крупные языковые модели (LLM) сталкиваются с критической проблемой в процессе обучения: нехваткой качественных интернет-данных. Прогнозы свидетельствуют, что к 2026 году имеющийся пул данных будет исчерпан, вынуждая исследователей обращаться к модельно-сгенерированным или синтетическим данным для обучения. Это представляет как возможности, так и риски. В то время как некоторые исследования показали, что масштабирование синтетических данных может улучшить производительность на сложных задачах рассуждения, другие выявили обеспокоенность. Обучение на синтетических данных потенциально может привести к спирали ухудшения производительности модели, усиливая предвзятости, распространяя дезинформацию и укрепляя нежелательные стилистические свойства. Основная проблема заключается в создании синтетических данных, которые эффективно решают проблему недостатка данных, не компрометируя качество и целостность полученных моделей. Эта задача является особенно сложной из-за отсутствия понимания того, как синтетические данные влияют на поведение LLM.

Результаты исследования

Исследователи из университета Карнеги-Меллон, Google DeepMind и MultiOn представляют исследование, для изучения влияния синтетических данных на математические способности LLM. Они обнаружили, что синтетические данные улучшают производительность, но с медленной скоростью по сравнению с предварительным обучением. Особенно важно использование отрицательных синтетических данных на критических этапах, что позволяет увеличить эффективность восемь раз по сравнению с использованием только положительных данных.

Архитектура предложенного метода

Подробная архитектура предложенного метода включает несколько ключевых компонентов:

• Синтетический конвейер данных: способствует генерации новых задач и решений, а также реализует бинарную функцию награды для проверки правильности решений.
• Создание набора данных: включает создание положительных и отрицательных синтетических наборов данных с использованием модельно-сгенерированных решений.
• Алгоритмы обучения: включают методы обучения, такие как финетюнинг с учителем и финетюнинг с отбором, а также оптимизацию предпочтений.

Эта архитектура позволяет провести всесторонний анализ различных типов синтетических данных и подходов к обучению, позволяя изучить их влияние на математические способности LLM.

“`