Ученые из Принстон и Meta AI представляют ‘Lory’: модель MoE с полной дифференцируемостью, разработанную для предварительного обучения авторегрессивной языковой модели.

Методика SMEAR для масштабирования MoE-архитектур

Методика SMEAR, представленная недавно, представляет собой полностью недифференцируемую и эффективную архитектуру MoE. Она позволяет эффективно масштабировать MoE-модели и эффективно сливать экспертов в пространстве параметров. Эта методика демонстрирует отличные результаты на задачах языкового моделирования и дополнительных задачах.

Основные преимущества методики SMEAR:

Эффективность и сходимость обучения: Методика SMEAR достигает уровня потерь, эквивалентного менее чем половине обучающих токенов для моделей с различным количеством параметров, что говорит о более высокой производительности при таких же ресурсах обучения.
Языковое моделирование: Модели MoE превосходят плотные базовые модели во всех областях, снижая перплексию. Например, по сравнению с плотной моделью объемом 0,3B, модели объемом 0,3B/32E демонстрируют относительное улучшение на 13,9% в категории “Книги”.
Дополнительные задачи: Модели объемом 0,3B/32E показывают увеличение производительности на 3,7% в задачах здравого смысла, на 3,3% в задачах чтения с пониманием, на 1,5% в задачах классификации и на 11,1% в задачах текстовой классификации.

Архитектура Lory для предварительного обучения языковых моделей

Методика Lory, разработанная исследователями из Принстонского университета и Meta AI, представляет собой полностью дифференцируемую MoE-модель, предназначенную для предварительного обучения языковых моделей. Она состоит из двух основных методик: стратегии каскадной маршрутизации сегментов и метода формирования данных на основе сходства, что позволяет максимально эффективно обучать MoE и получать высокоспециализированные эксперты.

Основные преимущества методики Lory:

Эффективность обучения и сходимость: Методика Lory достигает уровня потерь, эквивалентного менее чем половине обучающих токенов для моделей с различным количеством параметров, что говорит о более высокой производительности при таких же ресурсах обучения.
Языковое моделирование: MoE-модели, предложенные в методике Lory, превосходят плотные базовые модели во всех областях, снижая перплексию.
Дополнительные задачи: Модели, разработанные на основе методики Lory, демонстрируют увеличение производительности в ряде дополнительных задач, что говорит об их эффективности в различных сценариях использования.

В итоге, методика Lory представляет собой значительное улучшение в области MoE-моделей, обеспечивая более высокую эффективность обучения и лучшую специализацию экспертов, что позволяет захватить информацию на уровне предметной области. Будущие работы включают масштабирование методики Lory и развитие более эффективных методов декодирования.