Новые модели LLaDA могут конкурировать с традиционными языковыми архитектурами.

Новые горизонты в языковых моделях: Решение LLaDA

В области языковых моделей долгое время доминировали авторегрессивные методы, которые предсказывают текст последовательно. Однако команда исследователей из Китая представила инновационную архитектуру LLaDA, основанную на диффузии. Это решение меняет подход к обработке информации в языковых моделях.

Проблемы традиционных моделей

Современные языковые модели предсказывают следующие слова, что требует сложных вычислений и замедляет обработку информации. Это приводит к проблемам в задачах, требующих обратного мышления. Например, традиционные модели не могут легко восстановить предшествующие строки в поэзии.

Преимущества LLaDA

Модель LLaDA использует динамическую стратегию маскирования и обрабатывает токены параллельно, учитывая контекст в обоих направлениях. Это достигается благодаря:

Предобучение: Модель учится восстанавливать случайно замаскированные тексты, что устраняет односторонний подход.
Тонкая настройка: Модель адаптируется к парам “инструкция-ответ”, сохраняя двунаправленное понимание.

Процесс генерации

При генерации LLaDA начинает с полностью замаскированных полей и поэтапно уточняет предсказания:

На каждом этапе предсказываются все замаскированные токены одновременно.
Слабые предсказания повторно замаскируются для переоценки.

Результаты и производительность

При масштабировании до 8 миллиардов параметров LLaDA показывает превосходные результаты по сравнению с традиционными моделями. Она достигла 42% точности в задачах обратного завершения стихов и продемонстрировала высокую эффективность в математическом reasoning.