Искусственный интеллект исправляет ошибки в языковых моделях на основе рекуррентных нейронных сетей, чтобы превзойти модели на основе трансформеров в задачах с длинными последовательностями.

Проблемы и решения для рекуррентных нейронных сетей (RNN)

Рекуррентные нейронные сети (RNN) были первопроходцами в области обработки естественного языка, но столкнулись с серьезными проблемами при работе с длинными последовательностями. Хотя RNN обещали многообещающие результаты, на практике их эффективность значительно снижалась при увеличении длины контекста.

Основные проблемы RNN

Исследования показали, что RNN не могут обрабатывать длинные последовательности из-за явления, называемого “коллапсом состояния”. Это происходит, когда сеть забывает информацию, превышающую определенное количество токенов. Также было обнаружено, что некоторые каналы памяти становятся доминирующими, что приводит к потере информации в других каналах.

Практические решения

Исследователи предложили несколько методов для улучшения работы RNN:

Забудь больше и помни меньше: уменьшение силы запоминания контекстной информации.
Нормализация состояния: выравнивание значений в каналах памяти.
Скользящее окно по разнице состояния: переработка рекуррентной структуры в эквивалентное состояние со скользящим окном.

Результаты исследований

Эксперименты с моделью Mamba-2 показали, что с применением предложенных методов можно значительно повысить производительность, достигнув почти идеальной точности при извлечении ключей на длине контекста в 256K токенов. Это делает Mamba-2 одной из самых эффективных моделей в своей категории.

Выводы

Исследования показывают, что RNN имеют потенциал для работы с длинными контекстами, если их правильно обучать и настраивать. Это открывает новые возможности для применения ИИ в различных областях.