LightOn и Answer.ai представили ModernBERT: новую модель, которая превосходит BERT по скорости и точности.

Современные ИИ Решения с ModernBERT

С момента выхода BERT в 2018 году, модели на базе лишь энкодеров стали популярны в задачах обработки естественного языка (NLP). Однако у них есть ограничения, особенно при работе с большими объемами данных и сложными задачами. Эти ограничения делают их менее эффективными в современных приложениях.

Что нового в ModernBERT?

Команда исследователей представила ModernBERT — новую серию моделей на базе энкодеров, которая решает эти проблемы. Основные преимущества:

Длина контекста увеличена до 8192 токенов, что позволяет обрабатывать длинные тексты.
Использование Flash Attention 2 и позиционных эмбеддингов RoPE для повышения вычислительной эффективности.
Обучение на 2 триллионах токенов для улучшения производительности.
Представлен в двух конфигурациях: базовой и большой, что позволяет выбрать подходящее решение.

Преимущества и Устойчивость

ModernBERT включает в себя:

Улучшенные механизмы внимания для обработки длинных контекстов.
Эффективные функции активации и архитектуру для баланса между быстродействием и мощностью.
Стабильность обучения благодаря технологиям предварительной нормализации.

Результаты и Перспективы

Модель показала сильные результаты на различных тестах и превосходит ряд существующих моделей в заданиях на поиск и классификацию. Она также эффективна для обработки больших объемов данных.

Выводы

ModernBERT — это шаг вперед для моделей на базе энкодеров, предлагая новые архитектурные улучшения и учитывая потребности современных задач NLP. Это идеальный инструмент для различных приложений, включая семантический поиск и классификацию.