“`html

Искусственный интеллект FalconMamba 7B: инновационная модель без внимания с 5500GT данных обучения и 7 миллиардами параметров

Недавно Технологический Институт Инноваций (TII) в Абу-Даби представил FalconMamba 7B – прорывную модель искусственного интеллекта. Эта модель, первая в своем роде, не требующая внимания, разработана для преодоления многих ограничений, с которыми сталкиваются существующие архитектуры искусственного интеллекта, особенно в обработке больших последовательностей данных. FalconMamba 7B выпущена под лицензией TII Falcon License 2.0 и доступна в экосистеме Hugging Face, что делает ее доступной для исследователей и разработчиков по всему миру.

Уникальные особенности FalconMamba 7B

Модель FalconMamba 7B отличается архитектурой Mamba, которая отличается от традиционных моделей трансформаторов, которые доминируют в сфере искусственного интеллекта сегодня. FalconMamba 7B преодолевает ограничения трансформаторов благодаря своей архитектуре, включающей дополнительные слои нормализации RMS для обеспечения стабильного обучения в масштабе. Это позволяет модели обрабатывать последовательности произвольной длины без увеличения объема памяти, делая ее способной работать на одном графическом процессоре A10 24GB.

Одной из ключевых особенностей FalconMamba 7B является постоянное время генерации токенов, независимо от размера контекста. Это большое преимущество по сравнению с традиционными моделями, где время генерации обычно увеличивается с увеличением длины контекста из-за необходимости обращаться ко всем предыдущим токенам в контексте. Архитектура Mamba решает эту проблему, храня только свое рекуррентное состояние, избегая линейного увеличения требований к памяти и времени генерации.

Обучение FalconMamba 7B включало около 5500GT, в основном состоящих из данных RefinedWeb, дополненных высококачественными техническими и кодовыми данными из общедоступных источников. Модель обучалась с постоянной скоростью обучения в течение большей части процесса, за которой последовал короткий этап уменьшения скорости обучения. В конечной стадии к обучению была добавлена небольшая часть высококачественных отобранных данных для дальнейшего улучшения производительности модели.

Преимущества и практическое применение

В рамках бенчмарков FalconMamba 7B продемонстрировала впечатляющие результаты в различных оценках. Например, модель набрала 33.36 в бенчмарке MATH, а в бенчмарках MMLU-IFEval и BBH – соответственно 19.88 и 3.63. Эти результаты подчеркивают сильную производительность модели по сравнению с другими современными моделями, особенно в задачах, требующих обработки длинных последовательностей.

Архитектура FalconMamba 7B также позволяет вместить большие последовательности в одном графическом процессоре A10 24GB по сравнению с моделями трансформаторов. Модель поддерживает библиотеку трансформаторов Hugging Face (версия >4.45.0) и функции, такие как квантование битов и байтов, что позволяет модели работать с ограничениями памяти меньших GPU. Это делает ее доступной для многих пользователей, от академических исследователей до профессионалов индустрии.

Технологический Институт Инноваций представил инструкционно настроенную версию FalconMamba, дополнительно обученную с помощью 5 миллиардов токенов наблюдаемого обучения. Эта версия улучшает способность модели выполнять инструкционные задачи более точно и эффективно. Пользователи также могут использовать torch.compile для более быстрого вывода, что дополнительно увеличивает полезность модели в реальных приложениях.

Заключение

Выпуск FalconMamba 7B Технологическим Институтом Инноваций, с его инновационной архитектурой, впечатляющей производительностью на бенчмарках и доступностью через экосистему Hugging Face, делает FalconMamba 7B готовой оказать существенное влияние в различных отраслях.

“`