Новые модели Lite-Oute-1: Lite-Oute-1-300M и Lite-Oute-1-65M
OuteAI недавно представила свои последние достижения в серии моделей Lite, Lite-Oute-1-300M и Lite-Oute-1-65M. Эти новые модели разработаны для улучшения производительности, сохраняя при этом эффективность, что делает их подходящими для развертывания на различных устройствах.
Lite-Oute-1-300M: Улучшенная производительность
Модель Lite-Oute-1-300M, основанная на архитектуре Mistral, содержит около 300 миллионов параметров. Цель этой модели – улучшить предыдущую версию с 150 миллионами параметров, увеличив ее размер и обучив на более точном наборе данных. Основная цель модели Lite-Oute-1-300M – предложить улучшенную производительность при сохранении эффективности для развертывания на различных устройствах.
С увеличенным размером модель Lite-Oute-1-300M обеспечивает улучшенное сохранение контекста и последовательности. Однако пользователи должны отметить, что как компактная модель, у нее все еще есть ограничения по сравнению с более крупными языковыми моделями. Модель была обучена на 30 миллиардах токенов с длиной контекста 4096, обеспечивая надежные возможности обработки языка.
Модель Lite-Oute-1-300M доступна в нескольких версиях:
- Lite-Oute-1-300M-Instruct
- Lite-Oute-1-300M-Instruct-GGUF
- Lite-Oute-1-300M (Базовая)
- Lite-Oute-1-300M-GGUF
Производительность в бенчмарках
Модель Lite-Oute-1-300M была протестирована на нескольких задачах, демонстрируя свои возможности:
- ARC Challenge: 26.37 (5-shot), 26.02 (0-shot)
- ARC Easy: 51.43 (5-shot), 49.79 (0-shot)
- CommonsenseQA: 20.72 (5-shot), 20.31 (0-shot)
- HellaSWAG: 34.93 (5-shot), 34.50 (0-shot)
- MMLU: 25.87 (5-shot), 24.00 (0-shot)
- OpenBookQA: 31.40 (5-shot), 32.20 (0-shot)
- PIQA: 65.07 (5-shot), 65.40 (0-shot)
- Winogrande: 52.01 (5-shot), 53.75 (0-shot)
Использование с библиотекой HuggingFace Transformers
Модель Lite-Oute-1-300M может быть использована с библиотекой HuggingFace’s transformers. Пользователи могут легко реализовать модель в своих проектах, используя код Python. Модель поддерживает генерацию ответов с параметрами, такими как температура и штраф за повтор, для настройки вывода.
Lite-Oute-1-65M: Исследование ультракомпактных моделей
Помимо модели 300M, OuteAI также выпустила модель Lite-Oute-1-65M. Эта экспериментальная ультракомпактная модель основана на архитектуре LLaMA и содержит около 65 миллионов параметров. Основная цель этой модели – исследовать нижние пределы размера модели, сохраняя при этом базовые возможности понимания языка.
Из-за ее крайне маленького размера модель Lite-Oute-1-65M демонстрирует базовые способности генерации текста, но может испытывать трудности с инструкциями или сохранением связности темы. Пользователям следует быть в курсе ее существенных ограничений по сравнению с более крупными моделями и ожидать несогласованные или потенциально неточные ответы.
Модель Lite-Oute-1-65M доступна в следующих версиях:
- Lite-Oute-1-65M-Instruct
- Lite-Oute-1-65M-Instruct-GGUF
- Lite-Oute-1-65M (Базовая)
- Lite-Oute-1-65M-GGUF
Обучение и аппаратное обеспечение
Модели Lite-Oute-1-300M и Lite-Oute-1-65M были обучены на аппаратуре NVIDIA RTX 4090. Модель 300M была обучена на 30 миллиардах токенов с длиной контекста 4096, в то время как модель 65M была обучена на 8 миллиардах токенов с длиной контекста 2048.
В заключение
В заключение, выпуск моделей Lite-Oute-1-300M и Lite-Oute-1-65M от OuteAI направлен на улучшение производительности, сохраняя при этом необходимую эффективность для развертывания на различных устройствах путем увеличения размера и уточнения набора данных. Эти модели сбалансированы по размеру и возможностям, что делает их подходящими для множества приложений.
