Новые модели Lite-Oute-1 от OuteAI: Lite-Oute-1-300M и Lite-Oute-1-65M – компактные, но мощные решения в области искусственного интеллекта.

Новые модели Lite-Oute-1: Lite-Oute-1-300M и Lite-Oute-1-65M

OuteAI недавно представила свои последние достижения в серии моделей Lite, Lite-Oute-1-300M и Lite-Oute-1-65M. Эти новые модели разработаны для улучшения производительности, сохраняя при этом эффективность, что делает их подходящими для развертывания на различных устройствах.

Lite-Oute-1-300M: Улучшенная производительность

Модель Lite-Oute-1-300M, основанная на архитектуре Mistral, содержит около 300 миллионов параметров. Цель этой модели – улучшить предыдущую версию с 150 миллионами параметров, увеличив ее размер и обучив на более точном наборе данных. Основная цель модели Lite-Oute-1-300M – предложить улучшенную производительность при сохранении эффективности для развертывания на различных устройствах.

С увеличенным размером модель Lite-Oute-1-300M обеспечивает улучшенное сохранение контекста и последовательности. Однако пользователи должны отметить, что как компактная модель, у нее все еще есть ограничения по сравнению с более крупными языковыми моделями. Модель была обучена на 30 миллиардах токенов с длиной контекста 4096, обеспечивая надежные возможности обработки языка.

Модель Lite-Oute-1-300M доступна в нескольких версиях:

Lite-Oute-1-300M-Instruct
Lite-Oute-1-300M-Instruct-GGUF
Lite-Oute-1-300M (Базовая)
Lite-Oute-1-300M-GGUF

Производительность в бенчмарках

Модель Lite-Oute-1-300M была протестирована на нескольких задачах, демонстрируя свои возможности:

ARC Challenge: 26.37 (5-shot), 26.02 (0-shot)
ARC Easy: 51.43 (5-shot), 49.79 (0-shot)
CommonsenseQA: 20.72 (5-shot), 20.31 (0-shot)
HellaSWAG: 34.93 (5-shot), 34.50 (0-shot)
MMLU: 25.87 (5-shot), 24.00 (0-shot)
OpenBookQA: 31.40 (5-shot), 32.20 (0-shot)
PIQA: 65.07 (5-shot), 65.40 (0-shot)
Winogrande: 52.01 (5-shot), 53.75 (0-shot)

Использование с библиотекой HuggingFace Transformers

Модель Lite-Oute-1-300M может быть использована с библиотекой HuggingFace’s transformers. Пользователи могут легко реализовать модель в своих проектах, используя код Python. Модель поддерживает генерацию ответов с параметрами, такими как температура и штраф за повтор, для настройки вывода.

Lite-Oute-1-65M: Исследование ультракомпактных моделей

Помимо модели 300M, OuteAI также выпустила модель Lite-Oute-1-65M. Эта экспериментальная ультракомпактная модель основана на архитектуре LLaMA и содержит около 65 миллионов параметров. Основная цель этой модели – исследовать нижние пределы размера модели, сохраняя при этом базовые возможности понимания языка.

Из-за ее крайне маленького размера модель Lite-Oute-1-65M демонстрирует базовые способности генерации текста, но может испытывать трудности с инструкциями или сохранением связности темы. Пользователям следует быть в курсе ее существенных ограничений по сравнению с более крупными моделями и ожидать несогласованные или потенциально неточные ответы.

Модель Lite-Oute-1-65M доступна в следующих версиях:

Lite-Oute-1-65M-Instruct
Lite-Oute-1-65M-Instruct-GGUF
Lite-Oute-1-65M (Базовая)
Lite-Oute-1-65M-GGUF

Обучение и аппаратное обеспечение

Модели Lite-Oute-1-300M и Lite-Oute-1-65M были обучены на аппаратуре NVIDIA RTX 4090. Модель 300M была обучена на 30 миллиардах токенов с длиной контекста 4096, в то время как модель 65M была обучена на 8 миллиардах токенов с длиной контекста 2048.

В заключение

В заключение, выпуск моделей Lite-Oute-1-300M и Lite-Oute-1-65M от OuteAI направлен на улучшение производительности, сохраняя при этом необходимую эффективность для развертывания на различных устройствах путем увеличения размера и уточнения набора данных. Эти модели сбалансированы по размеру и возможностям, что делает их подходящими для множества приложений.