Институт искусственного интеллекта (AI2) выпустил новый набор ресурсов OLMo 1B и 7B.

 Allen Institute for AI (AI2) Released a New Bundle of OLMo 1B and 7B Assets

Allen Institute for AI (AI2) выпустил новый набор ресурсов OLMo 1B и 7B

Институт Allen для искусственного интеллекта AI2 сделал значительный шаг в развитии открытых языковых моделей с запуском OLMo (Open Language Model). Этот фреймворк предоставляет исследователям и академикам полный доступ к данным, коду обучения, моделям и инструментам оценки, способствуя совместным исследованиям в области искусственного интеллекта. Первоначальный релиз включает несколько вариантов моделей с 7 миллиардами параметров и модель с 1 миллиардом параметров, обученных на не менее чем 2 триллионах токенов.

Практические решения и ценность

Фреймворк OLMo разработан для того, чтобы дать сообществу искусственного интеллекта возможность исследовать более широкий спектр научных вопросов. Он позволяет изучать влияние конкретных подмножеств данных на производительность исследований и исследовать новые методы предварительного обучения. Этот открытый подход обеспечивает более глубокое понимание языковых моделей и их потенциальных нестабильностей, способствуя коллективному развитию науки об искусственном интеллекте.

Каждая модель OLMo поставляется с набором ресурсов, включая полные данные обучения, веса моделей, код обучения, журналы и метрики. Фреймворк также предоставляет более 500 контрольных точек для каждой базовой модели, адаптированные версии модели 7B (OLMo-7B-Instruct и OLMo-7B-SFT), код оценки и возможности тонкой настройки. Все компоненты выпущены под лицензией Apache 2.0, обеспечивая широкий доступ для исследовательского сообщества.

AI2 провела сравнительный анализ OLMo с другими открытыми и частично открытыми моделями, включая Pythia Suite от EleutherAI, модели MPT от MosaicML, модели Falcon от TII и серию моделей Llama от Meta. Результаты оценки показывают, что OLMo 7B конкурентоспособен с популярными моделями, демонстрируя сопоставимую производительность на многих задачах генерации и понимания текста, в то время как немного уступает в некоторых задачах вопросно-ответной системы.

AI2 разработал структурированный процесс выпуска OLMo и связанных инструментов. Регулярные обновления и новые ресурсы коммуницируются через шаблонные заметки о выпуске, которые распространяются в социальных сетях, на сайте AI2 и через рассылку. Такой подход обеспечивает информированность пользователей о последних разработках в экосистеме OLMo, включая Dolma и другие связанные инструменты.

Релиз OLMo июля 2024 года принес значительные улучшения как для модели 1B, так и для модели 7B. OLMo 1B июля 2024 года показал увеличение показателя HellaSwag на 4,4 пункта, наряду с другими улучшениями оценки, благодаря улучшенной версии набора данных Dolma и ступенчатому обучению. Аналогично, OLMo 7B июля 2024 года использовал самый новый набор данных Dolma и применил двухступенчатую программу обучения, последовательно добавляя 2-3 пункта улучшений производительности.

Ранние релизы, такие как OLMo 7B апреля 2024 года (ранее OLMo 7B 1.7), включали расширение длины контекста с 2048 до 4096 токенов и обучение на наборе данных Dolma 1.7. Эта версия превзошла модель Llama 2-7B по MMLU и приблизилась к производительности Llama 2-13B, превзойдя ее на GSM8K. Эти постепенные улучшения демонстрируют приверженность AI2 к постоянному улучшению фреймворка OLMo и моделей.

Релиз OLMo ставит только начало амбициозным планам AI2 по разработке открытых языковых моделей. В настоящее время ведется работа над различными размерами моделей, модальностями, наборами данных, мерами безопасности и оценками для семейства OLMo. AI2 стремится совместно построить лучшую в мире открытую языковую модель, приглашая сообщество искусственного интеллекта принять участие в этой инновационной инициативе.

Проверьте детали, OLMo 1B июля 2024, OLMo 7B июля 2024, OLMo 7B июля 2024 SFT, OLMo 7B июля 2024 Instruct. Вся заслуга за это исследование принадлежит исследователям этого проекта.

Не забудьте следить за нами в Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.

Не забудьте присоединиться к нашему сообществу в Reddit по машинному обучению.

Находите предстоящие вебинары по искусственному интеллекту здесь.

Arcee AI выпустил DistillKit: открытый и простой в использовании инструмент для трансформации моделирования для создания эффективных малых языковых моделей

Институт Allen для искусственного интеллекта AI2 сделал значительный шаг в развитии открытых языковых моделей с запуском OLMo (Open Language Model). Этот фреймворк предоставляет исследователям и академикам полный доступ к данным, коду обучения, моделям и инструментам оценки, способствуя совместным исследованиям в области искусственного интеллекта. Первоначальный релиз включает несколько вариантов моделей с 7 миллиардами параметров и модель с 1 миллиардом параметров, обученных на не менее чем 2 триллионах токенов.

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Itinai.com it company office background blured photography by 12fe5e49 d0a5 47b8 a36f 0071089d22c3 3

    Улучшение LLM с помощью интерливинг-рассуждений для более быстрых и точных ответов

    Введение в Интерливинг Резонанс Исследователи из Apple и Университета Дьюка разработали инновационный подход, называемый Интерливинг Резонанс, который улучшает производительность больших языковых моделей (LLMs), позволяя им предоставлять промежуточные ответы во время сложного решения задач.…

  • Itinai.com it company office background blured photography by 93e48de1 e0a4 4327 bf1a 5249ee257f75 2

    DeepSeek R1-0528: Революция в открытом ИИ

    Решения для бизнеса с применением DeepSeek R1-0528 Модель DeepSeek R1-0528 представляет собой значительный шаг вперед в области открытого ИИ. Ниже приведены практические бизнес-решения на основе её возможностей. Преимущества для бизнеса и реальной жизни…

  • Itinai.com it company office background blured photography by d266ecb7 1141 4fd8 a45e d7242fbf1e9e 1

    Создание самообучающегося ИИ-агента с помощью API Gemini от Google

    Практическое руководство по созданию самообучающегося AI-агента с использованием Google’s Gemini API Введение В современном деловом мире внедрение искусственного интеллекта (AI) становится ключевым фактором успеха. Этот гайд поможет вам разработать самообучающегося AI-агента, который будет…

  • Itinai.com it company office background blured photography by 342dc52c d1e8 48a5 a450 02825b0d4c2b 2

    Samsung представляет ANSE: Улучшение моделей текст-в-видео с активным выбором шума

    Практические бизнес-решения на основе ANSE Исследования Samsung представили ANSE — революционный фреймворк для улучшения моделей текст-видео. Вот как это можно применить в бизнесе для повышения эффективности и качества. Преимущества ANSE для бизнеса Улучшение…

  • Itinai.com it company office background blured photography by 12fe5e49 d0a5 47b8 a36f 0071089d22c3 1

    WEB-SHEPHERD: Инновационная модель вознаграждений для эффективной навигации в сети

    Решения для бизнеса с использованием WEB-SHEPHERD WEB-SHEPHERD предлагает практические решения для бизнеса, которые могут значительно улучшить эффективность работы и повысить качество обслуживания клиентов. Вот как это можно реализовать: 1. Повышение эффективности WEB-SHEPHERD предоставляет…

  • Itinai.com it company office background blured photography by 724d9f47 b65a 445e b4b5 b5939a7eba28 1

    Dimple: Новый Модель Языкового Генератора для Бизнеса

    Введение в Dimple Исследователи Национального университета Сингапура разработали Dimple, новую модель, которая улучшает генерацию текста с помощью инновационных технологий. Эта модель, известная как Дискретная Диффузионная Мультимодальная Языковая Модель (DMLLM), сочетает визуальные и текстовые…

  • Itinai.com it company office background blured photography by 342dc52c d1e8 48a5 a450 02825b0d4c2b 2

    Улучшение математического мышления с помощью обучения с подкреплением

    Улучшение математического мышления с помощью обучения с подкреплением Введение Недавние достижения в области искусственного интеллекта (ИИ) привели к инновационным методам улучшения математического мышления в моделях. Одним из таких подходов является обучение с подкреплением…

  • Itinai.com it company office background blured photography by 0b545732 d29f 4839 a448 751a77ba1563 0

    Интерактивный анализ видео с помощью AI и Lyzr Chatbot Framework

    Преобразование видео-контента в действенные инсайты с помощью ИИ В современном цифровом мире компаниям необходимо эффективно извлекать ценную информацию из мультимедийных ресурсов. Использование искусственного интеллекта может значительно улучшить этот процесс, особенно при анализе транскриптов…

  • Itinai.com it company office background blured photography by 431ba571 009a 4ead 8847 7d3b7a613a24 0

    MMaDA: Унифицированная Модель Мультимодального Диффузии для Бизнеса

    Унифицированная многомодальная диффузионная модель для бизнес-приложений Преимущества MMaDA для бизнеса MMaDA (Многомодальная диффузионная модель для текстового анализа, визуального понимания и генерации изображений) значительно упрощает интеграцию различных типов данных, что приводит к более эффективным…

  • Itinai.com it company office background blured photography by 2f4c6499 6d9f 413b 8dd8 10c4ad53e96c 3

    Мягкое мышление: новое слово в рассуждениях ИИ

    Понимание изменений в рассуждении ИИ Большие языковые модели (LLM) традиционно полагаются на дискретные языковые токены для обработки информации. Этот метод, хотя и эффективен для простых задач, ограничивает способность модели рассуждать в сложных или…

  • Itinai.com it company office background blured photography by 5fd12c31 5208 4b8e aafe 893f47620ac9 1

    API Mistral Agents: Упрощение создания продвинутых ИИ-агентов для разработчиков

    Введение в API агентов Mistral API агентов Mistral представляет собой новый инструмент для создания AI-агентов, которые могут выполнять различные задачи, такие как запуск кода на Python, генерация изображений и использование расширенного поиска. Это…

  • Itinai.com it company office background blured photography by 431ba571 009a 4ead 8847 7d3b7a613a24 0

    Улучшение пространственного понимания в ИИ: Multi-SpatialMLLM

    Практические бизнес-решения на основе Multi-SpatialMLLM Как это улучшает бизнес и реальную жизнь Технология Multi-SpatialMLLM значительно улучшает понимание пространственных отношений, что полезно в таких областях, как робототехника и автономные транспортные средства. Это приводит к…

  • Itinai.com it company office background blured photography by a4b45723 df9d 4684 b150 bb2c5790acc8 1

    QwenLong-L1: Новый подход к долгосрочному рассуждению в ИИ

    Введение QwenLong-L1: Новый Подход к Долгосрочному Рассуждению в ИИ Современные достижения в области больших моделей рассуждений (LRMs) продемонстрировали выдающиеся успехи в задачах с коротким контекстом. Однако эти модели сталкиваются с трудностями в сценариях…

  • Itinai.com it company office background blured photography by 5fd12c31 5208 4b8e aafe 893f47620ac9 0

    Panda: Инновационная Модель Прогнозирования Нелинейной Динамики

    Практические бизнес-решения на основе модели Panda Модель Panda, разработанная в Университете Техаса в Остине, предлагает новые подходы к прогнозированию хаотических систем. Внедрение этой модели может значительно улучшить бизнес-процессы и повысить точность прогнозов. Вот…

  • Itinai.com it company office background blured photography by 976ad3f5 ce78 4bd8 aa05 19f4de5f5730 2

    Дифференцируемые MCMC-слои: Революция в нейронных сетях для комбинаторной оптимизации

    Понимание задачи Нейронные сети отлично обрабатывают сложные данные, но испытывают трудности с задачами дискретного принятия решений, такими как маршрутизация транспортных средств или планирование. Эти задачи часто включают строгие ограничения и требуют больших вычислительных…

  • Itinai.com it company office background blured photography by 724d9f47 b65a 445e b4b5 b5939a7eba28 3

    Модели динамического вознаграждения: улучшение суждений и согласованности LLM

    Практические бизнес-решения на основе улучшения рассуждений в больших языковых моделях Введение Недавние достижения в области больших языковых моделей (LLMs) открывают новые возможности для бизнес-трансформации. Использование Моделей Награждения Рассуждений (RRMs) может значительно улучшить процессы…

  • Itinai.com it company office background blured photography by 93e48de1 e0a4 4327 bf1a 5249ee257f75 2

    Создание синтетических данных с помощью Synthetic Data Vault: пошаговое руководство

    Практические решения для бизнеса с использованием синтетических данных Синтетические данные могут значительно улучшить бизнес-процессы, позволяя компаниям обучать модели машинного обучения без риска нарушения конфиденциальности. Это решение помогает сократить затраты на обработку данных и…

  • Itinai.com it company office background blured photography by 2f4c6499 6d9f 413b 8dd8 10c4ad53e96c 0

    Запуск NVIDIA Llama Nemotron Nano 4B: Эффективная модель ИИ для Edge Computing

    Введение NVIDIA представила Llama Nemotron Nano 4B — инновационную модель для AI на краю, которая может значительно улучшить бизнес-процессы. Давайте рассмотрим, как это может помочь вашему бизнесу и реальной жизни. Практические бизнес-решения Использование…