Новые версии моделей Command R (35B) и Command R+ (104B) выпущены: Two Powerful Language Models with 104B and 35B Parameters for Multilingual AI

Компания Cohere For AI представила два значительных прорыва в области моделей искусственного интеллекта с выпуском моделей C4AI Command R+ 08-2024 и C4AI Command R 08-2024. Эти передовые языковые модели разработаны для расширения возможностей ИИ, особенно в области генерации текста, логического мышления и использования инструментов. Они имеют глубокие последствия как для исследований, так и для практических применений в различных областях.

Обзор модели C4AI Command R+ 08-2024

Модель C4AI Command R+ 08-2024 представляет собой гигантский скачок в возможностях ИИ. Это модель исследовательского уровня с потрясающими 104 миллиардами параметров. Она оснащена технологией Retrieval Augmented Generation (RAG) и расширенными функциями использования инструментов, позволяющими автоматизировать сложные многошаговые задачи, включая суммирование, ответы на вопросы, логическое мышление в различных контекстах и многое другое.

Одной из важных особенностей C4AI Command R+ 08-2024 является его многоязычная профессиональность. Модель обучена на 23 языках, что позволяет ей обслуживать глобальную аудиторию и делает ее универсальным инструментом для международных приложений. Кроме того, она была оценена на 10 языках, обеспечивая ее надежность в многоязычных средах.

В своей архитектуре C4AI Command R+ 08-2024 является авторегрессионной языковой моделью, которая использует оптимизированную трансформерную архитектуру. После начального предварительного обучения модель проходит надзорное тонкослойное обучение (SFT) и обучение предпочтений для согласования своего поведения с человеческими предпочтениями, особенно в областях полезности и безопасности. Модель также использует Grouped Query Attention (GQA) для улучшения скорости вывода, что делает ее высокоэффективной в обработке и генерации текста.

Генерация на основе контекста и использование инструментов

C4AI Command R+ 08-2024 специально разработана для генерации на основе контекста. Это означает, что модель может генерировать ответы, которые не только соответствуют контексту, но и подтверждаются конкретными отрывками документов, предоставленными на этапе ввода. Эта способность критически важна для задач, требующих от модели создания обоснованных резюме или выполнения заключительного шага в RAG.

Возможности использования инструментов модели также впечатляют. Она обучена обрабатывать разговорное использование инструментов, позволяя ей взаимодействовать с различными инструментами во время разговора. Это взаимодействие не ограничивается одним инструментом; модель может использовать несколько инструментов на различных этапах разговора для достижения более сложных целей.

Длина контекста и многоязычные возможности

Еще одной важной особенностью C4AI Command R+ 08-2024 является поддержка расширенной длины контекста в 128 тысяч токенов. Этот длинный контекст позволяет модели поддерживать связь и актуальность на протяжении длительных разговоров или документов, что делает ее полезной для задач, включающих обработку больших объемов информации или создание длинных выводов.

Многоязычные возможности модели дополняют ее полезность. Благодаря обучению на 23 языках и оценке в 10, C4AI Command R+ 08-2024 хорошо подходит для применения в различных языковых средах, что делает ее бесценным инструментом для глобальных исследовательских инициатив, создания контента и систем поддержки клиентов, работающих на разных языках.

C4AI Command R 08-2024: Компактный вариант

Помимо модели C4AI Command R+ 08-2024, представляющей вершину производительности с 104 миллиардами параметров, Cohere также представила более компактную модель C4AI Command R 08-2024 с 35 миллиардами параметров. Несмотря на меньший размер, C4AI Command R 08-2024 остается высокопроизводительной генеративной моделью с возможностями, аналогичными большой модели, но в меньшем масштабе. Модель оптимизирована для логического мышления, суммирования и ответов на вопросы, а также поддерживает многоязычную генерацию, обучаясь и оцениваясь на тех же языках. Эта модель предлагает более доступный вариант для пользователей, которым требуется высокопроизводительный ИИ в более ограниченной вычислительной или ресурсной среде.

Приложения и последствия

Выпуск этих двух моделей Cohere и Cohere For AI является значительным прорывом в исследованиях в области ИИ. Их открытый характер означает, что исследователи и разработчики по всему миру могут получить доступ к и использовать эти мощные инструменты для различных применений, начиная от академических исследований до практических реализаций в таких отраслях, как финансы, здравоохранение и обслуживание клиентов. Более того, сложные возможности использования инструментов и генерации на основе контекста модели C4AI Command R+ 08-2024 обещают быть особенно многообещающими для задач, требующих высокой точности и контекстного понимания. Например, в юридической или медицинской сфере, где точное извлечение информации и генерация имеют решающее значение, эти модели могут значительно улучшить эффективность и надежность систем, работающих на основе ИИ.

Заключение

Релиз C4AI Command R+ 08-2024 и C4AI Command R 08-2024 от Cohere for AI представляет собой значительный этап в эволюции ИИ. Эти модели предлагают беспрецедентные возможности генерации текста, логического мышления и многоязычной поддержки, открывая новые возможности для автоматизации сложных задач с использованием продвинутых инструментов. Открытые веса делают эти мощные инструменты доступными для мирового научного сообщества, заложив основу для будущих инноваций, которые определят будущее интеграции ИИ в сложные реальные приложения.

Источник изображения: Cohere for AI

Исследование выполнено исследователями проекта Cohere for AI.

Не забудьте читать нашу последнюю информацию в Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам нравится наша работа, вам понравится наш бюллетень.

Не забудьте присоединиться к нашему сообществу 50k+ подписчиков в Reddit.

Кстати, у нашего спонсора есть рекомендуемая вебинар: ‘Building Performant AI Applications with NVIDIA NIMs and Haystack’