Выпуск DocChat от Cerebras: построенный на основе Llama 3, DocChat обладает уровнем GPT-4 в вопросно-ответных беседах, обученных за несколько часов

Выпуск DocChat от Cerebras является значительным событием в области систем вопросно-ответных бесед на основе документов. Cerebras, известная своими глубокими знаниями в области машинного обучения (ML) и больших языковых моделей (LLM), представила две новые модели в серии DocChat: Cerebras Llama3-DocChat и Cerebras Dragon-DocChat. Эти модели разработаны для обеспечения высокой производительности в вопросно-ответных беседах, специально адаптированных для задач вопросно-ответной работы с документами, и были разработаны с применением передовых технологий Cerebras.

Обзор моделей DocChat

Cerebras Llama3-DocChat построен на основе Llama 3 и включает в себя передовые исследования в области машинного обучения, в частности, серии моделей ChatQA от Nvidia. Разработка этой модели включала использование обширного опыта в обучении LLM и кураторства наборов данных наряду с инновационными методиками, такими как генерация синтетических данных. Этот подход позволил Cerebras решить ограничения, которые не могли быть полностью устранены с использованием доступных данных реального мира.

Cerebras Dragon-DocChat – это многотактная модель-поисковик, которая настроена для улучшения показателей извлечения информации. Модель была обучена на наборе данных ChatQA для вопросно-ответных бесед и улучшена с использованием контрастной потери с трудными негативами, что привело к значительному улучшению показателей извлечения информации по сравнению с предшественниками и конкурентами.

Эффективность обучения и производительность

Одной из выдающихся особенностей моделей DocChat является скорость их обучения. Модель Cerebras Llama3-DocChat была обучена всего за несколько часов с использованием одной системы Cerebras, в то время как модель Dragon-DocChat была настроена за несколько минут. Эта замечательная эффективность свидетельствует о передовых возможностях аппаратного и программного обеспечения Cerebras, устанавливая новый стандарт в отрасли искусственного интеллекта.

Производительность этих моделей была тщательно оценена на различных бенчмарках. Обе модели достигли лучших результатов для своих размеров, превзойдя многие существующие решения. Например, на бенчмарках, таких как ConvFinQA и SQA, Cerebras Llama3-DocChat продемонстрировала значительные улучшения, подтверждая свою превосходную способность в решении сложных задач вопросно-ответных бесед.

Обязательства по открытому исходному коду

Cerebras также подтвердила свое обязательство перед сообществом открытого исходного кода, выпустив DocChat. Компания сделала веса модели, полные рецепты обучения и связанные наборы данных доступными для общественности. Этот уровень прозрачности позволяет другим исследователям и разработчикам ИИ воспроизводить, развивать и инновационно использовать работу Cerebras, что потенциально может привести к дальнейшему развитию в этой области.

Сравнение бенчмарков

Модели DocChat от Cerebras показали впечатляющие результаты в прямых сравнениях с другими моделями. Например, в бенчмарке ChatRAG Cerebras Llama3-DocChat набрала больше баллов, чем Llama3-ChatQA от Nvidia и GPT-4 Turbo в нескольких ключевых метриках. Аналогично, Cerebras Dragon-DocChat превзошла Dragon+ от Facebook и Dragon Multiturn от Nvidia по показателям извлечения информации, особенно в многотактных разговорных ситуациях.

Разработка DocChat имела свои сложности. Одной из ключевых проблем, решенных во время обучения, была способность модели обрабатывать невозможные вопросы. Начальные тесты показали, что модель испытывала затруднения с такими вопросами, часто неправильно реагируя. Через эксперименты Cerebras выяснила, что увеличение образцов, соответствующих невозможным вопросам, улучшило производительность модели. Однако компания признает, что в этой области все еще есть место для улучшений, особенно при сравнении с передовыми моделями, такими как QuAC и DoQA.

Другой вызов заключался в улучшении арифметической производительности модели, которая изначально была склонна к ошибкам. Интегрируя методики, вдохновленные методом Chain of Thought (CoT), Cerebras значительно улучшила точность модели в арифметических задачах. Извлечение сущностей вызывало трудности из-за необходимости большего количества высококачественных данных для обучения. Эту проблему удалось уменьшить путем интеграции подмножества SKGInstruct, набора данных для настройки инструкций, что улучшило производительность модели в задачах извлечения сущностей.

Cerebras имеет амбициозные планы по дальнейшему развитию серии DocChat. Компания исследует несколько увлекательных направлений, включая поддержку более длинных контекстов, улучшенное математическое рассуждение и увеличение размеров моделей. Ожидается, что эти улучшения укрепят позицию Cerebras в качестве лидера в области разговорного ИИ.

В заключение, выпуск DocChat от Cerebras, скорость и эффективность обучения этих моделей и их высокие результаты подчеркивают технологическое мастерство Cerebras. Кроме того, обязательство компании перед открытым исходным кодом и непрерывное инновационное развитие гарантируют, что DocChat принесет пользу своим пользователям и внесет вклад в широкое сообщество ИИ. По мере того, как Cerebras продолжает совершенствовать и расширять свои предложения, влияние DocChat на будущее коммуникаций, основанных на ИИ, вероятно, будет глубоким.