“`html

Databricks объявила о публичном предпросмотре фреймворка Mosaic AI Agent и оценки агента

В ходе мероприятия Data + AI Summit 2024 Databricks объявила о публичном предпросмотре фреймворка Mosaic AI Agent и оценки агента. Эти инновационные инструменты направлены на помощь разработчикам в создании и развертывании высококачественных приложений с использованием агентов и генерации с улучшенным поиском.

Проблемы при создании высококачественных приложений на основе генеративного ИИ

Создание концепции генеративных приложений на базе ИИ относительно просто. Однако разработка приложения высокого качества, соответствующего строгим стандартам для решений, предназначенных для клиентов, требует времени и усилий. Разработчики часто сталкиваются с такими проблемами, как:

• Выбор правильных метрик для оценки качества приложения.
• Эффективное сбор человеческой обратной связи для измерения качества.
• Выявление корневых причин проблем с качеством.
• Быстрая итерация для улучшения качества приложения до развертывания в продакшен.

Представление фреймворка Mosaic AI Agent и оценки агента

Фреймворк Mosaic AI Agent и оценка агента решают эти проблемы благодаря нескольким ключевым возможностям:

• Интеграция человеческой обратной связи: оценка агента позволяет разработчикам определить качественные ответы для своих генеративных приложений на базе ИИ, приглашая экспертов по предмету из своей организации для обзора и предоставления обратной связи, даже если они не являются пользователями Databricks. Этот процесс помогает собрать разнообразные точки зрения и идеи для улучшения приложения.
• Комплексные метрики оценки: разработанные в сотрудничестве с Mosaic Research, оценка агента предлагает набор метрик для измерения качества приложения. Эти метрики включают точность, галлюцинации, вредоносность и полезность. Система автоматически регистрирует ответы и обратную связь в таблице оценки, облегчая быстрый анализ и выявление потенциальных проблем с качеством. Искусственный интеллект, настроенный с использованием обратной связи экспертов, оценивает ответы, чтобы выявить корневые причины проблем.
• Рабочий процесс разработки от начала до конца: интегрированный с MLflow, фреймворк агента позволяет разработчикам регистрировать и оценивать генеративные приложения на базе ИИ с использованием стандартных API MLflow. Эта интеграция поддерживает плавный переход от разработки к продакшену с непрерывными циклами обратной связи для улучшения качества приложения.
• Управление жизненным циклом приложения: фреймворк агента предоставляет упрощенный SDK для управления жизненным циклом агентных приложений, от управления разрешениями до развертывания с использованием Mosaic AI Model Serving. Эта комплексная система управления гарантирует, что приложения остаются масштабируемыми и поддерживают высокое качество на протяжении всего их жизненного цикла.

Создание высококачественного агента RAG

Для демонстрации возможностей фреймворка Mosaic AI Agent Databricks предоставила пример создания высококачественного приложения RAG. Этот пример включает в себя создание простого приложения RAG, которое извлекает соответствующие фрагменты из заранее созданного векторного индекса и резюмирует их в ответ на запросы. Процесс включает подключение к векторному поисковому индексу, установку индекса в ретриевер LangChain и использование MLflow для отслеживания и развертывания приложения. Этот рабочий процесс демонстрирует простоту создания, оценки и улучшения генеративных приложений на базе ИИ с использованием инструментов Mosaic AI.

Практическое применение и отзывы

Несколько компаний успешно реализовали фреймворк Mosaic AI Agent для улучшения своих генеративных приложений на базе ИИ. Например, Corning использовала фреймворк для создания искусственного интеллекта-ассистента по исследованиям, индексирующего сотни тысяч документов, что значительно улучшило скорость извлечения, качество ответов и точность. Lippert использовала фреймворк для оценки результатов своих генеративных приложений на базе ИИ, обеспечивая точность и контроль данных. FordDirect интегрировала фреймворк для создания единого чатбота для своих дилерских центров, обеспечивая лучшую оценку производительности и взаимодействие с клиентами.

Ценообразование и следующие шаги

Ценообразование для оценки агента основано на запросах экспертов, в то время как Mosaic AI Model Serving ценится в соответствии с тарифами Mosaic AI Model Serving. Databricks призывает клиентов опробовать фреймворк Mosaic AI Agent и оценку агента, получив доступ к различным ресурсам, таким как документация по фреймворку агента, демонстрационные блокноты и Generative AI Cookbook. Эти ресурсы предоставляют подробное руководство по созданию генеративных приложений на базе ИИ высокого качества от концепции до развертывания.

В заключение, объявление Databricks о фреймворке Mosaic AI Agent и оценке агента представляет собой значительный прогресс в области генеративного ИИ. Эти инструменты предоставляют разработчикам необходимые возможности для эффективного создания, оценки и развертывания высококачественных генеративных приложений на базе ИИ. Решая общие проблемы и предоставляя комплексную поддержку, Databricks дает разработчикам возможность создавать инновационные решения, соответствующие самым высоким стандартам качества и производительности.

“`