Salesforce AI представляет TACO: новые модели, которые объединяют мышление и реальные действия для решения сложных визуальных задач.

Разработка эффективных мультимодальных ИИ-систем

Создание мультимодальных ИИ-систем для реальных приложений требует выполнения различных задач, таких как детальное распознавание, визуальная привязка, логическое рассуждение и решение многосоставных задач.

Проблемы существующих моделей

Существующие открытые мультимодальные языковые модели имеют ограничения в этих областях, особенно при работе с внешними инструментами, такими как OCR или математические вычисления. Это, в частности, связано с тем, что многие наборы данных ориентированы на одношаговые задачи и не позволяют строить логические цепочки рассуждения.

Решение с TACO

Исследователи из Университета Вашингтона и Salesforce Research разработали TACO — инновационную платформу для обучения мультимодальных моделей действий с использованием синтетических наборов данных CoTA. TACO предлагает значительные улучшения:

Сгенерировано более 1.8 миллиона следов с помощью GPT-4 и программ на Python.
Кураторский отбор 293K примеров, обеспечивающих высокое качество.
Модели могут использовать 15 инструментов, таких как OCR и математические решатели.
Современные методы фильтрации и смешивания данных для лучшего обучения.

Преимущества TACO

TACO позволяет моделям использовать многосоставные рассуждения и интегрировать действия. Это устанавливает новый стандарт производительности для сложных задач.

Доказательства эффективности

Достижения TACO на восьми контрольных точках показывают его значительное влияние на возможности мультимодального рассуждения:

Среднее улучшение точности на 3.6% по сравнению с базовыми моделями.
Максимальная прибавка до 15% на задачах MMVet.

Заключение

TACO представляет собой новую методологию для моделирования действий, решая проблемные области как логического рассуждения, так и применения инструментов с помощью высококачественных синтетических наборов данных.

Как внедрить ИИ в вашу компанию

Если вы хотите, чтобы ваша компания развивалась с помощью ИИ, следуйте простым шагам:

Анализируйте, как ИИ может изменить вашу работу.
Определите ключевые показатели эффективности (KPI), которые хотите улучшить с помощью ИИ.
Выбирайте подходящее решение из множества доступных ИИ.
Внедряйте решения постепенно, начиная с небольшого проекта.
Расширяйте автоматизацию на основе полученных данных и опыта.