«`html
Приветствуем вас, уважаемые предприниматели!
Недавние достижения в области генеративного искусственного интеллекта, а также огромные модели языка, зрения и мультимодальные модели могут стать основой для создания возможностей открытого доменного знания, вывода и генерации, обеспечивая сценарии помощи в различных задачах. Возможность создавать соответствующие инструкции и контент — это только начало того, что необходимо для создания систем искусственного интеллекта, которые будут работать с людьми в реальном мире. Это включает в себя помощников в смешанной реальности, интерактивных роботов, умные производственные участки, автономные транспортные средства и многое другое.
Практические решения и ценность
Искусственные интеллектуальные системы должны непрерывно воспринимать и мультимодально рассуждать о своем окружении, чтобы беспрепятственно работать с людьми в реальном мире. Этот критерий выходит за рамки обнаружения и отслеживания объектов. Для успешного физического взаимодействия все участники должны быть в курсе потенциальных функций объектов, их взаимосвязей и пространственных ограничений, а также того, как эти факторы меняются со временем.
Эти системы должны уметь рассуждать не только о физическом мире, но и о людях. В этом рассуждении должны содержаться оценки когнитивных состояний и социальных норм совместного поведения в реальном времени, в дополнение к более низкоуровневым оценкам о положении тела, голосе и действиях.
Используя комбинацию технологий смешанной реальности и искусственного интеллекта, таких как большие языковые и видеомодели, Microsoft Research представляет SIGMA. Эта интерактивная программа может использовать HoloLens 2 для проведения пользователей через процедурные задачи. Большая языковая модель, такая как GPT-4, или набор вручную определенных этапов в библиотеке задач могут быть использованы для динамического создания задач. Когда пользователь задает SIGMA открытый вопрос во время взаимодействия, система может использовать свою обширную языковую модель для предоставления ответа. Кроме того, SIGMA может находить и выделять объекты, связанные с задачей, в поле зрения пользователя, используя видеомодели, такие как Detic и SEEM.
Ряд дизайнерских решений поддерживает эти исследовательские цели. Одним из примеров реализации системы является архитектура клиент-сервер. Устройство HoloLens 2 запускает легкое клиентское приложение, которое передает несколько потоков мультимодальных данных на более мощный настольный сервер. Эти потоки включают цветовую гамму RGB, глубину, аудио, отслеживание головы, рук и взгляда. Клиентские приложения получают данные и инструкции от настольного сервера по отображению содержимого на устройстве, которое выполняет основные функции приложения. Используя этот дизайн, исследователи могут выйти за пределы текущих вычислительных ограничений гарнитуры и открыть возможности расширения программы на другие устройства смешанной реальности.
Открытая архитектура под названием Platform for Situated Intelligence (psi) является основой для SIGMA, позволяя разрабатывать и исследовать мультимодальные интегративные системы искусственного интеллекта. Обеспечивается производительная потоковая и регистрационная инфраструктура базовой платформы psi, которая также позволяет быстрое прототипирование. Инфраструктура воспроизведения данных фреймворка делает возможным разработку и настройку прикладного уровня на основе данных. Наконец, для визуализации, отладки, настройки и обслуживания существует множество инструментов поддержки в Platform for Situated Intelligence Studio.
Хотя текущая функциональность SIGMA не является сложной, она служит основой для будущих исследований в области слияния смешанной реальности и искусственного интеллекта. Многие исследовательские темы, в частности восприятие, могут быть и были изучены с использованием собранных наборов данных. Эти проблемы охватывают широкий спектр от компьютерного зрения до распознавания речи.
Как пример постоянного стремления Microsoft к развитию в этой области, SIGMA является исследовательской платформой. Он представляет собой усилия компании в области изучения новых технологий искусственного интеллекта и смешанной реальности. Dynamics 365 Guides — это еще одно готовое к предприятию решение смешанной реальности, которое Microsoft предоставляет сотрудникам первой линии. Сотрудники первой линии получают пошаговую процедурную помощь и соответствующую информацию в рабочем процессе с помощью Copilot в Dynamics 365 Guides, который в настоящее время используется заказчиками в режиме частного предпросмотра. Искусственный интеллект и смешанная реальность работают вместе, чтобы сделать это возможным. Пользователи предприятий могут получить значительную выгоду от Dynamics 365 Guides, богатого функциональными возможностями инструмента, предназначенного для сотрудников первой линии, осуществляющих сложные операции.
Публичное предоставление системы позволяет исследователям избежать основных инженерных задач по созданию полноценного интерактивного приложения, чтобы они могли сразу перейти к захватывающим новым границам в своей области.
Проверьте детали и проект. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, каналу в Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему SubReddit ML.
«`
