UniMTS: Единый процесс предварительной тренировки для временных рядов движений, работающий с различными устройствами и активностями.

Унифицированная предобучающая процедура UniMTS для временных рядов движения

Распознавание человеческого движения с помощью временных рядов с мобильных и носимых устройств используется в различных областях, от мониторинга состояния здоровья до анализа спортивной активности. Однако сбор больших объемов данных о движении остается сложной задачей из-за вопросов безопасности и конфиденциальности.

Проблемы в области временных рядов движения

Существующие модели часто обучаются и тестируются на одних и тех же данных, что затрудняет обобщение на других наборах данных. Основные проблемы:

Размещение устройств: Разные места на теле (например, запястье и нога) дают разные данные.
Ориентация устройств: Устройства могут быть в разных положениях, что затрудняет работу модели.
Разные типы активности: Разные наборы данных фокусируются на различных активностях, что усложняет их сравнение.

Решение UniMTS

Группа исследователей из UC San Diego, Amazon и Qualcomm предложила UniMTS как первую унифицированную предобучающую процедуру для временных рядов движения. UniMTS использует контрастное обучение для связи данных о движении с текстовыми описаниями, что помогает модели лучше понимать различные движения.

Как работает UniMTS

Процесс включает в себя:

Создание данных о движении из скелетных движений с учетом различных ориентаций.
Использование графового кодировщика для понимания соединений суставов, что позволяет работать с различными устройствами.
Улучшение текстовых описаний с помощью больших языковых моделей.

Результаты и эффективность

UniMTS была протестирована на различных реальных наборах данных и показала значительное улучшение производительности:

340% в нулевом тестировании.
16.3% в условиях малых данных.
9.2% в полном тестировании.

Заключение

UniMTS демонстрирует отличную обобщаемость на различных наборах данных о движении и может служить основой для будущих исследований в области распознавания человеческого движения.