Google AI представила Human I/O для решения проблем временных нарушений и ограничений (SIID)

Проблемы временных нарушений и ограничений (SIID) могут существенно влиять на нашу способность взаимодействовать с технологией из-за факторов окружающей среды, таких как шум, освещение и социальные нормы. Эти нарушения могут существенно влиять на способность использования рук, зрения, слуха или речи в различных ситуациях, что приводит к менее эффективному и более раздражающему пользовательскому опыту.

Решение Human I/O

Human I/O – это единая система, использующая эгоцентрическое зрение, мультимодальное восприятие и рассуждения на основе больших языковых моделей (LLM) для обнаружения и оценки SIID. Она предоставляет обобщаемую и расширяемую систему, оценивающую доступность каналов ввода/вывода пользователя (зрение, слух, речь и руки) в реальном времени в различных ситуациях.

Практические решения

Human I/O использует комплексный конвейер, включающий поток данных, обработку и модули рассуждений. Система начинает с потоковой передачи видео- и аудиоданных в реальном времени с устройства с камерой и микрофоном. Модуль обработки анализирует эти данные для извлечения критической информации, а затем использует рассуждения на основе LLM для интерпретации обработанных данных и предсказания доступности каждого канала ввода/вывода.

Human I/O демонстрирует надежную производительность с точностью 82% в предсказании доступности каналов и низкой средней абсолютной ошибкой в оценках.

Заключение

Human I/O является значительным прорывом в создании более адаптивных и контекстно-ориентированных взаимодействий с технологией. Интеграция эгоцентрического зрения, мультимодального восприятия и рассуждений на основе LLM позволяет системе эффективно предсказывать и реагировать на ситуационные нарушения, улучшая пользовательский опыт и производительность.