Google AI представила Human I/O для решения проблем временных нарушений и ограничений (SIID)
Проблемы временных нарушений и ограничений (SIID) могут существенно влиять на нашу способность взаимодействовать с технологией из-за факторов окружающей среды, таких как шум, освещение и социальные нормы. Эти нарушения могут существенно влиять на способность использования рук, зрения, слуха или речи в различных ситуациях, что приводит к менее эффективному и более раздражающему пользовательскому опыту.
Решение Human I/O
Human I/O – это единая система, использующая эгоцентрическое зрение, мультимодальное восприятие и рассуждения на основе больших языковых моделей (LLM) для обнаружения и оценки SIID. Она предоставляет обобщаемую и расширяемую систему, оценивающую доступность каналов ввода/вывода пользователя (зрение, слух, речь и руки) в реальном времени в различных ситуациях.
Практические решения
Human I/O использует комплексный конвейер, включающий поток данных, обработку и модули рассуждений. Система начинает с потоковой передачи видео- и аудиоданных в реальном времени с устройства с камерой и микрофоном. Модуль обработки анализирует эти данные для извлечения критической информации, а затем использует рассуждения на основе LLM для интерпретации обработанных данных и предсказания доступности каждого канала ввода/вывода.
Human I/O демонстрирует надежную производительность с точностью 82% в предсказании доступности каналов и низкой средней абсолютной ошибкой в оценках.
Заключение
Human I/O является значительным прорывом в создании более адаптивных и контекстно-ориентированных взаимодействий с технологией. Интеграция эгоцентрического зрения, мультимодального восприятия и рассуждений на основе LLM позволяет системе эффективно предсказывать и реагировать на ситуационные нарушения, улучшая пользовательский опыт и производительность.
