Meta AI представила Brain2Qwerty: новый модель глубокого обучения для расшифровки предложений по активности мозга с помощью ЭЭГ или МЭГ во время набора кратко запомненных предложений на клавиатуре QWERTY.

Интерфейсы «мозг-компьютер» (BCI)

Интерфейсы «мозг-компьютер» (BCI) достигли значительного прогресса в последние годы, предлагая решения для общения людей с нарушениями речи или моторики. Однако большинство эффективных BCI используют инвазивные методы, такие как имплантированные электроды, что связано с медицинскими рисками, включая инфекции и проблемы с долгосрочным обслуживанием.

Неинвазивные альтернативы

Неинвазивные альтернативы, особенно основанные на электроэнцефалографии (ЭЭГ), были исследованы, но страдают от низкой точности из-за плохого разрешения сигнала. Основная задача в этой области — улучшить надежность неинвазивных методов для практического использования. Исследование Meta AI о Brain2Qwerty представляет собой шаг к решению этой проблемы.

Что такое Brain2Qwerty?

Meta AI представляет Brain2Qwerty — нейронную сеть, разработанную для декодирования предложений на основе активности мозга, записанной с помощью ЭЭГ или магнитоэнцефалографии (МЭГ). Участники исследования набирали запомненные предложения на клавиатуре QWERTY, пока их мозговая активность записывалась. В отличие от предыдущих подходов, Brain2Qwerty использует естественные моторные процессы, связанные с набором текста, что предлагает более интуитивный способ интерпретации мозговой активности.

Архитектура модели и ее преимущества

Brain2Qwerty — это трехступенчатая нейронная сеть, предназначенная для обработки сигналов мозга и вывода набранного текста. Архитектура включает:

Конволюционный модуль: Извлекает временные и пространственные характеристики из сигналов ЭЭГ/МЭГ.
Модуль трансформера: Обрабатывает последовательности для уточнения представлений и улучшения контекстного понимания.
Модуль языковой модели: Предобученная языковая модель на уровне символов корректирует и уточняет предсказания.

Интегрируя эти три компонента, Brain2Qwerty достигает лучшей точности, чем предыдущие модели, улучшая производительность декодирования и снижая ошибки в переводе «мозг-текст».

Оценка производительности и ключевые результаты

Исследование оценивало эффективность Brain2Qwerty с помощью коэффициента ошибок символов (CER):

Декодирование на основе ЭЭГ показало 67% CER, что указывает на высокую ошибку.
Декодирование на основе МЭГ показало значительно лучшие результаты с 32% CER.
Наиболее точные участники достигли 19% CER, что демонстрирует потенциал модели в оптимальных условиях.

Эти результаты подчеркивают ограничения ЭЭГ для точного декодирования текста, показывая потенциал МЭГ для неинвазивных приложений «мозг-текст». Исследование также показало, что Brain2Qwerty может исправлять опечатки, сделанные участниками, что указывает на захват как моторных, так и когнитивных паттернов, связанных с набором текста.

Возможности и будущее направления

Brain2Qwerty представляет собой прогресс в области неинвазивных BCI, однако остаются несколько задач:

Реализация в реальном времени: Модель в настоящее время обрабатывает полные предложения, а не отдельные нажатия клавиш в реальном времени.
Доступность технологии МЭГ: Хотя МЭГ превосходит ЭЭГ, она требует специализированного оборудования, которое еще не является портативным или широко доступным.
Применимость для людей с нарушениями: Исследование проводилось с участием здоровых участников. Необходимы дальнейшие исследования, чтобы определить, насколько хорошо это обобщается для людей с моторными или речевыми расстройствами.

Как использовать ИИ для вашего бизнеса

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ), следуйте этим шагам:

Проанализируйте, как ИИ может изменить вашу работу.
Определите, где возможно применение автоматизации.
Определите ключевые показатели эффективности (KPI), которые хотите улучшить с помощью ИИ.
Подберите подходящее решение — сейчас много вариантов ИИ.
Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На основе полученных данных и опыта расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам.

Попробуйте ИИ ассистент в продажах, который помогает отвечать на вопросы клиентов и генерировать контент для отдела продаж.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.