Учёные Калифорнийского университета в Сан-Франциско при поддержке Национальных институтов здоровья США показали интерфейс мозг-компьютер, который одновременно передаёт речь и жесты верхней части тела. Результаты описаны в релизе от 14 сентября и в статье в журнале Nature Neuroscience.
Это доказательство концепции на ранней стадии. Готовой технологии для клиник здесь ещё нет.
Что именно показали
С помощью машинного обучения исследователи расшифровывали активность мозга при одновременной речи и жестах у трёх пациентов. Система успешно перевела мысли двух участников в команды для полноростового виртуального аватара.
«Разговор — это гораздо больше, чем произнесённые слова. Это многослойный динамический процесс, в котором участвует вся моторная кора», — сказал профессор нейрохирургии Эдвард Чанг, автор-корреспондент работы.
На моторную кору устанавливали тонкую полоску датчиков — электрокортикографический массив. Компьютерные модели, декодеры, переводили сигналы мозга в команды. Участники пытались произносить фразы и выполнять жесты вроде помахивания рукой или знака «большой палец вверх» — по отдельности и одновременно.
Почему одновременность важна
Раньше подобные интерфейсы помогали либо с речью, либо с жестами по отдельности. Новая система впервые позволяет делать и то и другое сразу, а сигналы при одновременной речи и жестах оказались сложнее суммы двух отдельных паттернов. Декодеры лучше справлялись, если их заранее учили именно на данных одновременных попыток.
Люди с боковым амиотрофическим склерозом или после инсультов ствола мозга нередко теряют и речь, и возможность жестикулировать. Современный стандарт — технологии слежения за глазами для набора текста — работает медленнее, даёт меньше выразительности и может сильно утомлять, поэтому в исследовании использовали проводную систему, а команда Чанга готовится испытывать полностью имплантируемую беспроводную версию.
Контекст исследований мозга
Работу поддержал Национальный институт глухоты и других коммуникативных расстройств. К более широким усилиям по изучению мозга относится инициатива BRAIN — так Национальные институты здоровья называют программу развития технологий понимания человеческого мозга.
Материал — пересказ релиза о доказательстве концепции, а не обещание скорой доступности в клиниках.