И снова помогает ИИ. 14 сентября 2026 г. Национальные институты здравоохранения США (NIH) опубликовали обнадёживающее сообщение для пациентов с тяжёлыми формами паралича. Нейропротез преобразует мозговую активность, лежащую в основе полноценной коммуникации, в цифровые сигналы. Новый интерфейс «мозг-компьютер» позволяет людям с параличом речевого аппарата и тела одновременно передавать речь и жесты верхней части тела с помощью цифрового аватара.

Учёные из Калифорнийского университета в Сан-Франциско использовали машинное обучение, чтобы расшифровать особенности мозговой активности, связанной с одновременной речью и физическими жестами, у трёх пациентов. У двух участников интерфейс «мозг-компьютер» успешно преобразовал мысли в команды, управляющие мимикой и движениями виртуального аватара в полный рост.

Ранее такие интерфейсы позволяли использовать только один способ коммуникации: речь или жесты. Например, технологии отслеживания движений глаз дают возможность преобразовывать текст в речь, однако работают медленно, ограничивают выражение эмоций и могут быть физически утомительными для пациентов.

В новом исследовании авторы регистрировали сигналы мозга с помощью массивов электрокортикографических электродов (ЭКоГ), а затем расшифровывали их при помощи модели машинного обучения и преобразовывали в команды для цифрового аватара. Декодеры успешнее распознавали смешанные сигналы, если их предварительно обучали на данных, полученных, когда участники одновременно пытались произнести заданные фразы и выполнить жесты, а не делали это по отдельности. Чанг и его соавторы выяснили, что мультимодальная коммуникация – речь и жесты – представляет собой нечто большее, чем простая сумма её составляющих.

Благодаря этой стратегии исследователи показали, что интерфейс «мозг-компьютер» способен воспроизводить многогранную и реалистичную коммуникацию. Результаты дают надежду на то, что в будущем пациенты с тяжёлыми формами паралича смогут вернуть естественность и полноту общения.