新型脑机接口首次同步解码语言与肢体动作

IT之家 9 月 15 日消息，美国国立卫生研究院（NIH）昨日（9 月 14 日）发布博文，宣布成功研发新型脑机接口，可以同时解读瘫痪患者的预期语言和上肢动作，让患者能够控制一个能同步说话和运动的全身虚拟化身。

该研究由加州大学旧金山分校完成，成果发表于《自然 · 神经科学》。

IT之家援引博文介绍，此前的脑机接口只能单独实现语音或肢体运动的解码，一旦两者结合，性能便会下降。而最新脑机系统可同时处理两类表达，研究人员称，这是首次让两种交流模式在同一系统中同步输出。

在神经外科医生 Edward Chang 的带领下，研究团队将薄型电极阵列植入 3 名患者的大脑感觉运动皮层。这三名患者因 ALS（肌萎缩侧索硬化症）和脑干中风等疾病，出现了不同程度的声道及肢体瘫痪。

系统将其中 2 名参与者的脑活动，转成控制全身虚拟化身的指令，虚拟化身可同步呈现说话和肢体动作，覆盖面部、上肢等表达方式。

相比单独处理语音或手势，系统面对同步表达时需识别不同模式。团队发现，同步表达的脑信号与单独语音或手势的信号并不相同。用同步任务数据训练的解码器，更能解读混合表达信号。

本研究设备仍通过有线方式运行。植入式传感器需连接外部处理单元。研究团队表示，将很快测试全植入式无线版本，以探索长期使用条件下的应用方式。

参考

Simultaneous speech and gesture decoding for multimodal communication in paralysis