脑机接口大牛Edward Chang：解码人类语言的奥秘 | 专访

语言是怎么回事，是如何让人类高效交流的？这是人类一直在思索的谜题。

大脑网络非常复杂，其中有上千亿个神经元，且每个神经元的放电和编码模式均不同，信息处理方式也迥异。我们知道，大脑信息传导靠的是电活动，其推动速度每秒钟只有几百米。那么能不能将大脑电信号解码为语言呢？

图 | 11 月 7 日，Edward Chang 在《细胞科学北京学术会议：人工智能与脑科学》作报告。（来源：Cell Press）

一项今年 4 月发表的研究中提到，科学家利用神经信号与人声道咬合部位运动的映射关系进行解码，也就是利用控制嘴唇、舌头、喉部和下颌运动的神经信号来合成语音。

研究的通讯作者正是本文的主角，加州大学旧金山分校神经外科教授 Edward Chang。他们将 256 个电极刺入癫痫患者的脑部，对涉及4组简单问答的脑电信号进行了解码。比如问“你最喜欢哪种乐器”“你最不喜欢哪种乐器”“从 0 到 10，你的幸福指数有多少”“你希望我多久来看你”等。

7 月 30 日，他们继续发表了实时地解码大脑信号，将“听到”和“说出”的对话转变成语言文字，并且准确率可达 76% 和 61%。

其研究策略是，当受试者执行“听到”和“说出”任务时，研究人员通过从高密度皮层脑电图阵列记录神经活动（覆盖听觉和感觉运动皮质区域），然后解码这些大脑信号的内容。

图 | 人类大脑的语言功能区示意图。（来源：Edward Chang 实验室主页）

Edward Chang ，加州大学旧金山分校神经外科学教授，加州大学伯克利分校和加州大学旧金山分校神经工程与假肢中心联合主任。他于 1997 年在阿默斯特学院获得化学学士学位，2004 年获得加州大学旧金山分校医学博士学位，2010 年在该校担任住院医，2009 年在加州大学伯克利分校做博士后。他曾获 2015 年度 Blavatnik 全国生命科学桂冠和美国国立卫生院院长创新奖。他同时还是美国霍华德休斯医学研究所（HHMI）学者成员。

Edward Chang 博士是一位神经外科医生，主治癫痫、脑瘤、三叉神经痛、面肌痉挛和运动障碍。

他专门研究大脑中语音与运动相关的区域，以及大脑可植入设备，希望能帮助瘫痪和言语障碍的患者。

他的研究兴趣在于发现人类高阶神经功能的皮质机制，其实验室所得成果为人们展示了人类语言皮层的详细功能性结构。

2019 年 11 月 7 日，在细胞出版社（Cell Press）主办的首届“细胞科学北京学术会议：人工智能与脑科学”上，

Edward Chang 以“解码人语言皮层”为主题，介绍了关于人类高阶神经功能的皮质机制以及人类语言皮层详细功能性结构研究的最新进展。

他有一副亚裔脸庞，演讲时语调沉稳，柔和，且严谨。对于“解码人脑的想法有多大的挑战性？”这样的问题，他的观点一如既往：这是一个巨大的挑战，目前还不考虑开展。

他会说一点中文。在接受 DeepTech 专访时，听到“我给你发过两封采访邮件，未得到回复”疑问时，他用中文说：“不好意思，太忙了。”采访完毕的时候，他特意用中文问了一句：“我很想知道，为什么中国有那么多人对解码大脑语言信号的研究感兴趣呢？”其实答案显而易见：在所有人心目中，大脑极其神秘，语言和思维是其中尤为神秘的部分，而他从事的正是一项神奇的研究，大脑的语言之谜正在他的手中徐徐揭开。

DeepTech：你一直在做语言解码，为什么选择了这个领域，而且坚持了好多年？

Edward Chang：

我们 10 年来一直在研究语音问题和语言问题。我喜欢这个研究领域，对此非常感兴趣。因为我认为这是一个特殊的人类行为。

语言让我们高效地进行交流，人类文明也依赖语言，另外因脑部受伤而失去语言功能对那些人是毁灭性的。我看到这些，意识到我们并不真正了解语言在大脑中的工作方式，所以我们需要更好了解它。

DeepTech：

你们是如何想到利用嘴巴的动作、声道的动作、脑电信号来解码“说”的？

Edward Chang：

（人们）有很多尝试去翻译大脑交流活动，但我们希望采取最自然的方法来为人类怎么说话建模。因为我们认为，如果我们了解了人类的自然（说话）模式，那将是创建语言脑机接口最有效的方式。所以我们对尝试单词的解码更感兴趣。

DeepTech：

在你们做这项工作之前，其他的科学家在解码“说”的时候有什么好办法吗？

Edward Chang：

许多人在尝试这个研究。

但其中挑战在于，需要记录的信号非常快，而且信号要求非常精确，它必须是毫秒、毫米级别，而我们拥有神经科学的工具都没有这种分辨率。

至于为何我们实现了，是因为我们在接受手术的病人大脑插入了电极，以及有高精度的传感器。

DeepTech：

物理学家霍金是一个好例子吗？

Edward Chang：

霍金在讲话的时候是电脑在讲，而不是他自己在说话，是他用目光打字，之后电脑来发音。

DeepTech：

苹果手机 Siri 的语音合成跟你们脑机接口的语音合成有什么区别？

Edward Chang：

Siri 显然与大脑无关，它是听完你的语言然后翻译成文本，计算合成是其工具。这里有一些共性，Siri 使用的自然语言处理、机器学习，我们在大脑解码研究中也用到一些类似的技术，也要用。

DeepTech：

解码“说”和“听”的准确率也不尽相同，解码“听”准确率更高一些，是什么因素影响了解码准确性？

如何提高准确性？

Edward Chang：

解码“听”的研究历史比解码“说”的历史长很多，“说”只有五年，

我认为随着时间推移，解码“说”的准确率会更高

。其实那篇解码“听”的论文，真正目的是让解码“听”来给解码“说”提供上下文，两个研究的结果可以互通有无。

DeepTech：

解码“听”和“说”的准确性如何提高，理想的时候可以做到多少？

Edward Chang：

这项工作才刚刚开始，所以有很多需要完善的工作，这有赖于人工智能技术和脑电信号记录技术的进步。

DeepTech：

解码人脑的想法有多大的挑战性？

Edward Chang：

这是一个巨大的挑战。目前这个研究方向还没有开展。