小小天看世界■实现专业级转录，《Nature》子刊：脑电波翻译成句子错误率低于3% 你还要“张口”说话吗？《三体》中的桥

你还要“张口”说话吗？
《三体》中的桥段正在成为现实。
在脑机接口赛道上，此前国内清华大学脑机接口实验室曾经让人们成功通过外接设备实现“脑电波打字” ，浙大团队也借助颅内脑机接口设备让中风患者控制机械臂做到喝可乐等。
而现在，最新《自然·神经科学》的一篇论文显示了脑机接口领域的一项新突破，来自美国加州大学旧金山分校的神经外科教授EdwardChang及其同事，让机器能够将脑电波信号直接翻译为文字语句，意味着人不张口就能“说出”心中所想。

文章图片
脑机接口技术迎新突破，打造“脑电波翻译机”在EdwardChang的研究中，他们分别将用以检测癫痫的电极植入到4名受试者的颅内，这些电极会将他们大声读出句子时的神经活动记录下来。
之后，这些记录会被添加到一个循环神经网络中，继而将规律性出现的神经特征表现出来，该特征可能与言语的重复性特征（元音、辅音或发音器官接受的指令等）相关。紧接着，另一个循环神经网络将进行逐字解码，最后形成一段句子。
EdwardChang及团队在文中介绍称，他们通过该机器翻译方法解码并转换神经活动的错误率低至3% ，已经能够媲美于专业级言语转录。
此外他们在实验过程中还发现，如果利用某人的神经活动和言语对循环网络进行预训练后，再在另一名实验者身上进行训练，最终的解码结果会有所改善，这意味着这一方法在不同人员之间或将实现转移。
可以预见，当这一成果被用于临床，那些失语者以及中风患者等群体，将能够借助脑机接口技术重新正常发声，在不开口的前提下，摆脱手语等辅助表达。另外，如果再配以一个搭载自然语言处理技术的扬声器系统，该类群体也能够通过语音实现交流。

文章图片
脑机接口与文字较劲儿脑机接口是前沿科研之一，不仅吸引了Facebook等企业和资方的关注，也成为创业热门领域之一。就在前不久，马斯克的脑机接口创业公司Neuralink已经取得了新的突破，发布了“脑后插管”的新技术，声称能够通过一台神经手术机器人，像微创眼科手术一样安全无痛地在脑袋上穿孔，并向颅内植入芯片。
具体到研究项目， “脑电波转换成文字”是重点领域之一，涉及两个研究方向，一个方向专注于控制，另一个方向专注于转换。
在“控制”这一赛道上，团队会在与脑机接口系统连接的电脑中设置一个输入法，继而利用神经网络算法对受试者颅内电极所捕捉的脑电波信号进行解析和转换，让受试者能够实现“脑电波打字” ，通过控制键盘输入来表达自己内心所想。
只不过，相比于人们自然交流的语速，这类通过大脑控制打字的方法显得非常低效。

文章图片
相比于“控制” ， “转换”在难度上则高得多。包括马金团队在内，诸如Facebook等企业和高校团队也在致力于这方面的研究，意图通过神经网络算法，将颅内电极所捕捉的信号直接解码并转换为文字或语音。
在速度上，这类方法有可能达到人类正常水平。就在EdwardChang及团队于去年发布的一个研究成果中，他们已经让AI能够以每分钟150个词的速度将人类的脑电波转换成语言。
从临床意义上来看，这类脑机接口技术对部分群体带来的利好是肉眼可见的。而在更广范围内， “脑电波转换成文字”能够带来的效益远不止于此。
以智能家居为例，从最初的手动开关到现在的语音交互，这一场景下的控制方式已经从动手变成动口。但在更多人所畅想的场景中，他们甚至已经不想再动口，而是希望当自己脑海中出现某一个念头的时候，脑机接口系统能够将信号转换为机器可理解的文字，继而所涉及的家电等设备主体能够在时间上无缝衔接，执行人们脑海中的指令。