EN|中文

您所在的位置:首页 > 资讯

解码大脑信号直接合成语音,Nature新研究拯救失语者

2019-08-16


        为了让失语者开口「说话」,神经科学家设计了一种可以将大脑信号转换为语音句子的设备。这项研究发表在424日的Nature期刊上。

        许多失去说话能力的人需要利用某种技术进行交流,这项技术要求他们做出微小的动作来控制屏幕上的光标,进而选择单词或字母。最著名的例子就是霍金,他使用的是一种利用脸颊肌肉激活的发声装置。但是由于使用者必须逐个字母打出自己要说的话,这种装置通常速度很慢,每分钟最多生成十个单词,而正常说话者每分钟平均要说150 个词,而这主要归功于人类的声道。

        近日,来自加州大学旧金山分校的研究者发表了一项研究,他们设计了一种将大脑信号转换为语音的设备,其原理为:将大脑活动映射到声道发音运动进而转换为声音。圣地亚哥州立大学神经科学家Stephanie Riès 表示,用这种方法创建出的语音比直接将大脑活动映射为声音更加易于理解。语音转换流程如图所示

语音转换流程

论文:Speech synthesis from neural decoding of spoken sentences

论文链接:https://www.nature.com/articles/s41586-019-1119-1

        摘要:将神经活动转换成语音的技术对于因神经系统损伤而无法正常交流的人来说是革命性的。从神经活动中解码语音难度很大,因为说话者需要对声道发声部位进行非常精准、快速的多维度控制。本研究设计了一个神经解码器,显式地利用人类大脑皮层活动中编码的运动表示和声音表示来合成语音。首先用循环神经网络直接将记录的大脑皮层活动解码为发音运动的表示,然后将这些表示转换为语音。在封闭的词汇测试中,听众可以识别和转录出利用大脑皮层活动合成的语音。中间的发音动态即使在数据有限的情况下也能帮助提升性能。解码后的发音运动表示可被「说话人」极大地保存,使得解码器的组件可在不同参与者之间迁移。此外,该解码器可以在参与者默念句子时合成语音。这些发现提升了使用神经假体技术恢复交流能力的临床可行性。