研究人员在非人类灵长类动物的大脑中重新构建说话的单词

普罗维登斯，R.I.(布朗大学)——布朗大学的一组研究人员利用脑-机接口，从非人类灵长类动物大脑记录的神经信号重建英语单词。这项研究发表在《自然通讯生物学》杂志上，研究人员说，这项研究可能是朝着开发大脑植入物的方向迈出的一步，这种植入物可以帮助听力受损的人。

布朗大学工程学院教授、布朗大学卡尼脑科学研究所助理研究员、该研究的资深作者阿尔托·努尔米科(Arto Nurmikko)说:“我们所做的是记录与灵长类动物听特定词语相关的次级听觉皮层的复杂神经兴奋模式。”然后，我们利用这些神经数据来重建这些单词的声音，并保持高保真度。

“我们的首要目标是更好地理解灵长类动物的大脑是如何处理声音的，”Nurmikko补充道，“这可能最终会导致新型的神经修复术。”

参与声音初始处理的大脑系统与人类和非人类灵长类动物相似。第一级处理发生在初级听觉皮层，根据音高或音调等属性对声音进行分类。然后信号转移到次级听觉皮层，在那里它被进一步处理。例如，当人们听口语单词时，这就是音素分类的地方——音素是使我们能够区分单词的最简单的特征。之后，信息被发送到大脑的其他部分进行处理，使人类能够理解语言。

但由于人类和非人类灵长类动物的早期声音处理过程相似，所以了解灵长类动物如何处理它们听到的单词是有用的，尽管它们可能并不理解这些单词的意思。

在这项研究中，两个豌豆大小的植入物和96通道微电极阵列记录了神经元的活动，而恒河猴则听了单个英语单词和猕猴叫声的录音。在这种情况下，猕猴听到的是相当简单的一个或两个音节的单词——“树”、“好”、“北”、“板球”和“程序”。

研究人员使用专门开发的计算机算法来识别与特定单词相关的神经模式来处理这些神经记录。从那里，神经数据可以被翻译成计算机生成的语音。最后，研究小组用几个指标来评估重建的语音与猕猴听到的原始语音的匹配程度。研究表明，记录的神经数据能产生高保真度的重建，对人类听众来说很清晰。

研究人员说，使用多电极阵列来记录如此复杂的听觉信息还是第一次。

Nurmikko说:“以前，研究工作是用单电极从次级听觉皮层收集数据，但据我们所知，这是第一次用多电极从这部分大脑记录数据。”“实际上，我们有近200个微型监听站，可以为我们提供所需的丰富和更高分辨率的数据。”

由博士生Jihun Lee领导的这项研究的目的之一是测试特定解码模型算法的性能是否优于其他算法。这项与计算神经科学专家Wilson Truccolo合作的研究表明，递归神经网络(RNNs)——一种经常用于计算机语言翻译的机器学习算法——产生了最高保真度的重构。RNNs在解码来自大脑其他部分的神经数据方面远远优于传统算法。

Christopher Heelan是布朗大学的一名研究助理，也是这项研究的共同作者，他认为RNNs的成功来自于它们的灵活性，这对解码复杂的听觉信息很重要。

“更传统的用于神经解码的算法对大脑如何编码信息做出了强烈的假设，这限制了这些算法对神经数据建模的能力，”为这项研究开发计算工具包的Heelan说。“神经网络做出的假设更弱，参数更多，这让它们能够了解神经数据和实验任务之间的复杂关系。”

研究人员希望，这种研究最终能够帮助开发神经植入物，帮助人们恢复听力。

Nurmikko说:“理想的情况是，我们开发出绕过大部分听觉器官直接进入大脑的系统。”“在这项研究中，我们用来记录神经活动的微电极有朝一日可能会被用来传送少量的电流，使人们产生听到特定声音的感觉。”

这项研究得到了美国国防高级研究计划局(N66001-17-C-4013)的支持，同时也是给布朗的一份私人礼物。论文的其他合著者还有罗南·奥谢(Ronan O’shea)、劳丽·林奇(Laurie Lynch)和大卫·布兰德曼(David Brandman)。