深度神经网络有望成为人类听觉模型

模仿人类听觉系统结构和功能的计算模型可以帮助研究人员设计更好的助听器、人工耳蜗和脑机接口。麻省理工学院的一项新研究发现，从机器学习衍生出来的现代计算模型正在向这一目标靠拢。

麻省理工学院的研究小组在迄今为止对经过训练以执行听觉任务的深度神经网络的最大研究中表明，这些模型中的大多数都会生成内部表征，这些表征与人们在听相同声音时在人脑中看到的表征具有相同的特性。

该研究还提供了如何最好地训练此类模型的见解：研究人员发现，在听觉输入（包括背景噪声）上训练的模型更接近于模仿人类听觉皮层的激活模式。

“这项研究的与众不同之处在于，它是迄今为止这些模型与听觉系统最全面的比较。该研究表明，从机器学习中得出的模型是朝着正确方向迈出的一步，它为我们提供了一些线索，说明是什么使它们成为更好的大脑模型，“麻省理工学院大脑和认知科学副教授Josh McDermott说，他是麻省理工学院麦戈文脑研究所和大脑中心的成员。 Minds， and Machines，以及该研究的资深作者。

麻省理工学院研究生 Greta Tuckute 和 Jenelle Feather PhD ’22 是这篇开放获取论文的主要作者，该论文今天发表在 PLOS Biology 上。

听力模型

深度神经网络是一种计算模型，由多层信息处理单元组成，可以在大量数据上进行训练以执行特定任务。这种类型的模型已在许多应用中得到广泛应用，神经科学家已经开始探索这些系统也可用于描述人脑如何执行某些任务的可能性。

“这些用机器学习构建的模型能够以以前类型的模型无法实现的规模来调解行为，这导致了人们对模型中的表征是否可能捕捉到大脑中正在发生的事情的兴趣，”Tukute说。

当神经网络执行任务时，其处理单元会生成激活模式以响应它收到的每个音频输入，例如单词或其他类型的声音。这些输入的模型表示可以与收听相同输入的人的 fMRI 脑部扫描中看到的激活模式进行比较。

2018 年，麦克德莫特和当时的研究生亚历山大·凯尔 （Alexander Kell） 报告说，当他们训练神经网络执行听觉任务（例如从音频信号中识别单词）时，该模型生成的内部表示与在听相同声音的人的 fMRI 扫描中看到的相似性。

从那时起，这些类型的模型被广泛使用，因此McDermott的研究小组开始评估更大的模型集，看看近似人脑中看到的神经表征的能力是否是这些模型的一般特征。

在这项研究中，研究人员分析了九个公开可用的深度神经网络模型，这些模型已经过训练来执行听觉任务，他们还基于两种不同的架构创建了自己的14个模型。这些模型中的大多数被训练为执行一项任务——识别单词、识别说话者、识别环境声音和识别音乐流派——而其中两个被训练为执行多项任务。

当研究人员向这些模型展示在人类fMRI实验中用作刺激的自然声音时，他们发现内部模型表示倾向于与人脑产生的模型表示相似。表征与大脑中观察到的模型最相似的模型是在多个任务上训练过的模型，并且已经在包括背景噪音在内的听觉输入上进行了训练。

“如果你在噪音中训练模型，它们会比你不训练模型给出更好的大脑预测，这在直觉上是合理的，因为很多现实世界的听力都涉及在噪音中听觉，这很可能是听觉系统适应的东西，”Feather说。

分层处理

这项新研究还支持了人类听觉皮层具有一定程度的分层组织的观点，其中处理分为支持不同计算功能的阶段。与2018年的研究中一样，研究人员发现，在模型早期阶段生成的表征与初级听觉皮层中观察到的表征最相似，而在模型后期阶段生成的表征更接近于在初级皮层以外的大脑区域中生成的表征。

此外，研究人员发现，在不同任务上接受过训练的模型更擅长复制试镜的不同方面。例如，在与语音相关的任务上训练的模型更接近于语音选择区域。

“尽管模型已经看到了完全相同的训练数据，架构也是一样的，但当你针对一项特定任务进行优化时，你可以看到它有选择地解释了大脑中特定的调整属性，”Tukute说。

麦克德莫特的实验室现在计划利用他们的发现来尝试开发在再现人脑反应方面更加成功的模型。除了帮助科学家更多地了解大脑是如何组织的，这些模型还可用于帮助开发更好的助听器、人工耳蜗和脑机接口。

“我们领域的一个目标是最终得到一个可以预测大脑反应和行为的计算机模型。我们认为，如果我们成功实现这一目标，它将打开很多大门，“麦克德莫特说。

该研究由美国国立卫生研究院、科学中心的亚马逊奖学金、美国大学妇女协会的国际博士奖学金、麻省理工学院麦戈文研究所之友奖学金、麻省理工学院 K. Lisa Yang 综合计算神经科学 （ICoN） 中心的奖学金和 能源系计算科学研究生奖学金资助。