大脑录音捕捉语音的音乐性——在平克·弗洛伊德的帮助下

当平克·弗洛伊德（Pink Floyd）的《墙上的另一块砖，第1部分》（Another Brick in the Wall， Part 1）的和弦填满医院套房时，奥尔巴尼医学中心的神经科学家勤奋地记录了放置在准备进行癫痫手术的患者大脑上的电极的活动。

目标？捕捉大脑区域的电活动，这些区域被调谐到音乐的属性——音调、节奏、和声和文字——看看它们是否能重建病人听到的东西。

十多年后，加州大学伯克利分校的神经科学家对29名此类患者的数据进行了详细分析，答案显然是肯定的。

“总而言之，它只是墙上的一块砖”这句话在重建的歌曲中清晰可见，它的节奏完好无损，单词泥泞，但可以破译。这是研究人员第一次从大脑录音中重建一首可识别的歌曲。

平克·弗洛伊德（Pink Floyd）歌曲“墙上的另一块砖，第1部分”的一小段，向受试者播放。

从大脑听觉皮层的电活动记录中重建歌曲。

重建显示了记录和翻译脑电波以捕获语音的音乐元素以及音节的可行性。在人类中，这些被称为韵律的音乐元素 – 节奏，重音，口音和语调 – 具有仅靠单词无法传达的含义。

因为这些颅内脑电图（iEEG）记录只能从大脑表面进行 – 尽可能接近听觉中心 – 没有人会很快窃听你脑海中的歌曲。

但对于那些难以沟通的人来说，无论是因为中风还是瘫痪，大脑表面电极的这种录音可以帮助重现当今类似机器人的重建所缺少的语音的音乐性。

“这是一个很棒的结果，”海伦威尔斯神经科学研究所的神经学家和加州大学伯克利分校心理学教授罗伯特奈特说，他与博士后研究员Ludovic Bellier一起进行了这项研究。“对我来说，音乐的一件事是它具有韵律和情感内容。随着整个脑机接口领域的发展，这为您提供了一种为需要它的人、患有 ALS 或其他一些影响语音输出的致残神经或发育障碍的人在未来的大脑植入物中添加音乐性的方法。它不仅使您能够解码语言内容，还可以解码语音的一些韵律内容，一些影响。我认为这就是我们真正开始破解密码的地方。

随着大脑记录技术的改进，有朝一日有可能在不打开大脑的情况下进行这样的记录，也许使用附着在头皮上的敏感电极。Knight说，目前，头皮脑电图可以测量大脑活动，以从字母流中检测单个字母，但这种方法至少需要20秒才能识别单个字母，这使得沟通既费力又困难。

“今天的非侵入性技术还不够准确。让我们希望，对于患者来说，在未来，我们可以从放置在颅骨外部的电极中，以良好的信号质量读取大脑更深层区域的活动。但我们离那里还很远，“贝利尔说。

Bellier，Knight和他们的同事今天在 PLOS Biology杂志上报告了这一结果，并指出他们“在我们对人脑音乐处理的理解墙上又增加了一块砖”。

读懂你的心思？还没有。

今天用于帮助人们在无法说话时进行交流的大脑机器接口可以解码单词，但产生的句子具有机器人质量，类似于已故的斯蒂芬霍金使用语音生成设备时的声音。

纽约奥尔巴尼医学院和华盛顿大学的彼得·布鲁纳

“现在，这项技术更像是大脑的键盘，”贝利尔说。“你不能从键盘上读出你的想法。您需要按下按钮。它发出一种机器人的声音;当然，我所说的表达自由更少。

贝利尔应该知道。他从小就开始演奏音乐——鼓、古典吉他和钢琴，一度在一个重金属乐队中表演。当奈特要求他研究演讲的音乐性时，贝利尔说：“你敢打赌，当我得到这个提议时，我很兴奋。

2012年，奈特、博士后研究员布莱恩·帕斯利（Brian Pasley）和他们的同事首次从大脑活动的记录中重建了一个人听到的单词。

最近，其他研究人员进一步推动了奈特的工作。加州大学旧金山分校神经外科医生、2012年论文的高级合著者埃迪·张（Eddie Chang）记录了与下颌、嘴唇和舌头运动相关的大脑运动区域的信号，以重建瘫痪患者想要的语音，并将文字显示在计算机屏幕上。

这项工作于 2021 年报道，它利用人工智能来解释一名试图根据一组 50 个单词发声的患者的大脑录音。

虽然Chang的技术被证明是成功的，但这项新研究表明，从大脑的听觉区域进行录音，在那里处理声音的各个方面，可以捕捉到在人类交流中很重要的语音的其他方面。

“从更接近声音声学的听觉皮层解码，而不是更接近产生语音声学的运动的运动皮层，这是非常有希望的，”贝利尔补充道。“它会给解码的东西带来一点色彩。

对于这项新研究，Bellier重新分析了2008年和2015年获得的大脑录音，因为患者播放了大约3分钟的平克·弗洛伊德（Pink Floyd）歌曲，该歌曲来自1979年的专辑 The Wall。他希望超越以前的研究，这些研究已经测试了解码模型是否可以识别不同的音乐作品和流派，通过基于回归的解码模型实际重建音乐短语。

Bellier强调，这项研究使用人工智能来解码大脑活动，然后对复制品进行编码，而不仅仅是创建一个黑匣子来合成语音。他和他的同事们还能够精确定位大脑中参与检测节奏的新区域，例如弹奏的吉他，并发现听觉皮层的某些部分 – 位于耳朵后面和上方的颞上回 – 在声音或合成器开始时做出反应，而其他区域则对持续的人声做出反应。

研究人员还证实，大脑的右侧比左侧更适应音乐。

“语言更像是左脑。音乐更加分散，偏向右，“奈特说。

“目前还不清楚音乐刺激是否也是如此，”贝利尔说。“所以在这里我们确认，这不仅仅是一个特定于语音的事情，而是它对听觉系统及其处理语音和音乐的方式更基本。

奈特正在开展一项新的研究，以了解大脑回路，这些回路允许一些因中风或脑损伤而失语的人在找不到表达自己的单词时通过唱歌进行交流。

该论文的其他合著者是Helen Wills神经科学研究所的博士后研究员Anaïs Llorens和Déborah Marciano，佛罗里达大学的Aysegul Gunduz以及纽约奥尔巴尼医学院和华盛顿大学的Gerwin Schalk和Peter Brunner，他们捕获了大脑记录。该研究由美国国立卫生研究院和大脑计划资助，这是联邦和私人资助者之间的合作伙伴关系，旨在加速创新神经技术的发展。

相关信息

• 可以使用非线性解码模型从人类听觉皮层活动重建音乐（PLOS Biology预览版）
• 科学家解码脑电波以窃听我们听到的内容 （2012年1月31日）