再玩一遍，斯皮里奥

去年秋天，一年级学生杰奎琳·王（Jacqueline Wang）坐在麻省理工学院基利安音乐厅（Killian Hall）的三角钢琴前，演奏了莫扎特的《降B大调奏鸣曲K.333》（K.333）的开场。当她完成时，麻省理工学院音乐与戏剧艺术系（MTA）的钢琴家兼讲师Mi-Eun Kim让她搬到大厅的后面。Kim敲了敲iPad。突然，她刚才弹奏的奏鸣曲又从钢琴里倾泻而出——琴键的琴键忽高忽低，就像王的手指在上面一样，琴弦的共鸣充满了整个房间。王站在一排空座位中间，表情略带困惑，重复着自己的表演。

“这有点奇怪，”王在回放结束时承认，然后若有所思地补充道：“这听起来和我想象中的不一样。

这堂不同寻常的课程发生在麻省理工学院施坦威 Spirio |R，一架嵌入了现场表演捕捉和播放技术的钢琴。“驻留项目为学生、教职员工和校园参观者提供了通过一系列研讨会参与这项新技术的机会，这些研讨会的重点是钢琴设计的历史分析、对 Spirio 使用的硬件和软件的检查等主题 |r，以及如何使用这些功能的分步指导，“麻省理工学院音乐与戏剧艺术系主任兼人文、艺术和社会科学学院副院长 Keeril Makan 解释道。

Wang是几位有灵魂出窍体验的驻留参与者之一，她从不同的有利位置聆听自己的演奏，同时看着她的表演数据在屏幕上滚动：颜色编码的矩形表示每个音符的速度和持续时间，一条起伏的线描绘了她对阻尼器踏板的使用。Wang甚至能够编辑自己的表演，因为当Kim建议她有节奏地使用踏板可能是多余的时，她发现。使用 iPad 界面完全消除踩踏，他们再次聆听回放，音符获得了新的清晰度。

“看到了吗？我们不需要它，“金笑着确认。

“当麻省理工学院的新音乐大楼（W18）于2025年春季开放时，我们希望它将包括这种先进技术。这不仅会为王在艾默生/哈里斯项目中的19名钢琴学生增加价值，该项目总共为71名学者和研究员提供了古典音乐、爵士乐和世界音乐学院水平教学的支持。但也可以为麻省理工学院社区更广泛的人提供教育机会，“马坎说。“音乐是麻省理工学院第五大最受欢迎的辅修课程;每学期有 1,700 名学生参加音乐和戏剧艺术课程，学院里到处都是歌手、作曲家、乐器演奏家和音乐史专业的学生。

根据 Kim 的说法，Spirio 提供了音乐家从传统录音中学到的超越洞察力;直接从乐器听到回放，可以揭示 MP3 无法捕捉到的声音维度。“扬声器系统在某种程度上压缩了一切——高音和低音，它们听起来都是一样的。但钢琴独奏音乐非常有活力。它应该在一个房间里体验，“她说。

在 Spirio |在驻留期间，学生们发现他们可以以半速复习他们的演奏，调整某些音符的音量以强调旋律，将乐曲转移到另一个调，或者对他们的表演进行分层——例如，预先录制一只手，然后用另一只手现场伴奏。

“它有助于学生成为学习和教学过程的一部分，”Kim说。“如果他们想象的和听到的之间存在差距，然后他们来找我说，’我该如何解决这个问题？’他们肯定会更加投入。这是他们演奏的诚实表现，因此而谦卑的学生将成为更好的钢琴家。

对于Wang来说，回想起她与Kim的课程，这次会议引入了她自5岁开始学习钢琴以来从未体验过的元素。“每个键的演奏时间和速度的视觉显示让我更精确地展示了发声和均匀度的概念，”Wang说。“弹钢琴通常完全依赖于耳朵，但这与听觉体验、视觉体验和统计数据相结合，帮助我更全面地了解我的演奏。”

作为一名正在考虑学习课程6专业（电气工程和计算机科学，或EECS）的一年级本科生，Wang还着迷于观看施坦威经销商M. Steinert & Sons的代表Patrick Elisha拆卸钢琴动作，指出光学传感器，这些传感器以1,020级的灵敏度测量每次击锤的速度。 每秒采样 800 次。

“我对激光传感器和电感器的精度感到惊讶，”Wang说。“我刚刚开始学习EECS的入门级课程，刚刚接触到这些概念，这无疑使我更加兴奋地想更多地了解这些电气设备及其应用。令我感兴趣的是，在不干扰机械结构的情况下，将电气系统添加到钢琴上，因此当我们弹奏Spirio时，我们在触摸和手指控制方面的体验就像弹奏普通的施坦威一样。

另一位爱默生/哈里斯学者维克多·昆塔斯-马丁内斯（Víctor Quintas-Martínez）是一名经济学博士候选人，他在 Covid-19 大流行期间恢复了他失效的钢琴研究，他在驻留期间访问了基利安音乐厅，与大提琴家、中提琴家和小提琴家一起排练了福雷钢琴四重奏。“我们做了一些段落，并录制了钢琴部分。然后我听着弦乐在大厅后面演奏录音。这让我知道我需要在音量、质地、踏板等方面进行调整，以实现更好的平衡。通常，当你弹奏时，因为你坐在琴弦后面，靠近钢琴，你对平衡的感知可能会有些扭曲，“他指出。

Kim引用了另一个成熟的校园人群，可以探索这些类型的乐器，如Spirio|r及其软件：麻省理工学院相对较新的音乐技术硕士课程的未来参与者，以及该研究所的其他人，他们的工作与乐器捕获的大量数据相交。其中包括麻省理工学院纳米浸入式实验室的研究科学家Praneeth Namburi。 通常，Namburi将他的神经科学专业知识集中在舞蹈和专业运动的生物力学上。在MTA/Spirio驻留期间的两天里，他使用浸入式实验室的传感器以及Spirio的传感器来分析钢琴家如何使用他们的身体。

“我们使用动作捕捉可以帮助我们将 Mi-Eun 等专家的运动路径与学生的运动路径进行对比，这可能有助于音乐教育，”Namburi 回忆道，“测力板可以科学地了解运动时间的组织方式，以及超声波来可视化演奏过程中的前臂组织，这可能有助于我们了解与音乐相关的伤害。

“MTA 和 MIT.nano 之间的相遇是麻省理工学院独有的，”Kim 认为。“这不仅对音乐界非常有用，而且对运动研究人员来说也非常令人兴奋，因为弹钢琴是人类用手做的最复杂的活动之一。

在Kim看来，这种典型的人类复杂性与这些技术可能性相辅相成。“有些人可能会想，哦，它将取代钢琴家，”她说。“但归根结底，它是一种工具。它并不能取代学习音乐的所有东西。我认为这将是一个宝贵的第三伙伴：学生、老师和 Spirio——或者音乐家、研究人员和 Spirio。它将在许多音乐努力中发挥不可或缺的作用。