动作捕捉：“交响乐”装置借鉴了参观者的动作

宇宙充斥着声音。

去年夏天，来自世界各地的科学家团队如此宣布。据《史密森尼杂志》报道，科学家们表示，他们发现了一种新的引力波，可以产生持续的环境嗡嗡声。这些发现表明，“一个滚动的、嘈杂的宇宙充满了引力波的宇宙交响乐”。

这些发现吸引了玛吉·施奈尔（Maggie Schnyer），她现在是耶鲁大学计算机和艺术专业的大四学生。读完这篇文章后，施奈尔决定创造一个属于她自己的互动迷你音乐世界。Schnyer还是耶鲁大学达文波特流行乐团的音乐家和助理指挥，他着手设计一个沉浸式装置，该装置将使用动作捕捉技术来跟踪参观者的动作并创作出协作音乐。

动作捕捉技术用于记录人体运动，然后将该运动转换为计算机化形式。它通常用于电影制作、动画、视频游戏设计和运动训练。

Schnyer见过将动作捕捉工具与音乐结合使用，通常舞者穿着装有传感器的西装，以非常细致的方式产生声音。“我想做一些任何人都更容易接触到的事情，”她说。

该项目也将作为她的毕业论文。但首先，施奈尔还有很多东西要学。

上学期，她研究了各种动作捕捉音乐项目，并开始熟悉项目音频和视频方面的编码软件。她想使用投影仪和照明板进行安装，这是她以前从未做过的事情。

“在完成这个项目的过程中，我学到了一切，“施奈尔说，”我从我的顾问那里得到了很多指导。

与施奈尔合作的有耶鲁大学艺术与科学学院音乐系副教授康拉德·卡茨马雷克（Konrad Kaczmarek）、计算机与艺术高级讲师斯科特·彼得森（Scott Petersen）和耶鲁大学合作艺术与媒体中心（CCAM）技术经理罗斯·怀特曼（Ross Wightman）。

上个月，她的努力在CCAM的利兹工作室上演了一场互动动作捕捉表演，该工作室配备了Vicon动作捕捉系统。

窗帘挡住了外面的光线，闪烁着星星，这是施奈尔用代码创造的一种生成艺术形式。一个不断变化的银河系般的设计，也是她的一个程序，在房间前面的大屏幕上发光。

可以听到一声低沉的嗡嗡声——这是对普遍嗡嗡声的致敬。但施奈尔还创作了一首舒缓的九分钟音乐，用苹果的数字音频工作站Logic Pro写成，只有戴着装有传感器的特殊耳机的客人才能听到。音乐被分成不同的轨道，分配给四组耳机以及连接到房间周围太空主题物体的其他传感器。动作捕捉摄像机安装在天花板上。

当访客在房间里走动时，不同的音乐曲目会根据他们靠近的人和事来调整耳机的音量和声像。

“运动跟踪技术将每个进入空间的人指定为一种新乐器，在他们探索展览时，音乐线条模仿了他们的运动和静止，“施奈尔说。

这个项目很受欢迎。大约 60 人（主要是学生）报名参加了 15 分钟的时段之一来试用耳机。

Schnyer在晚上结束时特别高兴，因为一些躺在录音室地板上的朋友告诉她音乐是多么放松，他们多么想再听一遍。

“我认为我的项目最大的吸引力是它的技术和运动方面，“她说。“令我惊喜的是，我为这个空间创作的作品受到了很好的反响，并有助于而不是分散我所追求的冥想氛围。”

来自康涅狄格州托灵顿的施奈尔不确定她即将到来的间隔年的下一步是什么，除了她第一次去她母亲的祖国菲律宾旅行。但她已经在考虑将音乐、艺术与技术相结合的其他项目。

“有机会在装置中对自己的空间进行完全的创造性控制，这真是太特别了，“她说，”并能够分享它。