分类
斯坦福大学新闻

斯坦福开发的软件能让因冠状病毒大流行而被隔离的音乐家们再次实时聚集在一起

一款应用已久的在线音乐播放软件,经过了优化,以适应较慢的、基于家庭的互联网连接。

与许多其他形式的人际互动一样,现场音乐合作也被COVID-19大流行所颠覆。广泛的隔离和社交距离基本上暂停了需要在多个演奏者之间精确计时的表演——从古典交响乐、合唱团到爵士四重奏和摇滚乐队。由于音频和视频不可避免的滞后,通过Zoom和Skype等电话会议平台在线播放视频并不是一个可行的选择。

jacktrip音乐表演的截图。(图片来源:Chris Chafe)

一款名为JackTrip的免费开源软件介入了这一漏洞。由斯坦福大学音乐教授克里斯·查菲和他的同事开发的JackTrip使网络上的虚拟实时声音流媒体成为可能。通过这种方式,JackTrip通常可以减少延迟——数据传输中恼人的时间延迟——从一个地理位置到另一个地理位置,将延迟降低到25毫秒的临界阈值以下。虽然时间很小,但人类听众可以感知到这一点,足以让协调的音乐表演失去同步。

JackTrip在家庭网络连接的标准上已经低于这个门槛,现在它正在重新连接越来越多的专业音乐家、音乐教师和他们的学生。

“It是明显的从2020年3月开始,音乐家们迫切需要连接锁定,无法一起玩我们喜欢一起玩,”摩擦说,教授音乐学院的人文科学和计算机研究中心主任在音乐和音响(CCRMA)。在其他乐器中,查菲弹奏电子大提琴。“加了JackTrip, Chafe补充道,“it’实时地再次陷入困境,就好像我们就在同一个房间里一样

这个计划的时代已经到来

1983年,Chafe从斯坦福大学毕业并获得音乐博士学位,1989年加入该学院。他和他的同事们在2000年开始开发JackTrip,当时他们意识到仍处于起步阶段的互联网正变得足够快,能够支持发送音频数据,这可能使音乐家们能够远程一起演奏。

Chafe和他的同事在一个可用的、开放源码的声音服务器软件Jack Audio Connection Kit (Jack)上创建了JackTrip。在某一时刻,研究人员把三个不同位置的音乐家连接起来,或者通过“triple”连接起来。这个三倍的程序最终被缩短为“trip”,并被附加到“Jack上,”给了这个程序一个古怪的绰号。“这个名字就这样固定下来了,有点像乐队的名字,”Chafe说。

JackTrip技术上提供了所谓的低延迟、双向、未压缩音频流。从音乐家A’s的计算机到音乐家B’s的音频数据是未压缩的,这意味着它不会被转换成占用更少带宽的形式。避免压缩会减少延迟,因为必须解压缩文件会消耗时间,同时也要确保高保真度和准确的声音。

直到最近,该软件主要服务于连接不同大陆的大学音乐团体的小众目的。JackTrip还实现了大型的远程通信演示,比如2009年11月的一次名为“共振”的活动。这次演出将纽约联合国总部的一个乐团和加州大学圣地亚哥分校的音乐家们联系起来;加拿大亚伯达省的班夫艺术和创意中心;北爱尔兰贝尔法斯特女王6037大学;以及韩国首尔的东国大学。

在JackTrip的大部分历史中,它都需要先进的、高带宽的线路,就像那些在大学校园、商业实体和政府机构中使用的线路一样。但如今,特别是在COVID-19疫情爆发后,JackTrip的开发人员对软件进行了修改,使其能够在住户之间的基本互联网连接上有效工作。它还可以容纳比过去大得多的合成器。”查菲说:“我们现在做的是居家旅行,用于合奏和上课。

JackTrip必须进行一些重大调整,才能在网络连接不足的情况下成功运行。最初,该软件将给定音乐会话中的所有端点连接到一起;换句话说,加州的大提琴手会和法国的长笛手联系起来,长笛手和印度的锡塔琴演奏者联系起来,锡塔琴和大提琴手联系起来,等等。现在它在所谓的集线器模式下工作,在这种模式下,一个中央服务器——例如在斯坦福大学——接收所有的音频feed,混合它们,然后将它们发送回终端用户。添加这样的中间机器确实会给整体数据传输增加一些延迟,但不至于打乱musicians’的同步。

Chafe说,在过去的六个月里,世界各地的许多程序员和开发人员都做了这些最近的JackTrip升级。”说:“在大流行爆发之前,我们一般只对JackTrip做了一点点改进。”但是现在我们在这次旅行上已经很努力了,要让它有益于社会

音乐创作的新环境

JackTrip软件可以在Windows、苹果和Linux等主要操作系统上运行。为了便于使用,该软件还可以在名为Raspberry Pi4s的小型、价格适中的电脑上使用。像在斯坦福大学使用的被称为JackStreamers的工具可以在商业上买到。最近成立的JackTrip基金会(一个由Chafe共同创立的非盈利组织)还为湾区唱诗班和其他团体提供类似的基于pi4的工具包和服务。

由于JackTrip只处理音频,对于现场表演、排练和课程,参与者通常会与Zoom、Jitsi或其他视频会议应用程序增强协作。然而,视频比音频数据密集得多,因此延迟更多。因此,在播放音乐的过程中,JackTrip的用户学会了更仔细地倾听,而不是像在面对面的场景中那样,依靠眼睛从合作者那里获得实时的视觉线索。

我们喜欢说,你的耳朵变大了。” Chafe谈到行为转变时说。“也就是说,同时运行视频还是有一定的价值的。当我听到我的合作者在JackTrip上即兴表演时,我想‘,哇,’,然后我可以在视频中看到合作者在笑。那是音乐家们交流感情的好时刻

对于多人一起演奏的在线音乐会演示,CCRMA博士后研究员Constantin Basica将音频输入与滞后的视频输入相结合,呈现出同步、有节奏的演奏。自3月以来,来自美国、澳大利亚、比利时、加拿大、德国、爱尔兰和立陶宛的查菲、巴西卡、他的同事和客座音乐家每周都要进行隔离。

”的远程通信性能永远不会取代与人在同一房间玩耍,然后社交和喝一杯酒,Basica说。但是我认为JackTrip是一个非常有用的工具,在未来的岁月里我们会看到更多

新闻旨在传播有益信息,英文原版地址:https://news.stanford.edu/2020/09/18/jacktrip-software-allows-musicians-sync-performances-online/