一个让基于云的游戏玩家保持同步的系统

云游戏涉及从云端远程玩视频游戏，在 Covid-19 大流行中心期间发生的封锁和游戏硬件短缺期间见证了前所未有的增长。如今，这个蓬勃发展的行业涵盖了 60 亿美元的全球市场和全球超过 2300 万参与者。

然而，设备间同步仍然是云游戏和更广泛的网络领域的一个持续存在的问题。在云游戏中，视频、音频和触觉反馈从一个中央源流式传输到多个设备，例如玩家的屏幕和控制器，这些设备通常在单独的网络上运行。这些网络不同步，导致这两个单独的流之间存在滞后。玩家可能会在屏幕上看到某些事情发生，然后在半秒后在他们的控制器上听到它。

受到这个问题的启发，麻省理工学院和Microsoft研究的科学家采用了一种独特的方法来同步传输到两个设备的流。他们的系统称为Ekho，将听不见的白噪声序列添加到从云服务器流式传输的游戏音频中。然后，它会侦听播放器控制器录制的音频中的这些序列。

Ekho利用这些噪声序列之间的不匹配来连续测量和补偿跨流延迟。

在真实的云游戏会话中，研究人员表明Ekho非常可靠。在大多数情况下，系统可以使流彼此之间的同步时间小于 10 毫秒。其他同步方法导致超过 50 毫秒的一致延迟。

虽然Ekho是为云游戏而设计的，但这种技术可以更广泛地用于同步传输到不同设备的媒体流，例如在使用多个增强或虚拟现实耳机的训练环境中。

“有时候，一个好的解决方案所需要的只是在为你定义的东西之外思考。整个社区都已经固定了如何通过网络同步来解决这个问题。通过听房间里的音频来同步两个流听起来很疯狂，但事实证明这是一个非常好的解决方案，“电气工程和计算机科学（EECS）研究生Pouya Hamadanian说，他是一篇描述Ekho的论文的主要作者。

哈马达尼安与Microsoft的软件开发人员道格·加拉廷（Doug Gallatin）一起参加了论文;Mohammad Alizadeh，电气工程和计算机科学副教授，计算机科学与人工智能实验室（CSAIL）成员;资深作者Krishna Chintalapudi，Microsoft Research的首席研究员。该论文将在ACM SIGCOMM会议上发表。

下班时间

云游戏中跨流延迟的核心是网络中称为时钟同步的基本问题。

“如果控制器和屏幕可以查看他们的手表，同时看到同样的东西，那么我们可以将所有内容与时钟同步。但是关于时钟同步的许多理论工作表明，有些界限是你永远无法克服的，“Hamadanian 说。

许多方法尝试通过乒乓消息传递进行时钟同步，其中设备向服务器发送 ping 消息，服务器将乒乓消息发回。设备计算消息返回所需的时间，并将该值减半以计算网络延迟。

但是网络上的路径可能是不对称的，因此消息到达服务器所需的时间可能比返回消息的时间长。因此，这种方法不可靠，可能会引入数百毫秒的错误。人类通常可以在达到 10 毫秒后感知到跨流延迟。

“因此，如果屏幕上发生了某些事情，我们也希望在控制器上的10毫秒内发生，”Hamadanian解释道。

他和他的合作者决定尝试听游戏音频来同步这些单独的流。

在云游戏中，玩家控制器上的麦克风记录房间中的音频，包括屏幕上扬声器播放的游戏音频，并将其发送回服务器。但是使用它进行同步是不可靠的，因为房间音频包含背景噪音。

因此，他们设计了Ekho，在游戏音频流式传输到玩家屏幕之前，将相同的极低音量白噪声序列（称为伪噪声）添加到游戏音频中。它使用这些伪噪声段进行同步。

在构建Ekho之前，研究人员进行了一项用户研究，以证明玩家无法听到游戏音频中的伪噪音。这些噪声序列还具有抗压缩能力，这一点很重要，因为从控制器发送的音频经过高度压缩以加快数据传输速度。

伪噪音，真正的成功

Ekho-估算器模块将伪噪声序列添加到游戏音频中。当它从控制器接收到录制的游戏音频时，它会侦听这些标记并尝试排列流。这使其能够精确计算流间延迟。

Ekho-Estimator将该信息发送到Ekho-Compensator模块，该模块要么跳过几毫秒的声音，要么为服务器发送的游戏音频添加几毫秒的静音，从而同步流。

他们在真实的云流媒体会话上测试了Ekho，发现它优于其他同步方法，即使麦克风质量很差或录音拾取了背景噪音。

Ekho 在流期间近 87% 的时间内将流间延迟限制在 10 毫秒以下。团队测试的其他方法都无法将延迟缩短到50毫秒以下。

“这样做的传统方法涉及尝试使用底层网络测量同步错误，误差要大得多。当我们开始这个项目时，不确定这是否可以完成。但是我们可以用Ekho达到的精度，在亚毫秒级，这是闻所未闻的，“Chintalapudi说。

对这些结果印象深刻，研究人员希望了解Ekho在更复杂的情况下的表现，例如将五个控制器同步到同一屏幕设备。此外，由于 Ekho 是针对云游戏的目标，因此它有范围限制。未来的工作可能会寻求增强Ekho，以便它可以在一个非常大的房间（如音乐厅）的两端同步设备。

“使用听不见的白噪声作为一种’计时员’是一个很好的例子，说明开箱即用的思维如何产生意想不到的结果，”Alizadeh说。“该技术可以改善用户体验，不仅在云游戏中，而且可能在任何多设备流媒体场景中。