斯坦福大学(Stanford University)电气工程专业的研究生戴维·林德尔(David Lindell)穿上一件显眼的运动服，在空荡荡的房间里伸展身体、踱步、跳跃着去上班。通过一个远离林德尔的摄像头——对准一堵似乎是空白的墙——他的同事们可以看到他的一举一动。
捕捉到的测量数据以视频的形式回放，显示光线从隐藏的物体散射回来，溅过墙壁。(图片来源:大卫·林德尔)
这是因为，在肉眼看不到的情况下，他被一束高能激光扫描，他反射到周围墙壁上的单个光粒子被相机的先进传感器和处理算法捕捉并重建。
斯坦福大学电气工程助理教授戈登·韦茨斯坦(Gordon Wetzstein)说:“人们都在谈论制造一种可以像人类一样看到自动驾驶汽车和机器人等应用的摄像头，但我们想要制造的系统远远不止于此。”“我们想要看到3D的东西，在角落和可见光之外。”
Lindell测试的相机系统，是研究人员在8月1日的SIGGRAPH 2019年会议上展示的，是基于该团队之前开发的转角相机。它能够从更多的表面捕捉更多的光线，看得更宽更远，而且速度足够快，可以第一次监控看不见的运动——比如林德尔的健美操。有一天，研究人员希望超人的视觉系统能帮助自动驾驶汽车和机器人比有人类引导的汽车和机器人运行得更安全。
实用性和地震学
保持他们的系统的实用性是这些研究人员的首要任务。他们选择的硬件，扫描和图像处理速度，以及成像的风格已经在自动汽车视觉系统中很常见。以前，在摄像机视线之外观看场景的系统依赖于反射光线均匀或强烈的物体。但是现实世界中的物体，包括闪亮的汽车，不在这些范畴之内，所以这个系统可以处理一系列表面反射的光，包括迪斯科球、书籍和纹理复杂的雕像。
转角摄像头近乎实时地重现了大卫·林德尔(David Lindell)穿着高可视性运动服四处走动的画面。(图片来源:大卫·林德尔)
他们前进的核心是一束比一年前强一万倍的激光。激光扫描感兴趣的场景对面的墙壁，光线从墙上反射回来，击中场景中的物体，反弹回墙壁和相机传感器。当激光到达相机时，只剩下一些小点，但传感器捕捉到每一个小点，并将其发送给一个高效的算法，这个算法也是这个团队开发的，它会解开这些光的回声，来解读隐藏的画面。
“当你用激光扫描它时，你什么也看不到，”林德尔说。“有了这个硬件，我们基本上可以放慢时间，并显示出这些光的轨迹。它看起来几乎像魔法。”
该系统可以以每秒四帧的速度扫描。它可以在带有图形处理单元的计算机上以每秒60帧的速度重建场景，这增强了图形处理能力。
为了推进他们的算法，该团队从其他领域寻找灵感。研究人员对地震成像系统特别感兴趣，该系统能将声波从地下反射，以了解地表下的情况。研究人员还重新配置了算法，将反射光解释为来自隐藏物体的波。其结果是同样的高速和低内存使用，提高了他们看到包含各种材料的大场景的能力。
“有很多想法被用于其他空间——地震学、成像卫星,合成孔径雷达——适用于环顾四周角落,”马修·奥图尔说,卡内基梅隆大学助理教授担任博士后Wetzstein的实验室。“We’re试图从这些领域,我们会有点希望能够回报他们。”
卑微的步骤
对于这个团队来说，能够从原本不可见的光线反射到角落里看到实时运动是一个激动人心的时刻，但要想为自动驾驶汽车或机器人设计一个实用的系统，还需要进一步的增强。
“这是非常谦卑的一步。这款机型的分辨率看起来仍然很低，而且it’的速度也不是很快，但是与去年最先进的机型相比，这是一个很大的进步。”“我们第一次看到这些结果时就惊呆了，因为我们捕捉到的数据是之前没有人见过的。”
该团队希望在自动研究车上测试他们的系统，同时研究其他可能的应用，比如可以透视组织的医学成像。除了提高速度和分辨率，他们还将努力使他们的系统更加通用，以解决司机遇到的挑战性视觉条件，如雾、雨、沙尘暴和雪。
要阅读有关斯坦福科学的所有故事，请订阅《斯坦福科学文摘》(Stanford science Digest)。
韦茨斯坦也是斯坦福大学生物x和吴蔡神经科学研究所的成员。
这项工作由斯坦福大学研究生奖学金、国家科学基金会、特曼学院奖学金、斯隆奖学金、阿卜杜拉国王科技大学、斯坦福大学汽车研究中心、国防高级研究计划局、美国陆军研究实验室资助。
到网站上观看视频。
新闻旨在传播有益信息，英文原版地址：https://news.stanford.edu/2019/07/29/seeing-moving-objects-around-corners/