分类
莱斯大学新闻

摄像机通过深度学习实时观察周围的角落

莱斯大学的研究人员和合作者创造了一种快速成像隐藏物体的系统

想象一下,一个摄像头可以看到周围的角落。

研究人员花了数年时间研究如何利用激光把固体墙壁变成镜子。现在,莱斯大学普林斯顿大学南卫理公会大学的工程师们利用一种被称为深度学习的人工智能的力量,创造了一种新的基于激光的系统,可以实时捕捉角落周围物体的细节图像。

Chris Metzler

Chris Metzler(图片由C. Metzler提供)

随着进一步的发展,这种技术可能会让自动驾驶汽车在停放的汽车或繁忙的十字路口周围看到危险或行人。它也可以安装在卫星和宇宙飞船上,用于拍摄小行星洞穴内的图像。

与其他方法相比,我们的非视线成像系统提供了独特的高分辨率和成像速度。这些属性使原本不可能实现的应用程序成为可能,比如在it’s开车时读取隐藏车辆的牌照,或者读取走在街角的人佩戴的徽章

这篇论文发表在《光学学会》杂志的网络版上。在这份报告中,梅茨勒和赖斯的合著者阿肖克·维拉拉格哈万和理查德·巴拉尼克及其同事报告说,他们的成像系统可以分辨出1米外隐藏物体的亚毫米细节。

看到周围的角落

Ashok Veeraraghavan

Ashok Veeraraghavan

梅茨勒是莱斯大学电气和计算机工程专业的三名毕业生。他说,这个系统的设计初衷是用极高的分辨率对小物体进行成像,但也可以与其他成像系统相结合,产生低分辨率的、房间大小的重建图像。

Veeraraghavan是2012年第一个在角落里展示非视线成像的团队成员。该演示使用了一种名为“time- flight”的成像技术,将普通的不透明墙壁转换成镜子。

这就是它的工作原理。来自高速激光的光线从墙上反射到隐藏区域。光线也会反射到隐藏区域的物体上,其中一些光线会反射回墙壁,而it’s又会反射回相机。通过精确测量反射光返回相机
2所需要的时间,成像器可以对隐藏区域进行粗略的成像。

Richard Baraniuk

理查德·巴拉尼克(杰夫·菲特洛/莱斯大学)

“表示,自2012年以来,飞行时间成像技术的主要进步是,你现在可以建造花费数千美元的系统,而不是原先花费100多万美元的设备。“技术非常擅长成像一个大的区域,就像一个房间大小的场景,分辨率大约是一厘米左右。任何比它小的特征或物体都会变得完全模糊

用深度学习解决光学问题

mezler、Veeraraghavan、Baraniuk和同事本周描述了“deep-inverse correlography”成像系统,该系统使用一个商用相机传感器和一个强大的、但不是标准的激光光源,类似于在激光指示器中发现的光源。就像飞行时的方法一样,激光束从一堵可见的墙上反弹到隐藏的物体上,然后又回到墙上。但是,新系统不是测量光返回需要多长时间,而是寻找墙上的干涉图样,即所谓的斑点图样。

deep-inverse correlography imaging setup

这张照片展示了由莱斯大学的工程师和合作者在斯茂大学和普林斯顿大学开发的“深逆correlography”成像系统的实验室设置。这个创新的系统利用一种被称为深度学习的人工智能,结合硬件设备,捕捉隐藏在角落里的物体的高分辨率图像。硬件设备包括一个商用摄像机传感器和一个强大但标准的激光。(图片由Prasanna Rangarajan/SMU提供)

维拉加凡说,从不同方向照射到墙上的光波相互作用,很像池塘水面上的涟漪。在某些地方,这些波彼此抵消,而在其他地方,它们彼此共振并被放大。

他说,这种建设性和破坏性的干扰产生了一种高度随机的强度模式。这个模式包含了很多关于创建它的结构的信息

从散斑图重建隐藏对象需要解决一个具有挑战性的计算问题。短曝光时间对实时成像是必要的,但会产生太多的噪音,现有的算法无法工作。为了解决这个问题,研究人员转向了深度学习。

与其他非视线成像方法相比,我们的深度学习算法对噪音的鲁棒性要高得多,因此可以在更短的曝光时间内进行操作。通过准确地描述噪声,我们能够合成数据来训练算法来解决重构问题,而不需要捕获昂贵的实验训练数据

影像的细节

研究人员测试了这项新技术,利用离墙约1米远的成像装置,重新构建隐藏在角落里的1厘米高的字母和数字的图像。使用四分之一秒的曝光长度,这种方法产生了300微米分辨率的重建。

reconstructed image of a 1-centimeter-tall numeral 7 that was hidden behind a corner

在测试中,赖斯大学开发的一种新的成像系统工程师和SMU和普林斯顿大学的合作者能够重建的图像1-centimeter-tall字母和数字隐藏在一个角落里使用一种被称为深度学习人工智能结合商用相机传感器和其他硬件。成像装置位于离墙约1米的地方,曝光时间为1 / 4秒,产生的重建图像分辨率为300微米。(图片由C.梅茨勒提供)

因此,我们正在讨论的是一个比飞行时间小得多的视野,接近
2,一个几英寸而不是几米的视野,” Veeraraghavan说。但是,在这个有限的领域内,我们能够获得比飞行时间精确100倍的空间分辨率

接下来,Veeraraghavan、Baraniuk和他们的合作者希望将这两种方法结合在一个单一的系统中。为了说明这个系统是如何工作的,Veeraraghavan举了一个在拥挤的房间里拍摄特定人物的面部或身份徽章的例子。

他说:“有了飞行时间,你可以得到一张显示人们位置的粗略图像。一旦你定位了他们的身份证或者他们的脸,你就可以使用相关摄影技术,也就是这篇论文的重点技术,来得到一个非常高分辨率的局部区域的图像

该研究是国防先期研究项目agency’的一部分,通过利用主动光场计划(或称REVEAL)革命性地提高能见度,该计划正在开发各种技术来成像隐藏在角落的物体。

新闻旨在传播有益信息,英文原版地址:https://news.rice.edu/2020/01/21/cameras-see-around-corners-in-real-time-with-deep-learning/