帮助自动驾驶汽车看到周围的角落

为了提高自动驾驶系统的安全性，麻省理工学院的工程师们开发了一种可以感知地面阴影中的微小变化的系统，以确定是否有移动的物体从拐角处经过。 

自动驾驶汽车有一天可能会使用该系统来快速避免与另一辆汽车或行人的潜在碰撞。将来，机器人可以在医院的走廊上行走，进行药物治疗或运送物资，它们可以利用这个系统来避免撞到人。

在将于下周举行的智能机器人与系统国际会议(IROS)上发表的一篇论文中，研究人员描述了自动驾驶汽车在停车场附近行驶和自动轮椅在走廊上导航的成功实验。当探测到有车辆驶近并停车时，这种基于汽车的系统比传统的激光雷达(只能探测可见物体)要快半秒。

研究人员说，这可能看起来并不多，但对于快速行驶的自动驾驶汽车来说，这只是第二个问题的一小部分。

“机器人是移动应用程序的环境中与其他移动物体或人,我们的方法可以给机器人一个预警,有人在拐角处,所以车辆可以慢下来,调整其路径,并提前准备,以避免碰撞,“添加作者Daniela俄文,计算机科学与人工智能实验室的主任(CSAIL)和安德鲁•厄纳维特比电气工程和计算机科学的教授。“最大的梦想是为在大街上快速行驶的车辆提供某种‘x射线视觉’。”

目前，该系统仅在室内环境下进行了测试。机器人在室内的速度要低得多，照明条件也更一致，使得系统更容易感知和分析阴影。

论文中加入Rus的有:第一作者Felix Naser SM ‘ 19，前CSAIL研究员;CSAIL研究生亚历山大·阿米尼;Igor Gilitschenski, CSAIL博士后;应届毕业生Christina Liao ‘ 19;丰田研究所的Guy Rosman;还有麻省理工学院航空航天副教授塞塔克·卡拉曼。

延长ShadowCam

在他们的工作中，研究人员构建了一个名为“影子摄像头”的系统，该系统使用计算机视觉技术来检测和分类地面阴影的变化。麻省理工学院(MIT)教授威廉•弗里曼(William Freeman)和安东尼奥•托拉尔巴(Antonio Torralba)并不是IROS论文的合著者，他们合作开发了该系统的较早版本，分别在2017年和2018年的会议上发表。

在输入方面，ShadowCam使用来自摄像机的视频帧序列来瞄准特定的区域，比如角落前面的地板。它可以检测到光线强度随时间的变化，从一幅图像到另一幅图像，这可能表明有什么东西正在远离或靠近。其中一些变化可能很难检测到或肉眼看不到，可以由对象和环境的各种属性来确定。ShadowCam计算这些信息，并将每个图像归类为包含一个静止的物体或一个动态的、移动的物体。如果是动态图像，它会做出相应的反应。

将影子摄像头应用到自动驾驶汽车上需要一些进展。例如，早期的版本依靠的是一种叫做“AprilTags”的增强现实标签，类似于简化的二维码。机器人扫描标签来检测和计算它们相对于标签的精确三维位置和方向。ShadowCam使用标记作为环境的特征来瞄准可能包含阴影的特定像素块。但是用AprilTags修改现实环境是不现实的。

研究人员开发了一种结合图像配准和新的视觉里程测量技术的新方法。图像配准通常用于计算机视觉，它本质上是覆盖多个图像以显示图像中的变化。例如，医学图像配准与医学扫描重叠，以比较和分析解剖学差异。

用于火星漫游者的视觉测程技术，通过分析图像序列中的姿态和几何图形来实时估计相机的运动。研究人员特别采用了“直接稀疏测程法”(DSO)，它可以在类似于AprilTags捕获的环境中计算特征点。本质上，DSO在3D点云上绘制环境的特征，然后计算机视觉管道只选择位于感兴趣区域的特征，比如角落附近的地板。(感兴趣的区域事先手动标注。)

由于ShadowCam获取感兴趣区域的输入图像序列，因此它使用DSO-image-registration方法来覆盖来自机器人相同视点的所有图像。即使在机器人移动的时候，它也能够瞄准阴影所在的像素点，以帮助它检测图像之间的细微偏差。

接下来是信号放大，这是第一篇论文介绍的技术。可能包含阴影的像素在颜色上得到提升，从而降低了信噪比。这使得来自阴影变化的极其微弱的信号更容易被探测到。如果增强信号达到某个阈值——部分取决于它与附近其他阴影的偏离程度——ShadowCam将图像归类为“动态的”。根据信号的强度，系统可能会告诉机器人减速或停止。

“通过检测这个信号，你就可以小心了。它可能是一个人从角落后面跑出来的影子，或者是一辆停着的车，所以自动驾驶汽车可以减速或者完全停下来。”

无标记测试

在一项测试中，研究人员使用AprilTags和基于dso的新方法评估了该系统在分类移动或静止目标方面的性能。一辆自动轮椅驶向各个走廊的角落，而人们则把角落转到轮椅的路径上。这两种方法都达到了70%的分类准确率，表明不再需要AprilTags。

在另一项测试中，研究人员在一辆停在停车场的自动驾驶汽车上安装了影子摄像头，在那里，前灯被关闭，模拟夜间驾驶条件。他们比较了汽车检测时间和激光雷达。在一个示例场景中，ShadowCam检测到汽车掉头柱比激光雷达大约快0.72秒。此外，由于研究人员特别根据车库的照明条件调整了阴影摄像机，该系统的分类准确率达到了86%左右。

下一步，研究人员正在进一步开发该系统，以在不同的室内和室外照明条件下工作。在未来，也可能会有方法来加速系统的阴影检测和自动标注目标区域的阴影感应过程。

这项工作是由丰田研究所资助的。