机器人克服不确定性，检索被掩埋的物体

对于人类来说，找到埋在一堆东西下面的丢失的钱包非常简单——我们只需要从那堆东西中取出东西，直到找到钱包。但对于一个机器人来说，这项任务需要对其中的堆和物体进行复杂的推理，这是一个严峻的挑战。

麻省理工学院的研究人员此前展示了一种结合了视觉信息和射频(RF)信号的机械臂，它可以找到带有RFID标签(反射天线发送的信号)的隐藏物体。在这项工作的基础上，他们现在开发了一种新的系统，可以有效地检索埋在堆里的任何物体。只要堆中的一些物品有RFID标签，目标物品不需要被标记，系统就可以恢复它。

该系统背后的算法被称为FuseBot，可以判断堆下物体的可能位置和方向。然后FuseBot找到最有效的方法移除障碍物，提取目标物品。这种推理使FuseBot比最先进的机器人系统找到更多的隐藏物品，时间缩短了一半。

这种速度在电子商务仓库中尤其有用。电子工程与计算机科学系副教授、媒体实验室信号动力学小组主任、资深作者法德尔·阿迪布说，一个负责处理回报的机器人可以通过FuseBot系统更有效地在未分类的堆中找到物品。

“这篇论文首次表明，环境中仅仅存在一个带有rfid标签的物品，就可以更容易地以更有效的方式完成其他任务。我们之所以能够做到这一点，是因为我们在系统中添加了多模态推理——FuseBot可以通过视觉和射频推理来理解一堆物品，”Adib补充道。

与阿迪布一起发表这篇论文的还有研究助理塔拉·博罗沙基(Tara Boroushaki)，她是论文的第一作者;劳拉·多兹;和Nazish Naeem。这项研究将在机器人:科学与系统会议上发表。

针对标签

最近的一份市场报告显示，超过90%的美国零售商现在使用RFID标签，但这项技术并不普遍，导致在一堆物品中只有部分物品被贴上标签的情况。

这个问题启发了这个小组的研究。

在FuseBot中，机械臂使用一个附加的摄像机和射频天线从混合堆中检索未标记的目标物品。该系统用摄像头扫描桩，创建环境的3D模型。同时，它从天线发送信号来定位RFID标签。这些无线电波可以穿过大多数固体表面，因此机器人可以“看到”堆的深处。由于目标物品没有标记，FuseBot知道该物品不能与RFID标签位于完全相同的位置。

算法融合这些信息来更新环境的3D模型，并突出目标物品的潜在位置;机器人知道自己的大小和形状。然后系统根据堆中物品的位置和RFID标签的位置来确定需要移除的物品，以最少的移动找到目标物品。

Boroushaki说，将这种推理纳入系统是具有挑战性的。

机器人不知道堆下的物体是如何定位的，也不知道一个黏糊糊的物体会如何被更重的物体压变形。它通过概率推理克服了这一挑战，利用它所知道的物体的大小和形状以及它的RFID标签位置来建模该物体可能占据的3D空间。

当它删除条目时，它也会使用推理来决定接下来删除哪个条目是“最好的”。

“如果我给一个人一堆东西去搜索，他们很可能会先把最大的东西拿掉，看看下面有什么。机器人所做的事情与此类似，但它还融入了RFID信息，以做出更明智的决定。它问:“如果它把这个东西从表面上移除，它会对这堆东西了解多少?”’”Boroushaki说。

在移除一个物体后，机器人会再次扫描这个堆，并利用新的信息来优化它的策略。

检索结果

这种推理，以及它对射频信号的使用，让FuseBot比只使用视觉的最先进的系统更有优势。该团队使用真正的机械臂进行了180多次实验，并放置了办公用品、填充动物和服装等家庭用品。他们改变了每一堆物品的大小和有射频识别标签的数量。

FuseBot系统提取目标物品的成功率为95%，而其他机器人系统的成功率为84%。它用少了40%的移动完成了这一点，并且能够以两倍多的速度找到和检索目标物品。

“我们看到，通过结合这种射频信息，成功率有了很大提高。令人兴奋的是，我们能够匹配我们之前的系统的性能，并在目标物品没有RFID标签的情况下超过它，”多德说。

Boroushaki补充说，FuseBot可以应用于各种设置，因为执行复杂推理的软件可以在任何计算机上实现——它只需要与带有摄像头和天线的机械臂通信。

在不久的将来，研究人员计划在FuseBot中加入更复杂的模型，使其在可变形物体上表现更好。除此之外，他们还对探索不同的操作方式感兴趣，比如用机械臂将物品推开。该系统的未来迭代还可以用于移动机器人，在多个堆中寻找丢失的物体。

“我认为这项工作在很多方面都非常令人兴奋，展示了将无线信号技术的一些进展与机器人紧密结合的潜力。例如，这篇论文所基于的一个关键观察结果是，与可见光和红外不同，射频信号可以通过标准材料，如纸板、木材和塑料。这篇论文进一步利用这一观察结果来解决机器人技术中一些传统传感器非常有限的难题，比如在混乱中搜索物体，”哈佛大学约翰·a·保尔森工程与应用科学学院计算机科学助理教授斯蒂芬妮·吉尔(Stephanie Gil)说，他没有参与这项研究。“该论文进一步推进了在机器人中使用射频信号的最先进技术，还考虑了在混乱中搜索未标记物品的非常困难的情况。总之，这篇论文展示了将无线通信技术集成到机器人中的传感和感知任务的巨大前景，并为机器人技术提供了一个非常令人兴奋的前景。”

这项工作得到了国家科学基金会、斯隆研究奖学金、NTT DATA、Toppan、Toppan Forms和麻省理工学院媒体实验室的部分资助。