想象一下，一个咖啡杯放在桌子上。现在，想象一下一本书部分遮住了杯子。作为人类，即使我们看不到所有咖啡杯，我们仍然知道咖啡杯是什么。但是机器人可能会感到困惑。
仓库中的机器人，甚至在我们家周围的机器人，如果它们靠得太近，或者空间杂乱无章，就很难识别和捡起物体。这是因为机器人缺乏心理学家所说的“物体统一性”，或者说，即使我们看不到所有物体，我们也无法识别物体。
华盛顿大学的研究人员已经开发出一种教机器人这项技能的方法。这种方法简称为THOR，它允许低成本机器人识别杂乱架子上的物体，包括芥末瓶，品客罐和网球。在最近发表在《IEEE Transactions on Robotics》上的一篇论文中，该团队证明了THOR优于当前最先进的模型。
威斯康星大学新闻联系了资深作者、威斯康星大学工业与系统工程系和机械工程系副教授Ashis Banerjee，了解机器人如何识别物体以及THOR如何工作的详细信息。
机器人如何感知周围环境？
阿希斯·班纳吉（Ashis Banerjee）： 我们用视觉、听觉、嗅觉、味觉和触觉来感知周围的世界。机器人使用一种或多种类型的传感器来感知周围环境。机器人使用标准彩色相机或更复杂的立体或深度相机“看到”事物。虽然标准相机只是记录周围环境的彩色和纹理图像，但立体和深度相机也可以提供有关物体距离的信息，就像我们的眼睛一样。
然而，就其本身而言，传感器无法使机器人“理解”周围环境。机器人需要一个类似于人脑视觉皮层的视觉感知系统来处理图像并检测所有物体的位置，估计它们的方向，识别物体可能是什么，并解析写在上面的任何文本。
为什么机器人很难识别杂乱空间中的物体？
AB：这里有两个主要挑战。首先，可能存在大量不同形状和大小的物体。这使得机器人的感知系统难以区分不同的物体类型。其次，当几个物体彼此靠近时，它们会阻碍其他物体的视线。当机器人无法完整地看到物体时，它们很难识别物体。
在杂乱的空间中，是否有任何类型的物体特别难以识别？
AB：这很大程度上取决于存在哪些对象。例如，如果存在各种尺寸，则识别较小的物体具有挑战性。区分具有相似或相同形状的物体（例如不同种类的球或盒子）也更具挑战性。当机器人从房间的不同有利位置收集图像时，柔软或粘稠的物体可能会改变形状，从而带来额外的挑战。
那么THOR是如何工作的，为什么它比以前解决这个问题的尝试更好呢？
AB：THOR实际上是主要作者Ekta Samani的心血结晶，他作为UW博士生完成了这项研究。THOR的核心是，它允许机器人模仿我们人类如何知道部分可见的物体不是破碎的或全新的物体。
THOR 通过使用场景中对象的形状来创建每个对象的 3D 表示来做到这一点。从那里开始，它使用拓扑学（一个研究对象不同部分之间连通性的数学领域）将每个对象分配给“最有可能”的对象类。它通过将其 3D 表示与存储的表示库进行比较来实现此目的。
THOR不依赖于用杂乱的房间图像来训练机器学习模型。它只需要每个不同对象的图像。THOR不需要机器人具有专门且昂贵的传感器或处理器，并且它也可以与商用相机配合使用。
这意味着THOR非常容易构建，更重要的是，它很容易用于具有不同背景、照明条件、物体布置和杂乱程度的全新空间。它还比现有的基于形状的 3D 识别方法效果更好，因为它对物体的 3D 表示更详细，这有助于实时识别物体。
如何使用THOR？
AB：THOR可以与任何室内服务机器人一起使用，无论机器人是在某人的家中、办公室、商店、仓库设施还是制造工厂中操作。事实上，我们的实验评估表明，THOR对仓库、休息室和家庭活动室类型的空间同样有效。
虽然 THOR 在这些杂乱的空间中对各种物体的性能明显优于其他现有方法，但它在识别厨房风格的物体（例如杯子或水罐）方面做得最好，这些物体通常具有独特但规则的形状和适度的尺寸变化。
下一步是什么？
还有一些问题需要解决，我们正在解决其中的一些问题。例如，现在，THOR只考虑物体的形状，但未来的版本也可以关注外观的其他方面，例如颜色，纹理或文本标签。同样值得研究的是如何使用THOR来处理柔软或损坏的物体，这些物体的形状与预期的配置不同。
此外，某些空间可能非常杂乱，以至于某些对象可能根本看不到。在这些场景中，机器人需要能够决定四处移动以更好地“看到”物体，或者，如果允许的话，在一些物体周围移动以获得更好的被遮挡物体的视图。
最后但并非最不重要的一点是，机器人需要能够处理它以前从未见过的物体。在这些场景中，机器人应该能够将这些物体放入“杂项”或“未知”物体类别中，然后寻求人类的帮助以正确识别这些物体。
这项研究部分由亚马逊研究奖资助。
欲了解更多信息，请联系 Banerjee [email protected]。
新闻旨在传播有益信息，英文版原文来自https://www.washington.edu/news/2024/02/07/qa-helping-robots-identify-objects-in-cluttered-spaces/