新技术帮助机器人将物体装入狭小空间

任何曾经尝试过将家庭大小的行李装入轿车大小的后备箱的人都知道这是一个难题。机器人也在努力完成密集的包装任务。

对于机器人来说，解决包装问题涉及满足许多约束条件，例如堆叠行李，使手提箱不会从后备箱中倒出，重物不会放在较轻的物体上，并避免机器人手臂和汽车保险杠之间的碰撞。

一些传统方法按顺序处理此问题，一次猜测满足一个约束的部分解决方案，然后检查是否违反了任何其他约束。由于要采取一系列很长的行动，以及要打包的一堆行李，这个过程可能非常耗时。

麻省理工学院的研究人员使用了一种称为扩散模型的生成人工智能形式来更有效地解决这个问题。他们的方法使用一组机器学习模型，每个模型都经过训练以表示一种特定类型的约束。这些模型组合在一起，生成包装问题的全局解决方案，同时考虑所有约束。

他们的方法能够比其他技术更快地生成有效的解决方案，并且在相同的时间内产生了更多的成功解决方案。重要的是，他们的技术还能够通过约束和大量对象的新颖组合来解决模型在训练过程中没有看到的问题。

由于这种可推广性，它们的技术可以用来教机器人如何理解和满足包装问题的整体约束，例如避免碰撞的重要性或希望一个物体靠近另一个物体。以这种方式训练的机器人可以应用于各种环境中的各种复杂任务，从仓库中的订单履行到在家中组织书架。

“我的愿景是推动机器人完成更复杂的任务，这些任务有许多几何约束和需要做出更连续的决策——这些是服务机器人在我们非结构化和多样化的人类环境中面临的问题。借助组合扩散模型的强大工具，我们现在可以解决这些更复杂的问题并获得出色的泛化结果，“电气工程和计算机科学研究生Zhutian Yang说，他是关于这种新机器学习技术的论文的主要作者。

她的合著者包括麻省理工学院的研究生毛佳元和杜一伦;斯坦福大学计算机科学助理教授吴佳军;Joshua B. Tenenbaum，麻省理工学院脑与认知科学系教授，计算机科学与人工智能实验室（CSAIL）成员;托马斯·洛萨诺-佩雷斯，麻省理工学院计算机科学与工程教授，CSAIL成员;资深作者Leslie Kaelbling，麻省理工学院松下计算机科学与工程教授，CSAIL成员。该研究将在机器人学习会议上发表。

约束复杂性

连续约束满足问题对机器人来说尤其具有挑战性。这些问题出现在多步骤机器人操作任务中，例如将物品装入盒子或摆放餐桌。它们通常涉及实现许多约束，包括几何约束，例如避免机器人手臂与环境之间的碰撞;物理约束，例如堆叠对象以使其稳定;和定性限制，例如将勺子放在刀的右侧。

可能存在许多约束，并且它们因问题和环境而异，具体取决于对象的几何形状和人类指定的要求。

为了有效地解决这些问题，麻省理工学院的研究人员开发了一种称为扩散-CCSP的机器学习技术。扩散模型通过迭代优化其输出来学习生成类似于训练数据集中样本的新数据样本。

为此，扩散模型学习对潜在解决方案进行小幅改进的过程。然后，为了解决问题，他们从一个随机的、非常糟糕的解决方案开始，然后逐渐改进它。

例如，想象一下将盘子和器皿随机放置在模拟桌子上，允许它们在物理上重叠。对象之间的无碰撞约束将导致它们相互推开，而定性约束会将盘子拖到中心，对齐沙拉叉和餐叉等。

扩散模型非常适合这种连续约束-满足问题，因为可以组合多个模型对一个物体的姿态的影响，以鼓励满足所有约束，杨解释说。通过每次从随机的初始猜测开始，模型可以获得不同的良好解决方案。

协同工作

对于扩散-CCSP，研究人员希望捕捉约束的相互关联性。例如，在打包中，一个约束可能要求某个对象位于另一个对象旁边，而第二个约束可能指定其中一个对象必须位于何处。

扩散-CCSP学习一系列扩散模型，每种类型的约束都有一个。这些模型是一起训练的，因此它们共享一些知识，例如要打包的对象的几何形状。

然后，这些模型协同工作以找到解决方案，在本例中是要放置的对象的位置，这些解决方案共同满足约束条件。

“我们并不总是在第一次猜测时就找到解决方案。但是，当您不断完善解决方案并发生一些违规行为时，它应该会引导您找到更好的解决方案。你从出错的地方得到指导，“她说。

与其他方法相比，为每种约束类型训练单个模型，然后将它们组合在一起进行预测，可以大大减少所需的训练数据量。

但是，训练这些模型仍然需要大量数据来演示已解决的问题。杨说，人类需要用传统的慢方法解决每个问题，这使得生成此类数据的成本令人望而却步。

相反，研究人员通过首先提出解决方案来逆转这一过程。他们使用快速算法生成分段框，并将各种 3D 对象放入每个分段中，确保紧密包装、稳定的姿势和无碰撞的解决方案。

“通过这个过程，数据生成在模拟中几乎是即时的。我们可以生成数以万计的环境，我们知道问题是可以解决的，“她说。

使用这些数据进行训练，扩散模型协同工作，以确定机器人抓手应放置物体的位置，以便在满足所有约束的同时完成包装任务。

他们进行了可行性研究，然后演示了Diffusion-CCSP与真正的机器人解决许多难题，包括将2D三角形装入盒子，包装具有空间关系约束的2D形状，堆叠具有稳定性约束的3D对象，以及用机械臂包装3D对象。

他们的方法在许多实验中优于其他技术，产生了更多既稳定又无碰撞的有效解决方案。

在未来，Yang和她的合作者希望在更复杂的情况下测试扩散-CCSP，例如可以在房间里移动的机器人。他们还希望使Diffusion-CCSP能够解决不同领域的问题，而无需对新数据进行重新培训。

“Diffusion-CCSP是一种机器学习解决方案，它建立在现有强大的生成模型之上，”佐治亚理工学院交互式计算学院助理教授、NVIDIA AI研究科学家Danfei Xu说，他没有参与这项工作。“它可以通过组合已知的单个约束模型来快速生成同时满足多个约束的解决方案。虽然它仍处于开发的早期阶段，但这种方法的持续进步有望在各种应用中实现更高效、更安全和更可靠的自主系统。

这项研究部分由美国国家科学基金会、空军科学研究办公室、海军研究办公室、麻省理工学院-IBM 沃森人工智能实验室、麻省理工学院智能探索、大脑、思维和机器中心、波士顿动力人工智能研究所、斯坦福大学以人为本的人工智能研究所、ADI公司、摩根大通公司、 和 Salesforce。