机器人玩橡皮泥

当我们无意中发现一堆荧光的、橡胶般的水、盐和面粉的混合物时，我们许多人内心的孩子会感到一种难以抗拒的喜悦:play dough(游戏面团)。(即使这种情况在成年期很少发生。)

虽然对两岁的孩子来说，操纵橡皮泥很有趣也很容易，但机器人很难处理这些不成形的污泥。机器在处理刚性物体方面已经变得越来越可靠，但操作柔软、可变形的物体带来了一系列的技术挑战，最重要的是，就像大多数柔性结构一样，如果你移动了一个部分，你可能会影响到其他所有部分。

来自麻省理工学院计算机科学和人工智能实验室(CSAIL)和斯坦福大学的科学家们最近让机器人动手玩这种建模化合物，但不是为了怀旧。他们的新系统直接从视觉输入中学习，让一个有两个手指抓手的机器人看到、模拟和塑造松软的物体。“RoboCraft”可以可靠地计划一个机器人的行为，捏和释放玩耍面团，以做出各种字母，包括它从未见过的字母。只用了10分钟的数据，这只两根手指的手就可以与遥控机器的人类对手相匹敌——在测试任务中的表现与对手相当，有时甚至更好。

CSAIL博士生、一篇关于RoboCraft的新论文的作者李云珠(音)说:“对具有高度自由度的物体建模和操作是机器人学习如何实现复杂的工业和家庭交互任务的基本能力，比如饺子、寿司和制作陶器。”“虽然最近在处理衣服和绳子方面有了进展，但我们发现，像面团或橡皮泥这样的高可塑性物体——尽管在这些家庭和工业环境中无处不在——在很大程度上是一个尚未开发的领域。通过使用RoboCraft，我们可以直接从高维感官数据中学习动力学模型，这为我们执行有效规划提供了一个有希望的数据驱动途径。”

有了未定义的，光滑的材料，整个结构需要考虑在你可以做任何类型的高效和有效的建模和规划。通过将图像转换成小粒子的图形，再加上算法，RoboCraft利用图形神经网络作为动力学模型，对材料的形状变化做出了更准确的预测。

通常，研究人员使用复杂的物理模拟器来模拟和理解施加在物体上的力和动力学，但RoboCraft只使用视觉数据。该系统的内部工作依赖于三个部分来塑造软材料，比如说，一个“r”字。

第一部分——感知——是关于学习“看”。它使用相机从环境中收集原始的视觉传感器数据，然后这些数据被转化成小颗粒云来表示形状。然后，一个基于图形的神经网络使用这些粒子数据来学习“模拟”物体的动态，或它如何移动。然后，算法帮助规划机器人的行为，让它学会“塑造”一团面团，用来自多次捏捏的训练数据武装起来。虽然字母有点松散，但它们无疑具有代表性。

除了可爱的形状，这个团队(实际上)正在用面团和现成的馅料包饺子。现在，只有两个手指，这是一个很大的要求。《RoboCraft》将需要额外的工具(面包师需要多个工具来烹饪;机器人也一样)——擀面杖、印章和模具。

科学家们设想的未来更远的领域是使用RoboCraft来帮助做家务和家务，这可能对老年人或行动不便的人有特别的帮助。为了做到这一点，考虑到可能发生的许多障碍，需要一个更有适应性的面团或物品的表示，以及探索什么类型的模型可能适合捕捉底层的结构系统。

“《RoboCraft》从本质上证明，这种预测模型可以通过非常有效的数据方式学习来计划运动。从长远来看，我们正在考虑使用各种工具来操纵材料。”“如果你考虑做饺子或面团，仅仅一个手是无法解决的。帮助模型理解和完成更长远的规划任务，例如，在当前的工具、运动和动作下，面团将如何变形，是未来工作的下一步。”

李彦宏与斯坦福大学的硕士生施昊晨共同撰写了这篇论文;徐华哲，斯坦福大学博士后;黄志敖，加州大学圣地亚哥分校博士生;以及斯坦福大学助理教授吴家军。他们将在纽约举行的机器人:科学与系统会议上展示这项研究。这项工作得到了斯坦福人类中心人工智能研究所(HAI)、三星全球研究拓展计划(GRO)、丰田研究所(TRI)以及亚马逊、欧特克、Salesforce和博世的部分支持。