爱出风头的机器人学习操作物体的基本原理

麻省理工学院的研究人员已经编译了一个数据集，该数据集捕捉了一个机器人系统在物理上推动数百个不同物体的详细行为。使用该数据集——同类数据中最大和最多样化的——研究人员可以训练机器人“学习”推动动力学，这是许多复杂的对象操作任务的基础，包括重新定位和检查对象，以及整理场景。

为了捕捉这些数据，研究人员设计了一个自动化系统，包括一个具有精确控制的工业机械臂、一个3D运动跟踪系统、深度和传统相机，以及一个将所有东西缝合在一起的软件。手臂推动可以根据重量、形状和质量分布进行调整的模块对象。对于每一次推送，系统都会捕捉到这些特征如何影响机器人的推送。

这个数据集名为“Omnipush”，包含250个对象的250个不同的推送，总共大约有62,500个不同的推送。例如，它已经被研究人员用来建立模型，帮助机器人预测物体被推到什么地方。

“我们需要大量丰富的数据来确保我们的机器人能够学习，”机械工程系(MechE)的研究生玛丽亚•鲍扎(Maria Bauza)表示。“在这里，我们从一个真实的机器人系统中收集数据，(而且)这些物体的多样性足以捕捉到推动现象的丰富性。”这对于帮助机器人理解推的工作原理，并将信息转化为现实世界中的其他类似物体非常重要。”

与Bauza一同发表论文的有:计算机科学与人工智能实验室和电子工程与计算机科学系的研究生Ferran Alet和Lin yin – chen;工程学院卓越教学教授Tomas Lozano-Perez;莱斯利·p·克尔布林，松下计算机科学与工程教授;电子工程系助理教授菲利普·伊索拉;以及MechE的副教授阿尔贝托·罗德里格斯(Alberto Rodriguez)。

分散的数据

为什么要关注推动行为?罗德里格斯解释说，模拟物体与物体表面之间的摩擦所产生的推动动力学，在更高级别的机器人任务中是至关重要的。看看这个视觉上和技术上都令人印象深刻的机器人吧，它可以玩叠叠乐，罗德里格斯最近参与了它的设计。罗德里格斯说:“机器人正在执行一项复杂的任务，但驱动这项任务的力学核心仍然是推动一个物体，比如物体之间的摩擦。”

Omnipush基于一个类似的数据集，该数据集由Rodriguez、Bauza和其他研究人员在操纵和机制实验室(MCube)构建，他们只捕获了10个对象上的推送数据。在2016年公开数据集之后，他们收集了研究人员的反馈。一个抱怨是缺乏对象多样性:在数据集上训练的机器人很难将信息泛化到新的对象上。也没有视频，这对计算机视觉、视频预测和其他任务很重要。

对于他们的新数据集，研究人员利用一个工业机器人手臂来精确控制推力器的速度和位置，基本上是一个垂直的钢棒。当手臂推动物体时，一个“维康”运动跟踪系统就会跟踪物体，该系统已在电影、虚拟现实和研究中得到应用。还有一个RGB-D摄像头，可以为拍摄的视频增加深度信息。

关键是构建模块化对象。统一的中心部分由铝制成，看起来像四角星，重约100克。每个中心部件的中心和点上都有标记，因此维康系统可以在一毫米内探测到它的姿态。

四种形状的小块——凹面、三角形、长方形和圆形——可以通过磁性附着在中间的任何一边。每块碎片的重量在31克到94克之间，但是额外的重量在60克到150克之间，可以放在碎片的小洞里。所有像拼图一样的物体水平和垂直排列，这有助于模拟具有相同形状和质量分布的单个物体的摩擦力。所有不同边、重量和质量分布的组合加起来有250个独特的物体。

每推一次，手臂就会自动移动到距离物体几厘米的随机位置。然后，它选择一个随机的方向，推动物体一秒钟。从它停止的地方开始，然后选择另一个随机方向，重复这个过程250次。每个push记录了对象的姿态和RGB-D视频，可用于各种视频预测目的。收集数据每天需要12个小时，持续两周，总计超过150个小时。只有在手动重新配置对象时才需要人工干预。

这些物品并没有特别模仿任何现实生活中的物品。相反，它们的设计是为了捕捉真实世界中物体的“运动学”和“质量系统”的多样性，而“运动学”和“质量系统”是真实世界中物体运动的物理模型。然后，机器人可以将一个具有不均匀质量分布的Omnipush对象的物理模型推演到任何具有类似不均匀重量分布的真实对象。

想象一下，你推着一张有四条腿的桌子，桌子上的大部分重量超过了其中一条腿。当你推桌子时，你会看到它在沉重的腿上旋转，必须重新调整。了解质量分布，以及它对推的结果的影响，是机器人可以通过这些物体来学习的。”罗德里格斯说。

为新的研究

在一个实验中，研究人员使用Omnipush训练一个模型来预测被推物体的最终姿态，只给出初始姿态和推的描述。他们在150个Omnipush对象上训练模型，并在一个预定的对象上测试它。结果表明，经过全方位训练的模型的准确率是在几个类似数据集上训练的模型的两倍。在他们的论文中，研究人员还记录了其他研究人员用于比较的准确性基准。

因为Omnipush捕捉推送的视频，所以一个潜在的应用是视频预测。例如，一位合作者现在正在使用数据集训练机器人“想象”在两点之间推物体。经过Omnipush训练后，将机器人作为输入两帧视频，显示一个物体的起始位置和结束位置。利用起始位置，机器人预测所有未来的视频帧，以确保物体到达终点位置。然后，它以与每个预测的视频帧匹配的方式推送对象，直到它到达具有结束位置的帧。

“机器人会问，‘如果我做这个动作，物体在这个坐标系中会在哪里?’然后，它会选择一个动作，这个动作能最大限度地让物体处于它想要的位置，”Bauza说。“它首先通过想象图像中的像素在被推后如何变化来决定如何移动物体。”

卡内基甜瓜大学计算机科学与机器人技术教授马修·t·梅森(Matthew T. Mason)说:“Omnipush包括对物体运动的精确测量，以及对世界上机器人与物体之间的一类重要交互作用的视觉数据。”“机器人研究人员可以利用这些数据开发和测试新的机器人学习方法……这将推动机器人操作的持续进步。”