懒人福音！谷歌AI整理房间、收盘子、叠罗汉，样样拿手！( 二 ) 新智元报道编辑：Q【新智元导

文章图片
通过利用闭环的视觉反馈， TransporterNets有能力学习各种多步的连续任务，并进行适度的演示:例如汉诺塔的移动磁盘，或组装在训练期间没有看到的新物体的成套工具等。
这些任务具有相当的“长视野” ，这意味着为了解决任务，模型必须正确地排列许多单个选择的顺序，同时策略也倾向于学习紧急恢复行为（emergentrecoverybehaviors）。

文章图片
关于这些结果的一个令人惊讶的事情是，除了感知之外，模型还开始学习类似于高级计划的行为。例如，要解决汉诺塔问题，模型必须选择磁盘移动的下一步，这需要基于当前可见磁盘及其位置识别状态。这些行为表明，对于所有内置的不变性，模型可以将其能力集中于学习操作中更高级的模式。
TransporterNets也可以学习使用任何由两个终端执行器定义的运动原语的任务，例如将成堆的小物体推入一个目标设置中，或者重新配置一个可变形的绳子来连接一个三边形的两个端点。这表明刚性空间位移可以作为非刚性位移的有用前提。

文章图片
结论
TransporterNets为基于视觉的操作学习提供了一种很有前途的方法，但也存在一定的局限性。例如，它们可能会受到噪声3D数据的影响，其次，只演示了稀疏的基于方向点的控制与运动原语，目前还不清楚如何超越空间行动空间的力量或基于扭矩的动作来扩展它们。
但是总的来说，目前研究人员对这个方向的工作感到兴奋，希望它能为讨论过的应用程序之外的扩展提供灵感。
详细讲解可以观看视频：
https://www.youtube.com/watch?v=8afHfReCfPo&feature=emb_logo
参考链接：
https://ai.googleblog.com/
【懒人福音！谷歌AI整理房间、收盘子、叠罗汉，样样拿手！】

文章图片