要想在现实环境中成功部署，机器人必须能够可靠地完成各种日常任务，从家务到工业流程。它们可以完成的一些任务包括操纵织物，例如折叠衣服放入衣柜或帮助行动不便的老年人在社交活动前打领带。
开发能够有效处理这些任务的机器人迄今为止已被证明是相当具有挑战性的。许多用于训练机器人进行织物操作任务的方法都依赖于模仿学习，这是一种使用视频、动作捕捉镜头和人类完成相关任务的其他数据来训练机器人控制的技术。
虽然其中一些技术取得了令人鼓舞的成果，但要取得良好效果，它们通常需要大量的人类演示数据。这些数据可能成本高昂且难以收集，而现有的开源数据集并不总是包含与训练其他计算技术(如计算机视觉或生成式 AI 模型)一样多的数据。
新加坡国立大学、上海交通大学和南京大学的研究人员最近介绍了一种替代方法，可以通过人类演示来增强和简化机器人算法的训练。这种方法在arXiv上预先发表的一篇论文中概述，旨在利用每天在线发布的大量视频，将其用作日常任务的人类演示。
“这项工作始于一个简单的想法，即建立一个系统，让机器人利用网上无数的人类演示视频来学习复杂的操作技能，”论文合著者彭伟昆告诉 Tech Xplore。“换句话说，给定一个任意的人类演示视频，我们希望机器人完成视频中显示的相同任务。”
虽然之前的研究也引入了利用视频片段的模仿学习技术，但他们使用的是特定领域的视频(即人类在机器人稍后将处理任务的同一环境中完成特定任务的视频)，而不是在任何环境或设置中收集的任意视频。
另一方面，彭和他的同事开发的框架旨在让机器人能够从网上找到的任意演示视频中进行模仿学习。
该团队的方法有三个主要组成部分，即 Real2Sim、Learn@Sim 和 Sim2Real。第一个组成部分是该框架的核心和最重要的部分。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！