新框架允许机器人通过在线人类演示视频进行学习
要想在现实环境中成功部署,机器人必须能够可靠地完成各种日常任务,从家务到工业流程。它们可以完成的一些任务包括操纵织物,例如折叠衣服放入衣柜或帮助行动不便的老年人在社交活动前打领带。
开发能够有效处理这些任务的机器人迄今为止已被证明是相当具有挑战性的。许多用于训练机器人进行织物操作任务的方法都依赖于模仿学习,这是一种使用视频、动作捕捉镜头和人类完成相关任务的其他数据来训练机器人控制的技术。
虽然其中一些技术取得了令人鼓舞的成果,但要取得良好效果,它们通常需要大量的人类演示数据。这些数据可能成本高昂且难以收集,而现有的开源数据集并不总是包含与训练其他计算技术(如计算机视觉或生成式 AI 模型)一样多的数据。
新加坡国立大学、上海交通大学和南京大学的研究人员最近介绍了一种替代方法,可以通过人类演示来增强和简化机器人算法的训练。这种方法在arXiv上预先发表的一篇论文中概述,旨在利用每天在线发布的大量视频,将其用作日常任务的人类演示。
“这项工作始于一个简单的想法,即建立一个系统,让机器人利用网上无数的人类演示视频来学习复杂的操作技能,”论文合著者彭伟昆告诉 Tech Xplore。“换句话说,给定一个任意的人类演示视频,我们希望机器人完成视频中显示的相同任务。”
虽然之前的研究也引入了利用视频片段的模仿学习技术,但他们使用的是特定领域的视频(即人类在机器人稍后将处理任务的同一环境中完成特定任务的视频),而不是在任何环境或设置中收集的任意视频。
另一方面,彭和他的同事开发的框架旨在让机器人能够从网上找到的任意演示视频中进行模仿学习。
该团队的方法有三个主要组成部分,即 Real2Sim、Learn@Sim 和 Sim2Real。第一个组成部分是该框架的核心和最重要的部分。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
6月25-28日,由中国进出境生物安全研究会、中国国际旅行卫生保健协会主办,中国青年创业就业基金会支持,中国出入...浏览全文>>
-
胃肠镜检查,听起来可能有些令人不安,但实际上,它可能是生活中的救命稻草。对于一些人来说,定期进行胃肠镜...浏览全文>>
-
6月16日-20日,2025年优秀博士后研究人员(绍兴)研学活动顺利举行。本次活动汇聚了来自全国各地的百余名博士后,...浏览全文>>
-
近日,天津松果生物医疗科技有限公司自主研发的牛跟腱来源去端肽I型胶原蛋白原材料成功通过国家药品监督管理局...浏览全文>>
-
在数字化产业转型的浪潮奔涌之际,病理学正经历着前所未有的革新机遇。奥伟登(Evident)凭借百年光学技术积淀,以...浏览全文>>
-
6月6-8日,CHINAGUT 2025中国肠道大会在宁波国际会议中心隆重举办。大会由南京医科大学第二附属医院、国家消化...浏览全文>>
-
在第28届北京国际口腔展这一行业风向标级盛会上,北京易岭生物科技有限公司(下面简称易岭生物)凭借重磅新品发...浏览全文>>
-
2025款上汽大众ID 4 X在安徽阜阳地区的售价会根据配置和选装包有所不同。基础版车型的厂商指导价大约在20万...浏览全文>>
-
岚图FREE,作为一款集豪华与智能于一体的新能源SUV,正以全新的姿态迎接每一位渴望高品质出行的用户。现在,岚...浏览全文>>
-
安徽阜阳的大众ARTEON 2022新款现已到店,最低售价从34 80万元起,无疑是近期购车的最佳时机。这款车型以其...浏览全文>>