你可能听说过“经验是最好的老师”，但如果在现实世界中学习是非常昂贵的呢?这就是机器人专家在训练他们的机器完成操作任务时所面临的困境。真实世界的交互数据是昂贵的，所以他们的机器人经常从不同活动的模拟版本中学习。
尽管如此，这些模拟呈现的任务范围有限，因为每个行为都是由人类专家单独编码的。因此，许多机器人无法完成以前从未见过的家务提示。例如，机器人可能无法制造玩具汽车，因为它需要理解请求中的每个小任务。如果没有足够的、创造性的模拟数据，机器人就无法完成这一总体过程(有时被称为长期任务)中的每一步。
麻省理工学院CSAIL的“GenSim”试图将这些机器可以训练的模拟任务扩大到更大的规模。在用户提示大型语言模型(llm)自动生成新任务或概述期望行为中的每个步骤之后，该方法会模拟这些指令。通过利用GPT4等模型中的代码，GenSim在帮助机器人完成制造、家务和物流等每一项任务方面取得了进展。
多功能系统具有目标导向和探索模式。在目标导向设置中，GenSim处理用户输入的杂务，并分解完成该目标所需的每个步骤。在探索设置中，系统会提出新的任务。对于这两种模式，流程都从生成任务描述和模拟行为所需的代码的LLM开始。然后，该模型使用任务库来优化代码。然后，这些指令的最终草案可以创建模拟，教机器人如何做新的家务。
在人类对系统进行了10项任务的预训练后，GenSim自动生成了100种新行为。与此同时，可比较的基准测试只能通过手动对每个任务进行编码来实现这一壮举。GenSim还在几次演示中帮助机器人手臂，在这些演示中，它的模拟成功地训练了机器执行任务，比如以比同类方法更高的速度放置彩色块。
“一开始，我们认为将你在大型语言模型中发现的泛化和外推类型应用到机器人技术中会很神奇，”麻省理工学院CSAIL博士生王丽瑞说，他是发表在arXiv预印本服务器上的论文的主要作者。
“因此，我们开始通过模拟程序的媒介提取这些知识。然后，我们根据生成的任务训练的模拟策略来引导现实世界的策略，我们通过适应来执行它们，表明GenSim在模拟和现实世界中都有效。”
GenSim可以在厨房机器人、制造业和物流领域提供潜在的帮助，在这些领域，这种方法可以产生训练行为。反过来，这将使机器能够适应多步骤过程的环境，例如堆叠和移动箱子到正确的区域。
目前，该系统只能辅助取放活动，但研究人员认为，GenSim最终可以产生更复杂、更灵巧的任务，比如使用锤子、打开盒子、把东西放在架子上。此外，该方法容易产生幻觉和接地问题，需要进一步的实际测试来评估它生成的任务的有用性。尽管如此，GenSim为法学硕士在构思新的机器人活动方面提供了一个令人鼓舞的未来。
“机器人学习的一个基本问题是任务来自哪里，以及如何指定任务，”斯坦福大学(Stanford University)助理教授吴佳军(Jiajun Wu)说。他没有参与这项研究。“GenSim的论文提出了一种新的可能性:我们利用基础模型来根据他们所学到的常识知识生成和指定任务。这种鼓舞人心的方法为开发通才机器人开辟了许多未来的研究方向。”
“大型语言模型的到来拓宽了机器人学习的可能性，GenSim是法学硕士新应用的一个很好的例子，这在以前是不可实现的，”谷歌Deepmind研究员、斯坦福大学兼职教授卡罗尔·豪斯曼补充道，他也没有参与这篇论文。
“这表明llm不仅可以用于资产和环境生成，而且还可以大规模生成机器人行为，这是以前无法实现的壮举。我很高兴看到可扩展的模拟行为生成将如何影响传统的数据匮乏的机器人学习领域，我对它解决许多现有瓶颈的潜力非常乐观。”
德克萨斯大学奥斯汀分校的助理教授Yuke Zhu指出:“机器人模拟是为训练和评估机器人学习模型提供数据和基准的重要工具。”他没有参与GenSim项目。“使用仿真工具的一个实际挑战是用最少的人力创建大量逼真的环境。我设想以大型语言模型为例的生成式人工智能工具可以在创建丰富多样的模拟环境和任务中发挥关键作用。
“事实上，GenSim通过其令人印象深刻的编码能力展示了大型语言模型在简化仿真设计方面的前景。我预见到这些方法在大规模创建下一代机器人模拟方面的巨大潜力。”
更多信息:王丽蕊等，GenSim:通过大型语言模型生成机器人仿真任务，arXiv(2023)。DOI: 10.48550 / arxiv.2310.01361
Github: github.com/liruiw/GenSim期刊信息:arXiv
麻省理工学院提供
引用:使用大型语言模型为机器人编写新任务(2023年，11月28日)2023年11月28日检索自https://techxplore.com/news/2023-11-large-language-code-tasks-robots.html本文档
作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。的有限公司
内容仅供参考之用。
