机器人单一来源

ELA利用4M参数解码器从无动作视频训练机器人策略

由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English

首次报道 11月5日 05:00 UTC来源：arXiv Robotics (cs.RO)最近编辑更新 11月5日 05:00 UTC发表评论 ↓

一篇发布在arXiv上的预印本论文介绍了ELA框架，该框架通过同时优化用于策略学习和动作解码的潜在动作，使机器人能够从未标注的视频中学习操作技能。作者称，其在仿真和真实机器人上的表现均优于早前的潜在动作方法。

ELA要解决的瓶颈

机器人模仿学习依赖记录了所执行动作的演示数据，而这类带动作标注的数据十分稀缺。arXiv摘要指出，无动作演示（包括普通视频）则要丰富得多。

近期的潜在动作方法尝试从相邻观测之间的变化中提取与动作相关的表征。该预印本认为，这些方法从未针对下游控制对潜在动作进行调优，导致所得表征难以被策略建模，也难以准确转化为连续的机器人运动。

ELA同时训练三个组件：潜在动作模型、潜在动作策略和动作解码器。作者表示，这种联合训练使策略能够利用大量视频，同时只需少量带动作标注的机器人演示。

动作解码器保持轻量，参数量为4M。作者称，它们可以嵌入现有的模仿学习方法中，而无需改变策略架构或训练目标。

摘要称，在仿真和真实世界操作任务上的实验表明，ELA的表现持续优于此前的潜在动作基线。这些结论均来自预印本本身，WORLDTECH尚未看到独立的复现结果。

关键事实

ELA是一个端到端框架，利用潜在动作从视频演示中学习。

据arXiv预印本称，在仿真和真实世界操作任务上，ELA的表现优于此前的潜在动作基线方法。

ELA通过参数量为4M的动作解码器接入现有模仿学习方法。

ELA无需改动策略架构或训练目标。

ELA联合训练潜在动作模型、潜在动作策略和动作解码器。