Ai2发布ToyBlocks模拟器，用于研究机器人如何学习与失败

环境包含的内容

该场景在桌面上放置了一条模拟机械臂和带标签的积木。推、翻、堆叠之外，还包括搜索、分类和排列任务。在其中一些任务中，机器人所需的字母或图案可能被遮挡，因此机器需要先翻转积木，才能判断该积木应放置的位置。

任务与动作规划器负责选择技能并将其排序，以生成带标签的示范数据。ToyBlocks是Ai2 FoundationWorlds框架的首个环境，该框架旨在使机器人学习实验可重复，并使失败更易追溯。

自动化示范与开放模型

技能通过英伟达Isaac Lab中的强化学习和运动规划生成。生成过程可以利用模拟器提供的精确积木位置和朝向，而非摄像头估计值，从而自动完成原本需要人工遥操作实体机器人才能完成的行为。Ai2表示，在一块GPU上可同时运行数百个规划，速度最高可达实时的24倍。研究人员可以设置训练混合数据中各技能的权重，并在训练时未见过的任务上测试策略。

首次发布包含85,336条长时程示范，每条由大约6至12个技能示范组成，具体取决于数据集。Ai2报告称，这些数据涵盖近1,600小时的机器人执行时长和1.44亿帧。公开数据集以Parquet格式的LeRobot数据提供，遵循ODC-BY许可，并分为简单、中等和困难三个子集。主代码采用Apache-2.0许可，而指定的子模块和下载的资源则适用其各自的许可。

Ai2的模型卡将所发布的策略分为两个层级。Molmo2-4B-tb约为45亿参数的模型，接收前置摄像头图像和文本目标，输出简短计划、下一步动作和目标点。ManiFlow-tb拥有3.225亿参数，接收前置和夹爪图像、机器人状态、任务信息以及目标热力图，并生成动作块。

泛化能力结果

空间实验涵盖Stack、Unstack、Flip和Rotate等任务，并区分训练范围内的插值与超出范围的外推。示例包括：在工作区一个区域训练、在另一区域测试，或者扣留特定的堆叠高度。

Ai2报告称，尽管经过大规模预训练，ManiFlow、π0.5和MolmoAct 2的初始泛化能力仍然较弱，并认为动作模型的泛化问题远未解决。智能体测试则指向另一种不足：30个场景配置中包含了4至10个在训练中出现过的积木。

待解问题

• 根据已报道的事实，智能体测试在训练中见过的4至10个积木之外的积木上表现如何尚不清楚。
• 所报告的泛化差距是否也出现在实体机器人上，目前尚未确定。