μ₀三维交互轨迹世界模型

μ₀三维交互轨迹世界模型（论文题名为“μ₀: A Scalable 3D Interaction-Trace World Model”）是一种面向机器人操作的研究型世界模型。它从视频中学习物体、工具、手和接触区域如何运动，并根据图像与语言指令预测这些关键点之后的三维轨迹。论文提出的重点是让视频里的运动知识可以作为机器人学习的先验：μ₀本身预测轨迹，另一个动作专家再把轨迹特征转成特定机器人的控制动作。本文范围限定在作者公开的 arXiv v2 版本（2026年6月15日修订），不把后续版本或未报告的能力并入说明。

常见的视频预测方法会生成下一帧或一段未来画面，直接动作模型则尝试预测某一台机器人的关节或末端执行器指令。μ₀选择两者之间的表示：对任务相关的点预测平滑三维运动轨迹。点可以位于被操作物体、工具、人手或物体接触区域；轨迹保留位置变化和空间关系，供下游策略参考，但它本身不是一串可直接执行的机器人指令。

把预测对象设为少量语义关键点，是为了把模型容量放在“哪个部件在动、它向哪里移动”这类与操作相关的信息上。均匀铺在画面上的固定网格可能把许多点浪费在背景，也可能漏掉工具尖端和小面积接触处；像素视频生成还要重建与动作无关的纹理和背景。μ₀尝试压缩预测目标，但这也意味着模型只追踪它选中的点，未选中的物体部分、遮挡和接触细节不一定被充分表达。

这种表示针对一个数据问题：公开视频数量大，而精确、带动作标签的机器人示范采集成本高，且动作标签往往只适用于某种机器人。μ₀的预训练因此不使用机器人动作标签；“视频预训练”指先从视频学习运动结构，不代表最终控制策略完全不需要机器人示范。

TraceExtract是论文配套的数据处理流程，将不同来源的人类与机器人操作视频变成图像、语言描述和三维轨迹组成的训练样本。流程先用DINOv2视觉特征聚合实体区域，并为物体、工具、人手等任务相关实体选取关键点；再通过稀疏锚点和分段三维重建，把各段位置对齐到共同坐标系，连续跟踪关键点并处理镜头运动。这样做是为了尽量保持点的身份与空间关系，避免把相机移动误当成物体移动。

随后，流程根据轨迹运动变化把长视频切分成较短的动作事件，并用视觉语言模型为事件生成细粒度描述，再归并成较粗粒度的任务摘要。输出因此不只是“整段视频在做什么”，还尝试把语言描述对齐到伸手、抓取、移动、释放等局部运动片段。关键点选择、三维重建、跟踪或自动描述如果出错，也会把噪声带入训练数据。

μ₀由预训练的视觉语言模型骨干和轨迹专家组成。给定当前图像、语言指令、已选关键点及可选的历史轨迹，轨迹专家以B样条控制点表示未来路径，并通过语义流匹配目标生成平滑的三维轨迹。模型输出的对象是可查询交互点的未来运动，不是整幅未来视频，也不是面向所有机器人通用的一组电机命令。

论文还单独评估了轨迹预测质量，将μ₀与既有二维、三维轨迹预测模型和把点轨迹离散成视觉语言模型令牌的方法比较；作者报告其在二维与三维轨迹预测指标上均优于所列基线。这个实验衡量的是未来点轨迹预测，和下游机器人任务的完成率是不同指标：轨迹预测更准确并不自动保证夹取、倒料或整理任务成功。

要控制具体机器人，研究者冻结视频预训练得到的视觉语言骨干和轨迹专家，只训练一个动作专家。动作专家结合冻结模型的轨迹特征、机器人图像与本体状态以及语言指令，输出面向目标机器人接口的动作片段；它需用该机器人采集的操作示范训练或微调。因此，可复用的是视频中学到的运动先验，执行控制仍需适配目标具身形态和任务。

这项分工把“理解物体应怎样移动”和“某台机器如何产生相应动作”分成两个学习阶段。它允许视频阶段吸收没有机器人控制标签的活动记录，但也保留了收集目标机器人示范、训练控制头和验证任务策略的成本；论文展示的是用视频预训练支撑下游策略，不是只看一段人类视频就能对新机器人零样本执行任务。

实体机器人实验使用固定基座UR3机械臂和双指夹爪，并配置腕部与第三视角RGB相机。评测包括三类桌面任务：将不同物体放入水槽、把杏仁倒入不同容器，以及展开毛巾。三项任务分别使用90、80和50条机器人示范训练策略，每项任务评测20次。论文报告的μ₀加动作专家平均成功率为91.7%，这是上述UR3、任务族、示范数量和评测次数下的结果；它不能单独证明跨机器人或跨任务的泛化能力。

在同一组实体任务的比较中，论文还报告μ₀加动作专家平均高于去掉轨迹专家的视觉语言模型加动作专家基线18.4个百分点，高于π₀平均20个百分点。这样的差距说明在论文所用设置中，冻结轨迹特征对该策略有帮助；它不能脱离机器人、训练数据和任务集合，直接推导到其他控制系统或工作场景。

模拟实验在RoboCasa365中选取八项厨房操作任务，包括开关冰箱、咖啡杯服务、物品收纳以及操作微波炉和烤箱等。每项任务使用100条示范，总计800条；各方法以相同的示范、图像、语言指令和本体状态训练，完成训练后每项任务进行50次随机化评测，改变场景布局、物体实例和初始状态。μ₀加动作专家在八项任务上的平均成功率为30.25%，高于论文表中的π₀（25.25%）和TraceGen加动作专家（23%），低于π₀.₅（42%）；μ₀逐任务结果从4%到56%不等。论文指出，π₀.₅依赖大规模动作标签预训练，与μ₀视频预训练的条件并不匹配。因此30.25%只描述这八项模拟任务和给定评测条件，不应外推为一般机器人能力或真实环境表现。

UMD将符号μ₀读作“Mu Zero”，但它与Google DeepMind的MuZero是不同研究：后者学习用于决策规划的环境模型，并结合树搜索评估行动，在棋类与Atari等任务中测试；μ₀则预测机器人操作相关点的三维轨迹。μ₀也不同于论文中的π₀比较基线：π₀是视觉—语言—动作模型，论文将其列作经机器人动作数据预训练的策略。ReAct中的“reasoning/action traces”则指语言模型交错生成的推理文本和任务行动，不能与μ₀追踪物体、工具和手部的三维物理轨迹混为一谈。

截至2026年10月10日，UMD计算机科学系10月5日的项目介绍称该论文获得IROS 2026 RoBoWoMo工作坊九月下旬颁发的第二名最佳论文奖，并已获准于11月的机器人学习会议CoRL作报告；截至该日，CoRL报告仍是未来安排。这些会议状态说明研究传播进展，不等同于产品发布或运行就绪。论文作者列出的限制包括关键点聚类、三维重建、跟踪和自动描述误差；轨迹表示也没有显式建模力、触觉反馈或接触模式。动作专家评测集中在有限的桌面操作、机器人和任务族上，移动操作平台、灵巧手和更长时序任务仍需进一步验证。

https://arxiv.org/abs/2606.13769v2　https://obj.umiacs.umd.edu/mu-zero/2606.13769v2.pdf　https://www.cs.umd.edu/node/28553

https://deepmind.google/blog/muzero-mastering-go-chess-shogi-and-atari-without-rules/　https://arxiv.org/abs/2210.03629