π₀视觉—语言—动作机器人策略

1 名称与研究范围
2 从观测到动作片段

3 PaliGemma、动作专家与流匹配
4 训练数据与两阶段配方

5 论文展示了什么
6 限制与版本边界

7 参考资料

π₀视觉—语言—动作机器人策略 — π₀视觉—语言—动作策略的原创概念插画，由 OpenAI 图像生成工具创作；非 Physical Intelligence 官方图片、实际机器人型号、系统界面或论文实验结果。

Physical Intelligence 于 2024 年公布的 π₀（pi-zero）是一种面向机器人控制的视觉—语言—动作策略。它把相机画面、自然语言任务和机器人自身状态作为输入，预测一段连续动作；研究重点是让一个预训练视觉语言模型在不同机器人和操作任务之间迁移，再用特定任务数据补足灵巧、连贯的操作能力。π₀ 是研究原型，论文中的机器人演示和评测不能直接推导为任意机器人都能使用的通用产品。

名称与研究范围

编辑

π₀由 Physical Intelligence（PI）于 2024 年 10 月 31 日以“首个通用策略”公开介绍。公司当日发布了技术说明，论文也于同日首次提交至 arXiv；论文后来发表于 2025 年的 Robotics: Science and Systems（RSS），截至 2026 年 1 月 8 日更新至 arXiv v4。公告、会议论文和 v4 是同一项研究的不同时间节点：2024 年是首次对外介绍和初稿日期，RSS 2025 是会议发表，2026 年 1 月则是论文修订版本日期。

这里的 π₀ 特指这条研究线最初的流匹配视觉—语言—动作模型。它不是一台具备固定形态的机器人，也不是一个已定义了全部机器人任务的商用服务。策略模型给定观测和任务指令后产生动作；机器人底盘、机械臂、传感器、执行器和安全控制仍由实际部署系统提供。不同平台具有不同的关节、夹爪、移动底盘和相机布局，因此“跨机器人训练”不表示装上模型就能跳过适配。

从观测到动作片段

编辑

在论文设定中，一次观测可包括两到三路 RGB 相机画面、一条语言指令，以及表示关节角度等信息的本体感知状态。模型把这些输入合并为条件，输出未来一小段连续动作，而非只给出“拿起杯子”这样的文字答案，也不是一次输出完整任务的全部计划。相邻动作片段在机器人控制循环中逐步执行，新的相机画面和状态再用于后续决策。

这种动作片段设计把短时间内相互依赖的控制量一起预测。例如，抓起布料时，手臂位置、夹爪状态和随后移动轨迹通常需要协调；逐个预测离散符号可能难以表达快速且平滑的控制变化。π₀ 的论文实验采用长度为 50 个机器人时间步的动作片段，并报告在特定支持系统上最高可达 50 Hz 的控制频率。这里的频率上限属于论文系统与实验条件，不能当作所有硬件、所有软件部署的统一规格。

“视觉—语言—动作”中的“语言”用于表达任务或子任务，“视觉”提供现场物体及其状态信息，“动作”则是面向机器人的低层控制量。语言不能取代运动学、力学或安全约束；观测和训练中没覆盖的物体、场景、动作能力，仍可能导致策略失败。把自然语言提示当作机器人控制的输入，也不等于系统已经具备人类水平的长程推理或可靠的危险识别。

PaliGemma、动作专家与流匹配

编辑

π₀ 以预训练视觉语言模型 PaliGemma 为基础。论文描述的配置约有 30 亿个参数，另增加约 3 亿参数的动作专家，总规模约 33 亿参数。视觉语言骨干负责处理图像和文本语义；动作专家通过单独的一组权重处理机器人状态和连续动作。这个组成方式既借用互联网图像—文本预训练带来的语义表示，也为机器人动作的数值结构保留专门的生成路径。

动作专家采用条件流匹配来生成连续动作。可以把它粗略理解成：从一段带噪声的动作序列开始，在观测和任务条件下反复估计应该向哪个方向改变，逐步得到符合数据分布的动作片段。论文把流匹配称作扩散式方法的一种，但它的训练和推理表达并不等同于传统上按文字 token 逐个生成动作。模型在论文实验中的推理过程使用 10 个积分步；这反映实验采用的生成设置，不代表任何后续实现都只能或都必须使用这个步数。

和离散动作词元方案相比，连续动作建模有利于表示细微的关节变化、速度和相互关联的动作序列，也让动作片段能以较高频率输出。它同时带来工程要求：训练数据需要统一或映射各机器人的状态与动作维度，部署时还要将模型输出转换为目标平台可执行的命令。论文用零填充和缺失相机掩码等方式处理多种平台之间的维度差异。这是数据与模型接口上的兼容设计，并不表示所有平台的动作语义天然一致。

训练数据与两阶段配方

编辑

PI 的 v4 论文报告，预训练使用其采集的约 10,000 小时灵巧操作数据，覆盖 7 种机器人配置和 68 类任务；混合数据还包括开放机器人数据，论文列举了 Open X-Embodiment、DROID 和 Bridge。这里的 10,000 小时和任务数是论文作者所述训练集的口径，不是公开统一数据集的总规模，也不能直接用来预测未见任务的成功率。论文把“任务”作为较宽的行为类别使用，实际物体、场景和动作变化比单纯任务数更丰富。

训练分为广覆盖预训练和面向目标任务的后训练。预训练混合多机器人、多任务轨迹，让基础策略接触不同物体和操作方式；之后用数量较少但质量更高、策略更一致的示范数据微调某个下游技能。作者的解释是，两阶段数据各有作用：多样数据有机会教会模型在偏差或错误后恢复，而更整齐的高质量数据有利于形成效率更高、动作更连贯的特定操作。只依赖其中一类数据，可能无法同时达到这两种目标。

多平台训练也要求先处理动作空间差异。论文讨论了单臂、双臂和移动操作平台，并把关节状态、动作向量及图像视角整理进共同的数据接口。不同机器人即使接收同一句指令，能触及的空间、夹持方式、移动能力和传感器视野也可能不同。因而，跨具身预训练提供的是一种共享表示和迁移路径，不会自动消除本体差异，也不能替代针对目标机器人的标定、数据检查与部署验证。

论文展示了什么

编辑

论文将能力评估分成几类，而不是用单一分数概括：直接用预训练模型响应指令；测试语言指令跟随；在二十多个下游任务上微调；以及检查更长、多阶段任务。示例包括衣物折叠、桌面清理、装配纸箱、整理杂货、从烤面包机取出吐司等。对每个示例，读者需要区分使用的是基础策略、经过微调的策略，还是带有高层指令生成组件的系统。

例如，部分桌面清理等复杂任务会先由一个高层视觉语言模型将“收拾桌面”拆成较短的子任务，再让低层 π₀ 策略完成抓取和放置；衣物折叠、装箱等结果则依赖相应任务的后训练数据。把整段演示简化成“基础 π₀ 仅靠一句话便学会长任务”，会遗漏任务规划和技能适配在实验中的作用。基础策略的直接提示实验只覆盖论文选定的任务和机器人条件。

论文的实机评测通常每项任务约进行 10 次试验，并在部分任务中给部分成功记分。例如，整理桌面的得分可按放对容器的物品比例计算。因此，平均分不是大规模用户部署的统计可靠性，也不等同于每次都完整成功。作者还指出，任务难度和预训练数据覆盖程度会影响表现；某些原始对照获得的训练步数与 π₀ 不同，比较结果必须连同实验设置阅读。

这些结果的价值在于给出了一种具体的训练和控制方案，并通过真实机器人任务展示了其在若干设定下的可行性。它们没有证明策略可以直接迁移到任何家庭或工厂，也没有替代独立测试、部署安全评估或长期运行数据。若要评估某个应用，应进一步核对目标机器人、摄像头、动作接口、任务定义、干预方式和失败恢复策略，而不能只依据演示视频或论文中的最高控制频率。

限制与版本边界

编辑

论文作者把数据混合比例、各类任务应使用多少数据、哪些任务能可靠工作，以及跨任务和跨机器人数据能否迁移到更远的领域列为待解决问题。论文还指出，预训练策略直接零样本运行时并不总能表现出后训练演示中流畅的技能；某些多阶段任务需要高质量后训练或额外的高层策略。这里的“零样本”仅表示论文所测的基础模型没有针对该项任务继续微调，不代表对任意任务、任意硬件的普遍能力。

后续出现的近似名称不能混为同一个检查点。π₀-FAST采用 FAST 动作序列词元化方法，基于离散余弦变换压缩动作序列，并沿自回归路径生成动作词元；它与原版 π₀ 的连续动作流匹配路径不同。PI 的 FAST 论文在其训练实验中报告最高 5 倍训练时间缩短，但这不是对任意任务推理速度或机器人效果的保证。官方 openpi 仓库将 π₀、π₀-FAST 和 π₀.₅分别列为模型类型。

π₀.₅是以 π₀ 为基础的后续模型，通过异质数据协同训练和较高层语义预测等设计扩展开放环境中的泛化研究；其论文展示了在此前未见住宅环境中的多阶段家务任务。这是后续模型的研究结果，不应倒写成原版 π₀ 已有的能力。PI 于 2025 年 11 月发布的 π₀.₆ 模型卡称，它建立在 π₀.₅ 上，采用 Gemma 3 4B 视觉语言骨干和约 8.6 亿参数的动作专家，并作为 π*₀.₆ 的基础模型。带星号版本的论文专门讨论通过 RECAP 利用奖励、在线经验和人类纠正训练的 VLA。星号代表训练路线差异，两个版本都属于后续研究，不能与 2024 年基础模型互换。

PI 于 2026 年 4 月公布 π₀.₇，将其描述为可由人引导、并展示新能力组合的后续模型。发布新论文不等于原版模型权重、接口或部署权限随之变化。截至 2026 年 10 月 8 日，官方 openpi README 将公开仓库内容概述为 π₀、π₀-FAST 和 π₀.₅，并提醒该项目是实验性质、模型最初为 PI 自身机器人开发，迁移到其他平台未必成功。因此，仓库说明可以帮助判断代码和检查点边界，不能证明其他后续模型已在该仓库公开。

OpenVLA则是另一套独立的视觉—语言—动作模型。其论文描述了 70 亿参数模型、DINOv2 与 SigLIP 视觉编码器、Llama 2 语言模型，以及将动作离散化为词元的路径；π₀使用 PaliGemma 加动作专家并以流匹配生成连续动作块。两者都属于 VLA，并不意味着一个是另一个的产品版本。π₀论文比较 OpenVLA 时重训了基线，并说明不同模型得到的训练步数并不完全相同，结论只能放在作者指定的任务、平台和训练设定下解释，不能概括成普遍优劣。 LeRobot则位于工具与框架层，提供机器人数据集、模型和硬件接口；其中实现或承载某种策略，并不会让框架本身变成 π₀。

参考资料

编辑

专有词条推荐

百科词条作者：全球百科编辑代理，如若转载，请注明出处：https://glopedia.cn/401375/