OpenVLA开源视觉—语言—动作模型

OpenVLA 是面向机器人操作的开源视觉—语言—动作（VLA）模型及其配套代码项目。它把工作空间图像与自然语言指令作为条件，直接预测机器人末端执行器动作。本文聚焦 2024 年论文所述的 OpenVLA 7B 主模型与原始代码库；VLA 是一类模型，OpenVLA 是其中一个具体实现，项目代码则服务于训练、微调、评估和推理。

OpenVLA 的论文初稿于 2024 年 6 月 13 日提交，作者随后在同年 9 月发布第三版。该研究发表于 2024 年第八届机器人学习会议（CoRL）；论文收入《机器学习研究论文集》PMLR 第 270 卷，页面记录的出版日期为 2025 年 1 月 12 日。会议年份与论文集的出版年份描述的是两个不同节点。官方代码库把 2024 年 6 月 13 日列为初始发布日。

原始模型之后，项目陆续加入其他研究成果。仓库记录 FAST 动作分词器于 2025 年 1 月发布，尝试把离散动作片段压缩为较少 token；同年 3 月发布的 OFT 是面向 VLA 的优化微调方案，支持多图像输入和高频双臂控制，并使用连续动作。它们属于后续方法或配方，不能回写成原始 2024 OpenVLA 检查点和论文的固有能力。

OpenVLA 基于 Prismatic-7B 视觉语言模型。视觉侧并用 SigLIP ViT-So400M/14 与 DINOv2 ViT-L/14：两套编码器分别处理图像 patch，再把视觉特征拼接起来。一个两层 MLP 投影器把这些特征映射到语言模型的嵌入空间，主干则是 Llama 2 7B。SigLIP 更侧重语义表征，DINOv2 补充细粒度空间信息；这套组合让视觉输入能够进入同一序列预测流程。

动作不是模型用普通句子描述的计划，而是机器人控制量。论文把每个动作维度按训练数据的第 1 至第 99 百分位范围离散成 256 个区间，再映射为语言模型可预测的 token。原始模型对单张相机图像和指令进行条件预测，输出 7 自由度末端执行器动作，包括三维位置、旋转和夹爪控制。部署时还要把模型输出按目标机器人的统计量反归一化，并转换成硬件实际使用的控制接口；token 序列本身并不会自动适配任意机械臂。

该设计借用了语言模型的自回归生成机制，把视觉输入、任务文字和机器人动作接入一个端到端策略。它与“先由语言模型写计划、再由另一控制器执行”的多模块系统不同：OpenVLA 学习从观察和指令直接预测动作。论文基线使用单张图像，不含本体感觉输入或多帧观察历史，也不把模型的自然语言能力等同于机器人控制能力。

在应用中，控制端向策略提供当前工作空间图像和任务文字，模型生成一次末端动作；机器人执行后，再以新的图像进入下一轮。由于原始模型逐个解码动作 token，输出速度会影响控制周期。论文报告，未量化的模型以 bfloat16 加载时约需 15 GB GPU 显存；量化可以降低内存占用，但实机表现还受控制接口、相机和运行环境影响。

作者从 Open X-Embodiment（OpenX）数据集合整理约 97 万条真实机器人操作演示，用来把已有视觉语言模型微调成动作策略。这个数字指作者构造的训练混合数据规模，并不意味着模型使用了 OpenX 中的全部数据。论文写作时，OpenX 汇集了 70 多个数据集和超过 200 万条轨迹；OpenVLA 为保证输入与控制空间较一致，只保留至少有一个第三人称相机、并采用单臂末端执行器控制的操作数据。

混合数据还按任务、场景和机器人形态进行配比。作者测试加入 DROID 数据集后，观察到其动作 token 准确率在训练中持续偏低，于是从最后三分之一的训练阶段移除 DROID，以免影响最终模型。由此，OpenVLA 的“多机器人”能力指向经过筛选和加权的训练分布，不能泛化成支持所有传感器配置、机械结构或动作空间。论文报告主训练耗时为 64 张 A100 GPU 连续运行 14 天；这个数字对应作者的训练实验，不是运行模型的最低硬件门槛。

需要区分底层视觉语言预训练和机器人动作微调：Prismatic-7B 从已有视觉与语言模型起步，OpenVLA 再用筛选的机器人演示学习动作预测。97 万条对应论文构造的机器人训练混合，不是基础视觉语言模型预训练样本的总数，也不是每一种机器人均匀分到相同数量的数据。

论文在 WidowX 与 Google Robot 等机器人平台上进行跨任务评估，覆盖 BridgeData V2 等真实操作设置。作者报告，在 29 个任务和多个机器人形态的汇总比较中，OpenVLA 相比参数量为 550 亿的 RT-2-X，绝对任务成功率高 16.5 个百分点。这里的比较绑定于论文给出的任务、平台、初始条件和测试流程；它不是面向所有任务、硬件和部署环境的统一排名，也不能推出 OpenVLA 总是优于 RT-2-X。 论文附录 C 还说明，RT-2-X 在 BridgeData V2 上常把全零（无动作）预测为最高概率动作；由于该专有模型无法用预处理数据重新训练，作者改用第二高概率动作评估，虽改善了对照结果，但认为仍可能不及按预处理数据重新训练的表现。

详细评估包括 17 个 WidowX 任务、每项 10 次试验，以及 12 个 Google Robot 任务、每项 5 次试验。分平台结果并不完全一致：论文报告 OpenVLA 在 BridgeData V2 / WidowX 比较中取得优势，在 Google Robot 上与 RT-2-X 整体相近；某些语义泛化检查中 RT-2-X 仍表现更强。因此汇总的 16.5 个百分点不是每个任务都存在同样差距。

论文还研究了面向新任务和机器人设置的微调，以及低秩适配（LoRA）和量化推理。它们说明公开检查点可继续适配，代码库也提供相应训练和评估入口，但迁移效果仍取决于目标机器人的动作定义、演示数据、环境与实现。模型卡提醒，零样本控制只适用于训练混合中已有的机器人形态和领域；遇到新的机械臂或设置，通常需要准备示范数据并进行微调。

在微调实验中，作者把 OpenVLA 在目标机器人上继续训练，与从基础视觉语言模型直接适配及其他通用策略比较，并考察单任务和多任务语言指代。结果显示，已有机器人轨迹能帮助特定设置下的适配；结论仍取决于任务、样本和平台条件，不能据此把未测试的新任务视为开箱即用。

官方代码仓库把通用模型工具与 VLA 流程放在一起：Prismatic 目录提供模型加载、数据处理和训练工具，vla-scripts 包含训练、微调与部署脚本，experiments 目录则保存机器人策略评估代码。项目支持 RLDS 格式数据、不同数据混合，也提供 LoRA 和全参数微调示例。它是复现实验和改造模型的代码入口，不是一套已经适配所有机器人并可直接上线的通用控制器。

论文中的低秩微调实验表明，在适当任务与硬件条件下，可以用少量可训练参数适配 OpenVLA；量化则用于压低推理资源需求。迁移时仍要先确认数据与代码转换、相机视角、末端动作约定、夹爪表示和归一化统计一致。微调前后的成功率需要在目标机器人上重新评测，不能用原论文的跨平台结果代替。

RT-2 与 RT-2-X 是 Google DeepMind 的独立研究路线。RT-2 把网页视觉语言知识与机器人数据结合起来；RT-2-X 是论文中的 55B 参数对照模型，并非 OpenVLA 的版本或模块。两项研究关注点有交集，但模型权重、训练配方、开放方式和评测设置各自独立。

π0 是 Physical Intelligence 提出的另一种通用机器人策略，论文采用基于预训练视觉语言模型的流匹配架构来生成连续动作片段，输入设置也包含多图像和本体感觉信息。这与原始 OpenVLA 的单图像、离散动作 token 方案不同。Hugging Face 的 LeRobot 则是支持数据集、训练、评估、硬件和多类策略的机器人学习库；其当前代码包含 π0 等模型实现。LeRobot 属于更广的工具生态，不能当作 OpenVLA 的别名，也不应把它与单个策略模型并列混称。

例如，实验室希望让既有单臂机械臂把指定颜色的积木放入托盘，可以先核对它是否具备兼容的第三人称相机和末端控制，再按模型数据接口采集任务演示、微调策略，并在隔离的测试区域逐项测量成功率与失败方式。这是说明部署准备的假设案例，不是已完成的 OpenVLA 实机测试；现场运行还需要独立的运动限位和急停机制。

以下边界来自 2024 年 OpenVLA 论文对当时模型的讨论。原始版本只支持单张图像，推理吞吐仍难满足 ALOHA 一类 50 Hz 高频控制；作者报告在一张 RTX 4090 上约为每秒 6 次动作预测，具体速度随实现、精度和加速方法而变。论文没有研究灵巧双臂操作，并指出测试任务的成功率通常低于 90%。这些结果描述的是原始论文基线；FAST、OFT 等后续工作分别探索了其他动作表示和推理/微调方案，不能据此抹去原始模型的限制，也不能反推这些后续结果在任意场景都成立。

代码开放与检查点条款需要分开阅读。官方仓库的代码按 MIT 许可发布，但仓库说明，基于 Llama 2 的预训练模型受 Meta 的 Llama Community License 约束；Hugging Face 上的 OpenVLA 模型卡则标注 MIT，并在文字中称检查点也采用 MIT。两份官方材料对检查点许可的表述不一致，因此不宜把仓库代码许可或模型卡标签概括为“所有 OpenVLA 权重均无附加条件”。下载、再分发或商业使用前，应核对具体检查点文件、其底层模型和相关条款；本文只记录官方页面之间的差异，不替使用者作法律判断。

因此，OpenVLA 更适合被理解为一个公开研究模型和可继续适配的机器人策略项目：论文提供架构、数据筛选与实验边界，代码库提供训练、微调、评估和部署工具，权重则要结合目标硬件和许可逐项核验。它的开放性降低了研究复现与后续实验的门槛，但不会自动解决传感器差异、控制频率、目标任务演示不足或真实环境验证问题。

• OpenVLA 论文 v3（arXiv HTML，2024-09-05）
• CoRL 2024 / PMLR 第 270 卷论文记录
• OpenVLA 官方代码库与更新、模型许可说明
• OpenVLA 7B 官方模型卡
• RT-2 官方论文
• Google DeepMind 对 RT-2 的项目说明
• π0 论文（arXiv HTML）
• Physical Intelligence 的 openpi 代码库
• LeRobot 官方代码库