RT-2视觉语言动作模型

RT-2（Robotic Transformer 2）是 Google DeepMind 于2023年公开的视觉—语言—动作（VLA）研究模型。它探索让同一个模型既理解机器人摄像头画面和自然语言指令，又直接产生机器人可执行的动作表示。RT-2的意义在于把大规模视觉语言预训练与机器人控制接到同一条学习路径上；它并不是已经确认在售或可部署到任意机器人的通用产品。

传统机器人系统常把感知、任务规划和低层控制拆成多个模块：视觉模块识别物体，规划器决定先后步骤，控制器再把目标转换为关节或末端执行器动作。模块化便于分别调试，也可能需要为新任务设计接口与规则。视觉语言模型（VLM）擅长从图像和文本中识别语义，但通常只回答问题或生成文字，并不天然知道如何驱动真实机械臂。VLA希望把图像、语言和动作纳入统一模型，让语言中的概念能通过机器人的实际动作落地。

“RT-2”指这项具体研究工作及其模型实例，不是对所有视觉语言动作系统的统称。论文将VLA定义为能够学习由机器人观测到动作映射、同时利用网络视觉语言预训练知识的一类模型，并以RT-2作为实例。讨论结果时应保留这一区别：论文证明的是特定模型和试验条件下的研究能力，不是对所有VLA的普遍保证。

RT-2从预训练VLM出发，研究团队报告使用 PaLI-X 与 PaLM-E 两种骨干配置。模型接收一个或多个相机图像以及文字任务说明，输出则既可能是自然语言内容，也可能是表示机器人动作的序列。为让通用语言模型能够处理动作，研究把动作离散化为有限取值，再表示成与文本相似的 token 字符串；模型无需改造成完全不同的输入输出格式，就可以在同一自回归预测框架中学习两种内容。

论文给出的动作串从“继续或终止当前回合”的标志开始，后续包含末端执行器的位置变化、旋转变化以及夹爪状态。实际控制器按约定解码这些离散 token，再把它们解释为动作参数。这里的 token 不是给人阅读的完整自然语言命令，也不意味着语言模型可以不经转换直接给任何机械臂下发安全指令。动作的坐标系、离散范围、控制周期和硬件接口必须与训练数据及执行系统约定一致。

训练采用共同微调：让预训练视觉语言模型同时接触互联网尺度的视觉语言任务与机器人轨迹数据。网络资料可能带来物体类别、符号和常识语义，机器人示范则提供“在某种观测下怎样移动”的动作对应关系。只有前者，模型可能知道香蕉是什么，却没有可靠的抓取策略；只有狭窄机器人示范，策略则容易局限于见过的对象和场景。RT-2试图利用两类数据的互补性，但这种组合不能取代高质量、覆盖充分的实体机器人数据。

在一次控制循环中，系统先取得机器人相机图像与任务文本，再由模型预测一段动作 token。动作解码模块把 token 变成控制量，机器人执行后产生新图像，模型据此继续下一轮。DeepMind的研究展示了闭环操作示例，例如根据场景把草莓放进指定碗，或把临近桌边的袋子扶回安全位置。闭环意味着系统能够在动作后重新观察，而非仅生成一串脱离环境反馈的文字计划；它仍然依赖观察质量、动作时序和执行控制是否稳定。

论文也给出了语义和符号任务示例，包括按照“2加1”的结果移动香蕉，以及识别可能用作临时锤子的石块。这些是作者为研究设定的任务，不应泛化成模型能可靠理解所有隐喻、数学请求或日常常识。动作输出须遵循预先定义的表示约定；把一个高层指令转换成安全、可执行的物理动作，仍要由具体机器人系统处理。

DeepMind于2023年7月28日介绍RT-2，并称研究团队进行了超过6,000次机器人试验，覆盖符号理解、推理与人类识别等研究任务类别。论文摘要将结果表述为新物体泛化、训练数据中未出现的指令理解以及一些初步推理表现。官方文章还报告，在其“未见场景”实验中，RT-1基线成功率为32%，RT-2为62%；在Language Table仿真任务中报告90%成功率。每个数字都依赖对应的模型版本、任务定义、试验样本与评估流程，不能当作现实服务的成功率或任意机器人上的基准。

这些实验能回答的问题有限但重要：在一个经过设计的研究设置里，将互联网预训练知识与机器人演示共同训练，是否有助于把语义泛化转化为动作选择？它们不能单独回答工业现场的长期稳定性、不同机器人平台之间的可迁移性、故障恢复、成本、维护和安全认证等部署问题。比较性能时还应核对使用的是 PaLM-E 还是 PaLI-X 骨干、任务是否来自训练分布、仿真或真实机器人，以及指标是单次动作成功还是完整任务成功。

RT-2与RT-1的关系是后续研究与前序机器人策略之间的关系。DeepMind称RT-1依赖多任务机器人示范；RT-2在此类机器人经验之上引入互联网预训练的视觉语言模型，并把动作纳入文本 token 表达。论文所称的能力提升属于作者给出的特定评估，不代表RT-2在全部场景中取代RT-1。

RT-2也不同于只识别图像或回答视觉问题的VLM。VLM输出文字描述本身不能移动物体；RT-2增加动作训练和动作解码路径。它与“语言模型写计划、另一套控制器执行”的分阶段架构也有区别：RT-2论文探索让单个端到端模型同时预测语义计划线索和低层动作 token。系统在实际应用中仍可能在模型外围配置感知、约束、安全控制、状态监测与恢复模块；是否使用这些模块取决于具体工程设计。

RT-2可以作为VLA研究、机器人学习以及跨模态预训练研究的案例，用来理解模型如何从互联网语义知识过渡到实体动作。它不是一个无需适配的机器人操作系统，也不是对家庭、仓储或工厂任务已完成验证的产品声明。研究论文和官方介绍并未为任意机械臂、场地、载荷或用户指令给出通用安全保证。

物理动作和文字回答的错误后果不同：不准确的文本可以由读者忽略，不合适的动作可能造成物品损坏或人员伤害。部署设计需要为具体硬件和任务限定运动范围、速度、作用力、操作对象及允许区域，并通过独立的低层控制与急停机制降低风险。上述是机器人系统的一般工程考量，不应误读为RT-2论文声称已具备某项认证或防护功能。对研究系统的负责任描述，应同时交代任务范围、试验条件和仍待验证的现实约束。

• Google DeepMind：RT-2研究介绍，2023年7月28日
• Brohan等：RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control，arXiv:2307.15818