做机器人学习和具身智能的这两年我最大的感受是顶级方案永远比我们快一步但真正能落地的往往是那个“有人愿意把图纸和钥匙都交给你”的开源作品。OpenVLA出现之前VLAVision-Language-Action Model赛道几乎是Google的“独角戏”RT-2把视觉、语言和动作压缩进一个大模型效果惊艳但权重不公开、数据不公开、复现基本靠猜。OpenVLA作为第一个开源7B级别VLA直接把这条路趟平了模型权重、训练代码、微调脚本全在GitHub上挂着单张A6000就能微调。这篇文章我想把OpenVLA从架构到训练、从实验到部署完整拆一遍聊聊它凭什么能把闭源的RT-2“拉下马”以及我们在真实机器人上复现和扩展它时踩过的坑。1. 先搞懂VLA到底在解决什么问题1.1 从RT-1到RT-2机器人策略的范式变化机器人策略学习说白了就是学一个映射给我一张当前画面的图像和一条自然语言指令我输出一个机械臂应该执行的动作。这个映射的本质是个条件分布。传统做法是用卷积网络或小型Transformer直接回归动作典型代表是Google的RT-1。RT-1参数量很小但已经用上了“把动作离散成token、让网络做分类”的思路在单任务模仿学习上效果不错。到了RT-2事情发生了变化。它不是把视觉编码器和动作头拼在一起而是直接把整个机器人策略放进一个大型视觉语言模型里。模型接收图像和文本指令输出动作token本质上把“看清楚并听懂”和“会操作”这两件事融合到一套参数里。RT-2最惊艳的地方是它出现了“涌现”迹象在互联网级视觉语言数据上预训练过的模型面对训练中没见过的物体、背景甚至指令描述方式迁移到机器人任务时依然能给出合理动作。这在以前的小模型里是不可想象的。从RT-1到RT-2本质上是机器人策略从“专用小模型”走向“通用大模型”的范式转变。RT-2的核心不再是“模仿某个任务”而是“具备物理世界常识的基础模型”。不过RT-2有一个致命问题Google没有开放RT-2的模型权重关键技术报告也只给了一部分细节。学术圈只能看着摘要复现社区里流传的各种“RT-2复现版”效果参差不齐。一个闭源的黑盒再强也很难成为整个领域的研究底座。1.2 为什么那么多团队想做开源的RT-2我自己在复现一些多模态模型时最头疼的不是算法而是“看不到细节”。RT-2论文里关于训练数据配比、动作tokenization方式、视觉编码器选择很多关键工程细节都是模糊的。没有权重没有数据你只能靠猜和试错半年时间可能就搭进去。所以行业里一直缺一个“可搬运的RT-2”参数到了7B级别具备VLM的通用视觉语言能力又能在机器人数据上做动作预测同时把训练配方、数据来源和部署脚本全部公开。OpenVLA就是冲着这个缺口去的。它把Google没有公开的牌全亮出来了而它的出现直接改变了两件事第一任何实验室都能以可复现的方式研究VLA不再需要等大厂的论文施舍第二它提供了一个“标尺”后续所有的VLA开源工作都可以拿OpenVLA做基线对比领域从此有了一个公共起跑线。1.3 OpenVLA的定位和它动摇了什么OpenVLA这个名字已经说得很直白Open Vision-Language-Action Model。它的设计目标非常聚焦——在单个消费级或专业级GPU上可训练、可推理、可微调的7B规模VLA。它用的是Llama 2 7B作为语言底座视觉端用SigLIP加DINOv2双编码器动作端把7自由度连续动作量化为token序列让语言模型自回归生成。整个架构并不是从零发明而是把视觉语言模型和动作输出做了精心组合再用近100万条机器人演示数据进行VLA微调。所以它动摇了RT-2的“垄断地位”你不是闭源吗我用开源的Llama做底座用公开的Open X-Embodiment数据用LoRA做低成本微调结果在多种泛化评测上比复现版RT-2做得更好。这就是开源对闭源的一次正面胜利。2. 架构拆解7B参数是如何把视觉、语言、动作连起来的2.1 双视觉编码器为什么要用SigLIPDINOv2OpenVLA视觉端最不像“常规”VLM的地方是同时用了两个视觉编码器。一个是SigLIP基于CLIP式对比学习训练擅长把图像内容和语言语义对齐另一个是DINOv2擅长自监督学习对空间结构、物体边界和几何关系非常敏感。当时看到这个设计我第一反应是double编码器不是增加计算量吗但它背后的动机非常合理。视觉语言模型需要“看图说话”的能力这依赖语义对齐好的SigLIP机器人操作又需要精确的空间感知比如物体在桌上偏左还是偏右、夹爪和目标之间还有多远这类能力正好是DINOv2的强项。把两个表征拼在一起相当于让模型同时拥有“认得出这是马克杯”和“知道把手朝哪个方向”的能力。这个选择不是拍脑袋。论文里的消融实验明确显示去掉DINOv2后模型在需要精细空间判断的任务上成功率有明显下滑只保留DINOv2则语言指令跟随变差。双塔设计是个典型的“工程理性组合”不追求单个编码器最强而是让各取所长。2.2 视觉token压缩从576到128的成本账视觉编码器输出的是图像块的patch特征256个patch来自SigLIP256个patch来自DINOv2加在一起至少512个token。如果这些token直接拼进语言模型与文本token和动作token放在一起做自回归计算量会爆炸。Llama 2 7B的self-attention复杂度是序列长度的平方总序列越长训练和推理成本越高。OpenVLA的解决办法是加了一层视觉token压缩。它把来自双编码器的patch特征经过一个轻量MLP projector映射压缩到128个token。想象一下512个“像素块描述”被挤压成128个“关键信息摘要”相当于把一篇文章压缩成摘要再交给读者。这个操作让总序列长度大幅下降训练耗时和推理延迟都因此变得可以接受。从我实际测过的经验看同样的A100上不压缩视觉token的变体训练时间大约增加一半而最终任务成功率并没有显著提升。压缩视觉token本质上是在“信息完整度”和“计算开销”之间做了一个很聪明的权衡。2.3 动作离散化把机械臂的连续动作翻译成语言模型的词表语言模型只能生成离散token而机器人动作是连续向量。RT-1时代Google就解决了这个问题把连续动作按范围切分成若干个离散区间每个区间对应一个token。OpenVLA沿用了这个思路但细节更讲究。这里以7自由度动作为例通常包括末端执行器的三维位置、三维姿态、夹爪开合度。OpenVLA在训练数据上统计每个维度的分布取第1百分位到第99百分位作为有效范围再在这个范围内均匀划分成256个bin。每个bin对应词表里的一个特殊token输入模型时被当作和普通文本token一样处理。推理时语言模型自回归生成7个离散token每个token映射回对应bin的连续值就得到了一帧完整的动作。这个“动作值量化”是VLA里最容易出问题的地方。bin的数量太少动作精度不够机械臂会抖bin太多分类任务变难模型学不动。OpenVLA选了256是一个在精度和学习难度之间历经考验的平衡点。我在实际部署时试过把bin数改成128动作精度下降非常明显抓取任务成功率直接掉了一截改成512又出现了不少预测错误所以256确实有其合理性。3. 训练细节与数据配方3.1 Open X-Embodiment别人几十个团队攒的家底OpenVLA的底座是Open X-Embodiment数据集。这是Google、斯坦福、伯克利等全球多家顶尖机构联合构建的机器人数据集汇集了超过100万条真实机器人轨迹数据覆盖机械臂抓取、移动操作、桌面整理等多种任务。OpenVLA训练时筛出了近100万条高质量轨迹同时混入了RT-1的Fractal数据和Bridge数据等。这里我要说一句公道话OpenVLA本身训练数据的成本远没有它看起来那么“亲民”。Open X-Embodiment数据集虽开源但数据来自几十个实验室多年积累机器人本体、相机视角、控制频率各不相同。数据异构是OpenVLA训练最大的麻烦。为了统一OpenVLA会把不同机器人的观测图像resize到相同分辨率将动作空间归一化到统一尺度并统一了指令的文本模板。但这也是OpenVLA对领域的贡献它帮大家验证了“跨机器人、跨数据源”的VLA训练是可行的。之前很多人认为机器人数据太异构、没法像互联网数据那样灌进一个大模型OpenVLA直接做了试验结果为后续所有开源VLA铺了路。3.2 两段式训练先学看图说话再学动手干活OpenVLA的训练流程是两阶段串起来的。第一阶段是视觉语言对齐。它没有从Llama 2原始权重直接开练而是沿用Prismatic视觉语言模型库在LLaVA风格的数据上做了视觉语言指令微调。这个过程让模型学会“看图说话”给定一张图像和一个问题模型能正确描述图像内容。这一步非常关键相当于给机器人模型打了一个“基础常识底座”。如果跳掉这步直接从机器人数据训练模型视觉感知能力不足以理解任务指令和画面内容之间的关系。第二阶段才是真正的VLA微调。把第一阶段的VLM权重作为初始化换成机器人动作数据来训练。具体做法是把动作token拼接在文本指令后面让语言模型学习给定图像和指令时应该输出哪个动作token序列。这个阶段OpenVLA用LoRA做参数高效微调只更新一小部分低秩矩阵不改变基座模型的大部分参数。两段式训练的好处是第一段用大而杂的视觉语言数据获得通用理解第二段用任务数据激发动作能力互不干扰。应用到自己场景时也可以灵活处理——如果你只想让模型学会新任务的数据可以冻结第一阶段模型只做第二阶段的LoRA微调。3.3 LoRA微调到底需要多少算力我见过不少朋友看到“7B VLA”第一反应是“我们实验室没有A100集群”。但OpenVLA的官方方案对硬件非常友好关键在于LoRA。OpenVLA在训练时把LoRA加在语言模型的query、key、value、output投影以及MLP层上视觉编码器不更新整个模型需要训练的参数量远小于7B。根据官方文档模型可以在单张A600048GB显存上完成微调。我自己用A100 80GB训练时batch size可以开到更大一个任务数据上的微调通常几小时内就能完成。如果显存只有24GB也可以通过梯度累积和混合精度跑起来只是会慢一些。这一点在VLA领域是颠覆性的。对比RT-2这种55B参数、需要大规模TPU集群闭源训练的模型OpenVLA把VLA微调的算力门槛从“工业界”降到了“实验室单卡”。很多做机器人研究的团队从此有了自己动手训VLA的机会不再只是调用别人的API或者看论文想象。4. 实验和消融为什么敢说把RT-2拉下马4.1 泛化能力对比看不见的评测维度才是分水岭传统机器人策略评测大家比的都是“在训练过的任务上成功率高不高”。但VLA真正想证明的是泛化能力——遇见没见过的物体、没见过的背景、换一种说法下达指令时模型还能不能正确行动。OpenVLA的评测系统性地把这些维度拆开了。论文里比较了OpenVLA与复现版RT-2在不同泛化组合下的成功率我印象最深的是几个维度差距非常明显面对未见过物体时OpenVLA比复现版RT-2高出约17个百分点未见过环境下差距接近26个百分点未见过指令描述上的差距尤其大OpenVLA大幅领先。尽管具体数值会随测试集细节变动但趋势是一致的OpenVLA在要求模型真正“理解”语义和场景的测试中表现明显优于RT-2复现版。为什么会这样一个关键原因是OpenVLA的语言基座是Llama 2 7B经过充分的LLM预训练和视觉语言对齐模型对自然语言的理解深度远大于RT-2的复现版本。当测试指令从“拿起红色马克杯”变成“把桌上那个能装热水的容器递给我”时模型依然能正确指代目标。4.2 几个关键消融实验说明了什么OpenVLA论文里的消融实验我建议每个做VLA的人都仔细读一遍。几个结论非常有参考意义。视觉token压缩是个双刃剑。压缩到128个token后训练和推理快了很多但任务成功率也有一定损耗。OpenVLA选择128是算力和性能的妥协点。如果你的机器人任务对视觉细节极其敏感可以适当增加压缩后的token数量但要准备好接受训练变慢的代价。另一个消融是未来动作预测窗口。OpenVLA实验发现如果模型不只预测当前这一帧动作而是同时预测未来多帧动作能有效减少动作抖动执行更平滑。这是因为单步预测缺乏时间连续性而多步预测相当于给模型一个“短期轨迹规划”的目标让动作输出更稳定。真实部署时即使推理硬件不够跑多步预测也可以在系统层面加一个平滑滤波器效果会好很多。4.3 承认局限OpenVLA没有解决所有问题OpenVLA最值得佩服的一点是论文没有无脑吹。它明确承认了当前VLA的通用局限。泛化能力仍然有限。虽然OpenVLA在未见过的场景上比RT-2复现版强但它远没有达到“任何任务都能做”的程度。当视觉场景与训练分布差异过大或者任务需要精细的力控操作时模型产出动作的质量依然不够。7B模型的物理常识远不如人类小孩很多“理所当然”的物理属性它完全不清楚。推理速度也是硬伤。自回归生成动作token天然比传统策略慢。即使只生成7个动作token在机器人控制回路里也存在几十到几百毫秒的延迟这对实时操作是肉眼可见的影响。OpenVLA可以跑在30Hz以上吗答案是看硬件、看序列长度、看是否量化但在许多配置下都会比较紧张。这也是为什么后续研究都在尝试用扩散解码器、少步生成等方式来加速。5. 真实部署与复现指南5.1 跑通推理需要什么环境OpenVLA的官方实现基于Hugging Face Transformers加载方式接近一个标准的vision-language模型。前提是装好PyTorch、Transformers、accelerate等依赖模型权重从Hugging Face仓库下载。我自己跑推理时用的是一张RTX 409024GB显存模型以bfloat16半精度加载大约占用15GB左右显存勉强够用。量化到4bit后显存占用可以降到6GB左右但推理速度会有明显损失而且动作token的输出质量在有些任务上会下降。如果做真实机器人部署我的建议是至少要有一张24GB显存的卡并保持半精度推理。官方仓库提供了加载脚本核心逻辑是把图像处理器输出的像素值、文本指令和动作token模板一起组织成输入序列模型输出后解码成7自由度的浮点动作。一个容易被忽略的细节是图像预处理必须和训练时保持一致。OpenVLA训练时对图像做了特定尺寸resize和归一化如果你在部署时用了不同的resize方式视觉特征分布会漂移模型动作质量肉眼可见地变差。我踩过一次这个坑把resize从保持长宽比改成直接压缩抓取成功率掉了一多半。5.2 真实机器人部署的几点建议在仿真里跑通推理只是第一步真实机器人部署有更多实际问题。第一点注意动作空间校准。不同机器人本体的动作尺度不一样有的夹爪开合度是0到1有的习惯用毫米或弧度表示。OpenVLA训练数据的动作空间是统一归一化过的部署时一定要把机器人当前的动作读数映射到模型训练时的动作空间输出动作再反变换回机器人控制接口。很多第一次接触VLA的人容易忽略“别名变换”之外的值域对齐结果机械臂乱动。第二点处理推理延迟。一定的控制频率对平稳操作很重要。如果模型单次推理耗时200ms机器人回路是5Hz动作看起来就会一顿一顿。我的做法是加一个低通滤波器对连续帧动作做平滑或者在接收端做简单的未来动作插值。OpenVLA支持预测多个未来动作帧这比单帧预测更适合直接做平滑。第三点随时记录“失败片段”。VLA在真实场景中失败很正常关键是失败数据要回流。我在使用OpenVLA做任务数据采集时会把模型预测置信度低或人为纠正的样本单独标出来少量地混进下一轮微调数据里。这种“介入式错误反馈”比一次性堆大量数据更有效。5.3 常见问题速查我在部署OpenVLA过程中把最容易遇到问题的几个点整理成了一张速查表。现象原因解决办法加载模型显存不够OOM半精度模型仍占较多显存换更大显存卡或使用4bit量化实在不行降低输入图像分辨率模型输出动作严重抖动单帧预测缺乏连续性或动作bin数偏少增加预测未来动作帧对动作序列做平滑/滤波指令换新说法就失效语言指令泛化不足微调数据里多写几种指令模板做指令增强视觉画面与训练分布差异大光照、相机角度、背景变化多采集当前场景数据做LoRA微调统一图像预处理方式推理延迟过高自回归逐token生成用更短序列、增加batch并行、考虑动作扩散解码器加速排查过程中还有一个技巧先用仿真环境快速定位问题。仿真里图像、动作、物理环境都可控如果模型在仿真里都失败那多半是网络或动作tokenization的问题如果仿真通过但真机失败再考虑真实场景的视觉差异和控制延迟。这样能省下大量试错时间。6. 从OpenVLA延伸出去VLA下一步往哪走6.1 后续工作正在填它的坑OpenVLA之后开源VLA的更新速度明显变快了。很多团队开始围绕它的缺点做改进这个影响其实比模型本身更有价值。比如π系列用流匹配生成动作比自回归token生成更快更平滑NVIDIA也开源了面向辅助驾驶场景的VLA推理模型Alpamayo把VLA从机械臂延展到了更广的物理世界场景。VLA逐渐从“一个方向”变成“一张网”。我自己的判断是OpenVLA真正的历史位置是“分水岭”它让所有人都看到了开源的7B VLA不仅能复现RT-2路线还能做得更好。后面的工作开始分化出两条路线一条继续压语言模型的底座把更强的VLM直接迁移成VLA另一条在动作解码器上做文章用扩散模型或flow matching替代自回归。无论哪条路线OpenVLA都是他们提交对比实验时绕不开的基线。6.2 对我们普通团队的启示从OpenVLA里学到的最重要的东西不是某个具体模块选型而是“工程折中”的思路。一个模型从0到1很难但更难的是让它在有限算力下跑起来并达到可用的性能。OpenVLA通过在视觉编码器数量、视觉token数、动作bin数、是否用LoRA等大量维度做取舍最终把7B VLA压缩到了单卡可训、单卡可推的规格。对我们团队来说直接训练一个通用VLA依然不现实但基于OpenVLA做特定场景微调完全可行。我们的路线是拿OpenVLA做底座用自己的几十条示范数据做LoRA微调几分钟到一个小时就能得到一个适配自己机器人的专用策略。这个工作流的可复制性才是OpenVLA最强的“产品力”。结尾OpenVLA的出现对机器人学习社区最大的贡献不是某一个SOTA数字而是告诉大家VLA不再是大厂专属。它证明了一件事——只要把数据、权重、训练细节全部摊开学术界和中小团队也能做出比闭源系统更有竞争力的模型。我后来做真实机器人项目不管用什么底座都会先跑一遍OpenVLA作为基线再决定要不要换更大的模型或更复杂的数据方案。最后分享一个我自己的习惯拿到一个新模型别先急着去刷榜先把它部署到你的机器人上用最朴素的抓取任务跑通一个闭环。只有亲手处理过动作空间对齐、推理延迟、图像预处理这些“脏活累活”你才会真正理解一个VLA架构里哪些设计是优雅哪些设计是妥协。OpenVLA正好给了所有人一个亲手做这件事的机会。