论文Harnessing VLM in Embodied RL: From Reward Regressor to Success Detector via Exploration-Augmented Key-Observation Gating作者来自中科院自动化所、国科大和智元AGIBOT。一、动机主流做法和 VLM 的长处不匹配。现在的主流做法是标注大量奖励数据再微调 VLM 去回归稠密进度分数Robo-Reward、Robometer、VLAC、Robo-Dopamine 等。这样做有两个问题标注成本高也没法直接用闭源的强 VLM这类奖励模型适合微调已经预训练好的策略如 VLA但从零开始的 RL 早期轨迹离成功很远进度估计很不准。作者认为根本原因是精确回归奖励不是 VLM 擅长的事回答成功了没有这种视觉问答才是。所以应该让冻结的 VLM 充当成功检测器。直接这样用还会遇到三个困难成本RL 需要海量样本每条轨迹都调用一次闭源 VLM又贵又慢判断准确率RL 轨迹里有遮挡、中间姿态、已经越过完成时刻的帧等VLM 只看单张图很难判断。Table 1 显示没有参考帧时准确率只有 42%加上参考帧后达到 100%奖励稀疏从零训练时二值成功信号几乎永远是 0学不起来。二、方法要点1. 成功参考帧构建用 3–5 条专家视频对 Wan2.1-I2V-14B 做 LoRA 微调得到 G_ψ。每个 episode 开始时用初始帧 o₀ 和任务指令生成一段专家式成功轨迹 Ṽᵉ。取索引 ≥ τ_idx 的后段帧作为本 episode 专属的成功参考帧集合 ₊ᵉ。这样不需要为每种初始状态收集专家视频。2. 门控第一步过滤低质量轨迹rollout 期间在线进行用专家视频通过对比自监督训练一个轻量编码器 E_φ。对每个观测计算 s_t max cos(Eφ(o_t), Eφ(ṽ_i))即和成功参考帧的最大相似度。只要有任意一帧满足 s_t ≥ τ_sim0.95这条轨迹就标记为值得判断judgment-worthy。否则直接丢弃不调用 VLMR_succ 0。3. 门控第二步关键观测选择与 VLM 判定rollout 结束后进行取 t* argmax s_t也就是最接近成功参考的那一帧作为整条轨迹的代表。这样可以避开末帧被机械臂遮挡、或者已经错过完成时刻的问题。把三张图交给冻结的 VLMGPT-5.5做比较式问答初始帧 o₀、关键观测 o_{t*}、生成视频的末帧 v_ref。VLM 输出二值结果 b(τ) ∈ {0,1}。每条轨迹最多调用 VLM 一次。4. 探索激励稀疏成功奖励不够用因此加入作者团队之前的 DEG 视频模仿奖励Liu et al. 2026作为稠密探索项 r_expl。它由两部分组成粗粒度项沿生成轨迹逐段推进的进度奖励细粒度项与后续引导帧在视觉上精确匹配的奖励。最终奖励为 r_t r_expl,t λ·R_succ(τ)其中 λ10。成功奖励会广播到这条轨迹的每个时间步。分工上探索项负责把策略引到更容易触发判定的状态附近语义上是否真正完成仍由 VLM 来判。三、框架对应论文 Figure 2所示整个流程是一条四段流水线生成视频提取成功帧→rollout 中按相似度门控→结束后选关键帧VLM 三图判定→探索激励 λ·成功奖励交给 RL 训练仿真部分的 RL 骨干是 DrQv2真机部分是 HIL-SERL。四、实验结果MetaWorld 12 个无环境奖励任务从零开始 RL30 万步assembly 为 100 万步VLMeg 在所有任务上都明显领先5 个 VLM 奖励基线在大多数任务上成功率接近 0只有 door-close、drawer-close 这类低精度任务上部分基线表现尚可。Franka 真机 3 个任务drawer-close、pick-apple、stack-cube。与 Robo-Reward 相比VLMeg 成功率更高人工干预次数下降更快。消融实验去掉探索激励几乎学不起来去掉门控直接用末帧判定成功率明显下降去掉 VLM只保留探索项会被动作像专家、但物体没被操作的轨迹欺骗。门控效果Figure 11VLM 调用次数减少约 1/3 到 1/2判定准确率从 37–62% 提高到 78–92%。不同 VLM 骨干GPT-5.5 ≈ GPT-4.1两者都远强于 Cosmos-Reason2-8B。五、贡献视角转变提出 VLM 在具身奖励中应该做成功检测器而不是奖励回归器冻结模型、零后训练就能用上闭源强模型的问答能力。探索增强的关键观测门控先用生成视频提供逐 episode 的成功参考再完成在线过滤低质量轨迹 离线选关键帧。这同时解决了调用成本和判定准确率两个问题并配合视频模仿探索激励缓解奖励稀疏。实证在 12 个仿真任务和 3 个真机任务上无需真实奖励即可完成从零 RL并超过 5 个先进的 VLM 奖励基线。六、不足之处基线对比的公平性最大的问题VLMeg 带了稠密探索项基线没有。附录 C.2 写明基线只在 episode 结束done时调用一次把一个标量奖励赋给整条轨迹等于被当成了稀疏 episodic 奖励使用而 VLMeg 还有每步的 DEG 稠密奖励。基线在多数任务上接近 0很可能主要是这个原因。最该补的对照没有做。应该比较基线奖励 同样的 DEG 探索项或者DEG 真实稀疏成功奖励oracle。现在无法分清提升有多少来自成功检测器这个核心主张又有多少来自作者自己的 DEG 加视频生成。去掉 VLM的变体本身就很强。在 button-press、button-press-topdown 上它和完整方法相差不大说明 DEG 承担了相当大的份额。缺少经典成功分类器作为对照。没有和 HIL-SERL 式的 ResNet 二分类器比较而那正是同样只需少量示范、成本更低的成功检测方案。无需真实奖励的说法打了折扣每个任务的 prompt 都是手写的且相当细。附录 C.4 中的 prompt 包含黑色立柱变短但按钮还没接触仍算未完成”部分打开不算之类的专家判定规则。这本质上是把奖励工程挪进了 prompt泛化到新任务仍需要人工。每个任务都有额外的专门组件。需要 3–5 条专家视频、单独做 LoRA 微调视频模型、单独训练编码器各自还有阈值超参。方法层面的风险门控依赖相似度阈值。τ_sim0.95 对所有任务固定不变编码器只在 3–5 条视频上训练。如果策略用不同于专家的姿态或路径完成任务可能根本过不了门直接得 0形成系统性的假阴性让策略被迫模仿专家。关键帧选择偏向像专家而不是能看清物体状态。最大相似度帧不一定是最能体现物体状态的那一帧。视频生成可能产生幻觉。生成视频本身就可能出错物理不一致、结果错误作为参考帧和探索引导时这种错误会传递下去。文中没有分析生成失败的比例和影响。信用分配很粗糙。二值成功奖励广播到所有时间步λ 还对任务敏感plate-slide-side 上 λ50 时几乎崩溃。每个 episode 都要跑一次 14B 视频生成再调用闭源 API。3.1 小时的生成开销、实时性以及真机部署时的延迟都没有充分讨论。换成开源的 Cosmos-8B 后性能大幅下降说明方法依赖最强的闭源模型。实验规模与严谨性动机实验样本极小。Table 1 和 Table 2 只有 20 张图每类 10 张100% vs 42%的结论统计意义有限。另外Table 1 正文写的是 faucet-close附录 C.5 写的是 faucet-open前后不一致。仿真只用了 MetaWorld 单视角的短程任务。没有涉及长程、多阶段或可变形物体等更难的场景。真机部分偏弱。只有 3 个任务只对比了一个基线曲线经过平滑没有给出最终评估成功率表。用的是有人类干预的 HIL-SERL人类干预本身就会把策略带到成功区域附近。论文也没有说明随机种子数量。VLMeg 的思路很清楚让 VLM 只在值得判断的轨迹上、看最有代表性的一帧、对照参考图回答成功了没有这确实更契合 VLM 的能力。但实验中探索项和对比协议不对等、prompt 依赖细致的人工规则、整体依赖闭源大模型和视频生成削弱了成功检测优于奖励回归这一核心论断的说服力。