你有没有想过一个不会画画的人能不能靠脑补一张图来解题比如你在玩迷宫游戏闭上眼睛在脑子里过一遍路线你不需要真的画出这张地图但你的大脑确实在某种程度上生成了一张看不见的图。现在的问题是机器能不能也做到这件事。这正是谷歌DeepMind这篇论文要解决的问题。他们给这种能力起了个名字叫潜在视觉推理。**当前最强的视觉语言模型看图能看清楚,但推理时容易失焦**现在的视觉语言模型VLM已经很擅长看图说话了。你给它一张图问它图里有什么它答得头头是道。但如果你让它做一道需要多步骤视觉推理的题比如走迷宫、找茬、判断空间关系它就容易翻车。原因在于主流的做法是让模型把图片翻译成文字再用文字去推理。这个过程就像让一个人先把一幅画写成文字描述然后靠着这段描述去做后续判断。问题是翻译的时候细节会丢一些关键的空间信息、纹理信息文字很难说清楚。论文里提到一个数据用纯文字链式推理的方法在很多视觉基准测试上都会因为丢失细节而表现打折扣。于是有人想到一个折中方案既然文字损耗信息那就别翻译成文字直接在潜空间里保留视觉信息让模型在推理链条里插入几个连续的潜在视觉token这样模型既能像人一样一边想一边看又不用真的生成一张完整的图片。这就是潜在视觉推理的思路。这个思路听起来挺聪明但DeepMind团队发现现有的这套潜在推理框架其实存在两个致命伤。**第一个坑训练模型脑补图像时用的参照物本身就选错了**现有方法通常分两步训练。第一步是监督微调SFTSFT给模型看大量标准答案让它学着模仿的训练方式先教会模型基本套路在这一步训练时会用到一张助教图也就是一张只有训练时才有、推理时不给的辅助图片。比如在走迷宫任务里这张助教图可能是一张热力图标出了每个格子离终点的价值高低。模型需要学会把这张助教图的信息内化到自己的潜在token里这样等到考试的时候也就是推理阶段就算没有助教图它也能凭自己生成的潜在token做出接近的推理。问题出在怎么把助教图变成潜在token这一步。现有方法都是找一个现成的、别人训练好的视觉编码器直接把助教图丢进去编码编码出来的向量就当成目标让模型去模仿。这就像你要教一个厨师做菜但你给他的参考照片是用美颜相机拍的把菜品拍得很好看却完全没拍出火候和调料比例这些关键信息。厨师照着这张照片去学学到的是好看而不是好吃。如果不换一台专业的、拍得出细节的相机厨师永远学不到真正有用的东西。现成的视觉编码器就是这台美颜相机。它是为通用视觉任务训练的比如图像分类、图文匹配它保留的是通用视觉美感和语义但未必保留了这个具体推理任务真正需要的证据。结果就是模型花了力气去模仿一个不那么有用的目标浪费了潜在token的表达能力。DeepMind的解法是别用现成的编码器了自己训练一个专门的编码器叫做脚手架编码器脚手架编码器一个专门为当前推理任务训练出来的编码器用来把助教图压缩成对下游答题最有用的潜在token而不是套用别人训练好的通用视觉特征这个编码器怎么训练关键在于它是通过下游任务的损失直接端到端训练出来的也就是说编码出来的向量好不好不是看它像不像原图而是看它能不能帮模型把最终的答案答对。这就相当于给厨师换了一台能拍出油温、下锅时间、调料颗粒的专业相机厨师照着学学到的才是真本事。论文的消融实验证实了这一点。只训练一个小小的注意力池化模块大约8000万参数就能让准确率提升4.3个百分点。如果连视觉编码器本身也一起训练总共约7.6亿参数还能再涨10个百分点加起来比原来那套用冻结特征的方法高出14.3个百分点。而且研究者还专门做了对照实验排除了是不是单纯因为参数变多了才变强的可能性同样把视觉编码器解冻放到普通SFT里不学优化目标只提升4.5个百分点远远不如优化目标带来的提升。这说明真正起作用的不是参数更多而是目标选对了。**第二个坑强化学习阶段模型压根没法试错潜在空间**训练的第二阶段是强化学习RLRL通过给模型的输出打分用奖励信号去调整模型行为的训练方式让模型在实践中越做越好一般的RL做法比如GRPO只对文字token做优化压根不碰潜在视觉token。这就好比一个学生做应用题老师只批改他写的文字步骤却完全不管他脑子里想象的那张草图对不对。后来有个改进方法叫VLPO视觉潜在策略优化它想办法把潜在token也纳入优化范围但用的是一种确定性正则化的手段给潜在token设一个固定方差的高斯分布用来约束新旧策略之间的潜在表示不要偏移太远。这个思路的问题在于它只是在限制走偏而不是在鼓励探索。你可以把它想象成给一个正在学走路的孩子系了根绳子绳子只是防止他走得太远摔倒,但绳子本身不会告诉孩子往哪个方向走会更好。因为VLPO从来没有真的从这个高斯分布里采样出不同的潜在动作去尝试它只是拿当前生成的潜在向量和上一轮的向量做距离惩罚从头到尾就只有一条路径没有分支也就没有真正的探索。如果不做任何形式的采样RL的探索优势根本发挥不出来最后能带来的提升非常有限论文里的实验显示只有0.9个百分点而且训练曲线还会剧烈波动。DeepMind的方案叫Scaffolding RL脚手架强化学习Scaffolding RL在生成的潜在视觉token基础上用两个小型神经网络头分别学出一个均值和一个方差构成一个可以真实采样的高斯分布让模型每次推理时都能尝试不同的潜在动作再靠奖励反馈筛选出更好的路径这里的关键区别在于均值和方差都不是固定值而是根据当前生成的潜在向量动态算出来的也就是说探索的方向和幅度会随着具体输入自适应调整。这就像给那个学走路的孩子换了个教练,教练会根据孩子当下的平衡状态动态告诉他往哪边挪一挪、挪多远而不是死死拽住一根固定长度的绳子。论文的消融实验里这个方法比VLPO多拿了3个百分点的提升而且在用较弱的Stage 1模型也就是用旧方法训练出来的、目标没优化好的模型上测试时Scaffolding RL的优势会进一步放大到5.2个百分点说明潜在空间越有改进空间这种真实探索的价值就越明显。研究者还专门验证了均值和方差缺一不可只学均值提升1.6个百分点只学方差提升1.2个百分点两者都学才能拿到3.0个百分点的全部收益。**放在一起看效果有多大**论文在两类任务上做了验证。第一类是FrozenLake走迷宫任务网格大小从8乘8一路测到32乘32。这个任务很直观模型要输出一整条从起点到终点、绕开所有陷阱的完整路径走错一步就算零分容不得半点含糊。结果显示Scaffolding Minds这套方法比此前最强的潜在推理基线叫VaLR平均高出9.5个百分点而且随着网格从8乘8变到32乘32这个优势不是缩小而是持续拉大到32乘32的时候差距扩大到19个百分点。换句话说题目越难这套方法的优势越明显。研究者还专门画了一张逐难度等级的对比图可以看到传统方法随着迷宫变大准确率下滑得又快又陡而新方法下滑得平缓得多就像两个人爬一座越来越陡的山一个渐渐体力不支另一个还能稳住步伐。第二类是九个视觉中心的推理基准测试覆盖了细粒度属性判断、空间关系理解、高分辨率图像分析等各种场景。平均下来这套方法比此前最强的潜在推理方法高出5.6个百分点其中在MMVP专门考察模型看漏了什么的基准上提升了20.7个百分点这个跨度相当可观意味着原来每5道题模型就要因为看漏细节答错1道现在这个错误率明显降下来了。值得一提的是研究者还和直接生成图片再推理这类方法做了对比。这类方法在推理过程中会真的画出一张中间过程图视觉信息保留得更完整但代价是推理速度慢很多论文测出来的延迟增幅高达76%到277%不等。而Scaffolding Minds全程只在潜在空间里操作推理延迟只多了4.6%到5.9%几乎不影响使用体验同时准确率反而比这些画图流派还高出10.7个百分点。这说明想要视觉推理能力强不一定非得真的把图画出来只要潜在空间本身学得够好效果照样能超过显式生成图片的笨办法。**这套方法到底解决了什么根本矛盾**回过头看这篇论文其实揭示了一个容易被忽略的问题在深度学习里看起来合理的中间步骤和真正对下游任务有用的中间步骤往往不是一回事。用现成视觉编码器提取特征看起来省事又稳妥毕竟这些编码器都是业界公认好用的。但省事的代价是这些特征天生带着别的任务的偏好未必贴合你手头这个具体问题。同样用固定方差的高斯做正则化看起来是稳妥的保守做法能防止训练跑飞但代价是彻底放弃了探索的可能性。这两个问题合在一起看其实是同一件事的两个侧面都是因为图省事、图稳妥选择了够用而不是最优的方案结果留下了性能提升的空间没有被挖掘出来。QAQ1Scaffolding Minds是什么AScaffolding Minds是谷歌DeepMind提出的一种多模态推理训练框架通过训练专用的脚手架编码器来优化潜在视觉目标表示并结合可学习均值方差的强化学习采样方法提升视觉语言模型在空间规划和视觉推理任务上的表现。Q2Scaffolding Minds和之前的潜在推理方法比有什么优势A在FrozenLake走迷宫任务上平均提升9.5个百分点32乘32最难网格上提升达19个百分点在九个视觉推理基准上平均提升5.6个百分点同时推理延迟只增加不到6%远低于生成图片类方法76%以上的延迟增幅。Q3脚手架编码器和普通视觉编码器有什么区别A普通视觉编码器是为通用视觉任务预训练的特征未必贴合具体推理任务脚手架编码器则通过下游任务损失端到端训练专门优化出对当前推理任务最有用的潜在表示。