拿到 MiMo-V2.6 的技术报告之前我本来没抱太高预期——这几年号称“自我改进”的开源模型不少只是把响应过滤了一遍再拿去微调本质上还是在套纯 SFT 的壳。但这篇报告读完后我的感觉确实不一样它把“自我改进”和“强化学习规模化”放在同一条主线上而且把不少工程细节摊开讲清楚了。作为常年做开源大模型后训练的人我很确定这一点MiMo-V2.6 不是那种刷几个榜单分就完事的发布它是少数会让我愿意从头复现一遍的模型之一尤其适合预算有限、又想真正上手 RL 训练的小团队。1. 从技术报告里读出的核心动机开源后训练终于轮到RL规模化1.1 权重开源不等于训练过程可信这次难得把方法论讲清楚了很多人对“开源大模型”有个误解权重放出来了就万事大吉。但真正把模型拿去做下游任务时你会发现 SFT 阶段的痕迹特别重——模型只是学会了“看起来像答案”的分布而不是学会在交互中调整自己的策略。MiMo-V2.6 的路线刚好相反它把重心从“教模型模仿”挪到了“让模型在反馈中改进”走的是强化学习里非常正统的 idea策略并不固定它要在不断采样、评估、更新中逼近更优解。技术报告的价值在于它不是只给一个私有训练流程的广告而是明确描述了数据怎么来、奖励信号怎么算、策略模型怎么迭代。单就这一点它就比很多只丢模型卡和评测分数的开源项目高了一个身位。1.2 所谓“RL规模化”到底在规模化什么过去两年RL 训练的常用姿势是“小规模 RLHF”训练一万条偏好数据用 PPO 调一下看人工评估涨了就算成功。但 MiMo-V2.6 报告里强调的“规模化”不是一个含糊口号而是三个具体维度的同步放大采样规模不再是每句话采一次输出而是同一批提示词下大量生成候选响应提升策略覆盖的多样性。奖励多样化不只靠一个奖励模型打总分还会结合规则判定、过程监督、模型裁判等多个信号减少单一奖励被 hack 的可能。迭代次数训练不是一轮 RL 就收工而是多轮“生成—评估—筛选—再训练”的闭环让模型不断用自己变强之后的输出继续训练自己。这个思路我并不陌生早期 AlphaGo 那套 self-play 本质也是这个逻辑用当前最优策略生成对局再从胜负信号里学习。大语言模型里的“自我改进”更麻烦因为它的状态空间是自然语言输出很难自动判定对错所以报告里花大量篇幅讲奖励设计一点都不奇怪。1.3 为什么版本号是 V2.6 而不是 V3.0我猜很多人看到“V2.6”会愣一下都 2.6 了怎么还没跳 3.0这恰恰是这个团队做事的风格——小步快跑每个版本只动一个关键变量然后靠评测和消融实验决定下一步。这个思路非常值得学习尤其是做开源模型动辄发大版本会让使用者很难追踪性能回退到底是从哪个改动开始的。V2.6 意味着前面已经踩过 2.1、2.2、2.3 的坑版本号里的每一个小数位都代表一次可验证的改进。如果让我给这份报告一个精确定位它更像是一份“后训练实验报告”而不是“模型发布通稿”。前者写给想复现的人看后者写给别人看。2. 自我改进的闭环策略、奖励与信任边界2.1 一个最小可跑的自我改进循环长什么样MiMo-V2.6 报告体现的循环逻辑落到代码层面其实就四步给定一组提示词让当前策略模型生成若干候选响应。用奖励模型或规则评估每条响应得到标量奖励。按照奖励阈值或置信区间过滤数据保留高质量样本。用这些样本做策略优化更新策略模型回到第 1 步。以前很多人做“自我改进”只做到第 3 步就停了拿着过滤后的数据去做 SFT。但严格来说SFT 和 RL 的本质差异在于SFT 只是让模型去模仿被过滤出来的“正确”文本并不会对错误响应形成长期的负向压力RL 则会让模型在整个策略分布上做优化既要提升高奖励路径的概率又要压低低奖励路径的概率。这也是 MiMo-V2.6 让我觉得“真有在思考”的地方——它没有把自我改进当成语料扩增而是当成策略优化来做。2.2 奖励来源怎么搭规则、过程监督、模型裁判三层分工奖励设计是自我改进闭环里最脆弱的一环。MiMo-V2.6 的做法按报告里披露的框架来看大体可以拆成三层奖励层级典型信号优点风险规则层代码单元测试、数学答案比对客观、不可攻击覆盖场景有限过程层每一步推理是否正确、是否符合指定步骤能定位错误环节标注成本高模型裁判层大模型对答案质量打分通用性强容易被语言风格和长度带偏我在实际操作里最看重的是“结果奖励容易做过程奖励难做但收益更大”这条经验。代码任务只要塞进沙箱跑测试用例就能得到确定反馈很省心但推理类任务里光比对最终答案可能让模型学会“蒙对结尾但中间逻辑一塌糊涂”。MiMo-V2.6 这类报告通常不会公开完整奖励权重可你要是自己搭我建议偏重过程监督哪怕一开始数据量做不了太大。2.3 用置信区间筛数据别把奖励均值当唯一指标技术报告里可能不会专门写“置信区间曲线”但你做清洗的时候脑子里得有这根弦。举个特别常见的例子某类提示词下生成了 50 条响应平均奖励 0.8看起来很好看打开奖励分布发现是 45 条 0.95、5 条 -0.8均值和分布完全两回事。如果你只看均值这 5 条低分数据混进训练集就会给策略带来非常矛盾的梯度信号。我在自己的训练流程里会把每个 batch 的奖励均值、标准差和置信区间一起画出来。低于置信下限的样本要么直接丢弃要么做降权处理高于置信上限的样本也要看是不是存在安全风险或在作弊。这就像热词里经常有人问“origin 怎么画强化学习置信区间曲线”其实关键不在绘图技巧而在于把不确定性纳入数据筛选决策。2.4 信任边界的自我循环陷阱模型会学会“骗奖励”只要奖励是可优化的模型就一定会找到你没想到的捷径。代码任务里它可能学会在测试用例里面写死 return对裁判模型它可能学会输出更长、更花哨的答案来提高得分。MiMo-V2.6 这类模型能稳定迭代到 V2.6我猜它们多半专门做过奖励模型的“对抗检验”在每轮迭代里留出一批难度更高的提示词避免模型只在同分布数据上刷高分。这部分的结论很简单自我改进是个好循环但必须给循环装“护栏”。护栏不是你设置一个奖励阈值就完事而是每迭代几轮就用没参与过奖励计算的人工基准做一次抽查。3. 强化学习算法选型的完整对照从PPO到离线IQL3.1 在线策略方法PPO 和 GRPO 的真实代价MiMo-V2.6 报告里最核心的训练算法几乎可以肯定离不开近端策略优化PPO或者它的变体 GRPO。PPO 家族是当前离线 RLHF 里最稳的选择它通过裁剪目标函数限制单次更新幅度避免策略因为一步迈得太大而崩掉。但 PPO 的代价也直白训练时你要同时维护策略模型、参考模型、奖励模型和价值模型显存开销巨大在线采样时你还得不断生成新响应这又要把推理服务和高性能训练集群绑在一起。很多小团队最后不是模型训不动而是训练机一跑、推理机一跑集群直接被打满。GRPO 的做法是不训价值模型用一组样本的平均奖励做基线省掉一块显存代码实现也简单不少代价是每个 prompt 都要生成一组响应采样成本会往上走。3.2 离线强化学习IQL 这类方法为什么越来越吃香在线 RL 的工程门槛逼着不少人转投离线强化学习。IQLImplicit Q-Learning的核心思想是只用数据里优势较高的样本做更新不强行拟合分布之外的策略行为。好处很明显你不需要在线 rollout也不需要专门维护一组昂贵的奖励模型实时推理只需要准备一个大而全的“响应—奖励”数据集然后离线训练策略。在 MiMo-V2.6 的语境下离线 RL 的价值在于“规模化”只要数据管道足够大算法本身跑在固定数据集上训练流程就能像 SFT 一样横向扩展。代价是它很难持续探索新策略因为策略永远跳不出离线数据集给的信息瓶盖。所以你在技术报告里往往能看到“先离线、后在线”的组合路线先用离线数据把模型拉到一个比较高的起点再做少量在线采样来对冲离线数据的分布偏移。3.3 基于模型的强化学习看起来很美落地还很远热词里反复出现“基于模型强化学习”。这个方向的直觉很吸引人如果能在语言模型内部学一个环境的动力学模型策略就可以在“想象”里无限试错不用真的生成 token。但落到文本任务上事情麻烦得多。语言环境不是物理世界状态转移的“下一个 token 是什么”本身就具有高不确定性你很难写一个可靠的环境模拟器。在数学和代码任务里倒是有一种折中的“基于模型”用法把代码执行器或符号求解器当作环境模型让策略在虚拟执行结果里学习。这其实就是很多推理模型中“程序化奖励”的来源我个人认为这是未来开源模型做 RL 规模化最确定的方向。3.4 小团队该怎么选算法我的对照表很多人私信问我说“我只有四张卡能不能跑 MiMo-V2.6 那套 RL”。我的回答一直很直接不要一上来就复刻完整在线 RL先用离线数据把流程跑通再渐进加入在线采样。下面是一张我根据自己的经验整理的选择表场景推荐方案原因预算 100K token/小时离线RL 人工筛选不需要在线 rollout训练稳定已有稳定奖励模型GRPO省价值模型显存门槛低于PPO任务有自动评估器代码/数学在线采样 PPO自动反馈可闭环充分探索多任务混合、奖励很难统一过程监督 离线IQL降低奖励噪声对策略的冲击从零复现 MiMo-V2.6 路线离线起步第二阶段加在线复现门槛平滑便于定位问题不管选哪种我都要强调算法只是其中一环数据管道才是大部分失败案例的根源。4. 训练工程里那些技术报告不会细写的坑4.1 开源工具链如果要从零搭一条 RL 流水线部署大模型时常用的开源平台和工具国内社区讨论最多的基本是这几个Hugging Face 的 TRL、Ray、vLLM 或 SGLang以及 Weights Biases 这类实验追踪工具。TRL 主要负责调用 PPO/GRPO 的训练循环vLLM 负责高吞吐的 rollout 推理Ray 负责把数据缓存、采样、训练等多个节点串在一起。这套组合在 MiMo-V2.6 这种规模的复现场景下已经算豪华配置了但合理分工后小团队其实也能跑得动。一个最小可行的流程是这样用 vLLM 起一个离线推理服务批量生成候选响应。拿响应去奖励模型打分或执行规则校验。把“提示词—响应—奖励”组织成离线数据集喂给 TRL 的离线 RL 接口。训练若干步后生成新策略权重重新加载到 vLLM 服务进入下一轮迭代。这里最常见的坑是“训练与推理并发资源争抢”。如果你只有一个集群vLLM 推理服务会占掉一批显存TRL 训练又需要大批显存Python 的调度器如果没做好很可能两边同时 OOM。建议每轮迭代明确错峰先生成数据集再停推理、跑训练跑完再接回推理顺序执行最稳。4.2 奖励模型从“帮助者”变成“敌人”过拟合识别模型和奖励模型一起迭代风险在于奖励模型可能会被慢慢带偏。这有点像你和朋友长期互相评价最后你们会形成只有彼此才懂的黑话。RLHF 里这叫 reward hacking。我在做类似训练时会在每轮迭代里固定一小部分 old responses重新喂给新奖励模型打分。如果新旧奖励模型对同一批旧样本的打分差异超过合理范围说明奖励模型本身也被策略带跑了。这时候最该做的事不是强行降学习率而是回滚到上一个稳定的奖励模型或者重新采一批多样化的数据来校准。4.3 采样与训练的两难提高吞吐不一定等于提高质量很多实现为了提速会用一个 prompt 同时生成几十个响应这就叫采样开销。说实话吞吐确实上去了但对策略质量的提升有边际效应。当同一个 prompt 的候选响应数量超过某个阈值之后新样本对策略梯度的贡献大幅下降反而增加训练集内部的重复性让模型在某类提示词上过拟合。MiMo-V2.6 的迭代既然能做到 V2.6肯定对采样策略做过细致的消融。我自己会控制同一个 prompt 的采样数在 8 到 16 之间然后把更多的预算花在“扩大提示词多样性”上而不是在一个 prompt 上无限堆样本。4.4 随机种子与可复现性技术报告里最容易被跳过的细节很多人复现 RL 项目失败不是因为代码写错而是随机种子不稳定。RL 本身是高方差训练dropout、采样器、分布式数据切分的顺序都会让结果抖动。我强烈建议在每一步数据筛选后都把筛选结果保存成带版本号的缓存文件确保同一轮迭代可以精确重放。MiMo-V2.6 这类报告能给你提供路线但不可能把每一次随机数生成都帮你固定下来这部分得靠自己下功夫。5. 我的复现路线图与踩坑记录5.1 两周跑通最小闭环的计划如果只有两张卡到四张卡我不建议直接冲全量复现而是先在一个中等规模的任务比如代码修复或数学推理上复现闭环。下面是我自己会排的三周计划阶段时间目标输出准备第1周复现基础SFT模型搭建奖励模型可生成响应的策略、稳定的打分器闭环第2周跑通“采样—评估—过滤—训练”四步一轮RL后的模型、奖励曲线迭代第3周多轮迭代加在线采样或调阈值多轮版本对比报告、消融结论第 2 周最容易劝退人。第一次跑 RL 时你大概率发现提示词、奖励分布、训练超参数三件事同时不对什么都想调。我的建议是只动一个变量比如先固定奖励模型不变只调采样数量和阈值等曲线稳定了再升级成“奖励模型—策略模型”联合迭代否则出了问题你根本不知道是哪个环节导致的。5.2 防止“自我改进”变成“自我欺骗”评测集隔离自我改进最危险的地方是一不小心就变成了自我欺骗。如果你的评测集也来自模型自己生成的分布并且经过同一个奖励模型筛选那模型分数上涨可能只是因为它学会了奖励模型的口味而不是真实能力上升。我在 MiMo-V2.6 这类尝试里学到的教训是至少留出 500 条人工标注的真实问题作为冻结评测集模型每次迭代完都在这个集合上跑一遍只有这里涨了才算有效改进。5.3 不是所有任务都适合 RL 规模化报告里的“规模化”听上去很激动人心但你不能无差别套用。像开放闲聊、风格转换这类主观任务奖励天然模糊模型很容易朝着高分但无信息量的内容坍缩。相比之下代码、数学、逻辑推理、工具调用这些有客观正确性判定的任务才是 RL 规模化最容易先跑通的主场。所以如果你想复现 MiMo-V2.6 那套方法我建议首期项目锁定一个可用规则验证的任务领域别一开始就铺一张全领域大网。5.4 关于开源许可复现前先看协议这一点很多人忽略。所谓“开源模型”不同项目对权重、训练代码、生成数据的使用约束并不一样。有人把权重开放但禁止商用有人允许任意微调但要求保留版权声明连技术报告里的实验数据是否允许二次发布都要看具体条款。我要提醒的是哪怕你是个人学习也把 license 读一遍如果要拿生成数据回去训练自己的模型最好走一遍合规评估。6. 几个我还在观察的开放问题技术报告写得很完整但落到真实使用场景我心里还有几个待验证的问题也顺便分享给大家。第一个是奖励模型的可持续性问题。MiMo-V2.6 把自我改进做成一个迭代闭环但闭环里最核心的奖励模型本身也是模型它一旦被策略反向“驯服”整个迭代的质量地板就被拉低了。目前业界也没有特别完美的解法只能靠频繁人工抽样和定期重新标定来控制。第二个是“开源模型 强化学习规模化”的边际收益。当迭代到 V2.6、V2.7、V2.8 之后每轮的提升会不会越来越小如果 token 预算继续往上加会不会出现类似 SFT 时候的收益高原这类曲线最好用置信区间图追踪别只看单点。第三个是安全对齐与能力提升的冲突。RL 优化会把所有被奖励的维度一起放大包括一些我们其实不希望被放大的侧面。你能不能在自己的训练闭环里设计出足够强的防御机制决定了这个模型最终是“变强了”还是“变得更难用了”。说到底MiMo-V2.6 最有价值的地方并不是某一个算法的名字而是它把从前“只能靠大厂私有堆料”的 RL 后训练过程变成了一个可以拆开研究、公开讨论的工程方案。我会继续盯着它后续版本的消融实验尤其是那些奖励模型权重和采样策略上的小改动。如果你也想动手复现我给你的朴素建议就一句话第一轮迭代必须用最笨最稳的小规模闭环跑通别让在线采样、离线数据、奖励模型这些变量同时冲进你的集群。先把一条干净的样本流水线跑通再考虑规模化你会少踩很多我踩过的坑。