1. 这份技术报告到底在讲什么先给 MiMo-V2.6 一个准确定位今年以来开源大模型的迭代速度已经快到让人麻木。每隔几周就有一个新模型发布跑分一个比一个高但真正值得逐字精读的技术报告反而越来越少。很多团队选择把训练细节藏起来只放一个 demo 页面和几张 Benchmark 截图。所以当我看到 MiMo-V2.6 这份技术报告的时候第一反应是终于有人愿意把强化学习怎么做大这件事摊开讲了。MiMo-V2.6 被冠以第一开源大模型的头衔这里需要先做一个澄清这个第一不是指参数规模第一也不是指所有榜单全部登顶而是在一个更具体的维度上——它是最早把自我改进与强化学习规模化作为核心主线、并且完整公开技术细节的开源模型系列之一。报告里没有用花哨的术语包装而是直接把强化学习训练中的奖励设计、数据构造、迭代策略、分布式配置全部摆出来。这份报告适合谁读两类人。一类是做 LLM 训练和 RLHF 的算法工程师你可以把它当成一份难得的工程手册看到大规模强化学习在真实场景下会遇到什么问题、怎么解决。另一类是研究强化学习本身的人尤其是对模型能否通过自我生成的信号持续变强这个问题感兴趣的研究者。模型的评测数据反而不是重点重点在于方法论本身——它是怎么做到让模型在迭代中不断提高而不是原地打转。我在读这份报告时最大的感受是它不像某些技术报告那样把强化学习规模化当成一个口号而是真的给出了可复现的配方。包括策略优化算法的选择依据、奖励模型的更新节奏、回放缓冲区的处理方式甚至包括训练中遇到 loss 震荡时的应对策略。这些都是只在实战中才能积累的经验是纯论文里看不到的东西。2. 强化学习规模化从人类偏好打分到内嵌式奖励机制2.1 传统 RLHF 的天花板奖励模型本身就是瓶颈要理解 MiMo-V2.6 的做法得先回顾一下传统 RLHF 流程的痛点。标准的三阶段式——预训练、SFT、RLHF——里RLHF 阶段通常依赖一个独立的奖励模型。这个奖励模型是一个二分类器或回归器通过人类对多个回答的排序数据训练而成。问题就在这里奖励模型的容量上限决定了策略模型的改进上限。奖励模型如果对某些输入分布判断不准策略模型就会在优化过程中钻空子生成一些人类看着顺眼但实际质量很低的内容。更麻烦的是随着策略模型持续更新它产出的样本分布会逐渐偏离奖励模型训练时的分布导致奖励分数失真。这也就是业界常说的分布偏移问题。MiMo-V2.6 的路线跳过了独立奖励模型这一步让策略模型在训练过程中同时承担生成者和评判者两个角色。它的核心思路是基于自我奖励机制把打分数的能力内嵌到模型自己身上。这样奖励函数不再是静态的而是随着模型能力的提升同步进化。你不需要维护一个独立的奖励模型权重也不需要在每次策略更新后重新校准奖励模型。2.2 报告给出的规模化配方策略优化与奖励进化的同步策略MiMo-V2.6 在强化学习规模化的具体实现上有几个很关键的决策。我结合报告内容和自己的理解展开说一下。第一是算法选择。报告采用的是 PPO 家族的方法但做了若干工程化改动。PPO 到现在依然是大型语言模型强化学习的主流选择不是因为它最前沿而是因为它在更新幅度可控和实现成熟度之间取得了最好的平衡。你可以在训练早期用较大的 clip 范围加速探索在后期逐步收紧这个动态调整策略在稳定性和最终性能之间给了你一个可旋的旋钮。MiMo-V2.6 的做法是在不同训练阶段动态调整 clip 参数并配合优势估计的归一化处理避免个别极端样本主导梯度方向。第二是奖励信号的构造。报告里提到一个细节他们不仅仅使用模型的自我评判作为唯一奖励来源而是把自我评判与可验证的客观信号结合起来。这个思路很务实。对于数学、代码等有明确对错标准的任务建立一个基于规则或执行结果的验证器对于对话、写作等开放性任务则依赖模型自身对答案质量的评估。把两种信号通过加权方式融合既保证了对硬性错误的约束又保留了开放性任务的灵活性。第三是数据流设计。传统 RLHF 流程是先收集人类偏好数据再训练奖励模型再跑强化学习是一个串行流程。MiMo-V2.6 的做法是把数据采集、奖励生成、策略更新放到同一个迭代循环里。每一次迭代结束后模型用更新后的权重重新采样一批新数据然后对自己生成的数据打分数再进入下一轮策略更新。反馈环从人工介入变成了自动闭环这是它与传统流程最本质的区别。2.3 大规模并行训练中那些报告轻描淡写但实际很棘手的事技术报告经常会把工程细节一笔带过但实际做过的都知道强化学习规模化最大的挑战往往不在算法创新而在基础设施。MiMo-V2.6 的规模决定了它必须采用分布式训练架构这里面有几个点值得展开。生成阶段与训练阶段的资源调度。强化学习的迭代循环里策略采样生成和梯度更新训练是两个计算特性完全不同的阶段。生成阶段是典型的存储密集型需要大显存来装下数万条序列训练阶段是典型的计算密集型需要高效的张量并行。如果两个阶段共用同一批 GPU就会出现资源利用率的尖峰和低谷。MiMo-V2.6 的做法是把两个阶段拆到不同的计算集群上执行通过一个高速缓冲层来传递数据。相当于工厂里的流水线不同工位各干各的活互不阻塞。数据缓冲区的管理。强化学习训练中策略每更新一步旧数据就过期了一部分。缓冲区太小导致样本多样性不足策略容易过拟合到当前分布缓冲区太大导致计算资源浪费在低价值的历史数据上。MiMo-V2.6 采用了按迭代轮次分层存储的方式近期数据高权重采样远期数据低权重保留这样既维持了样本多样性又不会让策略被过时数据拖住。超参数调优的顺序。报告里提到了一个实用的经验先固定学习率调 rollout 数量再固定 rollout调 batch size最后才动 PPO 内部的 clip 系数。这个顺序我实际操作下来确实有效。很多人一上来就同时调六七个参数结果训练崩了根本定位不到问题出在哪。一次只动一个变量这是分布式强化学习调参的基本纪律。3. 自我改进的闭环模型如何一步步变强而不只是变大3.1 自我改进不是什么玄学它是迭代式的自蒸馏与自评判自我改进这个说法在社交媒体上被用得很玄好像模型一夜之间获得了自主意识一样。实际上把它翻译成技术语言就是三个机制的协作自采样、自评判、自训练。模型生成候选答案模型对这些答案打分再用打分结果作为奖励信号去更新自己。本质上是一种带反馈的自我蒸馏只是比普通蒸馏多了时间维度——每一轮迭代的模型都比上一轮更擅长做评判所以反馈信号的质量也在逐轮提高。关键问题是凭什么模型在自我评判时给出的分数是可靠的MiMo-V2.6 的解法是把评判任务本身当作一种需要训练的能力。模型不是天生就会判断答案好坏而是在预训练和 SFT 阶段就已经积累了大量的好答案长什么样的分布知识。到了强化学习阶段这些先验知识被激活并用于评判自身输出。模型读过的优秀文本越多它给自己打的分数就越趋近于一个受过训练的人类评审的判断。3.2 迭代训练中如何避免自我感觉良好陷阱我在读报告时最关心的就是这个问题如果模型自己给自己打分那它会不会越来越自信但实际能力并没有提升也就是所谓的奖励黑客报告里给出了几道防线。第一道防线是参考模型约束。在每轮策略更新时新模型相对于旧模型的变化被限制在一个 KL 散度范围内。这意味着模型不能一夜之间颠覆自己的行为模式改进是渐进的。KL 约束参数设置得很保守报告里提到他们更倾向于稳扎稳打地走二十步而不是大步流星地冲两步然后崩掉。第二道防线是自洽性验证。对于同一个 prompt模型生成多条候选回答然后对它们进行交叉验证而非单次打分。如果模型对一个回答打高分但对另一个语义等价的回答打低分说明模型对这道题的理解其实是不稳定的这条数据在训练中的权重会被调低。这个机制过滤掉了大量因为采样噪声导致的虚假信号。第三道防线是固定一组种子集进行定期回归测试。这组的题目不会参与训练每轮迭代后在种子集上跑一遍看真实能力是否在提升。如果训练 Loss 在下降但种子集分数没有变化就得停下来检查是不是发生了奖励黑客。这套方法思路其实很朴素但很多团队恰恰忽略了——只顾着让目标函数下降忘记了目标函数本身可能被钻空子。3.3 从对话历史中构建自我改进信号一个具体的流程拆解报告中关于数据构造的部分讲得非常细我尝试还原它的完整流程。使用的不是一次性生成的静态数据集而是一个在每轮迭代中动态更新的数据池。流程大概是这样的每一轮迭代开始时从数据池中采样一批 prompt。这些 prompt 的来源包括真实用户请求、人工编写的指令、以及上一轮迭代中模型表现不佳的问题。然后让当前模型对每个 prompt 生成多个回答。接着对这批回答进行两两比较让模型判断哪个回答更好或者对每个回答独立打分。打分结果会经过归一化处理消除不同 prompt 之间的难度差异带来的偏差。最后筛选出高置信度的数据进入训练集低置信度的数据则被丢弃或延迟到下一轮再评估。这个数据池是持续滚动更新的。随着模型能力的提升早期被视为高难度的 prompt 可能变得太简单它们会被逐步移出训练集换成一批新的挑战性问题。这有点像人类的学习过程——小的时候觉得做两位数乘法很难熟练掌握后天花板就变成了微积分。如果一直困在两位数的题目里进步就会停滞。MiMo-V2.6 的数据池设计就是为了保证模型一直处在最近发展区。4. 评测策略里的门道为什么说跑分表格也会骗人4.1 通用榜单分高不等于真实能力强MiMo-V2.6 的评测组合拳每一个技术报告都会附一张评测对表但不同报告的评测含金量差距很大。有些模型在 MMLU 上刷得很高但实际对话体验一塌糊涂原因是 MMLU 的知识密度和语言风格与真实对话场景相差甚远。MiMo-V2.6 的报告在这方面做得比较克制它的评测体系分为三个层次。第一层是通用能力基准包括 MMLU、GPQA、HumanEval 这些常规科目用来与其他模型做横向比较。第二层是开放式生成质量的人工评测报告里用的是人工与 AI 评审相结合的双轨制对回答的忠实度、逻辑性、有用性分别打分。第三层是自我改进能力的纵向评测这也是最有意思的部分——它把每一轮迭代中的模型权重都保存下来然后在同一组评测集上反复测试画出能力随训练轮次的变化曲线。报告里展示的纵向曲线显示模型在数学推理和代码生成这类有明确标准的任务上使用自我改进方法提升幅度最显著而在开放式创意写作上的提升相对温和。这个趋势符合直觉评判标准越客观自我奖励信号的可靠性就越高训练信号的信噪比就越高。如果你打算在自己的模型上复现这套方法我建议优先从代码、数学这类任务入手成功概率会大不少。4.2 评测中容易被忽略的细节归一化、对比基线与误差范围报告里有一个处理细节值得所有做评测的人学习——它对所有基准均采用了多次采样取均值的策略而不是单次采样。语言模型解码具有随机性单次采样的分数波动其实非常大。同一个模型在 HumanEval 上单次跑 40 分换个随机种子可能就跑到 50 分。报告里将每项评测重复多次并报告均值和方差这样才能看出模型之间的差距到底是真实能力差异还是采样噪声导致的偶然波动。另外报告明确标注了各基线的版本和采样配置。这一点看着不起眼但很多第三方测评乃至部分技术报告都会忽略导致不可比。不同实现版本、不同解码参数的 baseline 放一起对比得出的结论是不严谨的。你不一定需要完全复现 MiMo-V2.6 的评测流程但至少应该在自己的评测报告中做到固定随机种子、固定采样参数、报告多次采样的统计量。这种严谨性会直接影响社区对你的结果的信赖程度。5. 争议与边界冷静看待自我改进的实际天花板5.1 第一和自我改进需要放在具体的坐标系里理解标题里的第一是最容易引发争议的表述。一个负责任的解读方式是它指的是在这一类具体技术路线自我改进式强化学习、且完整开源中的领先位置而不是在所有维度的全面领先。单看传统基准测试MiMo-V2.6 可能并不是每个科目都排第一它的亮点在于展示了一个开源模型通过自身反馈机制逐轮变强的完整可行性。就这一点而言它的意义大于某几个具体分数。5.2 自我改进的真正边界在哪里自我改进并不是永动机。即使奖励信号完全可靠模型的能力上限也不可能超过训练数据和基础架构所决定的信息瓶颈。模型的训练数据是固定的它能在已有知识范围内进行更好的组合、推理、表达但无法凭空产生训练数据里从未出现过的新知识。这就是自我改进与真正的科学发现之间的本质区别。如果你期望模型像科学家一样做出突破性发现目前的技术路径还远远做不到。另一个边界在于随着迭代轮数增加数据池中高价值样本会被逐渐耗尽。前几轮迭代改进显著到后期每轮提升的幅度会越来越小。这不是异常这是自我改进方法的正常衰减曲线。报告里也提到了这一点他们的应对策略是不断从真实用户使用数据中补充新鲜 prompt相当于从外部给系统注入新的信息源。5.3 开源生态的现实挑战权重开放只是第一步最后想聊一下开源这两个字的分量。很多团队把权重上传到社区平台就自称开源但对使用者而言仅有推理权重是不够的。你也许想知道这份模型是用什么数据训练的、强化学习的确切参数配方是什么、数据清洗流程怎么设计的。MiMo-V2.6 的技术报告在开放性上做得比较好训练数据组成、奖励构造方式、阶段设计都有相对完整的描述这为你把这套方法迁移到自己的模型上提供了坚实基础。但也要看到现实完整的数据集没有全部开放训练代码也只是给了框架性描述而非可直接运行的完整工程。这个情况在开源大模型领域普遍存在可以理解——完全开放全部训练数据意味着巨大的合规成本和竞争风险。对使用者来说我的建议是如果你打算复现不要试图一比一复原它的训练管线而是提炼出方法论然后结合你自己的工程环境重新实现。这种建立在理解之上的二次创作价值远大于盲目照搬。6. 从这份报告里我们能带走的几件事这份技术报告对开源大模型社区的最大贡献不是发布了一个新模型而是验证了一条可复制的训练路线。传统 RLHF 依赖大量人类偏好标注成本高而且难以持续迭代。自我奖励式的强化学习把人类从反馈回路里摘出来让模型利用自身的判断能力完成信号构造这对中小团队尤其有吸引力——你不一定需要庞大的标注团队才能做强化学习。对于想在自己的模型上尝试自我改进方法的团队我的建议是从小规模实验开始先把训练流程跑通用一个较小的基座模型和几千条种子数据验证整个闭环是否运转正常再逐步扩大规模。过程中特别要注意奖励信号是否存在偏移——每隔几个 batch 计算一次奖励分数与人类评审的相关性如果相关性持续下降说明模型可能在钻奖励模型的空子这是最危险的信号。MiMo-V2.6 不会是大模型自我改进之路的终点。随着开源社区对强化学习技术细节的理解越来越深模型之间的差距会逐渐从谁会刷分转向谁的训练方法论更扎实。这恰恰是技术报告存在的意义——它让每一次进步都不至于从零开始让后来者可以站在前人的工程判断上再往前走一步。