38 项基准赢了 31 项中国团队把开源决策模型做到全球第一Jev 的王座还稳吗【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev最近 AI 圈有个消息传得挺凶一家成立还不到 5 个月的上海公司 StartLux原点星辉在 9 月 30 日甩出了一套叫 StartLux-Decision 的开源决策模型尺寸从 0.8B 一路铺到 27B。媒体标题写得很猛——38 项基准里31 项压过 Jev。Jev 是谁过去两个月它几乎是AI 决策模型这个新物种的代名词。有人说它把 AI 调用成本打到了零头也有人说它才是 Agent 时代真正干活的行动引擎。现在一个中国团队拿着开源权重来敲门了。问题也跟着来了这 31 项含金量到底有多少开源决策模型真的要换天了吗一、先把话说白决策模型到底是个啥你可以把聊天大模型想成公司里那个特别能写的实习生什么都能聊但你让他判断这张报销单该不该批他会先给你写三百字分析最后才憋出一句结论。慢、贵而且偶尔还会一本正经地胡说。决策模型不一样。它更像公司门口那位老门卫不写材料、不作诗只回答三件事——放行、拦下、还是上报顺便告诉你我有多确定。这个有多确定很关键。它不是一句我觉得差不多而是一个 0 到 1 之间的概率。比如该转给财务0.92该转给技术0.05。程序拿到这个数字就能直接设门槛超过 0.8 自动处理低于 0.5 转人工。这就是为什么 Jev 会火。Agent 系统里大量的智能其实不是写文章而是判断这条内容要不要拦、这个工具能不能调、这单该派给谁、这句话有没有瞎编。把这些判断从聊天大模型里拆出来交给一个专门的小模型速度快了、账单薄了、结果还更稳定。二、这次中国团队拿出的不只是一个大模型StartLux-Decision 最有意思的地方是它没做一个万能大块头而是做了两个性格完全不同的版本。一个是 Instant急性子。把材料从头到尾读一遍一次就给每个选项打出一个概率不写一个字。官方在 H200 显卡上测的数据是1024 个 token 的请求0.8B 版本大约 31 毫秒27B 版本大约 98 毫秒。基本上就是你眨个眼的工夫它已经判完了。另一个是 AutoThink老会计性格。简单的单子秒签一旦发现自己没把握就停下来想一想想一想再给答案。这个想一想有多值钱官方给了个很直观的数字在 7800 道刁钻的对比题上27B 的 AutoThink 有 39% 的题看一眼就直接答准确率 96%剩下 61% 拿不准的题它先想再答准确率从 57% 拉到了 93%。相当于改了 1783 个错只新添了 94 个错。这就像一位老会计九成的单子扫一眼就签剩下一成翻账本、对条款、按计算器。既不耽误事也不容易出事。更妙的是团队还专门治了 AI 的另一个毛病——想起来没完没了。他们用一套强化学习的方法做对给糖、啰嗦扣分结果模型在规定字数内把话说完的比例最多提升了 48 个百分点平均思考长度砍掉了 65%。三、31/38 这个数字到底怎么算出来的先把两个容易混淆的口径说清楚。所谓38 项基准指的是 Decision Index 这个榜单的老版本它把五个大领域里的 38 个测试集揉成一个总分覆盖知识推理、语言理解、检索分类、工具调用、人文审美。后来新版把其中一些题换掉公开部分是 37 项。所以38 项里赢 31 项和37 项里领先 23 项说的并不是同一件事。论文附录里的原话更克制在 37 项公开基准中至少有一个 StartLux 型号拿到全场第一的是 23 项。而31 项高于 Jev更像是传播口径——允许在 0.8B 到 27B 之间挑最好的那个成绩去比。这不代表成绩注水但确实说明看榜单得先看清楚是跟谁比、怎么比。真正硬的数字在这里0.8B 版本拿到 53.75 分Jev 是 57.96 分。最小的模型还差 4 分多没赢。2B 版本 59.14 分反超 Jev。4B 版本 67.88 分把 27B 的 Perplexity Decider62.25 分和 Jev57.96 分都甩在了后面。27B 的 AutoThink 版本 73.37 分是这批参评系统里的最高分。一句话总结不是每个尺寸都碾压而是越小越吓人。一个 4B 的模型打赢了一堆比自己大好几倍的对手这才是最让同行睡不着的地方。但分数只是第一层。团队自己又出了一套叫 DecisionPivot 的题专门考一念之差两道题几乎一模一样只改一个数字、一个日期、一个条件答案就完全不同。这恰恰是现实里最容易翻车的地方——退款政策差一天、审批权限差一级、合同条款多一句除外。在这套题上27B 的 AutoThink 成对正确率是86.9%Jev 只有31.0%连带着推理能力的 GLM-5.3 也只有 82.2%。意思很直白Jev 很会格式正确但一遇到需要算一笔、对一条的题就容易答得理直气壮却错得离谱。这也正好呼应了网上那篇很火的文章标题——格式对答案照样错。四、比分数更值钱的三件事第一件它知道自己有多不确定。天气预报说80% 概率下雨如果一年下来说 80% 的那些天真的下了八成这叫校准得好。AI 也一样。在 7800 道题上测下来Jev 的置信度平均虚高了13.8 个百分点另一家 Clef 虚高19.3 个百分点StartLux 的三个 AutoThink 版本误差分别是 2.4、3.3、5.2 个百分点。别小看这个差距。一个总说我九成确定、实际只有七成对的模型你敢让它自动放款、自动封号、自动调用工具吗概率不准后面的自动化就是空中楼阁。第二件它真的能塞进普通设备。官方给的部署方式挺接地气服务器上用 vLLM普通电脑用 llama.cpp苹果电脑用 MLX。0.8B 和 2B 版本用 llama.cpp 在 CPU 上就能转27B 的 4bit 量化版一台 64GB 内存的 M5 Pro 笔记本就能跑1024 token 的请求大约 3.3 秒一次。3.3 秒听起来不快但这是 27B 模型在你自己的笔记本上、不联网、数据不出门的前提下跑出来的。对很多有合规要求的公司来说慢一点但数据不出公司比快一点但要走云端重要得多。第三件它不光会批单子还会打游戏。官方放出的演示里27B 模型跟 Jev 下了 256 盘国际象棋赢了 58.4%其中一局在第 19 回合把 Jev 将死。它还打通了《超级马力欧》第一关在《星际争霸 2》里赢了内置的困难 AI在《Doom》里跟四个机器人对射。这些演示不是闲得慌。下棋、打游戏、点网页本质上都是看当前局面从有限动作里挑一个。这恰好是决策模型最擅长的事不生成长篇大论只做选择。五、泼一盆冷水开源不等于随便用这里必须提醒一句StartLux-Decision 的模型权重是 CC BY-NC 4.0也就是署名、非商业使用。代码是 Apache-2.0但权重不是。公司想拿它做商业产品得单独去谈授权。另外两个细节也值得知道一是单次判断最多支持 26 个选项选项特别长的时候要分组多轮会有轻微掉分二是 4bit 量化虽然省内存但在难题上可能掉几个点想追求稳定还是得用 FP8 或 BF16。还有那个自己出题自己考的老问题。团队自己在论文里承认Decision Index 的公开部分被用来做过模型选型所以那些分数不能算完全独立的测试真正独立的评测是 DecisionPivot。而 DecisionPivot 也是他们自己出的。这话说得挺老实但也说明榜单第一不等于天下无敌。六、openjev 这边另一条路走通了吗如果说 StartLux 是把产品做全——尺寸全、版本全、部署方式全那 openjev 走的是另一条路把决策模型做成一块谁都能改、谁都能查的基础零件。它的思路很朴素不生成文字只做判断题。把题目和某个选项摆在一起让模型判断这句话是成立、矛盾还是说不清。听起来简单但一个模型就能干很多活给答案重排、给作文打分、给内容守门、甚至打游戏。在这张官方雷达图里多边形越大代表零样本能力越全面。它比的是 openjev、Jev 和 Terra 在多项选择题上的表现注意面积不等于总分只是看起来直观。成绩方面openjev 最新的 4B v5 在 JevBench 的 231 道公开题上拿到0.814Jev 1.13 是0.866难题档是0.622 对 0.730。差距还在但没有被拉开到不是一个时代的程度。它有几个很讨工程师喜欢的特点顺序无关。把选项正着排、倒着排、打乱排231 道题一次都没翻盘概率最大变化只有千万分之一。这意味着结果可复现出了事能查。许可证是 MIT。商用友好这一点比非商用权重省心得多。小得离谱也能跑。0.8B 版本一张显卡就能服务用 SGLang 部署比原生方式快 1.5 到 3 倍。不训练也能玩。把游戏画面当题目把怪物在准星左边 / 右边 / 正中间当选项选中概率最高的那个就是动作。4B 版本靠像素打《Doom》一局能拿 10.4 个人头是随机乱打1 个的十倍在《我的世界》里它用了大约 22 次决策从零凑齐材料做出了一把铁镐。当然它的短板也写在明面上遇到提示词注入准确率会从 0.833 掉到 0.467拿它当命令行安全审查员只能抓出 37% 该拦的命令网页空结果检测也不如 Jev。更自曝家丑的是v5 的训练数据里混进了 MMLU、GSM8K 等测试集所以那些分数官方直接标注无意义、不报告。这种把缺点摊开写的做法在开源圈其实比多拿几分更珍贵。因为别人能复现、能挑错才敢真正拿去用。七、所以天要换了吗我的判断是不是换天是分层。Jev 干了一件了不起的事——它让大家意识到AI 不必什么都用写作文的方式解决判断可以单独拆出来做成便宜、快速、可校准的零件。这个产品定义谁都得认。StartLux 往前推了一大步把尺寸从 0.8B 铺到 27B把该想才想做成开关把校准误差压到个位数还顺手把权重开放出来。它证明了中国团队在这条新赛道上不只是跟跑。openjev 则补上了另一块可复现、可自托管、可商用、能塞进一张旧显卡。它可能拿不到榜首但它让每个人都养得起一个决策模型变成现实。对普通人来说这些名字其实不重要。重要的是以后你打客服电话、申请退款、发一条内容、让 AI 帮你订张票背后可能都是这种只会点头摇头的小模型在干活。它不跟你聊天但它更快、更便宜也更少瞎编。最后留个轻松的问题如果真给你一个只做判断、不写废话的 AI你最想让它替你做哪个决定是每天中午吃什么还是那双加购了三次还没下单的鞋到底买不买【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考