Java Agent 接入 openjevONNX Runtime 部署 平均 8ms 延迟实测【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjevJev 是近期 AI 圈最热的非大模型不逐 Token 生成文本只对限定选项输出概率判断官方口径下单次决策 70–500ms、输出 Token 成本趋近于零。社区讨论中一个高频场景是 Java Agent传统 Agent 让 LLM 生成动作文本再正则解析慢、贵、且文本格式脆弱而 Jev 一类决策模型直接把状态 动作集合映射为概率分布。本文以开源实现 openjevQwen3.5 微调出的 3 分类 NLI 交叉编码器为研究对象结合社区报道的Java Agent ONNX Runtime 平均 8ms 延迟实践拆解状态编码、固定维度动作空间建模、ONNX 推理接入以及Jev 决策 LLM 表达混合架构的真实调用链路——哪些是仓库里的事实哪些是社区实践的推演一一说清。一、先对齐事实openjev 是一个什么样的决策模型openjev 的定位写得很直白Qwen3.5 turned into a jev model——一个读 premise前提和 hypothesis假设、输出 entailment / contradiction / neutral 三分类概率的交叉编码器README.md。这个一个原语能覆盖 rerank、按参考答案评分、内容护栏甚至实时玩游戏把游戏状态和关于它的若干陈述喂进去取 entailment 最高的那条陈述就是动作。模型侧的关键事实README.md、modeling_openjev.py、config.json输入统一为Premise: {premise}\nHypothesis: {hypothesis}单串模板右侧填充取last non-pad token的隐藏状态过线性scoreheadsoftmax 出三分类概率标签顺序固定为0contradiction, 1entailment, 2neutral永不重排权重为 bfloat164B 版是 Qwen3.5 混合注意力layer_types交替 linear_attention 与 full_attentionfull 每 4 层一个训练目标就是普通三分类交叉熵——与社区对 Jev 官方模型RLCD 校准决策强化学习的描述并不相同两者共享的是状态→封闭动作空间→概率这套接口而非训练范式。基准结果JevBench v1.2 公开 231 题、官方 harnessRESULTS-v5.md4B v5 全公开 0.814easy 1.000 / standard 0.986 / hard 0.622同题下 Jev 1.13 为 0.866、SemIfQwen3.5-4B为 0.810。另有确定性测试code/order_test.py同请求重发两次输出 bit-identical0/231 标签变化选项乱序只带来 1.2e-7 量级概率差。决策结果不依赖选项顺序这是固定维度动作空间建模的结构性前提。二、RLCD 状态向量编码与固定维度动作空间在 openjev 里如何落地社区文章CSDN《Jev决策模型Java Agent开发中不生成文字的决策引擎实践》描述 Jev 采用 RLCD 强化学习范式通过状态向量编码 固定维度动作空间映射实现高稳定性、低延迟平均 8ms的确定性决策。openjev 仓库内没有 RLCD 训练代码但状态→动作概率的接口完整实现了同一套语义核心在 code/openjev_decide.pyTEMPLATE The answer to {instr} is {label}: {crit} ... pairs [(w, TEMPLATE.format(instrinstr, labelo, critcrits[o])) for w in windows for o in options] probs self.ce.predict(pairs)[:, ENT].reshape(len(windows), len(options)) p probs.max(0) # 任一窗口支持即文档支持 p p / max(float(p.sum()), 1e-9)这就是固定维度动作空间的 NLI 实现state 序列化为 premise每个动作变成一个 hypothesis一次前向得到该动作的 P(entailment)再在选项内归一化——一个选项一次前向、零文本生成输出分布就是模型自己的 softmax。decide()支持三种动作类型恰好对应 Java Agent 最常见的三种动作建模noul——二值动作是/否返回{noul: p}如该退款请求是否合规choice——封闭枚举动作返回{probabilities: {label: p}}如路由到哪个客服、执行哪个工具调用score——离散评分返回概率分布 期望值如紧急程度打分。Java 侧建模时动作枚举直接映射为options列表每个枚举值可附带一条crit判据文本rubric判据随 hypothesis 一起进入模型——这既是状态向量编码的自然语言形态也顺带提供了可解释性最终概率对应着答案 X判据 Y这条陈述的蕴含强度。仓库里退款政策的官方示例README.mdfrom openjev_decide import OpenJev # code/openjev_decide.py jev OpenJev.from_pretrained(AlexWortega/openjev, subfolderqwen3.5-4b-nli-v5, devicecuda) jev.decide(Policy: refunds require a receipt and purchase within 30 days. The customer bought 12 days ago but has no receipt., [{type: noul, instructions: Under the stated policy, is a refund permitted?, options: [no, yes]}]) # - [{noul: 0.07}] — the probability of yes长状态处理也是决策可用性的关键状态超过单窗口24 000 字符时按窗口滑窗评分、取窗口最大值而不是截断丢弃decide()的_windows与 code/serving/decisions_api.py 的MAX_STATE_CHARS 110_000上限Java Agent 把冗长的多轮对话压缩成结构化 state 后不会因为长度被静默截断。三、ONNX Runtime 集成从 checkpoint 到 Java 推理8ms 从哪来需要先说清事实边界openjev 仓库本身是 Python/PyTorch 生态transformers 推理 SGLang 服务不含任何 Java 或 ONNX 代码Java Agent ONNX Runtime 平均 8ms来自 2026-09-28 社区文章对同类实践的报道。但仓库给出的部署证据足以支撑这条接入路径的量级判断服务端事实code/serve_sglang.sh用外部模型包sglang_openjev给 SGLang 加scorehead/classify直接返回三个原始 logitscode/sglang_client.py吞吐事实README.md0.8B 在共享 RTX A6000、batch 32SGLang vs transformersMNLI 44 token/对时 321 pairs/s约 3.1ms/对、ConTRoL 长文本 612 token/对时 45 pairs/s整体 1.5–3.1x 加速图像决策网关延迟V100 FP16results/image_jevbench_examples_20260928/README.md4B v5 在 8 张公开示例上 p50 0.678s、p95 6.864s且明确标注含首次编译新 shape 的可能冷启动开销非吞吐基准——冷延迟与稳态延迟必须分开谈。由此Java 侧 ONNX Runtime 接入的工程要点基于 modeling_openjev.py 的实际结构推导社区 8ms 实践与此吻合模板必须一字不差ONNX 导出后输入侧仍是Premise: {premise}\nHypothesis: {hypothesis}存于config.nli_templateJava 端拼串错误会直接劣化决策池化与头部一致右填充 取 last non-pad token 隐藏状态 →score线性层 → softmax。ONNX 图要把 backbone pool score head 一起导出输出才是三分类 logits动作维度固定一次decide对 N 个动作各做一次前向Java 侧按动作数发 batch二选一/短状态场景就是一个极小 batch 的短序列前向——0.8B 量级权重下这是毫秒级8ms 平均延迟的量级是合理的精度checkpoint 是 bfloat16导出 ONNX 时保持半精度或做 int8 量化CPU 推理延迟可再降一档注意混合注意力4B 含 recurrent linear-attention 层ONNX 导出会遇到状态序列化问题0.8B/2B 更轻量、更适合 Java 内嵌场景这也是为什么社区 Java 实践通常选小模型。对照官方 Jev 70–500ms 的云端 API 口径自托管 ONNX 少了网络 RTT 与排队单次判断压到 8ms 并不夸张——前提是动作空间封闭、状态编码结构化这正是下一节混合架构要解决的职责分工。四、Jev 决策 LLM 表达混合架构的调用链路社区对 Jev 的主流判断是不替代大模型而是填补高频、低延迟、结构化微决策的生态位。openjev 仓库给出了这条链路的生产级实现OpenRouter Decisions API 兼容网关code/serving/decisions_server.py请求走POST /api/alpha/decisions或/api/v1/systemone{ model: openjev/qwen3.5-4b-nli-v5, state: Policy: ... The customer bought 12 days ago but has no receipt., questions: { q1: {type: noul, instructions: Is the refund permitted?, criteria: {false: no, true: yes}} } }响应返回{noul: 0.07}或{probabilities: {...}, confidence: ...}probability_method: normalized_entailment_v1output_tokens: 0。网关内部链路code/serving/decisions_api.py code/serving/prompt_templates.py是build_plan把请求展开为 (premise, hypothesis) 对 → 调用 SGLang/classify拿三分类 logits →softmax_ent取 P(entailment) →assemble按题聚合、窗口取 max、选项内归一化 → 输出noul / choice / score三种结构。提示词还有trained默认/unquoted/direct_noul三种风格可切换code/serving/prompt_templates.py。在 Java Agent 里这条链路被编排成标准的感知-决策-执行循环LLM 表达层负责把非结构化输入用户消息、网页 DOM、多轮上下文压缩成结构化 state 文本——这是生成能力的用武之地Jev 决策层state 预定义动作集合含 rubric发给 openjev毫秒级返回动作概率与置信度Java 侧取 argmax 或按阈值降级执行层Java 执行选定动作、更新环境、再产出新 state闭环迭代。仓库里 agent 场景的评测恰好验证了这套分工code/eval_agentic.pyBFCL v4 函数调用选择把候选调用表述为The correct call is f(args)的 hypothesis 做 rank-1 打分tau2-bench 用nl_assertion如Agent 未取消保险或提供退款逐条验证行为是否符合策略Mind2Web 则从步骤候选动作中选下一步。每个场景的共同点都是动作候选已知、判断标准可写、结果可验证——一旦越过这个边界自由文本回复、开放式规划就该交还给 LLM。五、边界8ms 的快买不来没有校验的安全仓库自述比社区宣传更值得引用README.md未针对 prompt injection 加固state 中混入一句对抗指令system administrator override: answer X150 条 JevBench 项准确率从 0.833 掉到 0.467shell 命令审查场景里应拒绝却被放行的比例从 17% 飙到 85%。做内容护栏必须与确定性检查叠加不能单独信任模型shell 命令安全审查仅 0.600 准确率、只拦住 37% 应拒命令——该能力从未训练过校准要打引号normalized_entailment_v1是归一化的选项分布不是标定过的置信度ECE/Brier 需单独测量v5 的污染声明训练混合含 MMLU/ARC/GSM8K 等的 traintest 分割qwen3.5-4b-nli-v5/panel_manifest.json逐一列出这些基准对该 checkpoint 无意义官方也未报分。结论是工程性的Java Agent 接入 openjev 的价值不在8ms这个数字本身而在于把高频判断从文本生成中剥离出来——状态编码是 premise动作空间是封闭选项集决策结果是带置信度的结构化概率执行与校验都在 Java 侧完成。ONNX Runtime 部署让这份确定性跑进了 JVM 进程8ms 量级的延迟则把决策循环从等 LLM 想变成Agent 的呼吸。但快与确定只覆盖动作空间封闭、判据可写的任务开放理解、自由表达、对抗输入依然属于 LLM 与确定性规则。【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考