【免费下载链接】rizzo-flowThe open, local take on Jev: typed decisions from an LLM, without generating a single token项目地址https://gitcode.com/gh_mirrors/ri/rizzo-flow点击查看免费下载Rizzo Flow 是一个 100% 本地运行的开源 LLM 决策框架它不生成任何文本而是读取一次前向传播后候选答案上的概率直接返回带概率的类型化决策。概率可信是它最有价值的输出而概率校准Calibration正是 Rizzo Flow 内置的关键一步用温度缩放temperature scaling在你的自有数据上拟合参数让模型说 80% 把握真的意味着约 80% 的正确率。先认识 Rizzo Flow零生成 Token 的概率决策普通 LLM 应用是让模型写答案而 Rizzo Flow 把每个问题变成单选题候选答案各映射一个大写字母模型只需输出这些字母上的 logits本地 Python 完成 softmax 后就得到概率分布实现见 decisions.py。这意味着输出天然是结构化 JSON不存在解析失败、类型错误概率是原始输出而不是事后估算——所以校准它才有意义四种题型boolean、choice、score、numeric全部支持弃权abstain策略。为什么概率需要校准温度缩放解决什么问题未经处理的模型概率往往形状不对。Rizzo Flow 文档给出了一个典型例子微调前的基座模型对错误答案也敢给出 p ≈ 0.9999见 docs/training.md。如果你的系统按阈值 0.8 触发自动审核这种过度自信会让自动决策大量误放行。温度缩放是最简单可靠的修正方法把 logits 除以一个温度 T 再 softmax。T 1分布变平压过度自信T 1分布变尖放大区分度只引入一个标量参数每题型一个不会过拟合也不改变 argmax 决策本身。准备工作三份数据各司其职这是校准中最重要、也最容易被跳过的原则源码注释写得很直白calibration.pynever claim validation from fit loss——校准集上的拟合损失不能当验证用。数据作用要求标注校准集拟合温度来自你自己的领域每种题型 ≥ 10 条留出测试集验证校准效果与校准集完全不重叠指纹fingerprint绑定配置从响应元数据中复制仓库自带的 benchmarks/smoke-v1.jsonl、benchmarks/perturbations-v1.jsonl 等标注数据集展示了 JSONL 的格式可直接参考。三步校准流程从收集数据到加载服务第 1 步收集带标签的 logits 行校准输入是 JSONL每行包含题型、原始 logits 和正确答案下标{ type: choice, logits: [2.1, 3.4, 0.8, 0.1], label_index: 1 }每行对应一个真实决策把该问题各候选项的 logit 记下并标出哪个是正确答案。logits 长度必须在 2–26 之间LabeledLogits约束calibration.py。第 2 步拟合温度先复制指纹任意一次响应的元数据里都有fingerprintJev 兼容端点在x_rizzo扩展字段中。然后运行uv run rizzo calibrate calibration.jsonl \ --fingerprint MODEL_HASH \ --output calibration-fit.jsonfit_temperature()calibration.py会为每种题型独立拟合一个温度在 log 尺度上以 241 个网格点搜索使 NLL 最小的 T搜索范围 0.05–800且包含 T1。输出的fit_metrics记录拟合前后的 NLL 供你参考。产出的calibration-fit.json关键字段字段说明fingerprint与哪套配置绑定见下一节dataset_sha256校准数据的哈希便于追溯temperatures各题型的温度值必须 0 且有限status固定为fitted_requires_held_out_validation——官方提醒你必须用留出集验证第 3 步加载校准并验证uv run rizzo serve --calibration calibration-fit.json # 或单次决策 uv run rizzo decide examples/ticket.json --calibration calibration-fit.json运行时engine.py每次请求都会按题型查表取温度再对 logits 做温度缩放的 softmax响应中probability_status会从uncalibrated_conditional_option_scores变为temperature_scaled_requires_held_out_validation并附带完整校准记录——透明可审计。最后务必在留出测试集上验证实现见 evaluation.pyuv run rizzo evaluate heldout.jsonl --output results/calibrated-report.json报告包含 accuracy、NLL、Brier、ECE期望校准误差与 10 分箱的可靠性曲线。ECE 显著下降、Brier 改善才算校准成功。指纹锁防止校准被错配的最后一道防线引擎启动时会校验calibration.fingerprint必须等于当前运行的backend.metadata[fingerprint]否则直接拒绝启动engine.py。指纹由以下要素哈希而成backend_llama.py模型权重含微调标识量化精度Q8_0 / Q4_K_M / BF16…运行时版本llama.cpp 发布号计算后端CUDA / Vulkan / Metal…prompt 版本KV cache 类型如启用量化 KV实际含义base 权重上拟合的校准加载不到微调权重上CUDA 上的加载不到 Vulkan 上换了量化、换了 prompt 也要重新拟合。这不是限制而是保护——因为量化与硬件都会改变概率的微小细节README 的 Known limitations 有明确说明。校准在整个链路中的位置Rizzo Flow 认为有两层让概率变好的手段且可以叠加LoRA 微调基础重塑概率的形状。官方基准上4B 模型的 ECE 从 0.349 降到 0.112Brier 从 0.480 降到 0.205错误答案上 0.9999的现象基本消失见 README.md 与 docs/training.md。温度缩放适配你的领域微调再好也没见过你的业务数据。Jev 生态里设计的置信度阈值不能直接照搬校准就是让它们适配你的分布。一句话概括微调是出厂校准温度缩放是你的本地校准。常见问题速查现象 / 报错原因与对策Calibration was fitted for a different model/runtime/prompt configuration指纹不匹配。确认模型、量化、后端、prompt 版本与拟合时完全一致否则重新rizzo calibrateProvide at least 10 calibration examples for {kind}某种题型样本不足 10 条。补齐该题型的标注数据响应里probability_status仍是uncalibrated_...忘了传--calibration或该题型未参与拟合此时按温度 1.0 处理校准集上指标很好看线上却不对用校准集验证了。请换留出集评估ECE / Brier换了显卡 / 后端 / 量化后加载失败指纹锁生效属正常保护。在新配置上重新拟合结语让80% 把握真的值 80%Rizzo Flow 把 LLM 从写答案变成读概率而校准让这份概率可以被阈值、可以被审计、可以被信任。整个流程只有三步准备校准集 留出集两份自有领域数据rizzo calibrate拟合每题型的温度rizzo serve --calibration加载并在留出集上确认 ECE 下降。配合 examples/ticket.json 等示例与内置 playground你可以从零搭起一条输入状态 → 输出可信概率的本地决策链路——不联网、不生成一个 token概率却真正可信。赞分享【免费下载链接】rizzo-flowThe open, local take on Jev: typed decisions from an LLM, without generating a single token项目地址https://gitcode.com/gh_mirrors/ri/rizzo-flow点击查看免费下载相关推荐Ludwig 概率校准指南基于温度缩放Temperature Scaling的模型输出校准Ludwig 概率校准指南基于温度缩放Temperature Scaling的模型输出校准 概率校准Probability Calibration是让人工智能深度学习机器学习大模型预训练微调LoRA多模态NLP计算机视觉模型推理服务lev的校准黑科技如何用温度系数让分类概率真正可信赖lev的校准黑科技如何用温度系数让分类概率真正可信赖 lev 是基于 Qwen3.5 4B LoRA 的决策模型单次前向传播即可回答是/否、多选、评分等人工智能大模型微调JEV-35B校准原理指南逐类型温度与头偏置如何让概率真正可信JEV 35B校准原理指南逐类型温度与头偏置如何让概率真正可信 JEV 35B 是 AutoTrust 开源的 System 1 决策模型一次推理即可在最多人工智能大模型模型推理服务微调模型评测上一篇eSIM-Tools 工程化实践14项质量检查、安全扫描与Git钩子自动化全解析下一篇Hermes Desktop Usage视图详解Token用量、模型分布与成本趋势一图看懂创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考