【免费下载链接】Hemmingway-1-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Hemmingway-1-OptiQ-4bit点击查看免费下载Hemmingway-1-OptiQ-4bit 是一个面向 Apple Silicon 的混合精度 MLX 量化模型它基于写作向的 Qwen3.5 27B 变体 Hemmingway-1用敏感度分析决定哪些层保留 8-bit、哪些层压到 4-bit把约 50.9 GB 的 bf16 权重压进 18 GB。本文讲清楚它的 KL 散度敏感度扫描、跨模型配方迁移以及验证结论的来龙去脉适合想在 Mac 上本地跑写作模型的新手阅读。Hemmingway-1-OptiQ-4bit 是什么一张混合精度量化表先说结论这不是一个普通的全 4-bit量化包而是一份逐层位宽分配表——219 个张量用 8-bit279 个用 4-bit共 498 个量化张量。属性数值基础模型Altworld/Hemmingway-1写作向 Qwen3.5 27B 变体主要精度4-bit8-bit 张量数2194-bit 张量数279分组大小group_size64磁盘体积约 18 GB原始约 50.9 GB它由 MLX 生态的 OptiQ 工具链构建目标是不需要 PyTorch、不需要云直接在 Apple Silicon 上本地量化、加载和推理。完整的量化参数可以在 config.json 的quantization块里查到。为什么混合精度值得做把所有层一刀切压到 4-bit 最简单但有些层天生对精度损失更敏感。敏感度分析要回答的正是给每一层分诊敏感层配 8-bit耐造层配 4-bit用尽量小的体积保住输出质量。敏感度扫描KL 散度如何给 498 个张量分级这里要澄清一个容易误读的点这份逐层位宽分配并不是在本模型上实测出来的。它来自基础同架构模型的 KL 散度敏感度扫描再由本仓库迁移过来下一节细讲。扫描的做法可以这样理解准备一份覆盖 6 个领域的校准数据——prose散文、reasoning推理、code代码、agent智能体、tool-call工具调用、instructions指令对每一层把它压到 4-bit 后用 KL 散度KL divergence衡量量化前后输出分布差了多少差得越狠说明这一层对精度越敏感配方里就给它 8-bit。也就是说敏感度衡量的是这一层在架构中的角色能扛多少精度损失。这个配方最终落到了两处文件optiq/metadata.jsonrecipe_reused_from和recipe_note字段直接写明了配方是复用而非重测config.json运行时真正读取的位宽分配。分配出来的模式哪些层是重点保护对象对照 optiq/metadata.json 的per_layer表可以归纳出清晰的规律张量类型8-bit4-bit观察嵌入输入 / lm_head词表端20全部 8-bit线性注意力 in_proj_a / in_proj_b / out_proj48×30100% 8-bit全注意力 v_proj / o_proj16×20100% 8-bit线性注意力 in_proj_qkv147基本 4-bit全注意力 q_proj / k_proj1 / 915 / 7混合MLP gate_proj / down_proj2124基本 4-bitMLP up_proj1846全场最摇摆几个值得记住的信号门控与读出通路被完整保护线性注意力层的in_proj_a、in_proj_b、out_proj和全注意力层的v_proj、o_proj是 100% 8-bit说明这些信息出口最经不起压缩第一层和最后一层全 8-bitmodel.layers.0与model.layers.63的所有张量都是 8-bit相当于给入口和出口加了两道保险MLP 的 up_proj 最混合约 1/3 是 8-bit是整张表里最不均匀的角色也最体现逐层分诊而非一刀切。这个 48 16 的层数拆分不是巧合config.json 里model_type为qwen3_5_text、64 层、full_attention_interval: 4即每 4 层里 3 层线性注意力linear attention 1 层全注意力full attention。配方迁移为什么能拿来就用这是本仓库最有意思、也最需要讲明白的部分。README 里原话很直白逐层分配没有在本模型上测量而是从同架构模型的 OptiQ 量化迁移过来的见 README.md。迁移之所以成立依赖两个条件同时满足条件一架构逐位一致。两个模型共享完全相同的结构——qwen3_5_text、64 层、24 个注意力头、4 个 KV 头、head_dim 256、hidden 5120、词表 248,320。于是配方里的每一层在本模型里都有一个同角色、同形状的对应层。条件二张量匹配零缺口。验证结果是498/498 张量全部命中配方0 个未匹配。这一步才是真正要命的检查只要有哪怕一个张量没匹配上它会静默回退成扁平 4-bit整包就变成顶着混合精度名字的均匀量化——表面看不出来质量却已经打折。optiq/metadata.json里的recipe_note也解释了复用逻辑同架构变体的逐层敏感度结构相同重跑一遍扫描也会得到这份分配。迁移的诚实边界它不能保证什么README 同样坦诚地划了线敏感度衡量的是层在架构中的角色它无法知道本模型自己的训练是否已经把敏感度挪了位置。如果你拿它当基准、量化的是自己微调出来的模型建议直接跑optiq convert让扫描重新测一遍——配方迁移是同架构下的合理假设不是免检通过。验证了什么498/498 匹配与正确性抽查发布前的检查清单详见 README.md包含三块检查项结果张量与配方匹配498/4980 未匹配生成正确性抽查事实回忆、算术240 km 走 3 小时 → 80 km/h且展示过程、可运行的迭代版 Fibonacci、技术解释OptiQ 发布约定产物布局、metadata、混合精度断言均通过注意抽查的标准是**正确而不只是通顺**——量化模型最常见的翻车方式不是胡言乱语而是数字悄悄算错。另外两点同样重要没有跑六指标 Capability Score。已发布的分数属于 Qwen3.5-27B 那个量化模型描述的是它而不是本模型所以这里不作主张写作风格的实测小探针同一组提示词、同一组采样参数对比基础 Qwen3.5-27B 量化版指标Hemmingway-1Qwen3.5-27B人类AIem-dash / 千词0.00.0~07.0平均句长词16.220.917.420.4句长才是区分人机文风的那根标尺基础版落在 AI 中位数上Hemmingway-1 落在人类中位数上。README 也提醒这是小探针不是基准测试。一键部署在 Mac 上跑起来最简路径只有两行命令见 README.mdpip install mlx-optiq optiq serve --model mlx-community/Hemmingway-1-OptiQ-4bit不想用服务方式的话也可以直接用mlx-lmload加载模型后用apply_chat_template拼好提示词再调用generate十几行就能出文。采样参数建议沿用 generation_config.json 的设定temperature: 1.0、top_k: 20、top_p: 0.95。硬件方面磁盘权重约 18 GB加上 KV cache 和运行时开销建议24 GB 及以上统一内存的 Apple Silicon 机型16 GB 的机器会偏紧张。仓库文件地图每个文件在干什么文件作用README.md量化细节、配方来源、验证结论、使用方式config.json模型结构 quantization逐层位宽运行时依据optiq/metadata.jsonOptiQ 元数据方法、位宽统计、recipe_reused_from与recipe_noteoptiq/mtp.safetensorsMTP多 token 预测头权重未出现在量化列表中保持原精度model-00001-of-00004.safetensors 等 4 个分片量化后的权重本体合计约 18 GBmodel.safetensors.index.json权重分片索引tokenizer.json / tokenizer_config.json分词器chat_template.jinja对话模板generation_config.json默认采样参数常见问题FAQQ1叫 4bit 为什么还有一多半 8-bit 张量命名取主要精度predominant precision。279 个 4-bit 张量是主体219 个 8-bit 是敏感度扫描筛出来的重点保护对象混合后体积仍比 bf16 小约 65%。Q2配方迁移和自己重新扫描差别在哪迁移省掉整轮扫描代价是假设训练没有改变各层的敏感度分布——对同架构变体通常成立但量化自己的微调模型时跑一次optiq convert让 KL 散度扫描对着你的权重重新分级才是严谨做法。Q3怎么确认这个包没有静默回退成均匀 4-bit看两个数n_quantized_layers: 498与layers_per_bit_width: {4: 279, 8: 219}optiq/metadata.json再抽查per_layer表里是否同时存在 4 和 8。全 4 就回退了。Q4为什么文章和 README 都不引用六指标 Capability Score因为那组分数测的是同架构的另一个量化模型直接拿来用属于张冠李戴——这也是这个仓库在文档上比较值得称道的一点它把验证了什么和没验证什么分得很清。小结Hemmingway-1-OptiQ-4bit 的价值不在某个单点而在一套可复现的方法论示范用 KL 散度敏感度扫描给 498 个张量分级、用架构一致 498/498 零缺口匹配给配方迁移兜底、用正确性抽查而非流畅度来验收并在文档里明确标出没测的东西。如果你在 Mac 上本地跑写作模型或者想给自己的微调模型做混合精度量化这套流程本身就是最值得抄走的部分。赞分享【免费下载链接】Hemmingway-1-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Hemmingway-1-OptiQ-4bit点击查看免费下载相关推荐Hemmingway-1-OptiQ-4bit实测从50GB压到18GB统一4bit与混合精度到底差多少Hemmingway 1 OptiQ 4bit实测从50GB压到18GB统一4bit与混合精度到底差多少 Hemmingway 1 OptiQ 4bit 是不做敏感性分析Fara1.5-9B-OptiQ-4bit背后的配置迁移config_transfer量化法全解不做敏感性分析Fara1.5 9B OptiQ 4bit背后的配置迁移config_transfer量化法全解 Fara1.5 9B OptiQ 4bit人工智能大模型基础模型本地部署多模态计算机视觉AI Agent拆解Hemmingway-1-OptiQ-4bit混合精度量化为什么219层留8bit、279层压4bit拆解Hemmingway 1 OptiQ 4bit混合精度量化为什么219层留8bit、279层压4bit Hemmingway 1 OptiQ 4bit 是创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考