人工智能大模型基础模型模型量化模型优化【免费下载链接】GLM-5.3-Quark-MXFP4-AttnFP8项目地址https://ai.gitcode.com/hf_mirrors/amd/GLM-5.3-Quark-MXFP4-AttnFP8点击查看免费下载本文带你以 AMD 官方量化模型GLM-5.3-Quark-MXFP4-AttnFP8为范例一步步学会使用 AMD-Quark 对大模型进行 MXFP4 量化从读懂官方配方、复刻量化命令到部署验证、量化你自己的大模型。即使你是量化新手跟着做也能得到体积更小、推理更快的 AMD GPU 专属模型。模型速览MXFP4 FP8 注意力的完整打包这个仓库是一份开箱即用的量化成品包含 141 个权重分片、分词器和全套配置核心文件如下文件作用README.md模型说明、量化命令、vLLM 部署与评测细节config.json模型架构参数 Quark 量化配置quantization_configgeneration_config.json生成参数temperature1.0、top_p0.95chat_template.jinja对话模板支持推理强度与函数调用model.safetensors.index.json141 个权重分片的索引LICENSEGLM-5.3 许可证允许商用但需合规基座模型是智谱的 GLM-5.3架构为GlmMoeDsaForCausalLM——一个混合专家MoE模型。几个关键参数见 config.json78 层Transformer前 3 层为 dense其余为 MoE 稀疏层每层256 个路由专家每个 token 激活8 个另有 1 个共享专家hidden_size 6144支持10485761M长上下文同款配方拆解MXFP4 权重量化 FP8 注意力怎么做的这个模型的名字透露了它的核心思路AttnFP8表示注意力层用 FP8其余主干用 MXFP4。打开 config.json 中的quantization_config可以看到三层配方层级量化方案细节MoE 路由专家 共享专家MXFP44-bit 微缩放浮点权重与激活均量化per-group 分组group_size32e8m0 缩放格式见 config.jsonself_attn注意力投影层FP8e4m3128×128 per-block 量化共 439 个层见 config.jsonembed_tokens、lm_head、mlp.gate等不量化保留原始精度共 100 个排除项见 config.json新手要点量化不是一刀切。嵌入层、输出层和路由门控gate对精度最敏感官方把它们全部排除在外——这正是量化后精度能保持 99% 以上的关键。quant_method字段标记为quarkconfig.json说明该模型由 AMD-Quark 导出vLLM 加载时会走 Quark 反量化内核。环境准备一份完整的量化环境清单量化与推理环境需要严格匹配以下版本组合来自 README.md组件版本硬件AMD MI350 / MI355 GPUROCm7.1.1PyTorch2.10.0rocm7.1.1Transformers5.15.1量化工具AMD-Quark V0.12推理引擎vLLM操作系统Linux⚠️ 量化时用的 Transformers 版本要和基座模型的transformers_version一致GLM-5.3 为 5.15.x否则权重加载容易报错。实操步骤一条命令复刻官方 MXFP4 量化命令整个量化过程就一条命令完整版见 README.mdcd Quark/examples/torch/language_modeling/llm_ptq/ python quantize_quark.py \ --model_dir zai-org/GLM-5.3 \ --output_dir amd/GLM-5.3-Quark-MXFP4 \ --quant_scheme mxfp4 \ --exclude_layers \ *self_attn* \ *lm_head \ *embed_tokens \ *eh_proj \ *mlp.gate \ --file2file_quantization \ --keep_excluded_layers_as_original_model_state每个参数都在做什么逐一看参数作用新手建议--model_dir基座模型路径换成你要量化的模型--output_dir量化结果输出目录建议带量化方案后缀如-MXFP4--quant_scheme mxfp4量化方案MXFP4 适合 MI350/MI355显存占用约为 BF16 的 1/4--exclude_layers排除清单通配符必加*embed_tokens、*lm_head、*mlp.gateMoE 模型再加路由相关层--file2file_quantization逐分片量化大 MoE 模型必开避免内存一次性放不下--keep_excluded_layers_as_original_model_state被排除层按原精度保存保证排除层零精度损失注意排除清单中的*self_attn*注意力层先跳过 MXFP4后续再以 FP8 方案单独量化——这就是双层精度的实现方式。vLLM 部署与效果验证GSM8K 精度回收 99.34%量化完成后的正确姿势是先评测再上线。官方使用lm-evaluation-harness在 GSM8K 基准上验证了量化效果评测命令见 README.md基准GLM-5.3原精度GLM-5.3-Quark-MXFP4-AttnFP8精度回收率GSM8Kflexible-extract91.8991.2899.34%4-bit 量化仅损失 0.6 个点的分数几乎可以忽略。部署时的两个关键环境变量export VLLM_ROCM_USE_AITER1 # 启用 ROCm 加速内核 export VLLM_ROCM_USE_AITER_FP8BMM0 # 按需开关 FP8/FP4 批量矩阵乘vLLM 启动参数中quantizationquark是识别 Quark 量化格式的开关dtypeauto让框架自动选择计算精度tensor_parallel_size4表示 4 卡并行。进阶玩法量化你自己的大模型掌握配方后量化任意支持 ROCm 的开源模型只需替换 3 个参数。分享 4 条实战经验1️⃣ 排除清单先宽后严首轮量化把embed_tokens、lm_head、*gate*、*norm*全部排除跑通后再逐类放开观察精度变化找到体积与质量的平衡点。2️⃣ 超大 MoE 模型用 file2file专家层权重动辄数百 GB--file2file_quantization按分片流式处理是避免 OOM 的最稳妥选择。3️⃣ 混合精度是省显存不降智的捷径像本模型一样算力密集的大矩阵走低比特MXFP4/FP8小而敏感的层gate、嵌入保留高精度性价比最高。4️⃣ 用基准测试把关复用 README.md 的lm_eval命令把pretrained换成你自己的模型目录对比量化前后的分数回收率。回收率低于 95% 时优先检查排除清单是否过窄。新手常见问题排查症状可能原因解决办法vLLM 报权重加载错误未识别 Quark 格式启动参数加quantizationquark并升级 vLLM 至支持版本量化时 OOM内存一次性装不下全模型开启--file2file_quantization或增大tensor_parallel_size量化后输出乱码量化了敏感层将embed_tokens、lm_head、mlp.gate加入排除清单config.json校验失败Transformers 版本过旧与基座transformers_version对齐本模型为 5.15.x总结GLM-5.3-Quark-MXFP4-AttnFP8展示了当前 AMD 平台的标杆量化方案MXFP4 压缩主干权重FP8 守护注意力精度敏感层保留原精度一条quantize_quark.py命令 合理的排除清单就能复刻同款量化GSM8K99.34%的精度回收率证明4-bit 量化已经完全可以用于生产级推理下一步把--model_dir换成你自己的模型目录跑通这条流水线你手上就有了一个体积缩小、推理加速的 AMD GPU 专属量化模型 模型权重遵循 LICENSE 中的 GLM-5.3 许可证商用前请仔细阅读条款。赞分享人工智能大模型基础模型模型量化模型优化【免费下载链接】GLM-5.3-Quark-MXFP4-AttnFP8项目地址https://ai.gitcode.com/hf_mirrors/amd/GLM-5.3-Quark-MXFP4-AttnFP8点击查看免费下载相关推荐GLM-5.3-Quark-MXFP4-AttnFP8完整指南快速看懂AMD官方发布的700B级MoE量化模型GLM 5.3 Quark MXFP4 AttnFP8完整指南快速看懂AMD官方发布的700B级MoE量化模型 GLM 5.3 Quark MXFP4 Att人工智能大模型基础模型模型量化模型优化MXFP4 AttnFP8混合量化原理解析GLM-5.3-Quark-MXFP4-AttnFP8如何兼顾显存与精度MXFP4 AttnFP8混合量化原理解析GLM 5.3 Quark MXFP4 AttnFP8如何兼顾显存与精度 GLM 5.3 Quark MXFP4人工智能大模型基础模型模型量化模型优化用 AMD-Quark 三步量化你的大模型Qwen3.8-2.4T-A95B-Quark-MXFP4 量化脚本复现实战用 AMD Quark 三步量化你的大模型Qwen3.8 2.4T A95B Quark MXFP4 量化脚本复现实战 想把 2.4T 参数的 MoE 大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考