大模型基础模型模型量化模型优化本地部署DeepSeek【免费下载链接】DeepSeek-V4-Pro-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-NVFP4点击查看免费下载DeepSeek-V4-Pro-NVFP4是 AMD 官方发布的 DeepSeek-V4-Pro 大模型NVFP4 量化版专为 AMD ROCm 平台深度优化。它把 MoE 专家层压缩到 4-bitNVFP4配合vLLM 部署方案让 61 层 MoE 大模型可以高效跑在 MI355 / MI350 显卡上而 GSM8K 数学基准精度保持率高达99.36%。本文面向新手带你走通克隆仓库 → 启动服务 → 第一次对话的完整流程。 先搞懂NVFP4 量化是什么简单说NVFP4 就是一种 4-bit 权重压缩格式模型体积和显存占用大幅缩小推理速度显著提升精度损失却很小。这个量化版的分层策略是模块精度格式说明MoEexperts路由专家NVFP4占用最大的部分压缩收益最高shared_experts共享专家NVFP4由 AMD Quark 重量化attn注意力层FP8-E4M3 per-block保持 FP8保精度量化效果在 GSM8K 基准上的表现数据来自仓库 README.md基准DeepSeek-V4-Pro 原始NVFP4 量化版精度恢复率GSM8K95.3894.7799.36%一句话压缩了体积几乎没掉精度这就是量化版的价值。 环境要求硬件与软件清单动手前先对照检查这是 vLLM 部署顺利的关键硬件AMD MI355 / MI350MI300 模拟推荐 8 卡tensor-parallel-size 8ROCm7.2.3PyTorch2.11.0Transformers5.13.1操作系统Linux推理引擎vLLM本文主方案或 SGLangDocker 镜像vllm/vllm-openai-rocm:v0.29.0 10分钟快速开始vLLM部署四步走第一步克隆模型仓库git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-NVFP4仓库里是 64 个分片权重见 model.safetensors.index.json和模型配置 config.json直接给 vLLM 加载即可无需转换。第二步准备 vLLM ROCm 运行环境推荐直接使用官方 ROCm 镜像省去手动装依赖的麻烦docker run -it --device/dev/kfd --device/dev/dri \ -v $PWD/DeepSeek-V4-Pro-NVFP4:/models \ --rm -p 8001:8001 \ vllm/vllm-openai-rocm:v0.29.0 bash第三步一键启动 vLLM 服务在容器内执行下面这条命令这是跑通本模型的标准姿势VLLM_ROCM_USE_AITER1 \ VLLM_ROCM_USE_AITER_MOE1 \ vllm serve DeepSeek-V4-Pro-NVFP4 \ --host 0.0.0.0 \ --port 8001 \ --dtype auto \ --kv-cache-dtype fp8 \ --tensor-parallel-size 8 \ --max-num-seqs 512 \ --max-num-batched-tokens 8192 \ --distributed-executor-backend mp \ --trust-remote-code \ --gpu-memory-utilization 0.9 \ --tokenizer-mode deepseek_v4 \ --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 \ --enable-auto-tool-choice \ --compilation-config {mode: 3, cudagraph_mode: FULL_DECODE_ONLY}等日志出现Uvicorn running on ...字样就说明服务已就绪。第四步发起第一次对话服务默认暴露OpenAI 兼容接口用curl测试curl http://localhost:8001/v1/chat/completions \ -H Content-Type: application/json \ -d {model: DeepSeek-V4-Pro-NVFP4, messages: [{role: user, content: 你好介绍一下你自己}], max_tokens: 256}看到模型流畅回复 部署成功⚙️ 关键参数解读为什么这么配新手不需要死记硬背理解这几个即可参数 / 环境变量作用VLLM_ROCM_USE_AITER1启用 AMD AITER 内核ROCm 平台提速关键VLLM_ROCM_USE_AITER_MOE1对 MoE 层启用 AITER 优化内核--tensor-parallel-size 88 卡张量并行切分模型--kv-cache-dtype fp8KV Cache 用 FP8显著省显存--tokenizer-mode deepseek_v4使用 DeepSeek-V4 专用分词模式--reasoning-parser deepseek_v4解析思考reasoning内容--tool-call-parser deepseek_v4解析工具调用配合--enable-auto-tool-choice开启自动工具选择--gpu-memory-utilization 0.9显存利用率 90%吃满显卡 两种调用方式方式一OpenAI 兼容 API推荐生产使用服务自带/v1/chat/completions、/v1/completions等标准接口直接替换 base_url 即可接入你现有的 OpenAI SDK 代码或各类应用支持推理解析与自动工具调用。方式二命令行即席对话仓库 inference/ 目录附带了一套独立推理代码适合不想起服务、直接命令行聊天# 1. 先把 HF 权重转成本项目的格式 export EXPERTS384 export MP8 python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} \ --n-experts ${EXPERTS} --model-parallel ${MP} # 2. 交互式对话多机推理则加 --nnodes 等参数 torchrun --nproc-per-node ${MP} generate.py \ --ckpt-path ${SAVE_PATH} --config config.json --interactiveinference/convert.py权重格式转换脚本inference/generate.py生成 / 对话入口inference/config.json模型结构配置n_routed_experts: 384、expert_dtype: fp4等inference/requirements.txt依赖清单详细说明见 inference/README.md。️ 常见问题排查清单现象可能原因解决办法torch初始化报错 / 看不到 GPU容器未挂载设备确认加了--device/dev/kfd --device/dev/dri加载权重极慢网络或磁盘 IO使用本地镜像仓库或检查存储带宽启动后显存不足被 kill显存预算不足调低--gpu-memory-utilization如 0.858 卡机器却只用了 1 卡未开张量并行检查--tensor-parallel-size 8是否生效工具调用没有结构化输出缺少解析器参数带上--tool-call-parser deepseek_v4与--enable-auto-tool-choice 总结DeepSeek-V4-Pro-NVFP4 用 NVFP4 把 MoE 专家压到 4-bit让 AMD MI300/MI350 系列显卡也能高效跑起旗舰级 MoE 大模型配合 vLLM 的 ROCm 优化内核克隆仓库 → 起容器 → 一条命令 serve → curl 对话10 分钟即可完成首次部署。模型配置可参考 config.json生成采样参数见 generation_config.json。掌握这套流程后你还能进一步用它做 RAG、Agent 工具调用等场景值得动手试一试赞分享大模型基础模型模型量化模型优化本地部署DeepSeek【免费下载链接】DeepSeek-V4-Pro-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-NVFP4点击查看免费下载相关推荐5分钟跑通 DeepSeek-V4-Pro-nvfp4-DSparkvLLM 一行命令部署 100万 token 长上下文推理5分钟跑通 DeepSeek V4 Pro nvfp4 DSparkvLLM 一行命令部署 100万 token 长上下文推理 本文带你 5 分钟 跑通 De如何10分钟跑通Ling-3.0-flash-FinSGLang与vLLM快速部署教程如何10分钟跑通Ling 3.0 flash FinSGLang与vLLM快速部署教程 Ling 3.0 flash Fin 是蚂蚁集团 Ling 系列的首个保姆级教程如何快速上手DeepSeek-V4-Pro-w4a8-mtp从零到跑通首次推理的完整指南保姆级教程如何快速上手DeepSeek V4 Pro w4a8 mtp从零到跑通首次推理的完整指南 想在本地快速跑起 DeepSeek V4 Pro w4a上一篇termplotlib完全指南如何在命令行绘制惊艳数据图表下一篇CANN ops-math 算子接口详解aclnnClampTensor 数值裁剪Clamp两段式调用指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考