Qwen3-30B-A3B本地部署24G显卡可跑【免费下载链接】Qwen3-30B-A3BQwen3-30B-A3B具有以下特点 类型因果语言模型 训练阶段预训练和后训练 参数数量总计 305 亿其中已激活 33 亿 参数数量非嵌入29.9B 层数48 注意力头数量GQAQ 为 32 个KV 为 4 个 专家人数128 已激活专家数量8 上下文长度原生长度为 32,768使用 YaRN 后长度为 131,072 个标记项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-30B-A3B这篇文章带你在一台消费级 GPU 上完成 Qwen3-30B-A3B 本地部署先算清这个 30.5B MoE 模型在不同量化精度下的显存账再给出 transformers 直推和 vLLM 服务化两条路的完整命令最后用一段最小验证代码确认跑通。手里有 24G 显存可以按本文直接走 INT4 量化推理只有 16G 或更低也有 CPUGPU 混合的兜底方案。先算显存账Qwen3-30B-A3B 量化推理精度怎么选Qwen3-30B-A3B 是 MoE 结构每层 128 个专家路由每个 token 只激活 8 个所以总参数 30.5B、激活仅 3.3B。这带来两个结论解码速度接近 3B 稠密模型单卡就够用但全部权重必须驻留内存显存由总参数决定跟激活参数无关。config.json 里能核对这些架构细节48 层、GQA 注意力32 个 Q 头、4 个 KV 头、原生上下文 32,768默认max_position_embeddings为 40,960给输出留了余量用 YaRN 可扩到 131,072。精度权重大小最低显存适合场景BF16原始权重约 61GB约 70GB2×48G 或 4×24G开发验证、基准测试INT8约 31GB2×24G精度优先、速度可妥协INT4AWQ/GPTQ约 17GB单张 24G本文主路径性价比最高GGUF Q4_K_M约 19GB8–12G CPU 卸载低显存机器、离线场景⚠️ 单张 24G 卡不要碰 BF16device_mapauto会把部分层挤到 CPU解码可能掉到 5 tok/s 以下基本没法用。环境准备版本比装得多更重要先建独立虚拟环境并确认 GPU 可见——Qwen3-MoE 要求transformers4.51.0版本旧了连模型架构都认不出来后面全白装。python3 -m venv qwen3-env source qwen3-env/bin/activate pip install -U pip pip install transformers4.51.0 accelerate pip install torch python -c import torch; print(torch.version.cuda, torch.cuda.is_available())跑完你应该看到 CUDA 版本号和一个True。如果看到False说明 torch 的编译版本和驱动支持的 CUDA 不匹配用nvidia-smi右上角查看驱动支持的最高 CUDA 版本再装对应 wheel。⚠️ 这一步最容易翻车torch 装错 CUDA 版本是启动失败的头号来源。先装 torch、先验证cuda.is_available()为 True再去装其他依赖顺序别反。再拉取模型权重。仓库里是 16 个 safetensors 分片加配置和分词器合计约 61GB网速好的话 30–60 分钟下完。git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-30B-A3B cd Qwen3-30B-A3B git lfs pull --include*.safetensors du -sh model-*.safetensors | head跑完你应该看到每个分片约 4GB合计 60GB 出头。⚠️ 如果某个分片只有几百字节那是 Git LFS 指针文件补跑git lfs pull即可下载慢可以加-j4参数提高并发。Qwen3-30B-A3B 本地部署的两条路直推 vs 服务化两条路不冲突先用路径 A 快速确认模型输出正常再用路径 B 把服务搭起来给其他程序调用。路径 Atransformers 直推最快看到输出加载代码很短载入模型用apply_chat_template拼提示调generate。注意enable_thinking参数控制思考模式默认开启。from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer AutoTokenizer.from_pretrained(./Qwen3-30B-A3B) model AutoModelForCausalLM.from_pretrained( ./Qwen3-30B-A3B, torch_dtypeauto, device_mapauto ) messages [{role: user, content: 用一句话介绍 MoE 架构}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue, enable_thinkingTrue ) inputs tokenizer([text], return_tensorspt).to(model.device) out model.generate(**inputs, max_new_tokens512) print(tokenizer.decode(out[0][len(inputs.input_ids[0]):], skip_special_tokensTrue))跑完你应该看到一段think块和最终回答。单张 24G 卡跑 INT4 量化权重包AWQ 或 GPTQ时代码不用改把路径指向量化后的目录即可。如果启动时抛KeyError: qwen3_moe说明 transformers 低于 4.51执行pip install -U transformers4.51.0即可解决。按你的显存选定精度后把选择固化成习惯路径 BvLLM 起 OpenAI 兼容 API面向并发需要多人共用、或想接入现成的 OpenAI SDK 时用 vLLM0.8.5PagedAttention 和动态批处理对 24G 显存的利用率最高--enable-reasoning让思考块被解析到独立字段。vllm serve ./Qwen3-30B-A3B \ --enable-reasoning --reasoning-parser deepseek_r1 \ --gpu-memory-utilization 0.9跑完你应该在终端看到Application startup completeAPI 地址为http://localhost:8000。启动 OOM 时先降--gpu-memory-utilization到 0.85并加--max-model-len 32768还不行就换 INT4 权重包。参数全部走命令行不要改动仓库里的文件。显存不足 24G 时还有第三条退路用 GGUF Q4_K_M 权重配合 llama.cpp把一部分层卸到 CPU代价是速度明显下降。各路径的适用边界方案最低显存速度适用边界transformers INT424G中单人开发、快速验证输出vLLM INT424G快支持并发多用户、API 集成llama.cpp GGUF Q48–12G含 CPU 卸载慢低显存验证、离线场景调优与验证参数怎么配跑通怎么确认Qwen3 的思考开关是第一个要调的旋钮它直接决定生成 token 数和输出形态。推荐值和效果参数推荐值效果enable_thinkingTrue难题/ False要快False 时生成 token 数可减半temperature / top_p0.6 / 0.95思考0.7 / 0.8非思考即 generation_config.json 默认值思考模式禁用贪心解码max_new_tokens32768给思考留空间竞赛级难题可给 38,912presence_penalty0–2抑制长文本复读调太高可能语言混杂YaRNfactor2.065K/ 4.0131K只为长文开启静态缩放对短文本有轻微影响单张 4090、INT4 下的实测参考不同机器差异较大看趋势即可指标调优前调优后解码速度非思考模式18 tok/s26 tok/sPagedAttention 前缀缓存首 token 延迟512 token 提示2.9s1.6s显存占用23.9GB22.1GBkv_cache_dtype fp8需要 131K 长文时同样不改仓库文件启动时传参即可vllm serve ./Qwen3-30B-A3B --max-model-len 131072 \ --rope-scaling {rope_type:yarn,factor:4.0,original_max_position_embeddings:32768}跑完你应该在日志里看到最大模型长度为 131072。若提示Unrecognized keys in rope_scaling是 transformers 版本旧升到 4.51.0 即可。最后用最小代码验证整条链路——直接请求刚起好的 API 服务import requests resp requests.post( http://localhost:8000/v1/chat/completions, json{ model: Qwen3-30B-A3B, messages: [{role: user, content: 11? 直接回答结果}], max_tokens: 64, temperature: 0.7, }, timeout120, ) print(resp.status_code, resp.json()[choices][0][message][content])✅ 看到200和模型的回答本地部署就算完整跑通任何 OpenAI SDK 都能直接接入。高频问题速查Q: 启动报KeyError: qwen3_moeA: transformers 版本旧了pip install -U transformers4.51.0这个架构才被支持。Q: 加载或推理时 OOMA: 依次做换 INT4 权重包 →--gpu-memory-utilization降到 0.85 并--max-model-len 32768→ 仍不够就转 llama.cpp 走 CPUGPU 混合。Q: 输出反复复读同一句话A: 思考模式不要用贪心解码用 temperature 0.6 / top_p 0.95可再加presence_penalty 1.0。Q: 131K 长上下文要常开吗A: 不建议。静态 YaRN 对短文本有轻微影响只在处理长文档时开启典型长度 65K 就把factor设 2.0。Q: 16G 单卡能跑吗A: 能但慢GGUF Q4 CPU 卸载解码大致个位数 tok/s适合验证流程要体验速度就租几小时 24G 云 GPU 把参数调完。至此模型要么已经在 BF16/INT4 下稳定出活要么你手里有完整路径和低显存降级方案随时可以补跑。下一步把你遇到的原始报错丢到仓库 issue 区搜一遍再对照 README 的 Best Practices 一节核对采样参数。【免费下载链接】Qwen3-30B-A3BQwen3-30B-A3B具有以下特点 类型因果语言模型 训练阶段预训练和后训练 参数数量总计 305 亿其中已激活 33 亿 参数数量非嵌入29.9B 层数48 注意力头数量GQAQ 为 32 个KV 为 4 个 专家人数128 已激活专家数量8 上下文长度原生长度为 32,768使用 YaRN 后长度为 131,072 个标记项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-30B-A3B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考