人工智能大模型基础模型多模态计算机视觉NLP预训练【免费下载链接】NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16点击查看免费下载本文将带你完成NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16的vLLM 部署这是 NVIDIA Nemotron 3.5 Super 系列的基座多模态模型120B 总参数、仅 12B 激活参数采用 Mamba-2 MoE Attention 混合架构支持 1M 上下文与文本、图像、视频输入。文章先帮你算清显存预算、选好GPU 组合再用三条命令起一个带 MTP 投机解码和ultra_v3推理解析器的 vLLM 服务。一、先认识模型120B 总参数、12B 激活在部署之前先建立对这个模型的直觉——它的参数结构直接决定了硬件方案关键规格数值说明总参数 / 激活参数120B / 12BMoE 稀疏激活每层 512 个路由专家 1 个共享专家架构Mamba-2 MoE Attention 混合交错式层结构详见 config.json视觉编码器C-RADIOViT支持图像最高 2048px、mp4 视频最长 2 分钟上下文长度最高 1M tokens实际部署可按显存调小精度BF16权重约232 GB63 个分片见 model.safetensors.index.json多模态输入文本 图像 视频处理器配置见 processor_config.json测试硬件H100 / H200 / B200 / B300 / GB200 / GB300来自 README.md⚠️一个重要前提这是Base 基座模型用于继续预训练、蒸馏和自定义后训练。仓库 README.md 明确建议若要做聊天、推理、工具调用等应用应使用后训练的 BF16 或 NVFP4 版本。本文教你部署的是一套可直接复用的工程方法同样适用于该系列的后训练权重。模型的多模态能力图像 patch 范围 1024~13312、224 基础分辨率的 ViT 等都由 config.json 中的vision_config定义vLLM 加载时会自动识别无需手工配置视觉塔。二、显存预算计算到底需要多少显存这是部署 120B 级模型最核心的一步。我们把显存拆成四块来算1. 权重约 232 GB固定成本MoE 模型虽然只激活 12B 参数但全部 120B 权重都必须加载进显存120B 参数 × 2 字节(BF16) ≈ 240 GB 索引文件实测总大小231.8 GB2. KV Cache远比你想象的小得益于混合架构只有少数 Attention 层约每 8 层 1 层需要缓存 KV且 KV 头数只有 2、head_dim 128每 token ≈ 8~11 KBBF16 单序列 256K 上下文 ≈ 2 GB单序列 1M 上下文 ≈ 8~11 GB这正是混合架构的部署红利长上下文的显存代价远低于同规模纯 Transformer。3. Mamba SSM 状态缓存每序列约 0.2 GBMamba 层用固定大小的 SSM 状态float32 精度替代 KV Cache不随上下文增长每序列仅百 MB 量级。4. 激活值 Logits 通信缓冲预留 15%~25%词表 131072 的 logits 缓冲、专家并行的 NCCL 通信缓冲、算子临时显存按权重规模留 15%~25% 余量。GPU 选型推荐综合下来总显存 400 GB 是安全线800 GB 以上从容可支撑长上下文 并发。按 README.md 列出的官方测试硬件给出如下选型表GPU单卡显存推荐组合总显存适用场景H10080 GB8 × H100 单机640 GB预算型起步方案H200141 GB8 × H200 单机1.1 TB高并发 256K 上下文B200192 GB8 × B200 单机1.5 TBBlackwell 首选留足 KV 空间B300288 GB4~8 × B3001.1~2.3 TB1M 超长上下文、大批量GB200 NVL72186 GB/GPU1 机架72 GPU13 TB多租户超大规模服务 经验法则先用8 卡单机 TP8起步跑通后再按 QPS 目标横向扩容MoE 模型务必开启专家并行--enable-expert-parallel分摊 512 个专家的显存与计算。三、vLLM 三步部署下载、启动、验证第 1 步获取模型文件仓库包含完整的模型权重与推理配置两种获取方式任选# 方式一git clone含 config、chat template、推理解析器等全部文件 git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 # 方式二Hugging Face CLI 直接拉取权重 hf download nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 \ --local-dir ./models/super-vl-base-bf16第 2 步启动 vLLM 服务vllm serve ./models/super-vl-base-bf16 \ --served-model-name nemotron-3.5-super-vl \ --trust-remote-code \ --tensor-parallel-size 8 \ --enable-expert-parallel \ --max-model-len 262144 \ --gpu-memory-utilization 0.90 \ --speculative-config {method:mtp,num_speculative_tokens:1} \ --reasoning-parser ultra_v3 \ --limit-mm-per-prompt {image: 8, video: 2}第 3 步关键参数速查参数推荐值作用--trust-remote-code必须模型使用自定义架构NemotronH_Omni_Reasoning_V3见 config.json 的auto_map--tensor-parallel-size8张量并行切分 232 GB 权重--enable-expert-parallel开启512 个路由专家的专家并行MoE 部署必开--max-model-len262144按显存预算设置上下文上限1M 需更大显存池--gpu-memory-utilization0.90显存占用比例留给 KV Cache 与激活--speculative-configMTP ×1模型原生 MTP 层做投机解码详见第五节--reasoning-parserultra_v3拆分思考内容与正式回答详见第四节--limit-mm-per-prompt按需限制单请求图像/视频数量防止显存抖动服务启动后用 OpenAI 兼容 API 即可调用多模态请求按image_url/video_url传内容即可视觉预处理由仓库内的 image_processing_nemotron_h_omni.py 自动完成。四、推理解析器配置ultra_v3 拆分思考与回答这是本仓库最有特色的部分——它自带一个 vLLM 推理解析器ultra_v3_reasoning_parser.py注册名为ultra_v3继承自DeepSeekR1ReasoningParser把模型输出按lt;thinkgt;...lt;/thinkgt;标签拆成reasoning_content思考过程和content最终回答两个字段。它针对 Nemotron 的对话模板做了三个精准处理场景解析器行为enable_thinkingfalse对话模板会预填lt;/thinkgt;整段输出直接作为content不产生思考字段默认思考模式正常拆分reasoning_contentcontent并自动去除模板已负责的首行换行避免多轮回放时 token 漂移force_nonempty_contenttrue当输出被max_tokens截断、只剩思考没有回答时把整段思考提升为content保证用户总能看到非空回答配置步骤将 ultra_v3_reasoning_parser.py 放入 vLLM 运行环境如放入vllm/reasoning/目录或在启动脚本中先import ultra_v3_reasoning_parser完成模块注册启动时加--reasoning-parser ultra_v3见第三节命令对话模板 chat_template.jinja 默认enable_thinkingtrue会自动预填lt;thinkgt;开头想关掉思考模式在请求的chat_template_kwargs中传enable_thinking: false即可。生成参数直接沿用仓库的 generation_config.jsontemperature1.0、top_p0.95、do_sampletrue无需额外调参。五、性能优化清单 按优先级排列的几个提速点开启 MTP 投机解码模型内置 1 层 Multi-Token Prediction 头见 config.json 的num_nextn_predict_layersnum_speculative_tokens1即可获得接近无损的解码加速这是原生的不依赖额外小模型专家并行EP512 个路由专家是显存与计算的双重大头--enable-expert-parallel在多卡下几乎总是正收益按业务调--max-model-len不需要 1M 长上下文时降到 32K~128K可大幅提升单卡可承载的并发序列数KV Cache 是主要弹性空间控制图像输入规模视觉塔会自动将图像缩放到 1024~13312 个 patch 之间高分辨率大图建议业务侧预缩放能显著降低 prefill 耗时视频请求限额mp4 最长 2 分钟、video_target_num_patches1024processor_config.json视频 token 量大务必配合--limit-mm-per-prompt限流。模型官方的基准测试图与推理框架对比图已随仓库提供可查阅 accuracy_plot.png 与 harness_comparisons.png 了解其评测口径。六、常见踩坑问题原因与解决启动报不支持的架构漏加--trust-remote-code模型依赖仓库内 modeling_nemotron_h_omni.py 等自定义代码OOM 或加载失败232 GB 权重单卡装不下H100 80G 也需 8 卡 TP检查--tensor-parallel-size与总显存是否 ≥ 400 GB回答风格不像 Chat这是Base 模型未做指令对齐对话场景请改用同系列后训练版本工程部署方式完全相同思考内容与回答混在一起--reasoning-parser ultra_v3未生效确认ultra_v3_reasoning_parser模块已在 vLLM 环境中完成导入注册长上下文下并发骤降KV Cache 吃满下调--max-model-len或提高--gpu-memory-utilization七、总结部署NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16的核心就三件事算显存232 GB 权重 轻量 KV/SSM 缓存总显存 400 GB 起步、8 卡单机H200/B200最省心起服务vllm serve TP8 专家并行 MTP 投机解码一条命令上线配解析器仓库自带的ultra_v3解析器自动拆分思考与回答enable_thinking一个开关控制推理模式。这套工程方案对同系列的后训练权重同样适用替换模型路径即可平滑迁移非常适合团队从基座实验走向正式多模态服务。赞分享人工智能大模型基础模型多模态计算机视觉NLP预训练【免费下载链接】NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16点击查看免费下载相关推荐NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4部署完全指南DGX Spark、H100、H200与GB200配置清单NVIDIA Nemotron 3.5 Super VL 120B A12B NVFP4部署完全指南DGX Spark、H100、H200与GB200配置清单人工智能大模型多模态计算机视觉模型量化NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 推理模式完全指南enable_thinking开关与reasoning解析器详解NVIDIA Nemotron 3.5 Super VL 120B A12B NVFP4 推理模式完全指南enable_thinking开关与reasoninNVIDIA-Nemotron-3.5-Super-VL-120B-A12B图像预处理全解析动态Patch分配与视频Token剪枝算法NVIDIA Nemotron 3.5 Super VL 120B A12B图像预处理全解析动态Patch分配与视频Token剪枝算法 NVIDIA Nemo上一篇ArkTS数据校验表单验证与错误提示实现下一篇构建WeatherStar 4000的语音助手集成Web Speech API实现创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考