异构 GPU 混合调度陷阱当 A100 与 L40S 混部在同一集群在企业建设 AI 算力底座的过程中由于采购周期不同、供应链供货波动以及成本控制预算集群里的 GPU 硬件往往很难做到“完全同构”。随着时间推移机房里往往既有早先部署的NVIDIA A10080GB SXM4高显存带宽 HBM2e也有性价比较高的L40S48GB PCIeAda Lovelace 架构高单精度浮点但基于 GDDR6 显存以及少量H100。在很多管理者看来只要把这些卡全部接入同一个 Kubernetes 集群对外统一暴露nvidia.com/gpu资源调度器就能自动把任务均匀分发给空闲节点。然而在一次多卡大模型推理任务部署中我们踩进了一个巨大的异构混部泥潭一个需要 4 卡张量并行Tensor Parallelism 4的 Llama-3-70B 推理 Pod被默认调度器随机分配到了两张 A100 和两张 L40S 机器上或者同节点内插了不同型号的扩展卡服务启动后单 Token 生成延迟直接从预期的 25ms 飙升到了 110ms且偶发触发 NCCL 通信超时崩溃算力大盘显示昂贵的 A100 计算核心长期处于等待状态Idle整体算力效能被最慢的卡死死拉平。flowchart TD subgraph HeterogeneousCluster[异构混合集群] NodeA[节点 A: 4*A100-80GB HBM 带宽 2000GB/s] NodeB[节点 B: 4*L40S-48GB GDDR6 带宽 864GB/s] end Pod[70B 模型 4 卡张量并行 Pod: 随机跨卡调度] -.-|分配卡 0 卡 1| NodeA Pod -.-|分配卡 2 卡 3| NodeB NodeA NCCL All-Reduce 跨架构通信同步 NodeB Note over NodeA,NodeB: 木桶效应: A100 算力被 L40S 的显存带宽与无 NVLink 互联彻底拖垮1. 异构 GPU 混部的物理陷阱剖析不同型号的 GPU 在底层芯片架构上有着本质的维度差异绝不能简单地按“显存大小”画等号陷阱一显存带宽断崖HBM vs GDDR6A100 (SXM4)搭载高带宽显存HBM2e显存物理带宽高达2,039 GB/sL40S虽然 FP8/FP16 的算力TFLOPS非常高但其搭载的是传统的GDDR6显存带宽仅有864 GB/s。在大模型的自回归解码Decode阶段瓶颈主要卡在显存带宽上。如果将两张卡混用在同一个张量并行组内每一层 Transformer 计算完成后A100 必须停下来干等 L40S 完成显存搬运形成严重的木桶效应。陷阱二NVLink 互联能力缺失A100 / H100 具备高速 NVLink 桥接或 NVSwitch卡间双向带宽 600GB/s900GB/sL40S不支持 NVLink多卡之间只能通过主板的 PCIe Gen4/Gen5 总线进行通信带宽仅 64GB/s。在张量并行中频繁的 All-Reduce 广播会直接将 PCIe 总线打爆。陷阱三CUDA 算力架构Compute Capability不一致A100 为sm_80L40S 为sm_89。不同架构对特定算子如 FlashAttention-2、FP8 GEMM的支持与编译内核差异巨大混部会导致同一份模型镜像在不同卡上出现兼容性崩溃或精度漂移。2. 破局方案基于 Node Feature Discovery 的标签隔离与分层调度要彻底规避异构硬件混部的踩坑必须在调度层建立严格的硬件特征感知与分层路由机制。第一步使用 Node Feature Discovery (NFD) 自动标记节点通过 Kubernetes NFD 插件自动扫描并给物理节点打上精确的硬件标签# 自动生成的节点 Label 示例 node.kubernetes.io/instance-type: gpu.a100.80gb.sxm4 nvidia.com/gpu.family: ampere nvidia.com/gpu.product: NVIDIA-A100-SXM4-80GB nvidia.com/gpu.count: 8 nvidia.com/gpu.memory: 81920 nvidia.com/nvlink.supported: true第二步业务负载分层与亲和性约束针对不同的业务场景制定明确的硬件准入策略大参数量 30B低延迟推理与分布式训练强约束调度到 A100 / H100 SXM 节点开启 NVLink 与单 NUMA 绑定轻量级 Embedding / 文生图Stable Diffusion / 单卡小模型调度到高性价比的 L40S / RTX 4090 节点最大化发挥其高浮点算力与成本优势。apiVersion: apps/v1 kind: Deployment metadata: name: llama3-70b-serving namespace: ai-serving spec: replicas: 2 template: spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: # 强制只调度到具备 NVLink 且同构的 A100-SXM 节点池 - key: nvidia.com/gpu.product operator: In values: - NVIDIA-A100-SXM4-80GB - NVIDIA-H100-80GB-HBM3 containers: - name: vllm image: vllm-serving:v0.6.0 resources: limits: nvidia.com/gpu: 43. 调度器扩展防止多卡碎片的同构装箱对于无需指定型号的中型任务自定义调度器在 Score 阶段执行同构评分约束Homogeneous Scoringpackage main import fmt // EvaluateHeterogeneousRisk 评估分配方案中的硬件一致性风险 func EvaluateHeterogeneousRisk(cardTypes []string) int { if len(cardTypes) 1 { return 100 // 单卡不存在异构风险满分 } firstType : cardTypes[0] for _, t : range cardTypes[1:] { if t ! firstType { // 发生跨架构混部严重扣分阻止调度 return 0 } } return 100 } func main() { // 方案 1: 同构分配 4 张 A100 score1 : EvaluateHeterogeneousRisk([]string{A100, A100, A100, A100}) // 方案 2: 混部分配 2 张 A100 2 张 L40S score2 : EvaluateHeterogeneousRisk([]string{A100, A100, L40S, L40S}) fmt.Printf(同构调度得分: %d, 混部调度得分: %d\n, score1, score2) }4. 总结在 AI 基础设施建设中硬件的多样性必须由软件架构的确定性来驯服。通过 NFD 自动打标、严格的 NodeAffinity 约束以及调度层的同构装箱策略我们既能享受异构算力带来的硬件采购成本红利又能彻底杜绝木桶效应引发的线上性能事故。