1. 四张卡摆在面前先想清楚你到底在跑什么2026年做大模型推理选卡这件事比前两年更让人纠结。A100、H800、H20、4090这四张卡价格跨度从两万多到二十多万显存从24GB到80GB带宽从1TB/s到3.35TB/s每一张都有人吹每一张也都有人骂。我过去一年多在这四张卡上都部署过推理服务踩过的坑足够写一本小册子今天就把这些真实取舍摊开来讲。先说结论性的判断没有一张卡是万能解选卡的本质是拿你的模型规格、并发量、预算和部署环境去做匹配。你如果拿着一张卡的标准去套所有场景最后一定是钱花了、性能没到位、运维还天天救火。这篇文章适合谁看如果你正在规划推理集群、要给团队选卡、或者自己掏钱搞一台推理工作站那这篇内容能帮你少走至少半年的弯路。我会从显存、带宽、算力、生态、成本五个维度把四张卡拆开再结合具体的模型规格给出可落地的选型建议。全程不讲虚的只讲我实际跑出来的数据和真实感受。在展开之前先明确一个前提推理和训练对卡的要求完全不同。训练看的是算力峰值和卡间互联推理看的是显存容量、显存带宽和单位成本。很多人拿训练卡的思路去选推理卡结果买回来发现推理吞吐上不去钱全浪费在不需要的算力上。这个认知差是选卡翻车的头号原因。2. 四张卡的核心参数拆解与真实定位2.1 先把参数摆上台面选卡第一步不是看价格是看参数能不能满足你的模型。下面这张表是我整理的实测关键参数注意这里的带宽和显存是决定推理性能的核心指标算力反而排在后面。参数项A100 80GH800 80GH20 96G4090 24G显存容量80GB HBM2e80GB HBM396GB HBM324GB GDDR6X显存带宽约2.0TB/s约3.35TB/s约4.0TB/s约1.0TB/sFP16算力约312 TFLOPS约990 TFLOPS约148 TFLOPS约165 TFLOPS卡间互联NVLink 600GB/sNVLink 400GB/sNVLink 900GB/s无仅PCIe单卡功耗400W700W400W450W部署形态服务器服务器服务器工作站/服务器生态成熟度极高高中高这张表里藏着一个反直觉的事实H20的算力是四张卡里最低的但它的显存带宽和互联带宽却是最高的。这个特性直接决定了它的适用场景后面会详细讲。2.2 显存容量决定了你能跑多大的模型显存是推理选卡的第一硬约束。模型权重、KV Cache、中间激活值都要占显存其中权重和KV Cache是大头。先算权重。以FP16精度为例一个70B参数的模型权重就要占约140GB。这意味着单张80G卡根本放不下必须做量化或者多卡切分。如果换成INT8量化权重降到约70GB一张80G卡刚好能塞下但留给KV Cache的空间就非常紧张了。再降到INT4权重约35GB80G卡就有充足余量给KV Cache和并发请求。这里有个经验公式可以帮你快速估算推理所需显存 ≈ 模型参数量 × 每参数字节数 并发数 × 序列长度 × 层数 × 隐藏维度 × 2 × 每元素字节数KV Cache这一项经常被低估。以70B模型、8K上下文、并发16路为例KV Cache轻松吃掉20GB以上。所以选卡时不能只看权重能不能放下要按“权重KV Cache激活值框架开销”四项加起来算再留20%余量。按这个标准4090的24G只能跑INT4量化的13B以下模型或者7B模型的FP16A100和H800的80G能跑INT8的70B或INT4的130BH20的96G在显存容量上最有优势能跑INT8的70B还留足KV Cache空间。2.3 显存带宽才是推理吞吐的真正瓶颈很多人选卡盯着算力看这是训练思维。推理是显存带宽敏感型任务尤其是Decode阶段每生成一个token都要把整个模型权重读一遍。带宽决定了你每秒能读多少权重也就决定了token生成速度的上限。举个具体的例子。70B模型INT8量化后约70GB如果卡带宽是2TB/s理论上每秒能完整读28次权重对应单路约28 token/s的上限。换成4TB/s的H20上限翻倍到56 token/s。而算力再高带宽跟不上权重读不出来算力就是闲置的。这就是为什么H20虽然算力只有A100的一半不到但在大模型推理场景下反而可能更快。它的4TB/s带宽是四张卡里最高的Decode阶段的token生成速度有天然优势。我实测下来同样的70B INT8模型H20的单路生成速度确实比A100快30%以上。4090的1TB/s带宽是它的硬伤。虽然算力不弱但带宽限制了它在Decode阶段的表现。跑7B模型还行跑13B以上就能明显感觉到token一个个往外蹦的吃力感。2.4 卡间互联决定了多卡扩展的效率单卡放不下模型就要多卡。多卡推理有两种模式Tensor Parallel张量并行和Pipeline Parallel流水线并行。TP对卡间通信要求极高每层都要做All-Reduce通信量巨大。这时候NVLink的带宽就至关重要。A100的NVLink是600GB/sH800是400GB/sH20是900GB/s4090没有NVLink只能走PCIe实际带宽约32GB/s。这个差距在TP模式下会被放大。我用两张4090做TP跑13B模型通信开销吃掉了近40%的性能两张卡的实际吞吐还不如一张A100。而H20的900GB/s互联让它在多卡TP场景下效率极高8卡H20跑70B模型的扩展效率能到85%以上。所以如果你的模型必须多卡才能跑优先选有高带宽NVLink的卡4090在多卡推理上基本没有性价比可言。3. 按场景选卡四种典型需求的对号入座3.1 场景一个人开发者和小团队的低成本推理预算有限、模型不大、并发不高这是大多数个人开发者的真实状态。这个场景下4090是绕不开的选择。4090的优势很直接单卡两万多的价格24G显存165 TFLOPS的FP16算力跑7B到13B的量化模型完全够用。我自己的测试环境就是一张4090跑Qwen系列的7B INT4模型单路生成速度能到50 token/s以上并发4路时总吞吐约120 token/s日常自用和小规模API服务完全撑得住。但4090的坑也很明确。第一是24G显存跑13B INT8就只剩不到10G给KV Cache并发一上来就OOM。第二是没有NVLink多卡扩展基本废掉。第三是功耗和散热450W的卡塞进普通机箱散热做不好会降频。第四是它本质是消费卡没有经过数据中心验证7x24小时高负载运行的稳定性不如专业卡。实操心得用4090做推理服务一定要做显存监控和自动降级。我写过一个简单的脚本当显存占用超过90%时自动降低并发上限避免OOM导致服务崩溃。这个脚本救了我好几次。如果你预算能到五万左右可以考虑两张4090做Pipeline Parallel跑13B模型。但要注意PP模式有流水线气泡实际效率不如单卡跑小模型。我的建议是4090就老老实实跑单卡能放下的模型不要强行多卡。3.2 场景二中型团队的70B模型推理70B模型是当前很多团队的主力规格这个场景下80G显存的卡是刚需。A100和H800都在这个区间但两者的取舍很不一样。A100 80G是上一代卡但生态成熟度极高几乎所有推理框架都对它做了深度优化。它的2TB/s带宽跑70B INT8模型单路生成速度约25-30 token/s并发16路时总吞吐能到300 token/s左右。价格上A100比H800便宜不少如果预算紧张且对极致性能没有执念A100是稳妥选择。H800 80G的算力是A100的三倍多但推理场景下这个算力优势发挥不出来因为瓶颈在带宽。H800的3.35TB/s带宽比A100高约67%Decode阶段确实更快单路能到40 token/s左右。但价格也高出不少性价比要看你的并发量。如果并发很高、算力成为瓶颈比如Prefill阶段H800的优势才明显。这里有个关键判断点你的服务是Prefill密集还是Decode密集。Prefill是处理输入prompt的阶段算力敏感Decode是生成输出的阶段带宽敏感。如果用户输入很长比如RAG场景prompt几千tokenPrefill占比高H800的算力优势值得多花钱。如果输入短、输出长比如对话场景Decode为主A100的性价比更高。3.3 场景三高并发大显存需求H20是这四张卡里最特殊的一张。算力垫底但显存96G最大、带宽4TB/s最高、互联900GB/s最强。这三个“最”决定了它的定位大模型、高并发、多卡部署。96G显存意味着单卡能跑INT8的70B模型还留足KV Cache或者INT4的130B模型。4TB/s带宽让Decode速度飞快900GB/s互联让8卡TP扩展效率极高。我见过一个部署案例8卡H20跑70B INT8模型并发64路时总吞吐超过2000 token/s这个数字用A100需要16卡才能达到。H20的代价是算力低。148 TFLOPS的FP16算力在Prefill阶段会成为瓶颈长prompt场景下首token延迟会比较高。所以H20适合的是输入短、输出长、并发高的场景比如大规模对话服务、内容生成服务。如果你的场景是长文档处理、代码补全这类Prefill密集的任务H20的算力短板会暴露。注意事项H20的生态成熟度不如A100和H800部分推理框架的优化还没跟上。部署前一定要确认你用的框架对H20的支持情况我遇到过框架不支持导致性能只有理论值一半的情况。3.4 场景四混合负载与未来扩展实际生产环境往往不是单一场景而是混合负载。这时候选卡要考虑的是通用性和扩展性。从通用性看A100和H800的生态最成熟什么框架都能跑什么模型都支持。H20在大模型推理上很强但小模型和传统模型上优势不明显。4090则受限于显存只能跑小模型。从扩展性看如果你未来可能从70B升级到130B甚至更大显存和互联就要提前留余量。H20的96G显存和900GB/s互联在这方面最有前瞻性。A100和H800的80G在跑130B INT4时已经捉襟见肘而H20还能从容应对。我的建议是如果预算允许且场景匹配H20是2026年大模型推理的最优解之一如果追求稳妥和生态A100是安全牌如果预算紧张且模型不大4090是入门首选H800则适合Prefill密集且预算充足的高并发场景。4. 实操部署中的关键细节与避坑指南4.1 量化方案的选择直接影响显存和速度选完卡之后量化方案是第二个关键决策。同一个模型FP16、INT8、INT4三种精度下的显存占用和推理速度差异巨大。以70B模型为例FP16需要140GB显存必须两张80G卡INT8需要70GB单张80G卡刚好INT4需要35GB单张80G卡余量充足。速度上INT8通常比FP16快20-30%INT4再快10-20%但精度损失也递增。我的经验是对话类场景用INT8精度损失可接受且速度好知识问答类场景慎用INT4精度损失可能导致答案质量下降如果显存实在不够INT4是最后的妥协。量化工具方面主流框架都内置了量化支持具体选哪个要看你的模型格式和部署框架。这里有个容易忽略的点量化后的模型需要重新校准。直接用量化工具转换而不做校准精度损失可能比预期大很多。校准数据集要选和你实际业务分布接近的样本这一步偷懒后面会付出代价。4.2 批处理策略决定吞吐上限推理服务的吞吐不只取决于卡还取决于批处理策略。连续批处理Continuous Batching是当前的主流方案它把不同请求的动态合并显著提升GPU利用率。但批处理不是越大越好。批太大单路延迟会上升用户体验变差。批太小GPU利用率上不去吞吐上不来。这个平衡点要根据你的延迟要求和卡的显存来调。我实测下来A100跑70B INT8模型批大小在8-16之间吞吐和延迟的平衡最好。H20因为显存大可以开到24-32。4090跑7B模型批大小4-8比较合适再大就OOM了。实操技巧批大小不要写死要做动态调整。我用的策略是根据当前显存占用和请求队列长度动态调整批大小显存紧张时降批请求堆积时适当升批。这个策略让我的服务在流量波动时保持稳定。4.3 散热和功耗是稳定性的隐形杀手这四张卡的功耗都不低4090是450WH800是700WA100和H20是400W。多卡部署时整机功耗轻松上到3000W以上散热做不好直接降频性能打对折。我踩过的最大的坑就是散热。早期用4090做服务机箱风道没设计好连续跑两小时后GPU温度上到85度开始降频吞吐直接掉30%。后来换了服务器机箱、加了暴力风扇才解决。专业卡A100、H800、H20通常部署在服务器里散热由服务器厂商解决但也要注意机房环境温度。消费卡4090自己装机的话散热必须重点投入别在这上面省钱。功耗方面要算好电源余量。单卡450W加上CPU、主板、硬盘整机至少配850W电源多卡则要按每卡500W预留。电源不够会导致随机重启排查起来非常痛苦。4.4 框架选型影响部署效率推理框架的选择直接影响部署难度和性能。当前主流的几个框架各有侧重选错了会多花很多时间。框架优势适用场景对四张卡的支持vLLM吞吐高、PagedAttention高并发服务四张卡都支持良好TensorRT-LLM极致性能、NVIDIA官方追求极限性能A100/H800/H20优化最好SGLang结构化生成、RadixAttention复杂推理任务支持良好llama.cpp轻量、CPUGPU混合个人开发、小模型4090上表现好我的建议是生产环境优先vLLM或TensorRT-LLM个人开发用llama.cpp或vLLM。TensorRT-LLM在NVIDIA专业卡上的性能最好但部署复杂度也最高需要编译引擎对模型有格式要求。vLLM的易用性和性能平衡得最好是我最常用的框架。4090用户要注意TensorRT-LLM对消费卡的支持不如专业卡部分优化用不了。vLLM和llama.cpp在4090上的表现更稳定。5. 常见问题排查与选型速查5.1 推理服务常见问题速查表问题现象可能原因排查方向解决方法吞吐上不去批大小太小/带宽瓶颈看GPU利用率和显存带宽占用调大批大小/换高带宽卡首token延迟高Prefill算力不足看Prefill阶段耗时换高算力卡/优化prompt长度显存OOMKV Cache超预期看并发数和序列长度降并发/量化/换大显存卡多卡效率低互联带宽不足看通信耗时占比换NVLink卡/改PP模式服务不稳定散热/电源问题看温度和功耗曲线改散热/换电源精度下降明显量化损失过大对比量化前后输出换INT8/做量化校准5.2 选型决策树三分钟找到你的卡面对四张卡不知道怎么选按下面这个决策树走一遍基本能锁定方向。第一步看模型大小。7B以下且预算紧张直接4090。13B到70B进入第二步。130B以上只能H20或A100/H800多卡。第二步看并发量。低并发个位数A100性价比最高。高并发几十路以上H20的带宽和互联优势明显。Prefill密集且预算充足H800。第三步看预算。预算三万以内4090。预算十万左右A100。预算二十万以上H20或H800。第四步看生态要求。必须用某个特定框架且该框架对H20支持不好退回A100或H800。追求最新最优H20。5.3 几个容易踩的认知坑第一个坑算力越高推理越快。这是训练思维。推理的Decode阶段是带宽瓶颈算力再高带宽跟不上也没用。H20算力垫底但推理速度不输A100就是这个道理。第二个坑显存越大越好。显存大确实好但如果带宽和互联跟不上大显存也发挥不出来。选卡要综合看不能只看单一指标。第三个坑4090性价比无敌。4090单卡性价比确实高但它的24G显存和无NVLink限制了扩展性。如果你的模型会长大、并发会长高4090很快就不够用到时候换卡的成本更高。第四个坑买新不买旧。A100虽然是上一代但生态成熟、价格合理、性能稳定在很多场景下比新卡更合适。选卡要看匹配度不是看新旧。5.4 我个人的选型建议如果让我给一个2026年的通用建议中型团队做70B模型推理首选H20次选A100。H20的96G显存、4TB/s带宽、900GB/s互联在大模型推理上优势太明显算力短板在Decode为主的场景下影响有限。A100则是稳妥之选生态成熟、价格合理、什么都能跑。个人开发者和小团队4090是入门首选但要做好模型规格和并发的规划别指望它跑大模型。H800适合特定场景Prefill密集且预算充足时值得考虑否则性价比不如H20和A100。最后分享一个我踩过的坑早期为了省钱用4090跑13B模型结果并发一上来就OOM服务频繁崩溃排查了两周才发现是显存不够。后来换成A100同样的模型和并发稳定跑了半年没出过问题。选卡时省的钱往往会在运维阶段加倍还回去。这个教训让我在后来的选型中总是优先考虑稳定性和余量而不是单纯看价格。