做AI芯片选型这行当久了总会被问同一个问题官网上一堆数字TOPS、TFLOPS、HBM带宽、TOPS/W、互联带宽到底哪个最重要哪个能直接信这问题问得实在因为AI芯片指标从来就不是拿来“看懂”的而是拿来“选型”和“排坑”的。这篇文章就把这些指标一层层拆开讲清楚每个数字背后的口径和水分同时告诉你一套从需求定义到实测落地的选型方法。适合正准备采购AI训练服务器、做边缘推理设备选型、或者单纯想搞明白“为什么这块卡这么贵”的团队和个人。先给一个结论任何单一指标都不能代表AI芯片的真实水平。标称算力只是理论峰值真正决定你能跑多快、跑多大的是算力、带宽、能效、互联、软件适配这五件事拧在一起后的综合表现。下面逐个拆。1. 先搞清楚AI芯片指标到底在衡量什么很多人看指标时习惯抓着一个数字猛看比如“这块卡有1000 TOPS”然后立刻下结论说它很强。这种做法在消费级显卡上勉强凑合在AI芯片上会翻车。因为AI芯片的指标从来不是一个孤立的性能数字而是一组约束条件下的平衡结果。1.1 指标的五个维度必须放在一起看算力芯片每秒钟能完成多少次矩阵乘加运算也是最常被拿来宣传的指标。带宽显存或内存每秒钟能搬多少数据包括片内带宽、显存带宽、板间互联带宽。能效每一瓦功耗能换多少算力直接决定电费、散热和部署密度。互联多芯片协作时的数据交换速度与拓扑结构集群场景的隐形天花板。软件适配算子库、编译器、推理框架的支持程度决定硬件指标能否兑现。这五个维度不是独立的。你把核心频率调高算力上去了功耗也跟着涨显存带宽提上去成本和功耗同步增加互联带宽做大芯片面积和绕线复杂度都会上升。芯片设计本质上是在一个多维约束平面里找最优解所以只盯着其中一两个指标看必然得出片面结论。1.2 训练和推理看指标的逻辑完全相反同样一块芯片用来做训练和做推理适用的指标优先级完全不同。这也是选型中最容易犯的方向性错误。场景优先看的指标次要看的指标不怎么看的指标大模型训练FP16/BF16矩阵算力、显存容量、板间互联带宽多卡扩展效率、能效单路延迟云端在线推理INT8/FP16实际吞吐、p95延迟、显存带宽功耗、价格峰值FP32算力边缘/车载能效TOPS/W、峰值功耗、内存带宽环境温度范围、封装尺寸多卡互联端侧NPUINT8/INT4能效、内存带宽、成本工具链成熟度TFLOPS如果拿训练卡指标去评估推理场景很容易得出错误结论。举个我实际见过的例子某款数据中心加速卡峰值算力很高跑大batch训练确实猛但用batch size等于1做线上推理时因为显存带宽和数据搬运效率上不去单路延迟反而被一颗手机SoC级别的NPU按在地上摩擦。这不是芯片不行是需求的场景和指标错位了。2. 最容易被厂商“美化”的算力指标算力指标是最容易让人兴奋的也是最容易埋坑的。TOPS、TFLOPS、算力利用率这几个词拆开看都不复杂放在一起就乱了。这里把口径彻底理清。2.1 TOPS和TFLOPS是怎么算出来的先做名词解释。TOPS全称是Tera Operations Per Second每秒万亿次操作TFLOPS是Tera Floating-point Operations Per Second每秒万亿次浮点操作。注意两点第一TOPS包含整数和逻辑运算TFLOPS特指浮点第二同样的硬件跑整数运算和浮点运算的速度不同所以这两个数字不能直接换算。峰值算力的通用计算公式是单芯片峰值TOPS 每秒MAC数 × 2 ÷ 1e12每秒MAC数 计算单元数 × 频率 × 每周期MAC次数为什么乘2因为一次乘加MAC操作包含一次乘法和一次加法行业惯例按两次操作计数。举个例子假设某芯片有128个NPU核心频率1.5GHz每个核心每周期执行2048次INT8 MAC那么每秒MAC数约等于128 × 1.5e9 × 2048 ≈ 3.93e14峰值TOPS约787。这个数字在宣传PPT上看着很猛但它只是理论极限——真实模型几乎跑不到。还有一个容易被忽略的细节如果你把“计算单元数”或者“每周期MAC次数”记错最终结果会差出一倍甚至更多。所以下次看到别人晒TOPS时先别急着惊叹问一句“这个数怎么算出来的”往往能筛掉不少水分。2.2 精度类型决定指标含金量同一颗芯片在不同计算精度下的峰值算力差别非常大大致排序是FP32 TF32 FP16/BF16 INT8 INT4。比如一块数据中心GPU的FP32算力可能只有FP16的1/16INT8又可能是FP16的2倍。有些专用NPU的INT4算力可以达到INT8的2倍以上。所以对比指标时必须先确认三件事标称精度是什么FP16、BF16、INT8还是INT4是否开启稀疏加速开了之后标称值可能翻倍甚至翻更多。用的是矩阵单元Tensor Core这类还是普通向量单元同精度下差距也有数倍。有些产品会把INT4稀疏后的数字印在宣传页最显眼的位置和同类产品FP16稠密算力放在同一张对比表里数字差距能拉到8到64倍。这不是造假只是口径不一致但确实能让不做功课的人产生严重误判。2.3 算力利用率比峰值更值钱的数字峰值算力是上限利用率才是你能拿到的真实水平。实测中训练GPT类模型时稳态利用率经常在40%到65%之间推理小batch场景利用率甚至只有10%到20%。真正拉开芯片差距的是“在真实负载下能发挥出多少百分比”也就是算力利用率。利用率怎么测以训练为例用nvidia-smi这类监控工具记录算力使用率或对应厂商的Profiler工具先预热5分钟再连续记录15分钟取平均值。不要看单次采样瞬时波动会影响判断。软件栈在这里起决定性作用同样一颗NPU算子库优化得好GEMM可以逼近峰值优化得差利用率可能只有30%。规格书上看不出软件栈好坏只有实测能暴露。3. 带宽和互联AI芯片的真正瓶颈很多人选型时把注意力全放在算力上但真实场景里带宽往往比算力更先爆表。尤其是大模型时代这个问题越来越突出。3.1 为什么大模型更吃带宽而不是算力做一个简单的换算。假设某芯片显存带宽2TB/sFP16峰值算力500 TFLOPS那么每个字节的数据最多能配250次浮点运算。但Transformer推理里很多算子每个字节只能配几个到几十次浮点运算远低于这个比例。于是数据搬运速度先到天花板算力闲置在那里干等。这就能解释一个常见现象大模型推理时GPU算力显示只有20%但token生成速度就是上不去。当batch size较小比如1到8时推理任务基本是带宽受限只有batch拉大后计算密度上来了算力才派上用场。所以评测推理芯片时一定要测不同batch下的吞吐曲线不要只看厂商标称的“最大算力”。3.2 算力带宽比提前判断瓶颈在哪算力带宽比的定义是峰值算力除以峰值带宽单位是FLOPs/Byte。这个数字衡量芯片的“计算/搬运”配比非常关键。举例某芯片FP16算力300 TFLOPS带宽2TB/s算力带宽比就是150 FLOPs/Byte。另一个芯片算力200 TFLOPS带宽3TB/s比值约67。怎么用它把你的目标模型跑一遍统计实际算术强度每字节数据平均做多少次浮点运算。如果模型算术强度低于芯片算力带宽比说明理论上计算能覆盖搬运瓶颈更可能在带宽反之则卡在算力。很多做LLM推理的朋友拿到新卡第一件事就是跑一次模型算术强度再和芯片参数对比能快速估算性能天花板。3.3 互联指标多卡集群的隐形天花板当模型大到一张卡装不下多卡通信就成了新瓶颈。互联指标主要看三点带宽PCIe 4.0 x16单向约16GB/s、双向约32GB/sPCIe 5.0 x16翻倍高端AI芯片板间互联可以到600-900GB/s。拓扑是2D mesh、全互联还是混合不同拓扑对通信模式影响巨大。通信协议是否支持RDMA、GPUDirect这类免拷贝通道直接影响小消息延迟。多卡训练时单卡算力再强如果卡间通信跟不上同步时间会随卡数增长扩展效率一路下滑。8卡还算不明显128卡集群里互联拓扑的差距能直接反映到训练总时长上。所以做大集群选型不能只看单卡指标要追着厂商要“多卡扩展效率”的实测数据同一模型1卡、4卡、8卡、64卡的吞吐对比曲线这条曲线比任何PPT都有说服力。4. 能效、功耗与部署成本能效指标是“账面数字”和“实际电费”差距最大的地方。一个芯片标称200 TOPS听着很厉害但如果功耗600W部署100张卡的机房改造费用就够你喝一壶。4.1 TOPS/W先问清三个口径TOPS/W的单位意思是每瓦功耗能提供多少算力但这里的水分和算力指标一样多精度INT8能效和FP32能效可能差好几倍。频率低频条件下测的能效高实际负载频率拉高后能效会下降。稀疏开了稀疏加速的TOPS/W和稠密情况不是一回事。数据中心AI加速卡实际能效多数在1-10 TOPS/WINT8稠密手机和边缘NPU因为频率低、制程激进能做到几十TOPS/W但绝对算力也低。看到“20 TOPS/W”这类数字时先问是在什么精度、什么稀疏率、什么频率下测的再决定信不信。4.2 峰值功耗、TDP和实际功耗的差距TDP热设计功耗是设计散热系统时的参考值不是实际运行功耗。我实测过不少芯片满载稳定功耗和TDP相差可能达到20%以上有些还会出现瞬时功耗过冲。评估功耗时注意三点持续功耗高负载跑10分钟和跑2小时功耗曲线是否稳定会不会降频。瞬时功耗启动或任务切换瞬间的电流冲击影响电源选型。散热条件风冷、液冷、还是需要特殊机箱直接决定部署密度和噪音。给你算一笔账假设A卡单卡功耗300WB卡350W部署100张卡就是50W × 100 5kW的差距。按0.8元/度电、全年24小时运行算一年多出约3.5万元电费加上配套散热和UPS成本差距更明显。有些项目用“高端但高效”的卡总成本反而更低。4.3 不同场景能效优先级不一样训练场景能效重要但通常更优先算力、显存和扩展性因为训练集群虽然耗电但时间成本更贵卡住一小时比多花几度电严重得多。在线推理场景能效直接决定单路成本同样服务100路并发A卡每路功耗是B卡的2倍电费和散热成本几乎翻倍。边缘和车端场景能效是第一优先级因为电池容量和散热是物理硬约束峰值算力再高也扛不住“装不进去”三个字。我的习惯是把“总拥有成本”一起算进去硬件采购价、功耗、冷却、机房空间、维护人力全部折算成三年TCO再对比。一个单价高但高效的芯片往往比便宜但耗电的方案更划算。5. 从指标到体验延迟、吞吐和模型质量算力、带宽、能效属于硬件层指标但最终用户感知到的是延迟、吞吐和模型输出质量。这三者和硬件指标有关但不完全是同一个东西。5.1 延迟和吞吐的取舍延迟是单次请求从发起到拿到结果的时间通常看p50、p95、p99三个分位数吞吐是单位时间能处理多少请求常用QPS每秒查询数或tokens/s每秒生成token数表示。两者经常互相矛盾把batch size调大吞吐上去了但单个请求的排队时间变长延迟恶化。在线业务看重延迟尤其p99离线批量任务看重吞吐。所以评测芯片时必须固定场景比如“batch1的端到端延迟”和“batch64的极限吞吐”是两个完全不同的测试跑出的结论经常不一致。选型前先想清楚你的业务是用户等不了500毫秒还是离线任务可以跑几小时5.2 模型质量类指标msssim等怎么看AI芯片评测里还有一类容易被忽略的指标输出质量指标典型如msssim多尺度结构相似性和PSNR通常用来衡量图像、视频重建质量。如果你选芯片是为了跑超分、视频增强这类任务这些指标就有意义了。这里要澄清一点同一网络跑在不同芯片上输出应该尽量一致。如果某款芯片宣称“效果更好”通常不是因为算力而是算子实现或量化方式不同引入了细微差异。用msssim衡量时通用经验是0.95以上算可接受0.98以上算优秀低于0.9就要警惕量化或算子偏差是否过大。但请注意这只是经验值具体阈值取决于业务对画质的敏感度比如医学影像分析和短视频特效的要求显然不一样。别本末倒置msssim衡量的是最终效果不是芯片算力。算力强弱还是看前面几项指标。5.3 软硬协同同样的指标不同的体验同一个模型在A卡上跑得飞快在B卡上手感像PPT原因往往不是硬件本身而是软件栈。算子库、编译器、推理框架、量化工具每一项都可能带来2-5倍的性能差距。这也是为什么我反复强调选型一定要实测。规格书能告诉你“上限”实测才能告诉你“下限”——也就是在你真实代码里芯片到底能跑出什么水平。我见过很多团队在选型时把硬件指标对比得无比细致到测试阶段才发现自己用的推理框架在候选芯片上算子覆盖不全某个激活函数没有优化实现导致整个模型只能跑CPU模式。这种问题不看100页指标表格跑一次的代码就全暴露了。6. 一套我自己在用的AI芯片评估方法理论讲完分享一套我这些年实操磨出来的方法可以直接拿去用。总共三步定需求、做表格、实测跑。6.1 第一步用需求定义约束问自己四个问题拿来干什么训练、云端推理、边缘推理还是车端跑什么模型大语言模型、视觉模型、多模态还是视觉语言混合精度要求FP16/BF16、INT8还是必须FP32部署规模多大单卡、单机8卡还是上千卡集群这四个问题回答完指标优先级基本自动浮现。跑13B模型训练显存容量和互联带宽排第一手机端跑YOLO类感知模型能效和内存带宽排第一大规模线上推理延迟、吞吐和功耗排第一。先回答这四个问题再去看指标会少走很多弯路。6.2 第二步做一张指标打分表我习惯用一张四维表格算力同精度下的FP16和INT8、带宽显存带宽加板间互联、能效TOPS/W、软件栈实测算出的利用率每个维度按需求权重加权。对比项候选卡A候选卡B候选卡CFP16峰值算力300 TFLOPS250 TFLOPS320 TFLOPSINT8峰值算力600 TOPS500 TOPS650 TOPS显存容量80GB96GB80GB显存带宽2TB/s2.4TB/s1.8TB/s板间互联带宽600GB/s700GB/s450GB/s能效INT8稠密8 TOPS/W9 TOPS/W7 TOPS/W实测算力利用率55%60%42%参考单价高中低每个格子旁标注测试条件避免跨精度、跨稀疏率比较。填完这个表80%的信息已经够做初步决策了。6.3 第三步用你自己的模型实测这一步不能省。实测至少要覆盖两类负载计算密集负载大batch的矩阵乘、训练迭代看算力利用率和稳态功耗。带宽密集负载batch1的transformer推理看延迟和显存带宽是否吃满。实测记录项我固定用这几个延迟p50/p95、吞吐、平均功耗、算力利用率、显存占用、温度。每个项目至少测10次取中位数和p95。开始前先预热让芯片进入稳定状态建议连续跑15分钟以上。拿我的经验说曾经测某款边缘NPU厂商给的官方跑分很好看但用自己的YOLO推理脚本一跑发现框架缺少关键算子优化性能只有官方数字的四分之一。从那以后任何芯片我至少用3个代表性模型实测一个都不能少。6.4 实例训练13B模型的显存账经常有团队拿着只够跑推理的卡来问“能不能训大模型”这时我会先算一笔显存账。以13B参数模型做全参数FP16训练为例模型权重FP16约26GB梯度FP16约26GBFP32主权重副本约52GBAdam优化器状态一阶二阶动量约104GB合计约208GB。单卡80GB显存放不下完整参数必须用ZeRO、张量并行或者改成LoRA微调。这类计算在选卡时极其关键——问题往往不是算力不够而是显存装不下。所以不管厂商指标吹得多好先把你要跑的模型在显存里摆一遍是最基本的“指标准入线”。7. 常见误区与避坑清单各种坑踩多了总结成几条给后面的朋友提个醒。7.1 误区一峰值算力高等于跑得快峰值只是理论天花板。算力利用率、内存带宽、软件栈都会影响最终速度。两个峰值接近的芯片实际性能差出2-3倍非常正常。凡是只拿峰值算力说事的方案都先打个问号。7.2 误区二单卡指标能直接推导集群性能多卡扩展效率受互联带宽、拓扑、通信库三重影响。有些卡单卡跑分亮眼但到了64卡扩展效率只有50%总吞吐还不如扩展效率80%的另一款。选集群方案一定追着厂商要多卡扩展实测曲线。7.3 误区三没识别厂商指标的三种“修饰”用稀疏算力掩盖稠密水平凡是标注“稀疏加速”的数字先问稀疏率是多少。不同精度混着标FP16、INT8、INT4放在同一张表里口径不清数字差距巨大。用聚合值做宣传标“总算力XX TOPS”是整机多卡之和单卡只有几分之一。7.4 误区四忽略软件生态就是忽略一切硬件指标再好算子库不全、框架适配差、编译器坑多落地就是灾难。评估软件栈的方法很简单跑你的代码看报错和不兼容多不多查算子覆盖率和社区活跃度。一个算子生态贫瘠的芯片就算便宜30%也不要选后面各种填坑时间都会加倍还回去。8. 常见问题速查表最后把大家平时问得最多的几个问题整理成一个速查表方便随手翻。问题简洁回答TOPS和TFLOPS有什么区别TOPS是每秒万亿次操作可含整数运算TFLOPS特指浮点运算。AI芯片宣传里两者都常见关键是先确认精度和稀疏率口径。为什么同一芯片跑不同模型差别巨大因为不同模型的算术强度不同有的计算密集有的带宽密集软硬件适配带来的优化差异也很大。训练卡和推理卡指标怎么选训练优先看FP16/BF16矩阵算力、显存容量和互联推理优先看INT8实际吞吐、延迟、带宽和能效。算力带宽比怎么理解数值等于峰值算力除以峰值带宽。数值越高芯片越依赖“数据复用型”计算跑算术强度低的模型时反而容易卡在带宽上。msssim一般多少算好AI超分、重建类场景的经验值0.95以上可接受0.98以上算优秀。但具体阈值取决于业务对画质的敏感程度比如医学影像要求远高于短视频特效。为什么实测功耗总比标称TDP高TDP是散热设计参考值而非瞬时峰值。要记录长时间运行的稳定功耗不要只看峰值。宣传页写着“总算力”靠谱吗要拆开看是单卡指标还是多卡聚合值通常“总算力”是多卡之和单卡只有几分之一。最后说一点个人体会。做了几年AI芯片评测和选型我最大的感受是指标是起点不是终点。真正可靠的选型流程永远是“先定场景、再筛指标、最后实测”而且一定要把软件栈当成一项硬指标对待。与其花一个月研究PPT上的峰值数字不如花一周时间拿自己的模型在候选芯片上各跑几遍把延迟、吞吐、功耗、稳定性记录下来。实测数据永远比漂亮宣传页有用——这句话值得刻在选型会议室的白板上。