1. 这份设备清单是怎么从 57 种一路涨到 120 多的先说个有意思的事。我最初做 AI 芯片调查的时候给自己定了个小目标把市面上主流的 AI 芯片型号捋一遍能列出个 50 来种就算交差。当时参考了几个头部咨询机构的报告加上各家厂商官网的产品页认认真真整理了两天最终落在一个很吉利的数字上——57 种。我当时还挺满意觉得市面上主流的不就这些嘛。但后面真的开始逐项核对参数、看 datasheet、翻开发者社区的实际部署案例时发现事情远没有这么简单。等我把边缘侧的 NPU、自动驾驶领域的车载芯片、FPGA 阵营的 AI 加速卡、还有各种 ASIC 定制芯片全部纳入统计范围之后清单直接膨胀到了 120 多种。这还只是在公开渠道能查到完整参数的型号要是把那些仅存在于新闻稿或内部白皮书的半公开产品也算上150 种都打不住。这种数量膨胀其实暴露了一个行业现实AI 芯片这个赛道根本没有标准答案。同样一个AI 推理加速需求有人用 GPU 解决有人用 NPU 解决有人用 FPGA 解决还有人直接在 CPU 上做指令集优化。每一种方案背后都有不同的生态、不同的成本结构、不同的适用场景。所以脱离具体需求去谈哪款 AI 芯片最好本身就是个伪命题。我后来把这份清单重新做了分层大致分成四类分类代表形态典型场景特性通用 GPU数据中心级 / 工作站级训练、大规模推理、科学计算生态成熟、软件栈完善、通用性强专用 NPU / ASIC云端推理芯片、边缘 AI 芯片高吞吐推理、端侧 AI能效比高、单位成本低、灵活性差FPGA中低端加速卡、原型验证低延迟、可重构场景灵活、开发门槛高、量产成本随量递减CPU / SoC 集成方案带 AI 加速单元的通用处理器嵌入式、轻量 AI 推理集成度高、性能上限有限这个分层并不是说 GPU 就比 NPU 高级——恰恰相反在很多实际部署场景里NPU 的性价比能把 GPU 按在地上摩擦。关键是搞清楚自己要解决什么问题这才是后面所有选型判断的起点。2. 算力指标怎么看TOPS 只是第一层别被纸面参数忽悠了大多数人在调研 AI 芯片时第一个盯住的就是算力指标——TOPSTera Operations Per Second每秒万亿次操作。这本身没错但如果只看这个数字就拍板基本等于买手机只看像素数大概率要翻车。2.1 TOPS 的三种含水量稀疏算力、稠密算力、整数精度我列清单的时候专门对比了几款芯片的标称算力发现不同厂商给出的 TOPS 口径完全不同。有的标的是 INT8 稠密算力有的是 INT8 稀疏算力还有的直接标 FP16 算力。这三者之间差距有多大通常稀疏算力是稠密算力的两倍FP16 算力约等于 INT8 稠密算力的一半。所以当你看到两款芯片分别标着100 TOPS和50 TOPS先别急着下结论。你得搞清楚这 100 是哪来的——如果是稀疏算力那对应的稠密算力其实只有 50如果对方标的是 INT4 精度下的算力那水分就更大。业内有个不成文的习惯对比算力时统一看 INT8 稠密算力这是最不容易注水的口径。2.2 算力密度比绝对算力更关键真正用起来之后你会发现绝对算力再高如果芯片的功耗、面积、散热成本也跟着水涨船高那这个算力是买不起的。我在调查中就注意到有几款边缘侧的 NPU 芯片单颗算力只有 20 到 30 TOPS但功耗控制在了 5W 到 8W 之间能效比能做到 4 TOPS/W 以上。而某些主打高算力的数据中心推理卡虽然单卡算力能到 400 多 TOPS但整卡功耗也到了 300W 级别能效比反而不如那些小芯片。换算成实际部署成本同样跑一批 ResNet-50 推理任务用高功耗高算力的卡可能需要专门的散热改造和供电升级用低功耗的边缘芯片一台工业电脑插上就能跑。算力密度TOPS/W才是真正决定部署可行性的指标尤其对边缘场景和终端设备来说这一点甚至比绝对算力优先级更高。2.3 实测工况算力才是最后裁判更扎心的一点是标称算力是在理想工况下测出来的——芯片满载、温度适宜、供电稳定。真实业务场景里芯片往往跑不满因为实际模型是层间同步的计算单元不可能始终保持 100% 占用率。我见过不少案例某款芯片标称 100 TOPS实际跑一个 YOLOv8 模型吞吐量换算下来等效算力只有标称的 40% 到 60%。所以在调研阶段我建议找两个维度的数据交叉验证一个来自官方发布的 benchmark 报告一个是第三方评测机构或者开源社区的实际跑分。前者的意义在于确认理论天花板后者的意义在于了解真实体验下限。两者差距越大说明这款芯片的软硬件协同做得越差选型时就越要谨慎。3. 软件生态与工具链决定你是否能用起来的隐形门槛如果算力是 AI 芯片的身体那软件生态就是它的灵魂。我在这份 120 多种芯片的调研过程中体会最深的一点就是没有好的软件栈再强的算力也只是纸面上的数字。3.1 编译器、推理框架、算子库的成熟度拿到一款 AI 芯片你要把模型部署上去跑通常要走这样一条链路用 PyTorch / TensorFlow / ONNX 训练或导出模型通过芯片厂商提供的模型转换工具把模型转换成芯片支持的中间表示编译器对中间表示做图优化、算子映射、内存分配生成可执行文件在芯片上调用推理引擎运行这中间任何一环出了幺蛾子都会让你陷入模型死活跑不通的深渊。我在调研中专门给各家芯片的软件栈成熟度打过一个粗略评分标准如下软件能力维度判断标准算子覆盖度主流 CNN 算子是否齐全Transformer 结构支持是否完善工具链易用性模型转换是否自动化报错信息是否可读是否需要手写算子推理框架适配是否支持 TensorRT、OpenVINO、ONNX Runtime 等通用框架社区活跃度GitHub issue 响应速度、文档更新频率、示例代码质量一个很典型的对比同样是跑 Transformer 结构模型某些老牌厂商的软件栈已经很成熟模型一导通就是通的而一些新晋芯片公司的工具链还处于早期 beta 版状态你导一个 BERT 模型可能要手动补三四个算子每补一个都要在社区论坛里翻半天解决方案。3.2 开发者文档质量往往暴露真实水平还有一个容易被低估的判断维度官方文档。我几乎是逐页翻过几十家芯片厂商的 developer documentation质量差异可谓天壤之别。有的文档从架构手册、API 参考、样例工程到故障排查逻辑清晰、层次分明连常见报错都给你列了排查路径有的文档则只有一份 datasheet 加一个最简单的 hello world剩下的全靠你自己去摸索和猜。我的经验是文档质量跟芯片产品的成熟度高度正相关。如果一家公司连文档都不愿意认真写那它的软件工具链大概率也处在能用但不好用的阶段。反过来文档做得用心的厂商往往说明他们真的在认真打磨产品这类芯片即使标称算力稍微弱一点实际用起来反而更省心。3.3 C 还是 PythonRTOS 还是 Linux这个问题很多人会忽略但在选型阶段最好提前想清楚。如果你的落地场景是嵌入式设备比如智能摄像头、工业控制器这类资源受限的环境那你要关心的就不只是芯片本身还有它配套的运行时环境是否支持 Linux还是只能在 RTOS实时操作系统下运行是否提供 Python API还是只提供 C/C 接口模型推理是否支持动态尺寸输入还是必须固定输入分辨率是否支持多模型并发还是同一时间只能跑一个模型这些细节直接决定了后续开发团队的工作量和整个项目的技术路线。我在调研中就碰到过一个比较尴尬的情况某款边缘芯片算力很诱人、价格也很有竞争力但它只支持静态输入尺寸现场的摄像头分辨率一变就得重新生成模型算法团队差点当场崩溃。这类隐藏成本在纸面参数表上根本看不到只有在实际使用中才会暴露。4. 功耗、散热与成本让一半以上选型方案出局的三个现实约束说实话叠满算力和软件生态这两层buff之后120 多种芯片大概能筛掉 70%。但真正让方案最终落地的往往还得看功耗、散热和成本这三板斧。4.1 功耗是硬约束不是软指标芯片功耗这个参数之所以关键是因为它牵一发而动全身。功耗一旦上去你就要算一笔连锁账供电系统要不要升级电源模块要不要换散热方案要怎么做被动散热片够不够还是要加风扇甚至水冷机箱结构要不要改风道设计要不要重新做如果是在户外场景还要考虑宽温工作的问题功耗越高发热越大对工作环境温度的要求越苛刻。我见过不止一个项目芯片算力绰绰有余结果卡在散热上——小体积设备里塞不进去散热模组最后只能降额使用标称 30 TOPS 的芯片实际只能稳定跑在 15 TOPS 左右。这还不如一开始就选一款 15 TOPS 但功耗低一半的芯片至少不浪费钱。4.2 整机成本和芯片单价是两笔账很多人在调研时习惯性地只看芯片单价这也是个误区。AI 芯片从来不是单独工作的你得给它配上外围电路、存储、散热、电源、结构件再加上研发投入和软件开发成本最终才能得出单点成本。我通常建议用这样一个公式去估算实际部署成本单点总成本 芯片单价 外围器件成本 结构散热成本 研发人力成本 / 预期出货量如果预期出货量只有几百台那研发人力成本摊到单台会非常可观。这时候优先选软件生态成熟的芯片能省下大量算法移植和调优的时间。如果预期出货量是几十万台那芯片单价和功耗就变成主要矛盾——哪怕多花几百块研发人力去适配只要单颗芯片便宜 200 元摊下来都是划算的。4.3 供应链的第二供应商问题还有一个我一开始完全没意识到的问题单一芯片供应商的供货风险。在调研了这么多型号之后我发现很多边缘 AI 芯片的市场供应并不稳定有的型号甚至处于发布未量产或小批量供货状态。如果你的产品进入了量产阶段却遇到芯片供货周期拉长甚至断供那整个项目都会被卡住。所以相对稳妥的做法是在选型阶段就确定一个主选芯片 备选芯片的组合。备选芯片不一定性能完全对等但至少要在算力等级、功耗范围、接口定义上保持一定的兼容度这样万一主选出问题切换成本还能控制在可接受范围内。4.4 一张表看清三个关键约束的权衡关系约束条件对选型的影响典型场景体现功耗上限决定可用算力上限影响散热与结构设计手持设备、户外摄像头、无风扇工控机冷启动成本研发人力和工具链适配成本小批量定制项目、科研样机单片采购价直接影响毛利随出货量放大消费电子、大规模边缘部署供货稳定性决定项目能否按计划量产工业项目、长期运维产品5. 一张可以抄作业的选型决策清单讲了这么多判断维度最后给一份我实际在用的决策清单。每次拿到一款新的 AI 芯片我都会按这个顺序过一遍能帮你在调研从 57 种涨到 120 多种的时候不乱阵脚。5.1 先问四个问题部署场景是什么云端数据中心、边缘服务器、还是终端嵌入式设备三个场景对功耗、尺寸、环境温度的容忍度完全不同。跑什么模型是轻量级分类模型中等规模检测模型还是大语言模型 / Transformer 结构这直接决定算力需求的下限。出货量预期是多少几十台还是几十万台这决定你要不要花大力气去优化 BOM 成本。团队的技术背景如何有没有熟悉底层算子开发的工程师如果全是应用层开发那工具链易用性就要放在极高优先级。5.2 七个关键数值在一个完整的需求文档里至少要有下面七个数值缺一个都可能让选型跑偏峰值算力需求根据模型和帧率倒推平均功耗预算含外围电路典型时延要求端到端不是单帧推理延迟工作温度范围存储带宽需求大模型特别要看内存容量上限影响模型能不能完整装载单机成本上限有了这些数值再回头去翻那 120 多款芯片的规格表目标就非常清晰了——大多数候选机器在第一轮硬指标筛选就会被淘汰剩下真正需要深入了解的可能不超过 10 款。5.3 我的筛选顺序实测好用第一轮硬指标匹配——算力、功耗、温度范围、内存容量不满足直接出局第二轮软件生态评估——看模型转换工具的易用性、算子覆盖度、有无可跑通的官方范例第三轮供应链排查——确认供货状态、交期、有没有第二供应商能兜底第四轮带真实模型实测——拿自己业务中最具代表性的模型跑一遍记录吞吐和延迟这一套流程走完你那份 120 多款的清单基本能缩到 5 款以内。6. 写在清单膨胀之后的几点体会回头看看从 57 种写到 120 多种这个数量膨胀的过程本身就是一个对行业认知加深的过程。刚接触 AI 芯片时我们很容易被XX TOPS这样的数字吸引眼球但真正落地之后才发现决定项目成败的往往是那些规格表上不写、新闻稿里不说的细节——软件工具链顺不顺手、散热压不压得住、供应链稳不稳定、开发团队上手快不快。我在这次调研中最大的收获倒不是记住了多少型号和参数而是建立了一套自己的判断框架。芯片选型本质上是做取舍的艺术没有哪款芯片能满足所有需求你唯一能做的就是在约束条件下找到最优解。先看清约束条件再回头挑芯片——顺序不能反。最后分享一个小技巧我在筛选时会给每款芯片建一个简单的评分表把算力、能效比、软件成熟度、供货稳定性、资料完整度分别按 1 到 5 打分再加权总和。这样即便候选型号再多也不容易漏掉真正综合实力靠前的那几款。有的芯片单看算力平平但软件生态、供应链和功耗处处不掉链子最终综合分反而排在最前面——这种六边形战士型选手往往才是项目里最靠谱的选择。