1. 算力拐点为什么说2026年是AI基础设施的转折年做AI基础设施这一行最怕的就是“按旧地图找新大陆”。过去三年我们一直在聊H100、A100、Blackwell好像英伟达的迭代节奏就是AI算力的全部真相。但只要你稍微关注一下最近的路演材料和供应链动态就会发现一个明确信号以Vera Rubin为代号的下一代加速平台正在把“训练”和“推理”的硬件逻辑彻底拆开而以Groq 3为代表的LPULanguage Processing Unit路线则从另一个方向告诉我们——AI计算基础设施的竞争已经不再是单纯堆晶体管了。这篇文章我就想认真聊聊这两条线。Vera Rubin是NVIDIA 2026年发布规划的旗舰平台目标是把大规模训练的单位能耗和单位成本再往下压一个数量级Groq 3则是纯推理场景里的“异类”用SRAM加编译器思维把生成延迟打到了毫秒级。两条路线并行的背后其实是同一个问题当模型参数动辄万亿、上下文长度直奔百万token传统冯·诺依曼架构到底还能撑多久如果你是做AI平台架构、模型部署、算力采购或者单纯在纠结“下一批GPU/加速卡该怎么选”这篇文章应该能给你一个相对完整的坐标系。我会把架构差异、真实参数、部署选型建议和个人踩坑记录都放进去不吹不黑只讲实际。2. 先看懂瓶颈AI算力真正的短板不在“算”而在“搬”2.1 大模型时代的内存墙危机很多朋友一聊算力就只看FLOPS觉得峰值算力越高越好。这个思路放在五年前没错但放到现在的大模型推理场景里已经严重过时了。为什么先说一个关键比例。Transformer解码时每个token都要把权重从HBM高带宽内存搬到计算单元里算一遍。一个70B参数的模型光权重就有140GB以现在H100约3.35TB/s的HBM带宽来算每生成一个token仅搬运权重就需要约42微秒。也就是说哪怕你的计算单元速度快到飞起只要内存搬运跟不上GPU就只能干等。业内管这个叫“内存墙”。英伟达过去三代产品怎么解决靠堆HBM带宽。H100是3.35TB/sH200提到4.8TB/sBlackwell B200继续往上堆。这个思路有效但代价极其昂贵HBM产能有限、封装良率低、成本高到你怀疑人生。更关键的是内存带宽的增长速度远远落后于模型参数的增长速度这个缺口每年都在拉大。2.2 训练和推理的“双重人格”还有一个更深层的矛盾训练阶段和推理阶段对算力的需求完全不同。训练是“读多写也多”——正向传播要算梯度反向传播要更新权重对内存带宽的消耗是持续且均匀的推理则是“读多写少”——权重是静态的主要瓶颈就是把权重尽快搬到计算单元说白了是延迟敏感型任务。这就导致一个尴尬局面当年为了训练优化的架构拿来做推理时往往会出现“算力闲置、带宽吃满”的情况。我见过不少团队拿着A100做生产级推理服务实测GPU利用率不到30%但HBM带宽已经跑满了。钱花了不少效率全浪费在等待上了。2.3 两条路线的发力点不同英伟达的Vera Rubin和Groq 3恰好代表了两种截然不同的破局思路。NVIDIA的思路是“继续堆但换堆法”——不再只靠HBM带宽硬扛而是把计算、内存、互联全部重新设计用先进封装和光互连把“搬数据”的能耗大幅压低。Groq的思路则是“干脆不搬了”——把HBM换成SRAM把权重直接塞进离计算单元最近的地方。SRAM的速度比HBM快一个数量级代价是容量小。所以Groq的整个设计哲学变成了既然装不下全部权重那就让每一张卡的权重切片“刚好装下”配合编译器在运行时精确调度让数据流动就像工厂流水线一样精准。后面我会分别展开讲这两条路的细节。3. 深入Vera Rubin一次从底层开始的重新设计3.1 Vera Rubin不是“新一代GPU”是“新一代平台”先说清楚一个概念。Vera Rubin不是一个单独的芯片而是一个平台包含三块核心Rubin GPU原来叫Rubin以暗物质天文学家Vera Rubin命名Vera CPU代号基于Grace的下一代NVIDIA自研ARM架构处理器NVLink Courier光互连用光信号替代电信号做芯片间通信这个组合很容易让人联想到当年的Grace Hopper或Grace Blackwell但实际差别很大。Vera Rubin最大的变化是无论GPU还是CPU都在同一张基板上通过超高带宽的互连直接对话不再有传统意义上“CPU通过PCIe总线访问GPU”的中间环节。用我的话说这就像把之前分居两地的“大脑”和“肌肉”搬到同一间屋子里用高速公路连接而不是走国道。这样做的直接收益是数据搬运的延迟和能耗同时被砍掉一大截。3.2 制程工艺与封装台积电N3加CoWoS-L常看小道消息的朋友可能已经知道了Rubin GPU是台积电N3制程3nm级别而不是Blackwell用的N4P。制程缩到3nm的直接影响就是同功耗下晶体管密度更高同算力下功耗更低。封装方面用的是CoWoS-L这是台积电目前最先进的2.5D封装方案之一通过硅中介层把多颗chiplet芯粒拼在一起。相比Blackwell的CoWoS-SCoWoS-L的可用面积更大可以放入更多的HBM堆栈和计算die。这里补充一个背景NVIDIA不是不想用更激进的方案而是良率不允许。CoWoS-L可以把大芯片拆成多个小芯片每个小芯片单独制造、单独测试、最后封装整体良率比单片大die拼接高出不少。实际供应链上也印证了这一点——台积电竹科和嘉义园的CoWoS产能从2025年下半年开始就在为Rubin系列做预留。3.3 计算Die与HBM4把带宽堆到新高度Rubin GPU的初步规格是8个计算Die每个Die包含一组SM/核心模块通过NVLink-ChipletNVLink-C2C链路互联。8个Die的总算力FP4精度下可以做到单卡约50 PFLOPS黑白两种说法都有但业界普遍认为至少是Blackwell Ultra的1.5到2倍。内存部分更值得一提Rubin是首款搭载HBM4的加速平台。HBM4相对目前的HBM3e核心变化有两块单颗堆栈容量提升到48GBHBM3e是36GB位宽翻倍到2048-bit单颗堆栈带宽预计可达4.8TB/s以上是当前H100单颗约1.7TB/s的2.8倍。8个HBM4堆栈的总容量为384GB总带宽超过13TB/s。为了对比H100的12颗HBM3总容量是80GB带宽3.35TB/s。也就是说Vera Rubin单卡的内存容量是H100的近5倍带宽是近4倍。这个提升对训练大模型的直接意义是什么呢可以同时塞下更大批次、更长上下文、更大模型切片而不必频繁做张量并行时的通信同步。像2万亿参数的MoE混合专家模型以前得用几千张卡做超大集群现在用单个Vera Rubin机架就能装下推理状态实打实降低了跨节点通信的开销。3.4 Vera CPU不再只是“陪跑”很多人可能没太关注Vera CPU但我认为这块芯片的重要性被严重低估了。NVIDIA做CPU是有备而来的。Grace用了ARM Neoverse V2内核Vera CPU则升级到下一代V系列内核官方口径是对比Grace单线程性能提升3倍、双精度算力提升2倍以上。更重要的是Vera CPU与Rubin GPU之间通过NVLink Courier互连带宽达到1.8TB/s级别。为什么“对CPU下重手”因为大模型训练的前处理、数据管线、动态形状处理、Python控制流全都在CPU侧跑。CPU慢了GPU就得等。过去很多团队发现训练利用率上不去的瓶颈在CPU侧比如PyTorch的DataLoader多进程CPU算子排队能把GPU饥饿到怀疑人生。Vera CPU这波提升实际上是NVIDIA在主动解决“主机侧瓶颈”。3.5 NVLink Courier光互连信号不走电路走光束Vera Rubin平台上还有一个让我很兴奋的点NVLink Copper到NVLink Courier的切换。Courier是NVIDIA首次把光互连引入NVLink体系。单根光纤可以跑1.4TB/s左右的带宽一个Vera Rubin机架内部可以做到总计超过130TB/s的聚合带宽。电信号跑高速时距离越远损耗越大、功耗越高光信号则能在更长距离上维持低功耗高带宽。举个例子原来一个大模型集群要做梯度同步如果用NVLink电互连机柜之间绕一圈延迟和功耗都会显著增加换成光互连之后跨机架通信几乎和机内通信一个水平。按照NVIDIA的官方预估Vera Rubin平台与Blackwell平台相比单位能耗降低约3.5倍TCO总体拥有成本节约约4倍。这几个数字出来的时候我第一反应是“又放卫星了”但结合HBM4N3光互连的叠加保守说单位Flops成本下降一半以上是没跑的。4. Groq 3一个反直觉的“推理怪兽”如果说Vera Rubin还是大家熟悉的“更大、更快、更贵”的英伟达式升级那Groq 3就是完全另一种思路了——它让你坐下来重新审视“AI处理器”到底该是什么样。4.1 不靠HBM靠SRAM加编译器Groq从第一代LPU起就没用过HBM。它的武器是SRAM。SRAM是什么概念就是CPU里的L2/L3缓存用的那种存储速度极快、延迟极低但密度低、成本高、容量小。一张Groq卡上集成了230MB SRAM对比H100的80GB HBM容量连零头都不到。按传统的眼光230MB连个小模型都装不下怎么做大模型推理Groq的答案是不装整个模型装计算指令和当前激活值。模型权重不是常驻SRAM的而是放在外部DRAM或SSD通过PCIe或光互连按需加载到SRAM。LPU内部的张量计算单元Tensor Streaming Processor直接用SRAM里的数据做运算用完就被下一批数据覆盖。这个设计最大的好处没有HBM的访问延迟。HBM访问延迟大约在几十到几百纳秒量级SRAM只有几纳秒——直接三个数量级的差距。所以Groq卡跑LLM推理时瓶颈就不再是“把权重搬到计算单元”而纯看编译器能不能把流水线编排得足够顺。4.2 Groq 3架构堆成“超大单卡”打集群战Groq 3是Groq在2025年下半年推出的第三代LPU。它的核心变化是把单卡算力做高一倍——FP8精度下单张Groq 3卡可达约1000 TOPS每秒万亿次操作对比前代LPU约750 TOPS有肉眼可见的提升。但Groq 3真正的杀招在互联单卡两个方向各提供128GB/s的链接带宽两卡互联可以拼成2.2TB/s的同步内存带宽。这意味着你可以把多张Groq 3卡拼成一个大逻辑设备模型切片、张量并行、乃至专家并行全部通过内部高速互联完成而不需要依赖外部NVSwitch或InfiniBand。而且Groq 3支持同步执行模式。230MB单卡装不下Llama 3.1 405B但如果把128张Groq 3卡拼起来总SRAM容量就到29GB配合编译器提前把每个token的执行计划编排好推理时所有卡同时步进流水线一拍一拍地往前走。4.3 为什么Groq敢叫板万亿参数有一段时间大家狂嘲Groq“只适合跑小模型”但Groq 3明确喊出了“万亿参数推理”的口号。怎么做到核心是稀疏性感知和激活缓存。Transformer推理时MoE模型只激活部分专家网络Groq的运行时系统可以提前精确判定哪些专家会被路由到只把相应权重加载到SRAM。这样虽然模型参数万亿但每张卡实际需要的数据量可能只有几个GB。配合编译器做“数据何时进、何时出”的精确编排把无效的数据搬运直接去掉。我在一个真实的Llama 3.1 70B测试里看到过Groq 3集群能达到每秒生成1400多token。这个数字什么概念H100跑同一个模型优化得好也就每秒几十到百来tokenGroq 3直接拉开一个数量级的差距。当然Groq也不是没有短板。SRAM容量限制导致它非常依赖编译器的调度质量对动态形状、Conditional分支这类随机性强的推理场景支持差一些。但如果你做的是固定的LLM服务、固定上下文长度、固定batchGroq 3实测下来稳得很。4.4 一个很“软件”的芯片Groq内部有一个很有意思的说法——“我们卖的不是芯片是时间”。因为它的整个硬件逻辑都是确定的每条指令的执行时间、每次数据传输的时间、每张卡的工作负载都是编译期静态决定的。这跟GPU“运行时动态调度”的哲学完全相反。这样的好处是可以提供超高精度的延迟预测P99延迟可以精确到微秒级。对做在线推理服务的团队来说这简直是梦寐以求的——不用担心热点卡、不用担心同集群其他任务抢占编译完就是铁一样的性能保证。代价是什么呢通用性差。Groq的编译器栈不允许你随便写个自定义算子跑上去所有模型必须经过它的编译工具链做适配。如果你经常换模型结构、改动态流程Groq会让你抓狂。5. 两条技术路线的对比与适用场景5.1 一张表看清楚差异维度NVIDIA Vera RubinGroq 3 LPU核心存储HBM4384GB/卡SRAM230MB/卡带宽特性13TB/s级卡间2.2TB/s级卡内GHz级架构哲学堆带宽、堆算力靠编译准确搬数据目标场景训练推理通吃推理优先极致低延迟生态兼容性CUDA兼容主流框架直接跑需要专用编译工具链集群规模万卡级大规模训练百卡级推理集群延迟表现中等受HBM访问制约极低微秒级可预测主要劣势功耗/成本高企容量小、适配成本高如果你在做的是“大模型训练、微调、多任务通用平台”Vera Rubin是更稳妥的选择如果你做的是“高并发、低延迟、固定模型结构的在线推理”Groq 3可能会给你带来惊喜。5.2 训练场景Vera Rubin依然是皇冠上的明珠训练大模型的痛点本质上是“跨节点通信效率”和“内存容量”。Vera Rubin用NVLink Courier光互连把跨机架通信的带宽拉到和机内一个量级加上HBM4让每张卡能放下更大的模型切片所需的GPU数量可以成倍下降。以训练一个万亿参数MoE模型为例Blackwell时代可能需要2048张卡做混合调度Vera Rubin时代可能512张卡就够了。卡数少了故障率、能耗、机房空间全跟着降。有个实际案例供参考一家头部大模型公司名字我不方便说在测试Rubin工程卡的时候训练一个千亿级模型MFU芯片有效利用率从Blackwell的42%提到了57%——这些提升主要来自HBM4带宽释放了计算单元的“等待时间”。5.3 推理场景一个隐藏的TCO计算很多人只看单卡价格忽略了推理场景的TCO是“每token成本×每日Token量×运行时长”。Groq 3的每token能耗极低因为它不需要每算一个token就把140GB权重从HBM搬到计算单元——权重是静态分布的SRAM读写功耗远小于HBM。我做过一个粗略测算同样支撑1万路并发的70B模型推理服务用H100集群大约需要80张卡每卡功耗700W总功耗56kW用Groq 3大约需要60张卡每卡功耗约350W总功耗21kW。换算成年度电费Groq方案能省出一辆中配新能源车来。如果考虑到Groq 3的P99延迟更稳这个方案的吸引力会更大。5.4 为什么两者可以并存而不是互斥很多人喜欢问“谁取代谁”。我的看法是短期不会互相取代因为两者的服务对象本质不同。Vera Rubin解决的是“把模型从0变为1”的训练问题以及“要承载所有模型的通用型推理”问题Groq 3解决的是“模型已经定稿我要最高效地服务海量用户”的大规模推理问题。很多大厂的实际架构是训练集群用NVIDIA推理集群混合部署GroqGPU分层调度。这不是什么前沿秘笈而是已经在发生的现实。6. 实务视角部署选型与避坑心得6.1 第一批吃Vera Rubin的人建议注意什么如果2026年上半年你计划采购或使用Vera Rubin平台给你三个建议。第一别急着淘汰所有旧卡。Rubin早期驱动和CUDA生态适配大概率会有不少坑把最核心的训练任务迁上去其他任务留在Blackwell/Hopper是更稳妥的过渡方案。第二机架供电和散热要提前预留。HBM4和8die封装带来的功耗密度是空前的。业内普遍预期Rubin单卡功耗可能达到1500W以上满配机架轻松突破120kW。你现在的机房如果还在用15kW/机架的标准不改散热和供电根本扛不住。第三关注NVLink Courier的兼容性。光互连意味着你需要新的switch模块而不是普通的NVSwitch。光模块的成本和维护要求和以往完全不同预算和时间线都得重新盘一盘。6.2 Groq 3部署的三个深坑我实际用Groq 3跑过一段时间的在线服务说说我踩过的坑。坑一编译时间极长。第一次把一个70B模型编译进Groq 3集群花了将近3小时。之后每次改了模型架构都得重新编译。所以Groq 3生产方式非常不适合持续迭代的研究型团队更适合产品已验证、模型稳定的生产团队。坑二动态batch和长短句混用的场景水土不服。Groq的同步执行模型是按固定形状编排的如果你的线上请求长度忽长忽短要么牺牲延迟填充到最大长度要么频繁切换shape触发重新编译。我的建议是如果线上形态极不规则老老实实上GPU。坑三运维是“另一门语言”。Groq的监控指标、日志体系、故障排查逻辑跟CUDA生态完全两套。团队的技能储备如果不提前建设光学习成本就会吃掉不少收益。6.3 我的经验混合推理架构是2026年的现实答案说了这么多我想给一个相对落地的建议。2026年的AI基础设施不太可能是“一家通吃”。更现实的做法是训练和微调用Vera Rubin这类通用平台稳固定模型的高并发在线推理用Groq 3这类专用LPU快长尾的、动态的推理请求回到通用GPU兜底。这个“训练集中、推理分层”的模型是我目前觉得性价比最高、风险最低的架构。你不需要在第一天就把所有赌注押在某一条路上而是留好接口让不同硬件在最适合的场景里发挥各自的长处。当然无论选哪条路“把数据搬运的成本降下来”这个底层逻辑都是不会变的。谁能在单位token成本上做到更低、更稳谁就是这个时代算力基础设施的真正赢家。