资讯详情

资讯详情

51.2T交换机选型:去DSP后LPO与CPO如何取舍?

51.2T交换机的选型讨论圈子里已经吵了快一年。方案层面的结论越来越一致——芯片本身基本定了反而是光模块这边成了最大的变量。这代交换机的单端口速率从400G跳到800G最直接的结果就是可插拔DSP光模块功耗逼近15瓦量级满配64个800G端口时光模块侧的热功耗就接近900瓦比上一代整个盒式交换机整机功耗还夸张。于是“拿掉DSP”从一个实验室里的激进想法变成了摆在货架上的两个选项线性可插拔光模块LPO和光电共封装CPO。这里说的DSP是光模块里那颗数字信号处理器不是交换机主芯片里某种DSP功能模块别混了。很多人看到标题第一反应是把这么核心的芯片拿掉性能还能看吗先给结论——30米以内的机房短距互联拿掉DSP之后性能几乎无感知但只要链路余量吃紧和带DSP方案的差距会暴露得很彻底。这篇文章就围绕“性能到底怎么样”来展开适合正在做800G和51.2T方案选型的网络架构、硬件和运维团队。1. 拿掉DSP之前先弄清楚这颗芯片在光模块里干了什么活1.1 光模块里的DSP不是普通芯片它是信号保姆要理解拿掉DSP的后果得先明白这颗芯片在光模块里到底承担了什么。传统800G可插拔光模块内部DSP做的事可以简化成三块发送端把主机SerDes丢过来的电信号重新整形做预加重和均衡把PAM4四电平信号的码间串扰尽量压下去接收端把光纤送进来的微弱光信号经过探测器变成电信号之后做时钟数据恢复CDR、信号均衡和判决最终恢复出一路干净的电信号交给交换机。我习惯把DSP理解成光模块里的“信号保姆”主机侧发出的信号质量一般它帮你洗脸、梳头、整理好再上车到了对面它又把被光纤链路折腾得七零八落的信号重新拼好体体面面地下车。没有这层处理主机SerDes和光纤物理层之间就是硬碰硬——能不能跑通全靠原始信号质量和链路伤病程度。这也是为什么过去几代光模块一直在加DSP不加不行400G已经是主机SerDes能硬扛的上限了800G的PAM4更加娇贵。1.2 51.2T时代DSP的账本算不过来了既然DSP这么有用为什么要拿掉它不是技术不行是这笔账越来越难做了。先说功耗主流800G可插拔DSP光模块单只功耗12到15瓦是常态。一台51.2T盒式交换机满配64个800G端口光模块侧就是800到900瓦热功耗。交换机机箱和散热系统要为这些模块留出充分的散热余量风扇转速、空调制冷、电力规划全都要跟着升级这还没算DSP芯片本身带来的成本。成本是另一个问题。一颗DSP在光模块BOM成本里能占30%到40%模块售价拉高不说交付周期和供应链风险也跟着涨。再一个就是时延。DSP处理一次完整的重定时和均衡会引入几百纳秒量级的时延这个数字在传统网络里没人关心但在高性能计算和分布式AI训练场景里通信时延直接拖慢集群效率是可以被拿出来当差异化指标的。所以“拿掉DSP”不是谁突发奇想是被功耗、成本、时延三座大山逼出来的路线。1.3 “拿掉DSP”并不是删功能而是把功能挪个位置这里要澄清一个常见误解LPO不是简单地把DSP芯片摘掉剩下的电路照原样跑。它做的是把原本在模块内的数字信号处理功能迁移到交换机主机侧的SerDes和FEC前向纠错体系里。模块本身变回一个“电到光、光到电”的线性通道——发射端把主机送来的电信号直接调制到激光器接收端把探测器出来的电信号线性放大后直接送回主机。这种方案能成立靠的是主机侧SerDes本身也是DSP架构。当今主流51.2T交换芯片的SerDes基本都走ADC加DSP路线本身具备很强的均衡能力链路训练link training也能在端口初始化时自动调优。换句话说DSP不是消失了是从光模块里搬到了交换机主板芯片里顺着信号流往后挪了一步。2. 去DSP之后误码率靠谁兜底主机侧SerDes和FEC的重新分工2.1 发射端没有模块预加重主机TX均衡得自己扛DSP模块的发射端会对PAM4信号做精细的预加重把驱动器、PCB走线、连接器这些环节带来的频率相关损耗提前补偿掉。去掉DSP之后这个责任落到主机侧SerDes的发射均衡上。好在当今主流的112G/lane SerDes本身就带发射均衡器通过link training可以协商出一组抽头系数尽量把信号送到光纤入口时是干净状态。这条链路里最容易出问题的是PCB走线。光模块通常插在面板上和交换芯片之间的走线长度、过孔、连接器都会引入高频损耗。带DSP模块时信号到了模块侧会被DSP重新整理PCB段的不良影响相对可控LPO方案下模块只做线性放大PCB段若设计不佳眼图劣化会直接被送去调制激光器最终体现在光信号质量上。所以LPO方案对交换机的PCB设计、面板连接器选型、走线阻抗一致性要求明显高于传统方案这也是为什么同样标称“支持LPO”的机器实际表现可能差异很大。2.2 接收端CDR和重定时没了时钟和数据恢复全压在主机侧接收端的变化更值得关注。带DSP的模块接收侧有完整的CDR和重定时机制进来的光信号哪怕有噪声、有抖动DSP也能帮你把时钟恢复出来把数据重新对齐到一个干净的时域里。LPO模块没有这层机制接收端的TIA线性放大后信号直接回送到主机SerDes的ADC前端靠交换芯片内部的DSP做均衡和时钟恢复。这个架构带来的直接后果是整条链路的抖动预算变得非常紧张。原本模块DSP可以吸收掉一部分时钟抖动和漂移现在没有了这层缓冲主机侧SerDes必须在更恶劣的输入条件下恢复时钟。实际运行中两端交换机的时钟同步、模块内部激光器驱动芯片的抖动、光纤链路的噪声都会叠加进来如果整条链路里存在掉速、跳变或者其他瞬态问题LPO链路的容错会更低。运维时如果发现LPO端口偶尔出现CRC错包或链路翻转先查时钟和抖动预算而不是光功率是我这几年体验最明显的一个差异。2.3 FEC预算才是真正的最后防线链路物理层的种种劣化最后都要靠FEC来兜底。现网800G链路普遍使用RS(544,514) FEC纠前BER门限通常在1e-4量级纠后BER可以到1e-15以下。带DSP模块时模块内部DSP已经做了一轮信号重构返回主机的信号BER通常比较低FEC只是作为安全垫而LPO方案下模块不进行任何数字处理原始光信号瑕疵会原样传给主机FEC纠错计数跟着上涨几乎是一种常态。我把这个变化比作坐车带DSP模块像坐了一个经验丰富的司机路上十次颠簸他提前处理掉八次乘客主机FEC感受不明显LPO像坐一个新司机路上坑坑洼洼都原样传导给乘客乘客就得自己抓紧扶手——FEC计数就是那个扶手的受力传感器。理解这一点后运维看到LPO端口FEC纠正计数时有波动就不用太紧张只要没有持续增长或触发纠后BER告警链路就是健康的。但如果哪一天FEC纠正计数突然飙升且不回落那就是物理链路出问题了的明确信号不是模块的问题是信道的某个环节突破了容忍底线。维度带DSP的800G模块LPO线性模块发射均衡模块DSP预加重主机SerDes TX均衡接收均衡模块DSP均衡重定时主机SerDes ADCDSP时钟数据恢复模块内CDR主机SerDes恢复FEC角色安全垫纠正少主要兜底纠正多模块功耗典型12~15W8~11W时延增量数百纳秒接近零3. 真跑链路时三个最容易“现形”的指标3.1 接收灵敏度和链路损耗预算带DSP模块和LPO模块在光口测试里的第一个明显差距是接收灵敏度。DSP模块因为有均衡和重定时接收机对光信号质量的要求相对宽松业界主流800G DR8带DSP模块的接收灵敏度典型值大概在-6dBm上下不同厂牌规格会有一点出入。LPO模块没有接收DSP处理灵敏度会明显变差典型情况下会往上抬2到4个dB也就是说同样的接收光功率LPO更容易出现误码。这个差距直接反映在链路预算上。以800G DR8单模链路为例设计时链路插损预算一般按3dB量级来预留覆盖光纤衰减、连接器插损、熔接点等损耗。如果只是同一个机柜或相邻机柜的跳纤插损通常只有0.5到1dB带不带DSP压力都不大但一旦链路穿过楼层配线架、经过多级MPO/MTP跳接插损很容易堆到2dB以上这时候带DSP模块还能靠接收端均衡硬扛一下LPO模块就开始在FEC计数上现出原形。3.2 连接器数量与端面污染LPO的命门我见过不少反馈说LPO链路“娇气”动不动就告警排到最后发现不是光模块的问题是连接器脏了。带DSP模块时端面上有一点灰尘DSP还能在接收端做做补偿把影响压住波特率相对宽容LPO模块是线性通道端面污染带来的额外插损和回损会毫无保留地传导到接收信号质量上一粒不起眼的灰尘就可能让BER冲到一个数量级开外。所以装LPO模块的环境端面检测和清洁必须提升到“强制”级别。拿起模块的防尘帽用显微检测仪看插芯端面但凡有可见污染或者划痕先清洁再插拔不让可疑端面进入光路。MPO接头尤甚——它通常是一插就是一束光纤端面大更容易积灰清洁时要做头对端面的双向清洁和检查。这条经验在传统DSP模块时代可以靠运气但在LPO时代靠运气就是在给自己挖坑。3.3 温漂与老化DSP会自适应LPO只能干瞪眼第三个容易暴露差距的维度是温度变化和器件老化。DSP模块的发射端和接收端都有数字闭环控制激光器功率随温度波动时DSP会实时调整驱动参数接收端也可以根据信号质量动态调整均衡系数维持可靠通信。LPO模块没有这套自适应闭环发射功率、调制摆幅、TIA增益基本都是出厂固定的线性设定温度升高、器件老化带来的性能漂移没有补偿机制。实际操作中的体感是LPO链路在机房温度稳定的季节运行很乖一旦夏季空调降效、机房温度往上走原本FEC计数安静的链路会开始冒纠正计数个别余量紧张的端口甚至会出现误码告警。做端到端设计时务必按最恶劣工况预留额外余量而不是按典型温度23度对应的参数来算链路预算——这一点我在多个项目上都提醒过受到的重视程度还是不够。4. 51.2T整机表现哪些场景几乎“无感”哪些场景原形毕露4.1 机柜内与列间短距性能看不到差异收益看得见把场景切到数据中心最典型的高密度短距互联——同一机柜内的GPU节点和交换机互联或者同一列内两台Spine交换机之间的连接光纤长度通常在10到30米之间链路插损极小。这种场景下带不带DSP对最终端到端误码率的影响几乎可以忽略。我实际接触过的51.2T平台在短距链路下无论装哪种模块FEC纠正计数都在很低的水平链路稳定性没有肉眼可见的差异。但收益的差异是实打实的。单只模块省下3到5瓦64个端口下来就是200到300瓦的模块侧功耗降幅再加上时延和成本的下降在短距场景里LPO方案是明显更划算的。这也是为什么AI训练集群和高性能计算网络最先接受了LPO——他们的大量流量恰恰集中在机柜内和同机房短距离DSP的很多功能在那里并不是必需品。4.2 跨楼层和长距离FEC计数会说话场景一旦拉到跨楼层甚至跨楼宇情况就完全不同了。我倾向于这样分界线50米以内对LPO友好50到100米要看链路中间经过多少连接器和配线架超过100米或者中间有跨楼层汇聚节点传统DSP模块的可靠性优势就体现出来了。长链路意味着更大损耗、更多连接器、更多环境干扰每一环都挑战LPO的线性链路底线。现场有一个很直观的排查路径先看端口FEC纠正计数增长平缓且低链路健康计数持续走高开始伴随错帧、CRC或者链路翻转再按光链路物理路径去测光功率、查连接器端面、检查光纤弯曲半径。这类问题十有八九不是LPO模块本身不行而是链路某一段的超预期损耗压垮了余量。反过来说如果你在这类长链路场景下非要用LPO那我建议至少做好三层保障全程严格端面管理、把链路插损实测值做进验收标准、给FEC计数设置合理的告警基线。4.3 高密度与整机散热去掉DSP带来的隐性收益整机层面的变化还体现在高密度部署的散热和可靠性上。满配64个800G端口时模块侧功耗从900瓦降到600多瓦对机柜供电、空调冷量、风扇转速的影响都是系统性的。风扇能降速意味着噪音下降也更不容易进入高转速带这对运维体验是隐性加分项。更关键的是模块故障率预期。DSP是光模块里发热量和复杂度最高的部分去掉DSP后模块内的发热源减少、器件数量减少理论上的失效率也会下降。当然这是统计层面的事单个模块可能感受不明显但在几千个端口的规模下哪怕故障率提高一点对运维压力都是灾难级。把DSP拿掉除了降低单个模块的成本也在物理层面简化了模块本身。5. 把LPO装进生产环境运维和测试的五个习惯必须改5.1 端面检测从“建议项”变成“必检项”传统DSP模块时代很多团队对端面清洁的容忍度很高甚至有人觉得“差不多就行DSP能扛”。LPO时代这条经验彻底失效。我强烈建议把端面检查写进SOP的必检项尤其是新部署和故障处理环节。操作顺序固定为拔防尘帽、显微检测、按需清洁、再检测、插入、复核链路。每一步都要有记录出问题时能回溯到具体哪根跳线、哪个MPO端面出了问题。5.2 测试和验证手段要换传统DSP光模块可以在模块内部做自环测试因为DSP本身能完成重定时模块插在交换机上做电环回往往能掩盖物理层的不少问题。LPO模块没有DSP模块自环基本反映不了真实链路质量测试必须走真光纤、过真实连接器。建议充分利用交换芯片自带的PRBS测试能力和端口统计。部署完成后用主机侧PRBS打流量配合FEC纠正计数和错帧统计做验收比单纯看模块光功率更能反映真实链路健康度。我看过不少团队在LPO部署后还用老方法验收结果是上线后被各种隐藏问题打脸。5.3 监控指标要从DSP寄存器调整为FEC统计DSP模块可以读出一堆内部状态均衡系数、眼图张开度、BER估计值、温度补偿状态等等。LPO模块没有这些东西就算走管理接口也最多读到光功率、温度、电压这类的DOM基础量。所以监控体系的重心必须转移FEC纠正计数、纠前BER估算、错包率、链路重启次数这些交换机侧能看到的指标才是LPO链路真正的健康状况晴雨表。建议给FEC纠正计数设置两层告警。第一层是速率告警比如每分钟纠正计数超过某个量级就提醒第二层是趋势告警纠正计数短时间内持续上升超过三倍立即触发人工介入。单纯设一个固定阈值容易误报因为不同链路余量的健康基线本来就不一样。5.4 备件替换和调优记录要加强带DSP模块的链路替换模块后DSP自己会重新适配信号基本是即插即用。LPO链路对主机侧SerDes和模块的匹配更敏感同一系列的不同批次模块增益和带宽特性也会有细微差异。替换模块后建议做一次端口初始化观察link training是否顺利完成跑几分钟流量确认FEC计数在预期范围内。备件策略上不要混用不同批次、不同厂牌的LPO模块做一对一的跨设备替换。最好把备件模块和原模块放在同一批采购、同一环境运行过一段时间后再入库。替换时要记录两个数字替换前的FEC基线替换后的FEC基线两个数字差太远说明有问题。5.5 在机房长期放几支DSP模块作为“参考基准”这是我自己总结出来的一个土办法但实测非常管用在全部采用LPO模块的环境里长期保留几支带DSP的800G模块当作标准参考。遇到LPO链路FEC异常又排查不出物理问题的时候把有问题的端口临时插上DSP参考模块如果故障随之消失问题大概率在LPO模块或者模块与SerDes的匹配度上如果DSP模块同样异常那就要往光纤链路和主机侧去查。这招的性价比很高。几支DSP模块的成本换来的是一套可靠的故障定位基准比拿着仪表到处比对快得多尤其适合没有专职光通信工程师的运维团队。6. 我的结论51.2T拿掉DSP不是不行关键是链路预算要透明6.1 我可以放心上LPO的三种场景第一种是机柜内和相邻机柜短距互联10至30米的光纤链路插损基本不超过1dB不存在余量问题第二种是同一机房内部同一楼层的高密度Spine-Leaf互联只要链路路径相对直、连接器数量少、温度环境受控LPO完全扛得住第三种是新建数据中心并且从设计阶段就把LPO链路条件考虑进去——包括端面管理规范、清洁工具投入、空调冗余度这类环境从一开始就按LPO的特性来建设风险是可控的。6.2 我不会碰LPO的四种环境跨楼宇或者跨机房的长距离链路我不会用LPO中间经过太多配线节点任何一段超预期损耗都可能压垮余量。历史建设的老旧机房我不会混用LPO因为旧链路里有多少连接器、多少段跳线、端面状态如何根本说不清排查成本极高。对链路可靠性要求极其苛刻的核心骨干位置我宁愿保留DSP模块买一个心理和实际的双重保险。最后是运维资源紧张的团队如果连端面检测SOP都还没建立请先不要激进地上LPO传统DSP方案更适合作为从0到1的起步形态。6.3 接下来半年到一年两条路线会怎么走可插拔LPO和CPO并不是非此即彼的关系它们针对的是不同密度等级。CPO把光引擎贴到交换芯片附近光信号几乎不经过长PCB和面板连接器在超大带宽密度上有天然优势但维护灵活性不如可插拔。LPO作为可插拔方案生命周期和运维模式更接近传统模块过渡成本低适合现网逐步替换。未来一两年内一定会出现混合部署同一台51.2T交换机短距端口用LPO长距或者特殊链路继续保留DSP模块甚至会有“半重定时”的过渡形态模块出现。选型时不用纠结“全营全换”按链路预算就高拆低每一条链路单独决定用哪种模块才是这代架构里最理性的做法。最后分享一个我自己实际用出来的习惯。新建机房第一次上800G时我会在主用LPO方案的每个列间机柜里固定放两支DSP模块当作“救火队”和“标尺”。平时它们安安静静躺在旁边一旦哪条LPO链路FEC异常先换上去对照几分钟就能判断是链路问题还是模块问题。这套方案成本很低但排障效率翻了不止一倍——再往后做规模部署时这也成了我必留的一个后手。
觉得有用,分享给同行:

为您的企业打造数字门面

稳重轻奢商务风格,端正雅致视觉,长效耐看不易过时。

立即咨询 →