去年我在复现一套红外与可见光图像融合的基线跑完一轮性能分析后发现最耗资源的不是卷积本身而是把两张图各自送进特征提取器跑了两遍最后只是在通道维度上拼一下。当时就冒出一个念头能不能让两个模态的信息在更早的环节、以更省的代价汇合后来接触到有团队把脉冲神经网络SNN引入图像融合任务用所谓的“跨模态电流”在 T 个时间步里完成两个模态之间的信息交换这个思路跟我的想法对上了。这类脉冲融合框架下文我统一用 SFuse 代指只谈技术不点名。简单说它做的事情是把红外和可见光或 CT 与 MRI、多聚焦图像对两张图编码成脉冲序列两个模态各自产生一路输入电流汇入同一组泄漏积分发放LIF神经元让它们在 T 步之内反复积分、发放、重置最后从膜电位或发放率里读出融合特征再解码成一张融合图。它想解决的核心痛点是传统融合网络“算力换精度”的死循环——参数量堆上去、每个像素都要过完整的浮点乘加而 SNN 的稀疏二值脉冲天然带着乘法器省掉的潜力。这篇文章适合三类人看想入门 SNN 但不知道拿什么任务练手的同学、做多模态融合想找低功耗方案的工程师、以及被“T 步到底该设多少”折磨过的复现党。1. 先把问题摆清楚为什么融合任务需要换一套神经元1.1 传统融合路线的三处软肋图像融合的目标很朴素把两张图各自擅长的部分合成一张。红外图管热辐射目标轮廓清楚但纹理稀薄可见光图管细节纹理光线一暗就废。融合结果要同时保住红外的显著目标和可见光的边缘纹理评价指标一般看信息熵、空间频率、视觉保真度这一套。早年主流做法是变换域方法拉普拉斯金字塔、非下采样轮廓波、稀疏表示把图分解成高低频再按规则合并。这类方法不需要训练可解释性强但融合规则基本靠人工设计遇到复杂场景就僵化。后来深度学习上来DenseFuse、各种基于自编码器的结构、再到 Transformer 和扩散模型指标一路往上走代价是参数量和计算量同步膨胀。我实测过一版基于 Transformer 的融合网络单张 640×480 的图在消费级显卡上要跑接近两百毫秒放到嵌入式设备上直接没法用。把这些软肋归拢一下大概是三条。第一是冗余计算两个模态各过一套编码器中间层特征高度相似却重复计算。第二是融合发生在“值域”也就是浮点特征图的加法和拼接信息交换是静态的、一次性的没有来回协商的过程。第三是能耗模型不友好每个像素每个通道都要走完整的乘加哪怕这个位置根本没什么信息量。1.2 脉冲神经网络为什么天然适合这个场景SNN 和普通人工神经网络最大的差别在神经元它不输出连续值而是攒够了电位就发一个脉冲发完清零。这个机制带来两个直接后果——乘法退化成加法甚至查表权重是二值的激活是 0/1以及稀疏性大部分时刻大部分神经元不发脉冲计算可以直接跳过。放到融合任务上看这个特性和需求咬得很紧。融合本质上是“选择性保留”红外有热目标的地方可见光往往是暗的可见光有纹理的地方红外往往是平的两者在空间上是互补而非重叠的。SNN 的稀疏发放恰好对应这种互补性真正有信息的位置才产生脉冲事件平坦区域几乎静默。理论能耗模型里一次脉冲事件驱动的累加操作SOP在 45nm 工艺下大约是 0.9pJ而一次 32 位浮点乘加MAC是 4.6pJ差着五倍。当发放率控制在 15% 上下时账面上的能效优势就很可观了。当然这里有个前提我后面会反复强调稀疏率是真的稀疏不是被阈值逼出来的假稀疏。很多复现失败就是栽在这上面。1.3 “跨模态电流”与“T 步放电”到底指什么把标题里的两个词翻译成人话。在 LIF 神经元里输入不叫特征图叫“电流”因为它模拟的是生物神经元树突接收到的电流注入单位时间内的输入量决定膜电位涨多快。“跨模态电流”就是两个模态各自算出一路电流在进入神经元之前汇合——可以是直接相加可以是门控加权也可以是一路去调制另一路。“T 步放电”指的是整个网络在时间维度上展开 T 个时间步同一个空间位置上的神经元每一步都做一次“积分—比较—发放—重置”。T 是个超参常见取值 4 到 8。为什么不能只跑一步因为单步的 LIF 就是个带阈值的加权和跟普通卷积没区别时间维度带来的累积效应才是 SNN 的表达力来源。为什么不能跑很多步因为膜电位会饱和后面几步的信息高度重复指标不再涨而时延和能耗线性上升。注意T 不是越大越好也不是随便定一个就行。它和输入电流的幅度、膜时间常数、发放阈值三者是耦合的后面第 5 节我会给出联合调参的具体做法。2. 整体架构三段式结构里每一段在干什么2.1 编码器、电流注入融合层、解码器的分工SFuse 这类框架基本都是三段式我按数据流走一遍。第一段是脉冲编码器两个模态各有一个结构上通常是几层卷积加 LIF。输入是归一化到 [0,1] 的灰度图通过直接编码把同一帧复制 T 份喂进去或差分编码第一步喂原图后续步喂相邻帧差分转成脉冲序列。这一段的职责是提特征并把连续值转成时空脉冲输出形状是 [T, B, C, H, W]。第二段是跨模态电流注入层也就是这套框架的核心。两路脉冲特征在这里不是简单拼通道而是各自经过一层卷积映射成“电流”再汇合注入共享的 LIF 神经元组。汇合方式决定了两个模态怎么互相影响。第三段是解码器把融合后的脉冲序列还原成一张图。这里有个关键选择用脉冲计数T 步内发了几次除以 T 得到 0~1 的发放率还是用最后一步的膜电位。我的经验是短 T 场景下膜电位更稳原因很直白——T4 时计数只有 0、0.25、0.5、0.75、1 五个离散取值量化误差太大解码出来会有明显的带状伪影。2.2 为什么融合要发生在电流层而不是特征拼接层这是整套设计里最值得琢磨的一个决策。传统做法是把两路特征在通道维拼起来再过几层卷积融合本质上是让网络自己学一个加权。问题在于拼接之后的信息交换是“一次性”的融合权重在单次前向里就定死了没有反复协商的余地。放到电流层做就不一样了。两路电流注入同一个神经元后膜电位是累加的谁贡献大谁贡献小会在 T 步的积分过程里持续体现某一步红外电流强膜电位被推过阈值发了脉冲神经元重置下一步可见光电流补上来又发一次。整个过程像两个人在同一个白板上轮流写字而不是各自写完了再拼在一起。还有一个隐性好处是参数效率。电流注入层只需要两组 1×1 或 3×3 卷积把通道对齐参数量比拼接后再堆几层融合卷积小一个量级。我做过对比同样指标下电流注入方案的融合模块参数量大概是拼接方案的三分之一。2.3 T 个时间步在信息流里承担的三种角色很多人把 T 当成一个纯粹的精度旋钮实际上它在网络里同时干三件事。第一是累积器把弱电流攒到阈值。假设输入电流经过批归一化后量级在 0.3~0.6阈值设 1.0那么单个时间步根本发不出脉冲需要两三步累积。这直接决定了 T 的下限T2 时大量神经元永远是死的。第二是信息调度器不同时间步承载不同模态的主导权。如果两路电流的强度随时间变化比如编码器用了差分编码那么前几步可能由红外主导后几步由可见光补充融合结果天然带上了时序上的互补。第三是正则化项等价于一种隐式的深度集成。多个时间步的读出结果做平均方差会比单步小这也是为什么 SNN 在小样本上往往比同结构 ANN 更抗过拟合。代价是训练时梯度要在时间维反传显存占用翻 T 倍。3. 核心机制膜电位里那点电流到底怎么流动3.1 膜电位更新的手工推演离散化的 LIF 更新式我习惯写成这个样子# 单步 LIF 更新reset by subtraction 风格 H[t] V[t-1] (X[t] - (V[t-1] - V_reset)) / tau S[t] (H[t] V_th).float() V[t] H[t] - S[t] * V_th # 硬重置的等价写法之一当 V_reset0、tau2 时式子退化成 H[t] 0.5 * V[t-1] 0.5 * X[t]也就是“一半衰减加一半输入”。这个系数很关键它意味着输入电流被打了对折你得连续几步都往同一个方向推电位才能爬到阈值。拿一组具体数推一遍。假设某像素通道的输入电流序列是 [0.6, 0.7, 0.5, 0.4]阈值 1.0初始电位 0。时间步输入电流更新前电位更新后电位 H是否发放重置后电位t10.60.000.30否0.30t20.70.300.50否0.50t30.50.500.50否0.50t40.40.500.45否0.45这组数说明一个很要命的现象电流幅度 0.5 左右时电位会稳定在一个亚阈值的不动点上永远不发脉冲。这就是“死神经元”的数学来源。T 步放电能不能发得出来取决于输入电流的期望值是否持续大于阈值的一半以上而不是靠单步的偶然冲高。我在调试时习惯先跑一遍“发放率热力图”把所有 LIF 层的平均发放率打印出来。健康的网络应该是浅层稀疏5%~20%、中层适中20%~40%、深层稀疏10% 以下。如果某一层常年 0%基本可以断定是电流幅度不够或者阈值设太高。3.2 跨模态电流的三种注入写法与实际取舍这部分是整个框架最见功夫的地方我把见过的几种写法摆出来对比。写法一直接相加。I_fuse I_ir I_vis。最简单参数量为零物理意义是两个模态的电流在同一个神经元上叠加。问题是没有选择性红外强的地方可见光的噪声也被一起加进来融合图容易出现目标周围一圈毛刺。写法二通道门控调制。用一个轻量门控网络从两路电流算出权重 gI_fuse g * I_ir (1-g) * I_vis。g 是浮点值所以这里必须用模拟计算加代理梯度这是这套框架里少见的“非纯脉冲”环节学术上会被人挑刺但工程上确实好使。门控的初值一般设成 0.5让两个模态从平等地位开始学。写法三交叉脉冲注入。一路的脉冲发放结果作为另一路的额外电流I_vis(t) I_vis_base(t) W * S_ir(t-1)。这是最“脉冲”的做法信息交换通过离散的脉冲事件完成稀疏性保持得最好。代价是训练不稳定因为脉冲事件本身就是不可导的再加一层耦合梯度方差会明显变大。注入方式参数量融合选择性训练稳定性适配场景直接相加最低弱高两模态高度对齐、噪声小通道门控低强中通用场景首选交叉脉冲注入中强低追求极致稀疏、硬件部署我的实践结论是从门控方案起步跑通了再考虑换成交叉脉冲注入。一上来就做最激进的设计八成会卡在训练不收敛上连基线指标都拿不到根本没法判断是机制问题还是调参问题。3.3 编码方式的选择会直接改变 T 的有效区间编码这一段经常被一笔带过但它对 T 的影响极大值得单独说。直接编码就是把同一张图在时间维复制 T 份每一步的输入完全一样。优点是实现简单、稳态好分析缺点是信息冗余T 步里没有任何新东西进来纯粹靠膜电位累积。差分编码是第一步喂原图之后每一步喂相邻时间步的差分模拟事件相机那种“只传变化”的机制。优点是信息密度高、稀疏性天然更好缺点是 T 步之后输入基本枯竭如果 T 设太大后面几步是空转。泊松速率编码是把像素值当发放概率采样。优点是理论优雅、和生物机制一致缺点是有随机性同一张图跑两次结果不一样做指标对比时方差大我一般不用它做主方案。实测下来差分编码在 T4 时的表现和直接编码在 T6 时接近能耗按 T 折算能省三成。但它对输入归一化非常敏感归一化范围从 [0,1] 换成 [-1,1]差分分布整个变样得重新调阈值。4. 训练流程时间维反传不是把 T 乘进 batch 那么简单4.1 代理梯度在 T 步上的传播路径脉冲发放函数是阶跃函数导数几乎处处为零直接反传什么都学不到。标准解法是代理梯度前向用真的阶跃反向用一个光滑的替代函数。class SurrogateSpike(torch.autograd.Function): staticmethod def forward(ctx, x, alpha2.0): ctx.save_for_backward(x) ctx.alpha alpha return (x 0).float() staticmethod def backward(ctx, grad_out): (x,) ctx.saved_tensors alpha ctx.alpha # ArcTan 型替代梯度 grad alpha / 2 / (1 (torch.pi / 2 * alpha * x).pow(2)) return grad_out * grad, None超参 alpha 控制替代函数的“宽度”。alpha 越大梯度越集中在阈值附近学习更锐利但容易梯度消失alpha 越小梯度越平坦学得慢但稳。我一般从 2.0 起步训练后期如果指标卡住可以试 4.0。时间维反传的坑在于梯度会被反复乘以膜衰减系数。tau2 意味着每往前一个时间步乘 0.5T8 时最早那一步的梯度会被衰减到原始值的 1/256。这直接导致深层时间步学得动、浅层学不动。缓解办法有两个一是把 tau 调大tau4 时衰减系数 0.75衰减慢得多二是用截断反传只反传最近 K 步。4.2 损失函数的配比与调法融合任务的损失一般是三项的加权和强度损失 L_int约束融合图的像素强度贴近两模态的最大值让显著目标不被压暗。梯度损失 L_grad约束融合图的梯度场贴近两模态梯度的较大者保住边缘纹理。结构损失 L_ssim用结构相似度约束整体观感。权重我习惯设成 λ_int 5、λ_grad 10、λ_ssim 1。梯度项给得高是有原因的——SNN 的膜电位读出本身就有平滑效应融合图的边缘容易被磨钝梯度损失是唯一直接对抗这件事的约束。但也不能无限加大λ_grad 到 20 以上时图像会过锐出现光晕。注意SNN 的训练学习率要比同结构 ANN 小一个量级。我一开始按 1e-3 配 Adam跑起来损失震荡得厉害降到 3e-4 才稳住。稀疏发放导致梯度方差比稠密网络大这是绕不开的。4.3 一份能跑起来的骨架代码把上面的东西串起来训练主干大概长这样class SFuseNet(nn.Module): def __init__(self, T4, tau2.0, vth1.0, base_c32): super().__init__() self.T T # 模态独立编码器 self.enc_ir SpikingConvEncoder(in_c1, base_cbase_c, tautau, vthvth) self.enc_vis SpikingConvEncoder(in_c1, base_cbase_c, tautau, vthvth) # 跨模态电流注入 self.fuse CrossModalCurrentFuse(base_c * 4, T, tau, vth) # 解码器最后一层用膜电位读出不加阈值 self.dec nn.Sequential( nn.Conv2d(base_c * 4, 64, 3, 1, 1), nn.LeakyReLU(0.1), nn.Conv2d(64, 32, 3, 1, 1), nn.LeakyReLU(0.1), nn.Conv2d(32, 1, 1), ) def forward(self, ir, vis): # 编码直接编码把单帧复制 T 份 s_ir ir.unsqueeze(0).repeat(self.T, 1, 1, 1, 1) s_vis vis.unsqueeze(0).repeat(self.T, 1, 1, 1, 1) f_ir self.enc_ir(s_ir) # [T, B, C, H, W] f_vis self.enc_vis(s_vis) f self.fuse(f_ir, f_vis) # 融合后的脉冲序列 out self.dec(f.mean(dim0)) # 时间维平均后解码 return torch.sigmoid(out) # 两阶段训练先冻结编码器单独训融合层 20 个 epoch再全网络微调这里有个细节值得说解码前我对时间维做了 mean。这个操作看着粗糙但它等价于发放率解码而且梯度能均匀分配到所有时间步训练比只用最后一步稳定得多。等到指标收敛再试试换成加权求和靠后的时间步权重高一般还能涨一点。5. 参数怎么定T、阈值、衰减系数是一组联立方程5.1 三个核心超参的耦合关系这三个参数不能分开调它们的耦合关系可以用一句话概括输入电流的稳态电位必须落在阈值附近才能既有脉冲又不饱和。对 tau2 的 LIF稳态电位收敛到输入电流的均值严格说是 E[V] E[X] 在长期平均意义下。所以大致有若 E[X] ≈ 0.5·Vth大量神经元处于临界状态靠波动偶尔发放稀疏性好但方差大。若 E[X] ≈ 0.8·Vth大部分神经元能在 2~3 步内稳定发放训练稳定稀疏性中等。若 E[X] 1.5·Vth第一步就发之后每步都发退化成二值网络稀疏性丧失。我的操作顺序是先固定 tau2、vth1.0在编码器输出后加一个可学习的缩放系数初始化 1.0让网络自己找电流量级跑一轮看发放率分布如果整体低于 5%把缩放系数的初始化提到 1.5如果高于 50%降到 0.7。这个办法比手调阈值省事得多也不用反复改损失权重。T 的确定则是看边际收益。我做过一组消融T 取值信息熵空间频率平均发放率单图推理时延相对能耗2偏低偏低8%1.0x1.0x4基准基准18%2.0x2.1x61.5%1.1%24%3.0x3.2x81.8%1.2%31%4.0x4.5x121.8%1.1%42%6.0x7.0xT 从 4 到 6 的增益已经很小8 之后基本是平的。所以除非部署硬件支持时间维流水线我一般就锁 T4最多 6。这是能耗账算出来的结论不是拍脑袋。5.2 能耗和时延到底怎么核算理论能耗有一条常用公式E T × (N_SOP × E_AC N_MAC × E_MAC)其中 N_SOP 是实际发生的脉冲事件对应的累加次数等于总连接数乘以发放率E_AC 取 0.9pJE_MAC 取 4.6pJ。以一层 32 通道、3×3 卷积、128×128 特征图为例总连接数是 128×128×32×32×9 ≈ 1.5×10^8。若发放率 18%SOP 数量约 2.7×10^7。单步能耗 2.7e7 × 0.9e-12 ≈ 24μJT4 就是约 97μJ。对比同规模的浮点卷积1.5e8 × 4.6e-12 ≈ 690μJ是它的七倍。这个差距在多层堆叠下会保持因为发放率不会随层数暴涨前提是你控制住了。时延方面需要对硬件诚实一点。在 GPU 上跑时间维是串行展开的T4 就是四倍延迟一点便宜都占不到。真正的能效优势要等到神经形态硬件上才能兑现那里是事件驱动的没有脉冲就不耗电。所以如果只是做算法验证别指望 T 步能省时间如果目标是边缘端部署那 T 步是核心卖点。5.3 与 CNN / Transformer 方案的横向对照我把三类方案摆一起按我能测的维度对照维度CNN 融合Transformer 融合脉冲融合T4参数量中高中偏高训练难度低中高理论推理能耗高很高低GPU 实测时延低高中小样本泛化中中较好工程成熟度高中低诚实结论如果你的目标只是把指标刷上去、部署在服务器上脉冲方案目前还不占优训练成本和调参成本都摆在那。它真正的价值场景是功耗受限的边缘设备、以及对时序信息敏感的动态场景比如事件相机输入的融合。认清这一点再去投入比盲目追新强。6. 踩过的坑常见问题与排查路径6.1 脉冲不发或者全发先看膜电位分布这是复现率最高的问题。我的排查顺序固定如下。第一步打印每一层 LIF 的平均发放率。全 0 或者全 1 都要立刻停下来查。第二步打印进入 LIF 之前的电流分布看均值和方差。如果均值接近 0说明批归一化把电流压平了需要把 BN 的权重初始化放大或者去掉 LIF 前的 BN。第三步检查重置机制硬重置发完直接减阈值和软重置减一个固定值在长 T 下行为不一致混用会导致电位漂移。还有一个隐蔽的坑BN 在时间维的统计方式。如果你把 [T, B, C, H, W] 直接 reshape 成 [T*B, C, H, W] 过 BN那每一步的统计是独立的如果按 [B, C, H, W] 统计再广播各步共享统计量。两种写法的结果差异很大我建议共享统计量因为时间步之间的分布本来就该一致。6.2 T 步越大指标反而掉遇到这个现象先别怀疑代码八成是膜电位饱和。T8 时如果前期已经把所有神经元的电位推到阈值以上后面几步全是重复发放输出变成了二值图纹理丢失、出现块状伪影。验证方法很简单画出不同 T 下的融合结果如果 T8 的结果看起来“更硬”、边缘像被二值化过就是饱和。解法是让电流幅度随 T 调整——T 翻倍时把输入缩放系数降到原来的 0.7 左右保持稳态电位不变。第二种可能是代理梯度在长时间维上的噪声累积表现为训练损失震荡。这时候把 BPTT 截断成最近 4 步只用局部时间窗反传通常能稳住。6.3 部署侧那些不会写在论文里的事第一显存。时间维展开后激活值占用是 T 倍T6 时一张 640×480 的图在训练阶段很容易把 12G 显存吃满。用梯度检查点能省一半代价是训练慢三成。第二推理框架兼容性。很多部署工具链对动态时间维支持很弱我的做法是导出时把时间维折叠成 batch 维跑完再 reshape 回来这样兼容性最好。第三随机性。SNN 的脉冲发放对浮点误差极其敏感同一张图在不同 batch 顺序下结果可能有一点差异。做指标对比时我一般固定随机种子跑三次取中位数不然容易得出错误结论。下面这张表是我整理的快速排查手册现象最可能原因优先动作某层发放率恒为 0电流幅度不足或阈值过高打印电流分布调缩放系数某层发放率接近 1阈值过低退化为二值提高阈值或加入稀疏正则训练损失剧烈震荡学习率偏大 / 替代梯度太窄学习率降一个量级alpha 降到 1.5融合图偏暗强度损失权重不足λ_int 从 5 提到 8边缘发虚梯度损失权重不足λ_grad 从 10 提到 15T 增大指标不涨膜电位饱和降低输入缩放系数推理与训练结果不一致BN 模式或时间维统计方式不一致检查 eval 模式与 reshape 顺序提示这套表只覆盖我碰到过的情况。真正的排查还是要落到“看分布”上——电流分布、膜电位分布、发放率分布三个都能可视化绝大多数问题看一眼就清楚了。最后分享一个我一直在用的小习惯每次改完超参先只跑 20 个 iteration把三个分布图存下来看着都正常再放长跑。SNN 训练一轮动辄几个小时用 20 步的成本换一次放心很划算。另外如果你打算从这套框架往硬件方向走尽早把 T 固定下来别在算法阶段就让它浮动后面移植时会感谢自己。