做图像处理这些年各种传感器拍出来的图我碰了不少真正让我印象深刻的还是EBAPS这类微光成像器件。普通CMOS在晚上拍出来基本是糊成一片EBAPS却能在很弱的光线下出画面——代价是你看到的图像会被各种噪声淹得厉害。这个项目要做的事情通俗点说就是把EBAPS图像里的混合噪声尽量干净地去掉同时又不把微光下的目标信号一起抹掉。适合做图像算法、微光成像、相机ISP相关工作的朋友参考哪怕你是刚入门的小白看完也能理解这类问题该怎么拆、怎么做。1. EBAPS图像里的噪声为什么这么难对付1.1 先从EBAPS的成像链路说起EBAPS的全称是电子轰击有源像素传感器。传统微光像增强器靠的是微通道板倍增电子但EBAPS走了一条不一样的路光子先打在光电阴极上转成电子然后这些电子被高压电场加速直接轰击一片有源像素阵列在像素内部实现信号倍增。这带来的好处是增益极高单光子级别的微弱信号也能被检测到非常适合微光、夜视这类场景。但高增益是要还债的。电子轰击过程中本身就带有随机性倍增后的电子数不是一个固定值而是涨落很大高压工作环境下还会时不时产生杂散离子和反馈噪声再加上传感器像素点本身有坏点、响应不均匀读出电路也有固有噪声。这些因素叠在一起就让EBAPS图像变成了一个典型的“混合噪声问题”而不是简单的高斯噪声或椒盐噪声。我在项目里第一次拿到真实EBAPS视频帧时直观感受就是画面里既有像雪花一样的闪烁点又有大面积的颗粒感还有固定的竖条纹或网点不同区域的噪点密度肉眼可见地不均匀。用常规处理方法第一版效果非常差这让我下决心先把噪声成分彻底拆开。1.2 噪声不是一种是“一窝”要处理混合噪声得先把噪声来源归类。在EBAPS系统里我通常把噪声拆成四类来看这个分类直接决定了后面算法的模块化设计。从数学模型上整理一下噪声类型主要来源空间/时间特性对图像的影响散粒噪声光子到达与电子倍增的随机涨落像素独立、时域波动核心颗粒感读出噪声像素复位、放大器、ADC电路近似均匀、随机微弱底色噪声固定模式噪声像素响应不一致、暗电流不均匀空间固定、时域稳定竖条纹、网格状脉冲噪声坏点、离子轰击尖峰少量像素、大幅跳变白点、黑点闪烁散粒噪声服从泊松分布这是物理决定的读出噪声近似高斯分布固定模式噪声属于乘性加性混合问题得靠标定而不是滤波去处理脉冲噪声则是离散的粗差必须单独检测。四类噪声叠在一起已经不是“去噪”问题而是“信号重建”问题。1.3 单一算法翻车的底层原因很多人会问为什么不能直接套个BM3D或者一个通用去噪网络我在项目初期也这么试过结果就是要么画面磨得干干净净但微光目标也没了要么噪声压不下去。深层原因有三点。第一BM3D这类方法的核心假设是高斯噪声但EBAPS在微光条件下的主导噪声是光子散粒噪声它是强度相关的——亮区噪声强、暗区噪声弱。把泊松噪声当高斯噪声处理等于在一个非平稳噪声场上用了平稳假设的滤波器效果自然打折。第二微光图像信噪比极低目标和噪声在视觉上经常不分彼此。去噪强度一大目标就跟着被抹掉强度一小噪点又压不住。这是个动态平衡问题。第三脉冲噪声是离群粗差普通滤波器顶多把它模糊化不会真正修好需要专门的检测修复环节。所以我才确定了后面的路线分模块处理加智能估计而不是靠一个通用网络一把梭。2. 第一步不是调网络而是先建立噪声模型2.1 将混合噪声写成数学表达式编制算法前要先给自己一个可计算的噪声模型。我用的基础模型是经典的泊松-高斯混合模型z(x,y) (g · y(x,y) d(x,y)) n_p(x,y) n_r(x,y)其中z是观测到的图像灰度g是系统增益y是理想入射光子数映射d是暗电流偏置n_p是泊松散粒噪声n_r是高斯读出噪声。固定模式噪声可以理解为g和d在空间上不是常数而是带有一个固定的随机图案脉冲噪声则可以模型化为以小概率随机替换像素值的事件。真实情况远比这个复杂但工程上不需要完全复刻物理过程只要模型能覆盖噪声的主要统计特征后端的算法就能学得动。我是先把这个理想模型写清楚然后才动手做相机的噪声标定。2.2 用光子转移曲线把参数定下来单纯拿模型说事没用参数得从真实EBAPS相机里标定出来。最基础也最可靠的方法是做光子转移曲线测量Photon Transfer Curve简称PTC。操作步骤并不复杂在稳定均匀光源下覆盖镜头拍一组不同曝光时间或不同光强的图像同时再盖住镜头拍一组暗场图。对每张图取均值作为横轴、取方差作为纵轴画出来的曲线就是PTC。PTC曲线会分成两个明显区段暗区主要是读出噪声方差基本恒定亮区以散粒噪声为主方差和均值成正比。从这两段的斜率和截距就能反推出系统增益K、读出噪声σ_r和暗电流基底d。我们在项目里做标定的时候还额外拍了一张均匀平场用来提取像素级响应不均匀性也就是固定模式噪声的空间图案。这些标定数据非常宝贵它们既是仿真生成的参数来源也是后面验证真实去噪效果时的对照基准。2.3 造训练数据时容易忽略的关键点深度学习方法离不开成对训练样本但真实EBAPS图像很难拿到理想的无噪真值所以主流做法是用干净图像加仿真噪声来构造训练集。具体流程大致是这样取一批普通自然图像或专门拍的微光仿真场景图先将每个像素乘以增益再加泊松随机数模拟光子涨落然后叠加高斯噪声、乘上标定提取的空间不均匀图案最后按一定比例撒上脉冲坏点。这样一个流程走完就得到了一张“仿真EBAPS图像”原图作为真值。我踩过的坑是最开始我只用了固定噪声参数结果训练出来的模型在面对真实图像时一亮一暗就露馅。后来我把噪声参数设置成在一定范围内随机采样同时生成了和图像尺寸一致的噪声水平图——每个像素位置都对应一个局部噪声标准差。这样网络才有机会学到“不同区域用不同力度去噪”泛化能力明显改善。3. 算法架构选择盲噪声估计加级联修复3.1 传统方法退居辅助位不是说传统方法没用而是它们在混合噪声场景下只能当辅助。BM3D对高斯噪声效果很好但我试过后发现它对散粒噪声占主导的暗区容易“磨过头”辉光和星点这种小面积目标会被当成噪声杀掉。非局部均值NLM慢且容易产生人工伪影全变分模型则会把细节磨平。传统方法里相对有用的是基于噪声水平图做引导的滤波但它在极低信噪比下依然力不从心。最终定位是传统方法可以在后处理或对比实验里用作参考基线核心去噪交给深度学习模块。3.2 拆成两个网络模块比端到端更稳可能有人觉得既然深度学习这么强为什么不直接训练一个端到端网络喂进噪声图吐出干净图我们的做法是拆成“噪声水平估计网络 去噪主网络”两级结构。前一级是一个轻量CNN它的输入是带噪图像输出是像素级的噪声水平图σ(x,y)。后一级主网络把噪声水平图作为一个额外输入通道再结合图像本身输出干净估计。选择这种结构有几个实际考虑一是可控性强工程调试时可以单独观察估计的噪声水平是否合理如果模型在暗区估计过强可以直接加一个缩放系数调整二是训练更稳定先让估计子网收敛再去训练主网的细节重建能力比端到端联合训练省心得多三是这些微光设备在不同增益下噪声特性不一样有了独立的噪声水平估计调整成像参数时不需要重新训练主网络只微调前级就够。这个方案在项目里落地时我用的是改进的UNet结构做主网中间加入残差密集连接来增强微光细节的恢复能力。编码器负责提取多尺度特征解码器做像素级重建噪声水平图在输入端直接拼接。整体参数量不算大实测效果比直接跑DnCNN好不少。3.3 坏点预清洗给网络堵住最大的坑脉冲噪声如果不做处理会给主网络带来很难修复的强干扰所以我加了一个坏点检测预清洗模块。判断坏点的依据是正常像素在局部邻域内通常连续变化而坏点表现为突然的极亮或极暗同时坏点在时间序列上位置稳定。针对每个像素计算其与邻域中位数的偏差偏差超过阈值且连续多帧都出现异常就标记为坏点。这些坏点不能直接置零否则会留下黑色空洞。我用邻域有效像素做中值修复生成一张坏点掩膜在送入主网络前把修复后的替换值填进去。这样一个环节让整体输出的雪花点残留大幅减少。需要留意的是修复值和真实信号肯定有误差所以坏点掩膜也作为一个额外通道传给主网络让网络知道哪些位置是修复过的、不能过度信任这个细节对最终视觉效果提升很关键。3.4 损失函数里加一点“人眼关心的东西”训练网络时我用的是L1损失加感知损失的组合而不是直接上MSE。原因很简单MSE会让网络倾向于输出平滑结果微光图像里最重要的细节恰恰是很小的点状目标和边缘用MSE训练出来图虽然PSNR高但看着就是“塑料感”。L1对离群值更稳健感知损失则取VGG特征层的差异让输出在语义结构上更贴近真实图。评估指标也需要补充。PSNR和SSIM要看但微光场景更应该关注边缘保持指数EPI、暗区目标对比度这类更能反映实际使用价值的指标。我甚至会直接截取一个含微弱星点的窗口计算去噪前后目标与背景的对比度比值作为项目验收的关键数据。4. 从训练到落地的工程细节4.1 数据集组织方式训练集主要由仿真数据构成同时一定要混入少量真实数据。真实数据的获取需要一个设计用EBAPS相机在恒定的微光场景下拍多帧图像然后取均值作为真值参考虽然均值图会损失一些高频细节但用来微调已经够了。我们把数据集分成仿真训练集、仿真验证集、真实数据微调集三部分。在仿真数据里我有意识加入低照度森林、夜空、室内暗光、带强光源的复杂场景等保证噪声强度范围覆盖传感器增益的低中高三档。每张训练图像都要附带对应的噪声水平图这是前端估计子网的监督信号。数据增强方面随机旋转90度、水平垂直翻转、随机裁剪这些常规操作就不展开了重点是把噪声参数也做随机化否则模型对真实相机的泛化能力会很差。4.2 训练参数与稳定性控制整套网络我用PyTorch实现训练配置上踩了几次坑之后定下一组稳妥的参数输入patch大小为160×160batch size设为16优化器用Adam初始学习率1e-4采用余弦退火策略训练大约300到400个epoch。梯度裁剪设为1.0防止PTC标定数据里个别极端像素把loss搞炸。最初版本训练到中途loss偶尔会跳成NaN排查后发现问题出在部分仿真图像存在零值区域对数运算溢出。对策是在散粒噪声生成时加了一个极小偏移量同时把输入图像做标准化把范围压到合理区间。稳定性放第一位的话还可以用混合精度训练加速但要注意保持损失缩放的数值安全。训练过程中我习惯盯着两个曲线看一是训练集和验证集的L1曲线是否同步下降二是前端噪声估计子网输出的σ值是否在合理范围。如果验证集PSNR涨了但σ估计明显偏离标定值说明网络在走捷径我会调整两个子网的损失权重或者把估计子网单独多训几轮。4.3 推理部署帧率与算力的折中模型训练完之后要落地到实际设备上才是真正考验。我把模型导出成ONNX再转成TensorRT FP16在嵌入式GPU上做推理。针对EBAPS图像的分辨率单帧处理时间从最初的几十毫秒降到了十几毫秒左右基本满足了实时预览需求。如果项目对帧率要求更高我建议先做模型剪枝把UNet编码器里的冗余通道剪掉一部分再用知识蒸馏让精简模型去拟合完整模型质量损失通常在可接受范围内。另一个技巧是分分辨率处理对固定模式噪声较轻的区域可以缩小输入尺寸再做超分还原这个操作能省不少算力但要根据实际噪声分布决定是否值得。5. 实测效果与排查实战5.1 微光场景下的实际观感我在一个模拟微光场景下做了详细测试。场景是室内微弱照明画面里有一个人形目标和若干文字标识整体照度只有正常室内环境的百分之一左右。原始EBAPS图像几乎被颗粒噪声覆盖人形轮廓只能勉强辨认。经过整个管道处理后人形边缘清晰起来文字笔画可以辨认背景纹波噪声明显抑制同时没有出现块状伪影和过度平滑。数字指标上在仿真测试集上PSNR从原始噪声图的约12dB提升到了约29dBSSIM从0.25提升到了0.82。真实数据微调后EPI保持在0.75以上暗区目标对比度提升了约3倍。有一个现象值得注意纯靠仿真训练的模型在真实EBAPS图像上PSNR提升没这么高只有做了少量真实数据微调和噪声参数随机化之后效果才变得稳定。这说明仿真数据和真实数据之间的鸿沟是绕不过去的一道坎。5.2 常见问题排查速查表整理几个我在项目里高频遇到的现象和解决办法给后面碰类似问题的朋友一个参考。现象可能原因解决办法输出图残留雪花闪烁点脉冲噪声检测漏检调低坏点检测阈值增加时域稳定帧判断暗区被抹平、细节丢失噪声水平图估计过强对σ输出乘0.8缩放系数重新调损失权重连续视频帧亮度跳动单帧独立处理时域不一致引入轻量时域递归或对相邻帧σ做平滑训练Loss跑着跑着变NaN数据含有零值或数值溢出加数值稳定性偏移梯度裁剪降低初始lr模型对真实EBAPS图泛化差仿真噪声分布与真实分布偏差用真实多帧均值做微调做噪声参数随机化边缘出现振铃伪影感知损失权重偏大适当降低感知损失比例增加L1权重有个心得值得单独说不要为了追求PSNR把模型压到极限。微光图像的去噪本质是“在噪声和信号之间做权衡”我后来为了提升人眼观感特意降低了低亮区域的去噪力度允许少量背景颗粒存在换来的是目标边缘的自然度。数据指标好看很重要但最终决定项目成败的是现场人员对图像的判断。最后再分享一个小技巧固定模式噪声一定要通过标定来扣除不要指望深度学习神奇地帮你去掉。只要把标定平坦场得到的校正图先做一次归一化乘法图像的竖条纹和网格基本就消失了大半剩下的再交给网络处理会轻松很多。我在这个项目里把标定和智能去噪组合起来之后整套系统的稳定性和视觉效果才真正达到了交付标准。