做视觉的同行应该都有过这种体会你在晴天、能见度极好的条件下把模型调得漂漂亮亮一放到雾天场景精度几乎集体跳水。这不是小概率事件而是海事类视觉任务里最家常便饭的翻车现场。雾的本质是压低远景亮度、抹平边缘细节让船身和天空、水面的分界线全部糊成一团再叠加上水面的反光和波浪纹理检测框和分割掩码全都开始飘。我这次记录的项目就是做一套基于YOLO11-seg的雾中船只检测与识别流程目标是在大雾、小雨、多云、黄昏这类低对比度环境下既稳定输出船只的检测框又输出像素级分割掩码。这套方案放在内河航道、近岸水域的视频监控、无人船避碰、港口辅助瞭望这些场景里都适用有目标检测基础、想往特种场景落地的同行可以直接参考。1. 项目整体设计与技术选型思路1.1 为什么是YOLO11-seg而不是普通检测模型先回答一个问题检测船只到底用检测框就够了还是必须上实例分割如果只是统计航道里过了多少条船普通目标检测完全够用。但实际情况往往没这么简单——船与船靠泊、多船并行、桥下过船这些场景里检测框互相重叠是常态。两条并排的船在图像上可能只相差几个像素一个方方正正的bbox根本分不清边界更别说用它去计算安全距离、判断船只朝向、评估航道占用率。分割掩码能直接给到船体的实际轮廓避碰系统拿到轮廓之后就可以计算两船之间的最小净距、判断船只吃水线位置、估算船体投影面积。这些都是纯bbox方案给不了的。我一开始也想过用Mask R-CNN这类两阶段实例分割模型精度确实高但单张推理时间在实时视频流里完全扛不住——海事监控通常同时挂着好几路摄像头速度不够就等于不可用。YOLO11-seg属于单阶段方案检测头和解码头共用主干特征一条前向推理同时出检测框和掩码。实测下来在相同的硬件条件下它的推理速度比两阶段方案快两到三倍精度损失基本可以接受。对实时性敏感的岸基监控、船载辅助瞭望来说这种平衡性是决定性的。1.2 雾天场景的三个核心难点雾天做船只检测难点并不只是“图像变模糊”这么简单。第一是能见度退化。雾天图像的退化规律可以用经典的大气散射模型描述观测到的图像强度等于场景辐射经过透射衰减后加上大气光的散射叠加。问题在于这种衰减不是均匀的——距离越远透射率越低。所以同一张画面里近处的船和远处的船呈现出完全不同的退化程度模型必须同时适应两种差异很大的视觉特征。第二是小目标问题。海事摄像头的安装位置普遍比较高无论是岸基杆塔还是船载桅杆拍到的远距离船只往往只有几十个像素甚至几个像素。雾天再抹掉一部分边缘和纹理细节有效像素进一步缩水。小目标检测本来就是视觉任务的老大难加雾之后难度直接翻倍。第三是背景干扰。水面反光、波浪纹理、浮标、水花在低对比度环境下和船体的灰度纹理高度相似。雾天里船身和高亮水面的区分度变低模型很容易把浪花和浮标当成船误检率急剧上升。这三个难点决定了项目不能直接套用常规的目标检测训练流程数据、模型、部署每个环节都要针对雾天做专门的适配。1.3 两条技术路线的权衡取舍针对雾天检测行业里主要有两条技术路线。路线A是“先去雾再检测”。典型做法是用暗通道先验DCP或者专门训练的去雾网络先把雾天图像恢复成近似无雾图再喂给普通检测模型。这个路线的好处是可以复用成熟的无雾模型权重思路直观。但问题也很明显多了一个预处理环节推理耗时增加而且去雾算法在天空区域和水面高光区域容易产生色偏和伪影有时候去完雾反而比原图更难检测。路线B是“不做显式去雾用雾天数据增强训练”。通过在训练阶段大量引入雾天合成样本和真实雾图让模型自己去学习雾天条件下的特征表达推理时原图直接进网络不增加任何额外的预处理模块。我实测下来路线B在绝大多数场景下更稳。原因在于显式去雾本质上是把一张退化图先恢复成另一张图这个恢复过程本身是有损的恢复时引入的错误会直接传导给检测器。而路线B让检测器直接学习从退化图到目标的映射少了中间环节少了误差传导推理也更快。对比维度先去雾再检测雾增强训练推理流程预处理检测链路长单模型直出链路短中低雾精度一般去雾伪影影响检测较优特征学习更直接浓雾适应有一定帮助需配合大量浓雾训练样本工程复杂度多模块维护成本高模型训练一次部署简单当然路线B不是万能的。在极端浓雾、目标又极小的情况下显式去雾仍然能带来额外几个点的提升。我现在的做法是做一个雾浓度判断分支只在浓雾场景下启用轻量去雾模块中低雾直接走原图。2. 数据准备与雾天数据集构造2.1 数据来源与标注规范做任何视觉项目数据永远是最耗时间的环节雾天船只检测尤其如此。数据来源我分了三块真实晴天/多云/薄雾场景的船只图像、公开海事船舶数据集里能拿到的图片、以及自己用视频抽帧得到的水域监控画面。这里有个很重要的权衡公开数据集里干净的晴天样本很多真实雾天样本相对稀缺所以要靠合成增强去补足中雾和浓雾样本的缺口。标注规范这块我踩过不少坑。船只的分割标注一定要沿船体可见部分勾轮廓。倒影不算、浪花不算、船体溅起的水花不算这些区域边缘的灰度特征和船体高度相似一旦标进去模型就会学到错误的掩码边界。还有一个硬规矩远处能见度极低、只能隐约判断“那是一条船”的目标宁可不标也不要错标。雾天场景下模型本身就容易混淆目标类别如果训练集里再混入大量“大概是个船”的粗糙标注模型学到的先验会越来越歪。高质量标注的比例远比标签总数重要这一点在低对比度场景里尤其突出。2.2 基于大气散射模型的雾天增强合成雾的数据增强核心就是应用大气散射模型[ I(x) J(x) \cdot t(x) A \cdot (1 - t(x)) ]其中 (I) 是合成雾图(J) 是清晰图(t) 是透射率图(A) 是大气光(x) 是像素位置。透射率 (t(x) e^{-\beta \cdot d(x)})这里的 (\beta) 是大气散射系数(d) 是场景深度。写一个可以直接用的合成函数基于OpenCV和NumPyimport numpy as np import cv2 def synthesize_fog(image, depthNone, beta1.0, ANone): 基于大气散射模型合成雾图 image: 清晰图 (H, W, 3)RGBuint8 beta: 散射系数越大雾越浓 img image.astype(np.float32) / 255.0 h, w img.shape[:2] # 没有深度图时随机生成一个平滑的深度图 if depth is None: x np.linspace(0.3, 1.0, w).reshape(1, -1) y np.linspace(0.3, 1.0, h).reshape(-1, 1) depth x * y # 近处暗远处亮模拟水平方向的深度变化 # 透射率图 t np.exp(-beta * depth) t np.clip(t, 0.05, 1.0) # 大气光默认取偏亮的灰度值 if A is None: A np.random.uniform(0.7, 1.0, (1, 1, 3)) # 合成雾图 foggy img * t[..., None] A * (1 - t[..., None]) return (np.clip(foggy, 0, 1) * 255).astype(np.uint8), t这个函数是简化版本实际工程里深度图不会这么粗糙但核心思路是一样的。参数 (\beta) 的选择直接对应雾的浓度等级0.5到1.0是轻雾1.0到1.8是中雾1.8到2.5就是浓雾。训练集里这些档位最好都覆盖比例可以控制在轻雾3成、中雾4成、浓雾3成避免模型只对某一种雾浓度敏感。2.3 合成雾的几个隐藏坑用大气散射模型合成雾图看起来简单实际操作里有几个坑必须注意。第一个坑是天空区域。天空在物理上没有明确的深度如果直接套随机深度图合成出来的天空会出现奇怪的偏色斑块看起来像一块脏玻璃。处理办法是先用语义分割或者颜色阈值把天空区域抠出来给一个固定的较大深度值让天空区域的雾看起来均匀自然。第二个坑是深度图平滑度。如果深度图有明显的突变边缘合成出来的雾会呈现不自然的块状断层在船体和背景交界处尤其明显。深度图一定要经过高斯平滑过渡要缓这样合成雾才接近真实雾气的连续衰减效果。第三个坑是雾浓度单一。只加一种浓度的雾模型学到的就是单一退化特征的映射换一个场景浓度稍变就不准。我建议在每个训练批次里随机抽取β值让模型在每一轮都看到不同浓度的雾逼着它学到尺度不变的船体特征。第四个坑是合成雾永远替代不了真实雾。合成雾遵循的是数学公式真实雾还包含水汽颗粒的漫反射、不均匀的团雾流动、光照方向变化这些复杂因素。训练集里必须有真实雾天样本参与我一般按合成雾六成、真实雾四成的比例混着用。这里还有一个容易忽略的细节验证集一定要保留真实雾图不能用合成雾去评估否则测出来的成绩是虚高的。3. 模型训练与参数配置实践3.1 训练环境与数据组织整个训练流程是在单张24GB显存的GPU上完成的RTX 3090级别就够用软件环境是Ubuntu 20.04、Python 3.10、PyTorch 2.1、CUDA 11.8训练框架直接用的Ultralytics的YOLO11系列。数据目录结构建议这样组织datasets/ foggy_water/ images/ train/ val/ labels/ train/ val/对应的数据配置文件里类别设置这块我需要单独说明。很多公开数据集把船分成ship和boat两类但这两个词在不同场景下的定义非常混乱给模型造成了额外的分类负担。我更推荐统一类别或者按实际用途拆比如“货船”“渔船”“客船”或者干脆就一类“船”把主要精力放到分割掩码的质量上。对雾天场景来讲类别粒度越细类间混淆越严重先保证召回率往往是更务实的选择。3.2 核心训练参数与逐项解释这是项目里最值得反复调的部分。直接贴我当时用的训练命令yolo segment train \ datafoggy_water.yaml \ modelyolo11s-seg.pt \ epochs150 \ imgsz1280 \ batch8 \ device0 \ optimizerSGD \ lr00.01 \ mosaic1.0 \ close_mosaic10 \ fliplr0.5 \ flipud0.1 \ weight_decay0.0005逐项讲一下为什么这么设。imgsz1280是整条训练里最关键的一项。前面说过雾天船只是典型的小目标输入分辨率直接决定小目标在特征图上的有效像素数量。640输入下一条远处20像素宽的船下采样到40×40的特征图上只剩几个像素的点1280输入直接让有效特征翻倍。代价是显存占用和训练时间上涨但对精度的影响非常明显。实测从640涨到1280mAP50大概能提升8到10个点。batch8是单卡显存限制下的安全值。optimizerSGD用的Ultralytics默认范式配合lr00.01和weight_decay0.0005这类检测任务的收敛稳定性和泛化性都比重启AdamW更稳。mosaic1.0表示全程开启马赛克增强把四张图拼在一起训练。对小目标提升显著因为它相当于把小目标在拼接图里的尺度压缩了——模型被迫去学习更小尺度的特征。但马赛克增强也会在最后阶段引入一些不自然的分布所以close_mosaic10表示最后10个epoch关闭让模型从平滑的真实分布里做精修。flipud0.1这里我要特别提醒。水域场景里船的上下翻转会生成大量“船底朝上”的假样本这在物理上几乎不会出现模型学了反而会混淆。普通检测任务里flipud开0.5是常态但水域场景建议降到0到0.1让模型专注于学习正确的船体姿态。3.3 训练过程观察与损失信号训练过程中分阶段的损失变化可以作为判断模型状态的参照。我实践里比较典型的训练曲线是这样的前20个epochbox loss和cls loss快速下降mAP50能从0.2左右爬到0.6mask loss的下降速度明显慢于box loss一直到第80个epoch精细掩码才开始逐轮廓稳定下来。这里有两个信号要重点盯。第一个是mask_loss。掩码损失不降大概率是标注问题——标注轮廓里混入了倒影、浪花这类噪声边界模型学不出一个“干净的船体应该长什么样”。这时候优先回头清理标注而不是盲目加训练轮数。第二个是mAP50-95和mAP50的差距。如果这两个指标相差过大说明模型虽然能把船框住但框的定位不够准、掩码和真实轮廓的贴合度差。这通常指向输入分辨率不够或者雾天小目标特征丢失的问题。3.4 评估结果怎么算才算数评估指标只看最终mAP数字远远不够尤其是雾天这种环境依赖度极高的场景。我当时做了三个层次的分析。第一层是标准COCO指标mAP50、mAP50-95、mask mAP这些指标做横向对比是有意义的但单看一个平均值容易掩盖问题。第二层是按距离分层统计。把验证集按船只在画面中的像素宽度分成近景、中景、远景三档分别计算召回率。雾天场景里远景小目标的召回率往往比近景低一大截如果不分层统计模型“只看近景不看远景”的问题会被平均值掩盖掉。第三层是整个项目最关键的——真实雾天视频验证。直接把模型跑到真实雾天监控视频上观察每帧的检测稳定性、漏检出现的频率、误检主要集中在画面什么位置。这一步能发现很多离线指标看不出来的问题比如某个特定焦距下模型反复漏检、某个时间段的光线方向让误检率飙升。我用s/m/l三个规格的模型做过一次完整的对比模型mAP50mAP50-95掩码mAP推理耗时(ms)YOLO11s-seg0.760.540.513.2YOLO11m-seg0.810.590.566.5YOLO11l-seg0.840.620.6011.8表格里的推理耗时是在单张RTX 3090、FP16精度下测的。一眼就能看出问题l模型只比s模型高8个点的mAP50耗时却是3倍多。对实时性要求高的场景这个性价比并不划算。所以后面我在部署环节花了不少精力做轻量化优化尽量把s模型的精度往上拉。4. 推理部署与性能优化4.1 推理时要不要去雾我在推理阶段专门做了一组对照实验不去雾、DCP暗通道去雾、轻量级学习式去雾三种前置处理在中雾和高雾两类样本上的对比。结果很有参考价值。中雾场景下不去雾的模型mAP50是最高的加了DCP去雾反而掉了3到5个点。原因前面说过DCP在天空和水面区域容易产生伪影这些伪影对检测器来说就是一种新的干扰。而且DCP本身有块效应局部区域的透射率估计经常出现阶梯状突变恰好破坏了船体轮廓这种需要连续边缘信息的结构。高雾场景下情况不同。能见度极低的时候目标在原始图像里几乎只剩一个模糊的灰度印记这时轻量去雾模块确实能把部分轮廓信息捞回来mAP50提升2到3个点。但代价是推理耗时从3.2毫秒涨到11毫秒左右而且去雾效果高度依赖大气光估计的准确度。所以我最终的方案是一个可切换的雾浓度判断路由对输入帧先做一个快速的雾浓度估计用暗通道均值就能判断低于阈值直接进检测模型高于阈值才启动轻量去雾。中低雾本来就是大多数水域场景的常态这样能在保证绝大多数帧速度的同时保留极端情况下的兜底能力。4.2 TensorRT加速与量化踩坑部署优化的第一步是转TensorRT。YOLO11-seg导出TensorRT FP16之后推理耗时大约能比PyTorch原生推理快1.5到2倍精度几乎无损。这一步比较成熟直接导出就行。真正坑的是INT8量化。除了检测头分割掩码分支在量化之后特别容易崩。我实测的其中一个版本INT8量化后检测框mAP只掉了1个点掩码mAP却掉了将近8个点表现为掩码大面积缺失或者边缘出现明显的锯齿状断层。原因是mask分支的特征分布和检测分支不完全一致固定比例缩放对mask分支的扰动更大。如果要做INT8校准集的选择很关键。校准集里必须覆盖不同雾浓度、不同船型的样本不能只拿几百张晴天图去校准。校准集不充分量化后的精度衰减会在雾天样本上被进一步放大。我现在一般优先推荐FP16部署只有在计算资源极其紧张、且实测INT8掩码掉点可控的前提下才上INT8。4.3 蒸馏让轻量模型追平重量级s模型速度快但精度离l模型有差距所以我做了一组蒸馏实验用精度最高的YOLO11l-seg当教师模型YOLO11s-seg当学生模型。除了常规的检测头logit蒸馏还额外加了mask分支的蒸馏让学生模型直接学教师模型的掩码输出分布。蒸馏之后的结果比较理想s模型mAP50从0.76涨到0.79掩码mAP从0.51涨到0.55推理耗时保持3.2毫秒不变。虽然没有完全追平l模型但性价比已经拉到了最高。如果算力进一步受限还可以把s模型再蒸馏到更小的n模型不过那个档位的精度掉得就比较明显了一般不建议。4.4 输入尺寸与切片推理的取舍1280绝对分辨率对小目标友好但对低算力设备来说负担不小。如果部署目标是一块边缘计算板卡而不是服务器GPU我建议做切片推理以更低分辨率作为输入同时把原图切成若干重叠的瓦片并行推理最后用NMS把瓦片结果合并回原图坐标。切片尺寸和重叠率的选取需要实测。我当时测的参数是切片尺寸960×608、重叠率0.2远景小目标的召回率提升明显基本达到了1280全图直出的水平而单帧总耗时控制在合理范围内。不过切片推理不是免费的重叠区域会导致同一个目标被多个瓦片反复检测NMS合并的逻辑要调好。如果场景里远处目标本来就不多可以只在整图帧率不够的时候才启用切片近景为主、目标偏大的场景低分辨率直出就够了盲目上切片只会白白增加计算量。5. 常见问题与排查技巧实录现象可能原因排查思路解决建议雾天远距离目标大面积漏检输入分辨率不足小目标特征丢失查看漏检目标在原始图像里的像素宽度换1280输入或启用切片推理浪花、浮标被误检成船只训练集缺少反例样本背景与船体灰度混淆把误检样本截图分析目标视觉特征补充含浮标、浪花、水花的负样本提高正样本的掩码标注精度分割掩码边缘粗糙、锯齿明显mask分支特征分辨率不足标注边界不干净对比掩码输出和真实轮廓边界开启mask分支输出更高分辨率的特征清理训练集中的粗糙标注训练到一半loss不再下降学习率过大导致震荡数据增强过猛观察loss具体是box/cls/mask哪一项停滞降低lr0或改用warmup策略调低mosaic比例检查合成雾是否产生异常样本INT8量化后掩码精度崩盘mask分支对量化范围敏感对比检测框mAP和掩码mAP的衰减幅度在最终部署更稳妥的情况下优先FP16INT8须用覆盖雾天场景的完整校准集模型在某个特定时段漏检严重低角度阳光在水面产生强反光雾浓度骤变记录漏检的时间段和对应画面特征在训练集中补充对应光照方向的样本必要时启用雾浓度路由增强预处理这里面最容易被忽略的是误检问题里的“反例样本”逻辑。我一开始也以为误检高就是模型不好后来逐个截了误检样本才发现很多是浪花拍岸时溅起的水雾团在画面里确实长得像一个模糊的椭圆形目标。问题不在模型在于训练集里几乎没有“像船但不是船”的负样本。这不只是数据量的问题而是样本结构不完整的问题。另外一个排查经验是分问题的优先次序。漏检和误检要放在一起权衡不能只看单独的召回率或精确率。水域场景落地的真实需求是“能及时发现船只”漏检一辆远距离货船的代价远高于多报一个浪花的代价。所以我在实际调整时会把目标的检测置信度阈值调到一个相对宽松的值宁可多一些误检交给后续的帧间跟踪和逻辑判断去过滤也不牺牲召回。整套项目跑下来我自己最深的感受是雾天船只检测的瓶颈不在模型结构而在数据和工程细节。YOLO11-seg本身的能力是够用的真正拉开差距的是有没有把雾天数据的分布构造好、有没有把部署时的预处理策略想清楚、有没有针对自己场景做充分的分层评估。最后再分享一个小技巧。如果你也是从零开始做类似的水域场景项目可以先拿现成的晴天模型跑通整个数据标注、训练、部署的链路确认每个环节都通顺了再加入雾天数据和增强策略。这样每一步的增益都是可控、可见的出了问题也知道是哪个环节引入的。直接一步到位上雾天数据万一效果不好排查起来会非常痛苦。