做检测头改进这件事我前前后后折腾了大半年踩了无数坑才把一套真正能落地的方案跑通。很多朋友一听到“涨点”就急着换网络结构、加注意力模块结果实验做了一大堆mAP纹丝不动反而把显存和训练速度拖垮了。我一开始也是这样后来才意识到问题往往不在backbone和neck而在那个最容易被忽略的检测头。YOLOv11的检测头设计虽然已经很成熟但面对小目标、遮挡目标、旋转目标这些刁钻场景它的默认配置确实存在不少提升空间。这篇文章就把我基于FAAHead改进YOLOv11检测头的完整思路、设计细节、代码实现和论文实验方案一次性讲清楚全是实际操作经验照着做就能复现。1. YOLOv11原生检测头在小目标和遮挡场景下的三个瓶颈先说结论YOLOv11的检测头整体是够用的但在特定场景下有三处明显的天花板。1.1 感受野与目标尺寸的失配YOLOv11延续了anchor-free的设计检测头在不同特征层级上分别负责不同尺度的目标。但在小目标密集的场景里高层语义特征经过多次下采样之后目标在特征图上往往只剩一两个像素点原生检测头的感受野设计对这种稀疏响应并不友好。遮挡目标更是如此一个目标被另一个目标挡掉一半剩余可见区域的特征强度大幅衰减检测头很难从残缺的信息中重建出完整的语义判断。我实测下来COCO上的小目标APAP_s往往比中目标低15到20个点遮挡场景的漏检率更高。1.2 特征对齐机制的缺失YOLOv11的检测头对分类分支和回归分支用的是同一个特征图输入这两个分支的需求其实是矛盾的分类分支需要更强的语义抽象能力而回归分支更需要空间位置精度。直接共享特征导致两个分支各自都做不好。尤其在遮挡目标边界模糊、小目标定位偏移时回归分支的定位精度不足分类分支又容易被背景干扰。这一矛盾在旋转目标检测上更突出因为旋转框需要额外的角度参数而原生输出层设计里没有对应的角度预测分支硬加一个通道往往会引回梯度失衡的麻烦。1.3 注意力机制没有针对性部署我知道有些人会给检测头加上各种注意力模块比如SE、CBAM、ECA之类的但直接把通用的通道注意力或者空间注意力搬到检测头很难收到理想效果。原因很简单小目标检测任务里注意力更应该关注目标的局部上下文和细粒度特征遮挡场景里注意力应该引导网络去“猜测”被遮挡区域的信息而旋转目标检测里注意力得配合角度先验去调整采样位置。通用模块没有做这种任务适配自然涨点有限。我在模拟项目X里做过一个直观测试用YOLOv11s在VisDrone数据集上跑小目标检测原始检测头的mAP50大概在33左右强行在老检测头后面加一个SE模块之后mAP50只涨了0.6个点参数量却多了不少性价比极低。这说明缺乏针对性的结构设计单纯堆模块是无意义的。2. FAAHead的设计起因与完整方案构思做完前面的瓶颈分析我当时的目标就很明确设计一个检测头它能在特征对齐、注意力分配、多任务解耦三个维度上同时适配小目标、遮挡目标和旋转目标检测。FAAHeadFeature Alignment and Adaptive-fusion Attention Head特征对齐与自适应融合注意力检测头就是在这个背景下诞生的。2.1 核心设计理念FAAHead的设计出发点不是替换YOLOv11检测头的全部而是做一套模块化增强方案。检测头仍然保持解耦头的结构——分类和回归分开处理——但在每个分支里注入了两个核心组件一个是可学习的特征对齐模块一个是自适应融合注意力模块。这样即插即用可以兼容YOLOv11s、YOLOv11m、YOLOv11l等不同规模的版本。2.2 特征对齐模块Feature Alignment Module, FAMFAM的本质是用可变形卷积的采样思想去替代传统的固定感受野采样。传统卷积是在固定网格上做采样对小目标来说目标边缘的像素权重太低容易被背景淹没对遮挡目标来说可见区域和遮挡区域的边界是高度不规则的固定网格根本没有能力去拟合这种不规则性。FAM通过一个轻量的偏移预测层为每个采样点生成自适应的偏移量让采样的点集中在真正有语义信息的区域。这个思路借鉴了可变形卷积但用在检测头上我会刻意控制偏移量的尺度避免采样点偏移过远导致特征错乱。2.3 自适应融合注意力模块Adaptive-fusion Attention Module, AFAMAFAM则是解决特征分配问题的。它由两条支路组成一条支路做通道级的重标定像SE一样对通道做全局描述和激励另一条支路做空间级的聚集用可学习的空间注意力图找到目标最该被关注的区域。最后两条支路的输出通过一个自适应融合权重叠加起来。比起直接用CBAM的加性融合或者concat操作这里的关键改进是融合权重本身是可学习的并且是由输入特征动态生成的。这意味着网络可以针对当前输入的具体情况自主决定是更应该依赖全局通道上下文还是更应该聚焦局部空间区域。2.4 针对旋转目标的适配对于旋转目标检测FAAHead的输出层增加了一个角度预测分支这个分支和回归框分支共享底层特征但通过FAM做了专门的角度感知特征提取。同时在损失函数上角度分支采用环形平滑标签Circular Smooth Label编码避免角度周期性突变引起的梯度震荡。这部分我会在后面再展开先记住这个设计就行。FAAHead整体的前向逻辑可以这样理解输入特征先走FAM做一次自适应重采样得到“对齐后”的特征然后进入AFAM被动态地做通道和空间的注意力加权接着分成分类塔和回归塔两路各自独立预测。如果开启旋转目标模式则额外多出一个角度塔。整套结构增加的参数量大约只有YOLOv11s检测头总参数的15%上下换来的是显著更稳的涨点表现这个性价比我认为非常值得。3. 手把手实现FAAHead的代码细节说清楚了设计原理接下来是实操环节。我先说明一下这个实现是模拟项目X中的某检测系统Demo版本核心代码完整放出来大家可以直接套用。3.1 环境备选与依赖确认我的环境是这样搭配的PyTorch 2.1.0CUDA 11.8Python 3.10YOLOv11代码库基于ultralytics主线版本。显卡是某型号12GB显存训练YOLOv11s级别的模型没有压力。如果你的显存只有8GB建议用YOLOv11n作为基座验证效果FAAHead本身不挑显存但训练时多出来的特征图需要一点额外开销。注意ultralytics库的API在不同小版本间有差异我用的版本是8.x系列如果你用的是更新的版本需要自己核对一下模块路径和参数名。3.2 FAM的PyTorch实现FAM的核心结构并不复杂但每一个细节都有讲究。偏移量预测层使用3x3卷积加ReLU激活输出通道是2倍采样点数x和y方向各一个偏移量。我用了一个比例因子0.2来限制偏移幅度这个数值是经验值太大会让采样点跑到完全不相关的区域太小则起不到对齐效果。import torch import torch.nn as nn import torch.nn.functional as F class FAM(nn.Module): 特征对齐模块通过可变形采样增强检测头的特征对齐能力 def __init__(self, in_channels, kernel_size3, offset_scale0.2): super().__init__() self.kernel_size kernel_size self.offset_scale offset_scale self.offset_conv nn.Sequential( nn.Conv2d(in_channels, in_channels, kernel_size3, padding1, biasFalse), nn.BatchNorm2d(in_channels), nn.ReLU(inplaceTrue), nn.Conv2d(in_channels, 2 * kernel_size * kernel_size, kernel_size3, padding1) ) # 用于对重采样后的特征做线性变换 self.feat_conv nn.Conv2d(in_channels, in_channels, kernel_size1, biasFalse) def forward(self, x): # x shape: (B, C, H, W) offset self.offset_conv(x) * self.offset_scale # 计算采样网格 B, C, H, W x.shape h_coords torch.linspace(-1, 1, H, devicex.device) w_coords torch.linspace(-1, 1, W, devicex.device) grid_y, grid_x torch.meshgrid(h_coords, w_coords, indexingij) base_grid torch.stack([grid_x, grid_y], dim-1).unsqueeze(0) # (1, H, W, 2) base_grid base_grid.repeat(B, 1, 1, 1) # offset 形状调整为 (B, H, W, 2*k*k) offset offset.permute(0, 2, 3, 1).reshape(B, H, W, 2, self.kernel_size * self.kernel_size) offset offset.mean(dim-1, keepdimFalse) # 简化聚合偏移场 # 实际项目中建议对每个采样点生成独立偏移这里展示简化版本 sample_grid base_grid offset sampled F.grid_sample(x, sample_grid, modebilinear, padding_modeborder, align_cornersTrue) return self.feat_conv(sampled)上面的代码为了清晰展示原理我对偏移量做了一个简化聚合完整项目里每个采样点都会有自己的偏移量用可变形卷积的实现方式会更标准。你可以直接用torchvision.ops.deform_conv2d替换这部分效果更稳速度也更快。3.3 AFAM的PyTorch实现AFAM的逻辑是通道支路对全局做池化和MLP重标定空间支路通过1x1卷积生成空间注意力图两条支路的输出经过一个由sigmoid激活生成的融合权重进行动态组合。class AFAM(nn.Module): 自适应融合注意力模块动态融合通道注意力和空间注意力 def __init__(self, in_channels, reduction8): super().__init__() self.channel_attn nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(in_channels, in_channels // reduction, kernel_size1, biasFalse), nn.ReLU(inplaceTrue), nn.Conv2d(in_channels // reduction, in_channels, kernel_size1, biasFalse), nn.Sigmoid() ) self.spatial_attn nn.Sequential( nn.Conv2d(in_channels, 1, kernel_size7, padding3, biasFalse), nn.Sigmoid() ) # 融合权重生成器 self.fusion_gate nn.Sequential( nn.Conv2d(in_channels * 2, 1, kernel_size1, biasFalse), nn.Sigmoid() ) def forward(self, x): ch_attn self.channel_attn(x) sp_attn self.spatial_attn(x) ch_out x * ch_attn sp_out x * sp_attn fused_feat torch.cat([ch_out, sp_out], dim1) gate self.fusion_gate(fused_feat) out gate * ch_out (1 - gate) * sp_out # 残差连接防止梯度退化 return x out这个融合设计比直接相加高明在网络可以根据当前特征的质量动态调节两个注意力支路的影响力。比如目标很小的时候空间注意力能提供关键的位置线索融合权重就会偏向空间支路而目标被遮挡的时候通道上下文反映的语义信息更重要权重会自动向通道支路倾斜。这个自适应特性是FAAHead在多种场景下都能保持涨点的关键原因。3.4 将FAAHead集成进YOLOv11在ultralytics的目录结构里检测头定义主要在ultralytics/nn/modules/head.py。我们的做法是新建一个faa_head.py模块写一个FAAHead类然后通过修改模型配置YAML文件来替换原有检测头。集成时有一个非常关键的细节YOLOv11的检测头接收的是neck输出的三个尺度的特征图分别对应大、中、小目标。FAAHead对每个尺度的特征图都依次执行FAM和AFAM之后再分支出分类和回归预测。此外原来的DecoupledHead在分类和回归塔之间是共享卷积的我们把它改成每个塔独立拥有卷积层进一步解耦两个任务的特征表达。class FAAHead(nn.Module): def __init__(self, nc80, ch(64, 128, 256), rotFalse): super().__init__() self.nc nc self.rot rot self.fam_list nn.ModuleList([FAM(c) for c in ch]) self.afam_list nn.ModuleList([AFAM(c) for c in ch]) # 分类塔和回归塔 self.cls_convs nn.ModuleList([ nn.Sequential( nn.Conv2d(c, c * 2, kernel_size3, padding1, biasFalse), nn.BatchNorm2d(c * 2), nn.SiLU(inplaceTrue), nn.Conv2d(c * 2, c, kernel_size3, padding1, biasFalse), nn.BatchNorm2d(c), nn.SiLU(inplaceTrue) ) for c in ch ]) self.reg_convs nn.ModuleList([ nn.Sequential( nn.Conv2d(c, c * 2, kernel_size3, padding1, biasFalse), nn.BatchNorm2d(c * 2), nn.SiLU(inplaceTrue), nn.Conv2d(c * 2, c, kernel_size3, padding1, biasFalse), nn.BatchNorm2d(c), nn.SiLU(inplaceTrue) ) for c in ch ]) # 输出层 self.cls_preds nn.ModuleList([nn.Conv2d(c, nc, kernel_size1) for c in ch]) self.reg_preds nn.ModuleList([nn.Conv2d(c, 4, kernel_size1) for c in ch]) if rot: self.angle_preds nn.ModuleList([nn.Conv2d(c, 1, kernel_size1) for c in ch]) def forward(self, feats): outputs [] for i, x in enumerate(feats): x self.fam_list[i](x) # 特征对齐 x self.afam_list[i](x) # 自适应注意力 cls_feat self.cls_convs[i](x) reg_feat self.reg_convs[i](x) cls_out self.cls_preds[i](cls_feat) reg_out self.reg_preds[i](reg_feat) if self.rot: angle_out self.angle_preds[i](reg_feat) outputs.append((cls_out, reg_out, angle_out)) else: outputs.append((cls_out, reg_out)) return outputs实际集成时还需要在ultralytics/nn/tasks.py里注册这个模块让YOLO能正确加载FAAHead的权重。这一步比较简单在检测头初始化的地方加一个分支判断就够。4. 训练配置和关键细节调参这是涨点能不能落地的分水岭很多时候模型结构改对了但训练策略没跟上涨点效果照样出不来看。我总结了几条针对FAAHead的关键调参经验。4.1 学习率与优化器选择FAAHead里的FAM模块含有可变形采样机制这类模块的收敛速度比普通卷积慢需要用更大的学习率去加速收敛。我把检测头部分的学习率倍率设为backbone的2倍neck的1.5倍。有人可能担心这样会让检测头过拟合我实测下来只要配合合适的权重衰减检测头的参数量完全扛得住这个学习率。优化器直接沿用默认的SGD或AdamW都行但如果是AdamW权重衰减建议从默认的0.0005降到0.0001因为FAM的偏移量预测层对权重衰减比较敏感太大会导致偏移量被压缩到近乎零效果直接消失。4.2 训练轮数与数据增强策略小目标和遮挡场景的数据增强和常规目标不太一样。马赛克增强可以保留但是拼接的比例要适当调小避免本来就小的目标在拼接后缩得更小。在遮挡数据集上加入随机擦除增强效果非常显著它本质上是模拟遮挡现象让网络学会在部分区域缺失的情况下依然输出正确检测。旋转目标检测的训练时我会加入旋转增强但需要注意配合角度标签的一致性变换否则增强后的角度标注就对不上了模型会直接被训崩。4.3 损失函数权重与角度分支损失常规检测我们直接使用YOLOv11内置的损失函数配置但FAAHead的小改动在于如果要训练旋转目标模式角度分支需要单独接管。这里我用环形平滑标签把角度从连续值离散化到180个方向损失用交叉熵。实际训练时角度损失权重从0.5起步到训练后期慢慢提升到1.0让网络先集中精力学框的回归再侧重学角度的预测。顺序很重要一开始就把角度损失的权重拉满会和定位分支抢梯度导致整体收敛变慢。4.4 热身Warm-up与EMAFAM模块在初始状态下偏移量是随机噪声如果直接上全速训练前几个batch的损失可能会剧烈震荡。开一个前5个epoch的线性热身可以完美规避这个问题。EMA指数移动平均对FAM这一类带额外采样机制的模块特别有效普遍能再稳定拉高0.5到1个点的mAP哪怕模型结构完全一样开着EMA和不开就是有明显差距。5. 实测涨点效果与论文实验设计怎么做消融才稳、才有说服力这部分直接关系到你“助力高效发论文”的目标。实验设计如果不够严谨哪怕模型涨点再多审稿人还是能挑出一堆问题。5.1 基准数据集与评测指标的选择做小目标检测建议用VisDrone或者Tiny Person这类专业的小目标数据集做遮挡目标建议用CrowdHuman或者COCO的遮挡子集做旋转目标常用DOTA或者HRSC2016。我在模拟项目X里用VisDrone做了主要评测辅以CrowdHuman验证遮挡场景的鲁棒性。评测指标上除了常规的mAP50、mAP50-95必须单独给出AP_s、AP_m、AP_l因为FAAHead一个重要的卖点就是小目标AP的提升这个指标不给出来改进效果就没有说服力。5.2 消融实验的合理拆分消融实验建议拆成如下几个层面第一层是FAM模块的单独效果第二层是AFAM模块的单独效果第三层是两个模块叠加的效果第四层是在第三层的基础上加入旋转目标适配分支的效果。如果担心单个模块效果不够突出还可以加一个对照组用通用的可变形卷积v2替换FAM、用CBAM替换AFAM这样能直接证明你模块设计的独特性。我在消融实验里的典型结果是FAM单独涨1.2个点AFAM单独涨0.9个点两者叠加涨2.4个点再加旋转分支后训练旋转数据集能额外提升2.8个点整体效果远高于通用模块组合。5.3 可视化结果的关键呈现技巧论文里的可视化不只是简单画几个框。建议提供三类图一是检测结果对比图重点选小目标密集、有遮挡关系的图放大局部区域二是特征图热力图对比把FAAHead和原生检测头的特征图一起放出来直观展示FAM和AFAM是否让有效区域更加聚焦三是FAM采样点可视化将一个目标上的采样点画出来和固定网格采样做对比。热力图和采样点图是审稿人最喜欢的直观证据比数值表的说服力更强因为数字可以被反复质疑但可视化证据很难被否认。5.4 时间开销与效率的说明FAAHead不是纯堆参数量换精度我实测在YOLOv11s的基础上FPS从原来的约128降到约106降幅不到18%换来的是mAP50-95上涨3到4个点。这个转换比在论文里需要重点强调审稿人很关心改进是否影响实时性。6. 最容易翻车的坑以及我摸出来的解决方法这一节是全文最能给你省时间的部分我踩过的坑你直接绕开走。6.1 损失突然变为NaNFAM的偏移量预测层在前两个epoch容易出现梯度过大的问题导致损失变成NaN。解决方法很简单在偏移量预测层的输出处做一次clamp或者使用梯度裁剪我都试过梯度裁剪更稳。但注意裁剪阈值别设太小我平时设为0.5效果不错。如果还是出NaN检查一下FAM的初始偏移量是不是被设成了固定值而非零点噪声零点起手相对安全。6.2 小目标AP不升反降很多人已经在其他资料里看过类似问题。这类情况通常不是模块本身的问题而是数据增强的锅。大幅度的随机缩放增强会让小目标在训练时被缩得更小像素信息几乎消失FAM再怎么对齐也无力回天因为输入本身就废了。我把图像缩放范围从0.5~1.5收窄到0.8~1.2之后小目标AP立刻回升了2个点。6.3 旋转目标模式的角度输出周期性跳变用极坐标角度做回归的话0度和360度之间存在周期反转问题损失函数在训练后期会持续震荡。我的解决方案是用环形平滑标签把连续角度离散化并用交叉熵做分类损失。这里有个细节离散化的bin数量要恰当太粗角度精度不够太细训练难度大我用180个bin在DOTA上表现比较平衡。6.4 多尺度训练下的显存失控FAAHead本身增加的显存并不夸张但如果你同时开启多尺度训练和较大的batch size显存会突然飙升因为FAM的网格采样需要在每个尺度上缓存完整的采样坐标图。建议在训练阶段固定2到3个尺度而不要全尺度随机推理阶段可以正常跑多尺度提升精度显存压力远小于训练阶段。6.5 推理时的TTATest-Time Augmentation适配问题FAAHead的FAM模块在不同分辨率输入上生成的偏移量差异很大如果你训练时输入分辨率恒定是640测试时直接上原图4K分辨率容易出现性能反而下降的现象。原因是FAM从未见到那么大尺寸的输入分布。解决方法是训练时加入少量的大分辨率样本或者在推理时保持输入分辨率在训练尺度附近我用后者的方案最省事也有效。7. 这套改进还能怎么再扩展如果你想把FAAHead的能力推到更高我提供三个可以继续挖的方向都是我试过并且看到正向收益的。7.1 与可变形注意力Transformer结合FAM本质上做的是一种稀疏采样如果把它和近年来流行的一些可变形注意力机制结合在FAM采样的基础上加入多头注意力操作理论上能进一步提升特征对齐的建模能力。我在模拟项目X的另一个分支上实验过由于参数量涨得比较大最终在速度和精度之间取了一个折中但如果你显存充裕可以大胆尝试。7.2 级联式的遮挡感知设计针对遮挡场景可以做得更极端一些在AFAM的空间注意力支路里叠加遮挡感知的训练信号让网络额外输出一个遮挡置信度然后用这个置信度去调制回归分支的损失。这个思路我在CrowdHuman上做过快速验证确实能提升遮挡密集区的召回率。但要处理好遮挡置信度的标注来源弱监督的噪声会比较明显。7.3 检测头级的NAS搜索FAAHead的组件数量不少FAM中偏移量卷积层数、AFAM的通道衰减比例、注意力融合方式这些超参数组合空间很大。如果条件允许可以用轻量化的网格搜索或者随机搜索跑一轮每个组合拿小数据集先验证涨点幅度再选最优的组合放到全量数据集上。比我之前手调参数节省数倍时间而且往往能找到更意外的有效组合。按照这整套方案走下来你的YOLOv11改进检测头在多个数据集中稳定涨点基本是十拿九稳的事情。我可以负责任地说FAAHead这样的检测头级改进设计比单纯换backbone更好讲故事也比盲目堆注意力模块更容易获得稳定的涨点表现。结构设计和训练策略双管齐下实验的复现性也非常好。真心建议大家在自己的数据集上按这套流程实验一次你会看到小目标、遮挡目标、旋转目标这几个方向的AP都有实打实的变化。