一个失败的模型比十个顺利跑通的模型更值得复盘。最近我在做AAE结合ResNet的生成器搭建最终的结果是失败的训练曲线看起来正常重构损失也在下降但生成出来的图像始终是一团模糊的色块边缘还有规律的伪影。换回普通卷积解码器之后同一套AAE框架下很快就恢复了清晰的轮廓。整个过程大约两周踩坑、排查、反复试方案最后虽然放弃了这条技术路线但对AAE、残差结构、生成器设计都有了更深的理解。这篇笔记会把完整的失败过程、排查链路和根因分析记录下来给想给生成模型“加深”的人做个参照。AAE对抗自编码器的生成器本质上是一个解码器它的训练目标不是单纯地重建像素而是在重建的同时配合隐空间判别器把编码器输出的隐变量分布拉向某个先验分布。听起来很简单但当我把解码器主干换成ResNet结构之后种种“看起来合理”的设计最终全部翻车。下面的内容没有按成功教程的写法只讲真实踩坑过程。1. 组合动机AAE生成器需要解码能力我却贪图ResNet的深度优势1.1 AAE生成器在模型里的真实职责不熟悉AAE的同学可以先补一个基础认知AAE 自编码器 隐空间对抗。编码器负责把图像压缩成隐变量z解码器负责从z 重建图像判别器则负责区别“来自编码器的z”和“来自先验分布的z”。训练时解码器要同时满足两个约束一是重构约束即从z 解码出来的图像要尽量接近输入二是对抗约束即整个模型的隐变量分布要逼近先验分布这样训练完成后才能直接先从高斯分布采样z再送入解码器生成新样本。这个设定决定了生成器的核心职责是“解码”也就是从低维、连续的隐变量向量还原出高维、结构化的图像。它和GAN里那种从随机噪声里硬生生“捏”出一张图的生成器还不太一样AAE的生成器本身接收的是经过编码器压榨过的高层语义理论上重构压力会更小一点。也正因为如此AAE的训练比标准GAN温和不少人包括我在内都会误以为解码器怎么换都行。但温和只是表象解码器一端连着重构损失一端连着隐空间对抗任何一端的波动都会互相影响。换一个结构激进的解码器很可能会把温和的训练变成一场拉锯战。1.2 ResNet给我的两点“错觉”我最初选择ResNet理由其实很直接。分类、检测这些任务里ResNet的优势已经被反复验证残差连接能解决深层网络退化问题几十层的网络也能稳定收敛。我当时心里想的是AAE的重构质量受解码器容量限制普通的4到6层卷积解码器总觉得不够“深”如果我用残差块堆出一个更深的生成器重构细节应该能更好。第二个错觉来自“残差块”这个名字。我觉得残差块本质上是通用特征提取单元那它放在编码器里能提取特征放在解码器里也应该能“反向”生成特征。甚至考虑过之后把生成器换成更深的残差主干再加载公开的预训练权重来加速收敛。现在回头看这个想法最大的问题是没有考虑归纳偏差残差结构的卷积、shortcut、批归一化BN这一整套设计是被分类任务的选择压力塑造出来的直接搬到生成任务上等于让一个为“识别”优化的骨架去干“生成”的活。1.3 当时的实验设定为了后面描述方便我把当时的配置统一记录一下输入图像是64×64×3的某公开人像数据隐变量维度128生成器由6个残差块组成每两个残差块做一次上采样分辨率从4×4逐渐加到64×64。batch size 16Adam优化器学习率1e-4重构损失用MSE隐空间对抗损失用二元交叉熵。生成器内部每个残差块都是“上采样 两个3×3卷积 shortcut”输出层接sigmoid。这个配置在当时看来没有任何“作死”的地方甚至可以说是很常规的组合。真正的问题隐藏在每个模块的细节里下面逐一拆开讲。2. 从分类骨架改造成解码器隐藏着的四个深层问题2.1 shortcut一旦带上分辨率变化“恒等”假设就失效了标准ResNet里shortcut的设计前提是“输入输出尺寸不变”残差块只需要学习变化量也就是目标值相对于输入值的残差。即使在某些stage需要下采样也只需用stride2的1×1卷积做shortcut整体仍然尽量保持恒等映射的路径。但生成器不一样它每一步都在放大分辨率。当我把residual block搬过来时shortcut必须跟着做上采样和通道对齐否则相加维度对不上。于是实现变成了下面这样def res_block_up(x, filters): # 主分支上采样 - 卷积 - 卷积 h nearest_upsample(x, scale2) h conv2d(h, filters, kernel_size3, padding1) h batch_norm(h) h relu(h) h conv2d(h, filters, kernel_size3, padding1) h batch_norm(h) # shortcut也要上采样 1x1对齐通道 s nearest_upsample(x, scale2) s conv2d(s, filters, kernel_size1) return relu(h s)表面看这只是为了尺寸匹配而做的妥协但实际上它彻底改变了残差的性质。经典残差块之所以能缓解退化是因为shortcut提供了一条无损的恒等路径梯度可以绕过主分支直达浅层当shortcut被迫执行上采样和1×1卷积时前向传播不再是“恒等小残差”反向传播的梯度也必须穿过额外卷积层“捷径”变成了带参路径。比例稍微失调整个块就会退化成一种既不深也不浅的“杂交结构”。2.2 BN和残差块的组合在生成器里更脆弱分类ResNet里基本标配BNBN能够加速收敛但在生成器里它带来了两个麻烦。第一生成器训练batch size通常偏小当时batch size 16BN统计量的抖动本来就比较大第二AAE有对抗损失隐空间判别器的梯度波动会放大BN统计的不稳定性batch之间的变化会直接反映在生成图像上。更隐蔽的是BN和shortcut相加的顺序问题。我当时用的是常见的post-activation写法主分支经过BN层后数值被归一化而shortcut分支只经过上采样和1×1卷积数值没有被归一化两者相加后主分支的标准化效果直接被打乱。这个问题在分类任务里可能不明显因为分类网络最后一层只需要输出离散类别但生成器要求输出连续的、空间结构精确的像素一点点数值分布错位都会导致深层特征崩溃。2.3 上采样算子会决定伪影的命运残差块里的上采样到底用什么很多人一开始并不上心。我当时先用了转置卷积也就是transposed conv。转置卷积最大的坑是棋盘格伪影它会把卷积核的重叠区域放大导致输出中出现规律性的亮暗条纹。当这种条纹再经过shortcut和主分支相加时会被更深层进一步放大。后来我把转置卷积换成最近邻插值普通卷积棋盘格稍微好转但生成图像的“发虚”问题依旧。因为真正的问题不是插值方式而是残差块的数值路径已经不稳定上采样算子只是压垮骆驼的最后一根稻草。2.4 初始化方法与损失权重的隐性坑还有一个经常被忽略的细节是初始化。分类ResNet的卷积层通常使用针对ReLU设计的初始化方法它在分类任务里表现好但生成器初期输出是接近噪声的大方差特征图再接sigmoid输出时梯度会很容易饱和。我们在生成器里沿用了这套初始化训练早期重建图像一片惨白梯度基本不流动白白浪费了十几个epoch。损失权重方面也存在失衡风险MSE重构损失和隐空间对抗损失的尺度差异很大当时直接按1:1相加对抗信号稍微强一点就把重构带偏导致后续我不得不反复调节λ。这类问题在普通卷积解码器上也有但ResNet解码器因为深层结构的方差放大效应表现得更加敏感。3. 失败现象全记录训练很稳图却很糊3.1 训练曲线的“表面正常期”这次失败最迷惑人的一点是训练过程几乎没有报错也没有出现典型的梯度爆炸或NaN。前10个epoch里重构损失从高位快速下降看起来模型在正常学习。到20到30个epoch之后重构损失进入平台期对抗损失的震荡幅度变大但没有完全崩坏。如果只盯着loss曲线看你甚至会以为再训几百个epoch就会出好结果。我把每50个epoch的生成结果保存下来放大看才发现问题重构图像始终是一团模糊的色块物体轮廓完全没出来。loss下降和图像质量之间出现了明显背离这也是生成模型排查里最容易耽误时间的环节。3.2 重构图的“规律性伪影”细节从隐变量z重建输入图时能看到三个典型症状整体模糊、边缘发虚、出现一种类似“重影膜”的规律条纹。尤其在亮度较高的区域伪影像栅栏一样叠加在图像上。我把不同层的输出都拉出来看过这个条纹最早出现在第三个残差块之后越往后越明显最终输出层的sigmoid只是把这些噪声压缩到了0到1的区间并没有消除。这说明问题不在最后的输出层而在残差块的深层特征叠加过程中出现了不应该存在的规律性误差。3.3 先验采样生成低质量重复纹理训练完成后直接从标准正态先验里采样z再喂给生成器得到的图像比重构图像更糟色彩分布看起来还算符合训练集的整体色调但结构只剩下一团重复纹理没有清晰的语义形状。更关键的是先验采样生成的图像和重构图像之间的差异非常小这意味着生成器的输出已经高度“坍缩”到狭窄区域虽然没到典型GAN模式坍塌的程度但多样性严重不足。3.4 同一框架下的对照组结果为了确认问题到底出在哪一环我把生成器换回最普通的4层上采样卷积解码器编码器和隐空间判别器完全不动其他超参数也保持一致。结果在同样的epoch数下重构图像已经能看出清晰的轮廓和五官位置。这个对比基本把编码器、判别器、损失权重等嫌疑排除掉问题锁定在ResNet生成器结构本身。4. 完整排查链路五个步骤每步都做了关键隔离4.1 第一步关闭对抗损失单独验证重构排查任何GAN类问题第一步永远是拆开耦合系统。我把隐空间对抗损失权重设为0暂时去掉判别器让AAE退化成普通的自编码器只训练编码器和生成器的重构能力。如果ResNet生成器连纯自编码重构都做不好那问题就和对抗训练无关。实测结果很干脆重构依旧模糊而且发虚的程度几乎没有变化。这一步直接缩小了问题范围——不是我训练AAE的技巧问题而是生成器结构或优化本身有问题。4.2 第二步ablation掉shortcut逐层观察接下来我做了一组消融实验把残差块里的shortcut全部去掉让每个块变成普通的上采样卷积堆叠。结果很有意思重构质量反而比带shortcut的版本要好一些。这基本表明在当前这种“带分辨率变化的shortcut”设计里shortcut并不是在帮忙而是一直在帮倒忙。我很确定这不是个别随机现象因为同样的消融实验重复了三次去掉shortcut后的重构损失都稳定更低可视化结果也更好。到了这一步矛头已经非常明确地指向残差连接与上采样的匹配问题。4.3 第三步打印中间feature map发现方差漂移为了看清shortcut为什么帮倒忙我给每一个残差块的输出加了统计打印分别记录主分支、shortcut分支以及相加之后的均值和方差。观察到的现象很典型随着网络加深shortcut分支的输出方差在不断放大而主分支经过BN和ReLU之后方差却在逐层衰减。两者相加之后深层残差块的最终输出基本上由shortcut主导。换句话说深层网络里的那些非线性卷积没有在重构中发挥真正作用它只是在上采样直通线的旁边挂了一堆被“短路”掉的计算。这也是为什么去掉shortcut反而更好的直接原因。4.4 第四步调整BN顺序与归一化类型重建路径有问题自然怀疑是BN捣乱。我把每个残差块的BN先后做了两个改动一是把post-activation改成pre-activation也就是先BN再卷积再激活二是把BN直接换成GroupNorm或者干脆去掉归一化。前者的改动让训练稳定性略有提升loss更平滑后者的结果就比较接近普通卷积解码器了。这说明BN不是最根本的原因但它会放大shortcut的方差漂移问题。当两者叠加时深层特征分布已经乱到输出层无法修复。4.5 第五步统计梯度确认深层被“短路”最后我检查了一下梯度。单独看最后一个残差块主分支的梯度范数发现它比去掉shortcut的对照组小了将近一个数量级。原因其实很清晰梯度既能走主分支也能走shortcut分支而shortcut分支是一条参数更少、路径更短的通道优化器天然倾向“抄近道”。于是深层残差块的主分支更新缓慢几乎学不到有效的生成变换整个残差块名存实亡。到这里失败根因已经从现象上升到优化理论层面带分辨率变化的shortcut破坏了残差设计的初衷造成梯度分配失衡。5. 我试过的常规补救方案和它们的真实反馈在最终承认失败之前我针对上述怀疑点做了几轮常规补救为了避免后来者重复劳动我把真实反馈列在这里。补救方案具体操作效果评估降低学习率1e-4降到3e-5并加warmup训练更稳定但重构质量没有本质提升优化器调整Adam的beta2从0.999调成0.99对抗震荡减轻图像依然模糊换对抗损失二元交叉熵改成最小二乘形式判别器加谱归一化隐空间分布更接近先验重构端问题照旧增大batch size16提升到32曲线更平滑显存吃紧输出无明显改善两阶段训练先纯自编码器预训练再开对抗重构有轻微改善但开启对抗后重建退化减小深度残差块数量从6减到3稳定性上升仍不如同层数的普通卷积解码器使用预训练权重尝试加载低层卷积权重基本无效分类任务和生成任务的底层特征需求差异过大最让我意外的是四组按部就班都失败了。原因不难理解这些都是对抗训练的“表面参数”而ResNet生成器的问题是结构层面的归纳偏差调超参只能缓解症状不能改变残差块内部的工作方式。6. 根因复盘残差结构的恒等先验和生成任务有本质冲突6.1 残差学习的前提是目标贴近恒等映射ResNet论文里最核心的观点是如果网络要学习的映射与恒等映射很接近那么让网络去学习残差会比重新学习完整映射容易得多。这个假设在分类任务的深层特征里是成立的每一层都保留了上一层的核心信息只在其基础上做少许抽象恒等路径给了网络一个很好的“下限保障”。生成任务完全不是这么回事。生成器要从latent向量开始一路把特征图从4×4放大到64×64每一层的目标都是产生新的空间结构、新的像素信息它需要的是大幅度的非线性变换。当shortcut持续把上一层的特征原封不动地搬运到深层时这个恒等先验反而成了负担网络只需要加大搬运力度就能把loss降到一定水平而不需要真正学习生成细节。6.2 带分辨率的shortcut已经不是经典残差退一步讲即使生成器确实需要残差思想我当初的做法也违背了残差的原始设定。经典残差的shortcut是无损的、可以直通梯度的而为了匹配上采样我给shortcut加了卷积和插值梯度必须穿过额外参数才能回传“直通”优势没了“残差”也变成了名义上的残差。如果一定要在生成器里用残差连接更合理的方式是让shortcut尽量保持“恒等”固定feature map分辨率只叠加特征图数量把上采样工作独立到残差块外部。我后来验证过这种改法稳定性确实比最初版本好很多但说实话这已经不是严格意义上的ResNet解码器了。6.3 BN的batch依赖叠加对抗波动是另一个助推器BN在分类任务里能正则化是因为分类数据的监督信号非常稳定每个batch的均值方差都有明确的统计意义。生成器面对的输入是latent噪声输出是连续像素训练信号的对抗性波动原本就大BN又强行把每个batch的样本捆绑在一起让生成器无法对单一样本做出稳定响应。排查中把BN换成GroupNorm之后重构质量明显提升这从侧面验证了上述推断。虽然BN不是唯一原因但它是导致深层残差块输出方差漂移的重要放大器。6.4 结论不是ResNet不好是不适合直接当AAE的生成器复盘到这里我的结论已经很清楚ResNet是一套为“识别”优化的结构将它直接平移成AAE解码器会遇到归纳偏差、梯度分配、归一化语义等多重不匹配。失败不是某个参数没调好而是这一整套设计思路和生成任务格格不入。7. 如果让我重做一次保留残差思想的可行改法7.1 把上采样放到残差块外面第一个可行的调整是保持残差块内部分辨率固定只在块之间进行上采样。也就是说残差块输入和输出的尺寸一致shortcut只需要做通道对齐不需要动分辨率上采样统一放到下一个残差块之前执行def fixed_res_block(x, filters): h conv2d(x, filters, kernel_size3, padding1) h group_norm(h) h relu(h) h conv2d(h, filters, kernel_size3, padding1) h group_norm(h) s conv2d(x, filters, kernel_size1) return relu(h s) # 使用方式先上采样再进入残差块 x nearest_upsample(x, scale2) x fixed_res_block(x, filters)这一小幅改动恢复了shortcut的“恒等”语义梯度回传不再被额外上采样卷积干扰训练稳定性有明显提升。7.2 生成器里的归一化改用GroupNorm或去掉BN既然BN在生成器里会引入batch依赖最简单实用的做法就是换成GroupNorm。不需要刻意追求太花哨的归一化方案GroupNorm已经是很多生成模型的默认选择。如果batch size足够稳定也可以尝试只对编码器保留BN生成器全部使用GroupNorm以彻底切断batch间统计波动。7.3 两阶段训练的正确顺序如果非要让AAE和复杂生成器一起训两阶段训练确实是有效手段但顺序很重要。预训练自编码器阶段可以先让编码器和生成器充分拟合重构任务等生成器真正具备了解码能力后再打开隐空间判别器。这个阶段里生成器已经处于一个较优的参数附近对抗损失不会立刻把解码器拉乱。7.4 更务实的替代架构选择就AAE的生成器而言我的个人建议是不要硬搬分类网络的骨干。普通DCGAN式解码器上采样卷积ReLU在AAE里表现稳定实现简单适合作为基线如果追求更好的细节可以走UNet结构让编码器的跳层连接辅助解码器重构如果再激进一些直接参考现代GAN生成器里的“上采样块调制/解调制”结构大概率比你手工改残差块更省心。7.5 这次失败让我学会的最后一件事两周的失败换来不少东西不要因为某个结构在A任务里强就默认它在B任务里强训练loss下降和图像质量提升是两回事排查复杂生成模型问题时先拆耦合再用消融和统计工具定位不要一上来就调超参。AAE结合ResNet的生成器搭建对我来说没能跑通但把这个过程完整记录下来比假装成功更有价值。如果这段话能给后来者省下几天排查时间那这次翻车也算没白翻。