先把结论放在前面玩 Stable Diffusion 的人里十有七八开口就是“炼丹”但真正把“丹”练明白的人不多。大多数情况是从网上抄了一套参数丢进脚本里跑十几个小时出来一看不是过拟合就是五官崩坏然后就开始怀疑数据集、怀疑显卡、怀疑人生。这篇我把自己的微调流程、参数思路、踩坑记录和最后实际能用的经验全部摊开来讲给正打算入坑或者已经被坑过的朋友一份可以直接照抄的参考方案。1. 炼丹这事到底炼的是什么1.1 先理清 SD 微调的几个真入口很多新手一上来就盯着大模型底模疯狂折腾其实完全没必要。Stable Diffusion 的“炼丹”严格来说可以拆成四条完全不同的技术路线每条路线的适用场景、训练开销和效果反馈都不一样Textual Inversion文本反转只学习几个新的关键词向量不动底模的任何权重。训练的参数量极小一张卡跑个二三十分钟就能出结果。适合固定风格关键词或某个特定主体的轻量绑定。缺点也很明显表达能力和稳定性都比较弱复杂概念基本学不进去。LoRALow-Rank Adaptation在底模的交叉注意力层和 Transformer 块旁边挂上低秩矩阵训练时只更新这些附加参数。这是目前个人炼丹最均衡的选择训练速度快、显存占用小、效果相对可控风格、角色、物件、画风都能学。DreamBooth直接对整个扩散模型做少量步数的微调结合“罕见词”机制让模型学会绑定某个特定主体。效果是所有方案里最稳的但需要较大的显存容易把底模原本的能力冲掉必须配合 prior preservation 策略来兜底。适合做单一物体或角色的身份保持。Hypernetwork / 嵌入模块属于比 LoRA 更早期的方案现在用的人已经很少了除非你在研究老技术栈否则不建议新入坑的人碰。我个人的建议是优先把 LoRA 练熟再碰 DreamBooth。这两个能覆盖 90% 的日常需求其它花活等基础扎实了再玩。1.2 炼丹的本质是一趟“配平”过程很多人把炼丹理解成“模型学得越久越好”这个想法害人不浅。无论是 LoRA 还是 DreamBooth本质都是在做一件事在“学会新概念”和“忘掉旧知识”之间找一个平衡点。打个比方底模就像一个天生全能的画师什么画风都能上手什么题材都能画。你拿一叠样本给他看让他照着练他很容易从一个全能画师变成只擅长这叠样本的“专项画师”。如果样本量不够或者训练步数过头他甚至会把原本的技艺丢掉——这就是过拟合。反过来训练不足他又没学会你给的题材生成出来依旧四不像。所以我在实际练丹时每次都会把训练过程当成一个类似“反馈回路”来控制跑几个 epoch 就停下来看一眼生成效果根据结果调整学习率或步数而不是一口气跑完就收工。这样做效率低一点但翻车率低很多。2. 训练方案选型背后的取舍逻辑2.1 为什么 LoRA 成了事实上的主流LoRA 能火起来不只是因为省显存。它的核心思路是给模型加“外挂”这直接带来三个实打实的好处第一可组合性强。你练好一个画风 LoRA 和一个角色 LoRA它们可以同时挂在一个底模上一起生效互不干扰。换用 DreamBooth 训练出的模型想组合就困难得多通常只能特化某一个主题。第二训练成本低到可以反复试错。我的经验是1024 分辨率、20 张左右高质量数据集、跑 10~12 个 epoch在单张消费级显卡上也就一两个小时。如果效果不好改完参数再来一轮成本完全可接受。第三版本管理方便。LoRA 只是一个几百 MB 的小文件你可以同时保留十几个不同训练阶段的版本。使用时直接换文件不影响底模本体。这一点对做系列化风格、反复迭代的实验特别顺手。2.2 DreamBooth 适合哪些情况DreamBooth 是我做“主体保留型”任务时的首选。典型场景是我要让模型始终生成戴着某款特定机械手表的角色、或者某个固定五官长相的虚拟形象。这种场景下LoRA 比较容易出现细节飘忽、角度一歪就认不出来的问题而 DreamBooth 因为动了底模本身的权重绑定感会明显强一些。代价就是训练代价高了不少。16G 显存跑起来比较舒服8G 显存就得靠各种显存优化手段硬撑。还有一个容易被忽视的点DreamBooth 必须严格控制训练步数因为它对底模的“破坏力”比 LoRA 大得多。哪怕多跑几百步出来的图都可能跟原底模的风格产生肉眼可见的偏差。2.3 放弃全量微调的原因看到这里你可能会想既然 DreamBooth 效果好那直接对整个底模做全量训练不是更强答案是你的数据和算力撑不住。全量微调Full Fine-tune意味着要把底模的几十亿参数全部更新一遍。这需要极大规模的数据集和大量算力。个人玩家用几十张图去做全量微调唯一的结局就是灾难性的过拟合——模型把所有训练图的构图、背景、光影全都背下来了生成什么都像是原图的复读。LoRA 和 DreamBooth 能成为主流本质上就是对“算力、数据、效果”三个约束条件的现实妥协。3. 数据集准备真正拉开炼丹差距的地方3.1 数据质量的三条硬标准我在跑过上百轮训练之后得出一个结论模型效果的上限由数据集质量决定参数搭配只是保住这个上限的手段。数据烂再好的参数也救不回来。整理数据集时我给自己定了几条硬标准数量贵精不贵多。角色训练 20~40 张足够风格训练 50~100 张足够。盲目堆到几百张如果内容重复度高、构图单一反而会让模型学到的特征密度不均。主体必须足够突出。训练目标是让模型学会“这个角色长什么样”不是“这个角色的背景是什么”。所以我做角色炼丹时选图基本是半身或头部特写全身图和多人图要么裁剪要么干脆不要。背景越干净越好杂乱的背景会让模型把背景当成角色特征一起学进去。分辨率必须统一且达标。所有训练图我会先统一缩放到 512×512 或 1024×1024。分辨率不够的图直接排除模糊图、压缩严重的网络图都是过拟合的隐患。这里尤其要注意很多看起来清晰的图放大后细节全是涂抹痕迹这种图我会直接淘汰。3.2 标签标注的精读与泛读策略标签对 LoRA 训练的影响非常大新手最容易在这里翻车。先说方式。目前主流工具是 WD14 Tagger 这类自动打标工具基础标签生成很快但直接拿来自动生成的标签做训练效果往往不够好。我自己的流程是先用工具打底再手动清洗一遍。重点清洗两类问题一是把不相关的内容删掉二是把需要强绑定的特征词保留下来。这里有个容易被忽略的细节标签的作用是告诉模型“哪些是主体特征哪些是可以忽略的干扰项”。训练图里反复出现的元素如果没打上标签模型就会默认它是主体的一部分。比如你训练的是一个戴眼镜的角色所有图都戴眼镜但你没加“glasses”标签模型就会把眼镜学成角色的面部特征。于是你用这个 LoRA 生成不戴眼镜的版本时会发现怎么调提示词都去不掉眼镜。对于触发词也就是炼丹圈常说的 trigger word我的习惯是用一个低频的、不易跟底模原有词汇混淆的词。不建议直接用 “a girl” 这种通用描述也不建议用过于生僻的字符串最好是“底层几乎不会单独出现、但你容易记住”的组合词。触发词在每张训练图的标签里都要带而且放在最前面。还有一个取舍画风类的训练数据我一般只保留风格描述标签不写太细的构图描述角色类的训练数据则要把发型、发色、服装、动作、表情这些描述性标签分开细化。目的就是让模型既知道“这个角色长这样”又知道“可以让她换姿势、换服装”。3.3 裁剪与主体占比的细节处理我个人强烈建议训练之前检查每张图的主体占比。主体太小的话模型学到的是“环境 小人物”生成结果就非常容易飘。实操上我会把主体居中裁切让主体在画面中至少占到 60% 以上的面积。批量处理可以用脚本完成但裁完以后一定要肉眼抽查一遍我见过太多裁剪脚本把耳朵、头顶切掉的案例。4. 训练环境与关键参数解读4.1 硬件与软件栈参考先说硬件。微调 SD 模型这件事显存是关键。我的实际体验如下显存容量可训练方案推荐分辨率备注8GLoRA512×512需要开启梯度检查点会慢一些12GLoRA768×768比较舒服的入门配置16GLoRA / DreamBooth1024×1024大部分个人画师的标准配置24GLoRA / DreamBooth1024×1024能做更大批次训练速度更快软件栈方面主流的训练工具主要还是基于 WebUI 的扩展插件或者基于 Hugging Face Diffusers 框架自写脚本。如果你刚上手建议从 WebUI 扩展开始界面直观、参数注释齐全如果后续要做自动化流程、批量消融实验建议切到脚本方式可定制性更强。4.2 LoRA 关键参数的理解方式我把 LoRA 训练时最核心的几个参数按“影响程度”排个序方便你判断优先级学习率Learning Rate这是最敏感的参数。我的基线设定是1e-4配 AdamW。调参时按 0.5 倍幅度递增或递减不要一次跳一个数量级。学习率太高训练快速震荡loss 降不下来生成的图会出现彩色噪点、五官崩坏。学习率太低训练像蜗牛爬几个 epoch 后模型还是没学会主体特征。训练步数Steps与 Epoch 数一般看数据集大小。图少的步数过多容易死记硬背。我的习惯是先设一个较大的 epoch比如 20然后开中途采样预览根据预览效果提前中断训练。网络维数Network Dim与 Alpha这个决定 LoRA 的容量大小。Dim 越大能学到的细节越多但过拟合风险也越高。角色类我常用32画风类用64或128。Alpha 通常设置为 Dim 的一半或与 Dim 相等调起来不用太纠结。批次大小Batch Size显存允许的情况下尽量设 2 以上。批次太小梯度更新方向抖动很大尤其是数据集内容比较杂的时候效果尤其明显。噪声偏移Noise Offset这个参数容易被人忽略但它决定了模型对亮度、对比度的敏感程度。训练日常风格图时保持默认就行如果跑的是暗调、电影感风格稍微调高一点会有帮助。4.3 学习率调度器选择的个人偏好调度器这块好多人直接默认但我测下来差异其实不小。个人偏好是 LoRA 训练用cosine调度器配合适当的热身步数比如前 2% 的步数做 warmup后面按余弦曲线衰减。这样做的原因是刚起步时学习率太猛容易让模型把底模的注意力结构冲乱先小步走稳定后再进入主学习区间最后稳步收窄避免训练后期震荡。而 DreamBooth 微调时我更倾向于使用恒定的较低学习率因为训练步数本来就不多用 cosine 反而可能还没进入状态就结束了。5. 实操记录从零到可用的完整流程5.1 第一步构建可复用的训练数据集以我最近做的一个“机甲角色”LoRA 为例完整流程是第一步从目标图集里筛出 32 张质量最高的图统一裁剪到 1024×1024主体居中、尺寸一致。然后跑自动打标再把所有图过一遍手清标签。训练集soul-mech-man/ ├── 001.png ├── 001.txt ├── 002.png ├── 002.txt └── ...清洗标签时我处理得比较细清洗前 1girl, mecha, male, robot, white_hair, white_armor, blue_eyes, standing, street, night, neon_lights, city, crowd, upper_body, looking_at_viewer, depth_of_field 清洗后 soulmch, mecha, male, white_hair, blue_eyes, white_armor, upper_body, looking_at_viewer, depth_of_field删除standing、street、night这些与角色无关的构图词保留white_hair、blue_eyes、white_armor这些身份特征词mecha作为风格类特征保留crowd这种可能干扰主体识别的标签直接删掉。soulmch就是我为这个角色选的触发词。5.2 第二步训练配置与启动命令我用的是基于 Diffusers 自写的 LoRA 训练脚本核心配置如下accelerate launch train_lora.py \ --pretrained_model_name_or_path./stable-diffusion-1-5 \ --train_data_dir./soul-mech-man \ --resolution1024 \ --train_batch_size2 \ --max_train_steps2400 \ --learning_rate1e-4 \ --lr_schedulercosine \ --lr_warmup_steps120 \ --network_dim64 \ --network_alpha32 \ --output_dir./output-lora-soulmch \ --save_every_n_epochs2 \ --mixed_precisionfp16这套参数对应的实际训练时长在我用的 16G 显存卡上大约 1.5 小时。2400 步 32 张图 × 2 批次 × 约 15 个 epoch。network_dim64是因为机甲角色有大量装甲细节需要用比纯角色 LoRA 更高一点的容量。network_alpha32等于 dim 的一半给权重更新留一定约束空间。这里额外补充一个关键心得max_train_steps 不要一开始就卡死。我会先设一个略大的值然后开启中间样本预览每隔 200 步生成一次测试图盯住效果变化最明显的窗口期手动挑出效果最好的步数节点。因为我遇到的绝大多数过拟合都发生在最后 20% 的训练步数里而中间采样预览能帮你精准抓住“效果巅峰期”。5.3 第三步训练过程的实时监控训练期间除了看 Loss 数值更重要的是看预览图。Loss 会一路下降但下降得漂亮不代表生成效果漂亮。看预览图时我主要关注三个点触发词是否稳定唤起了目标特征。角色五官、装甲结构有没有畸变。背景和构图自由度是否被压缩。最常见的现象是训练到某一步预览图里的角色突然从“像”变成“极其像”但背景复杂度、姿势多样性同时明显下降。这就是进入过拟合区间的信号正确做法是提前终止选择前面那个“既像又自然”的节点作为最终版本。5.4 第四步验证集测试训练完成后我会做一组验证测试。用最终保存的 LoRA 在四个维度各出 10 张图测试类型提示词设计思路观察重点基础唤醒只放触发词不加任何修饰LoRA 是否存在、特征是否稳定特征隔离触发词 换服装原本身份特征是否被冲淡风格融合触发词 其他风格词与新风格词共存时的表现提示词擦除完全去掉触发词底模原始分布是否被污染我个人经验里第四项中仍能看到训练主体的轮廓出现通常意味着训练步数稍微过了LoRA 的语义感染了本该独立于触发词之外的区域。这种问题不太容易修正回退最稳妥的方式就是重新截取更早的 epoch 节点再复测。6. 炼丹翻车实录问题排查与修正方案6.1 过拟合的典型表现与对策过拟合是最常见的炼丹事故。它的典型表现是出图时主体特征极强但画面单一化、背景同质化、稍微换一个画风词就崩。根本原因是训练集太小或步数过长。处理思路从上到下依次尝试减少训练 epoch 数或直接在效果峰值步数提前停止。引入数据增强随机翻转、小幅度裁剪、色调抖动让模型无法死记硬背原图。适当降低 network_dim 和 learning_rate压缩模型容量逼迫它只学习核心特征。增加训练集多样性同一个角色找不同角度、不同表情、不同光线下拍摄的图。6.2 怎么判断 Loss 值到底可不可信很多教程喜欢盯着 Loss 曲线看但这个指标真没那么神。Loss 下降只能说明“当前模型对训练集的拟合误差在缩小”它不能告诉你“模型对陌生提示词的泛化能力好不好”。我用 LoRA 训练时经常见到这种情况Loss 已经平滑到 0.05 以下但预览图里角色还是糊成一团。所以我的习惯是Loss 只用来判断训练是否正常收敛真正判断练没练成永远靠验证集的生成图。如果 Loss 一直在震荡、完全没有下降趋势大概率是学习率太高或者数据集标签冲突太严重需要先调这些前置因素。6.3 后续处理建议合并与叠加LoRA 练完以后日常使用时有两条路。一是直接用 WebUI 加载外部 LoRA 文件二是如果你希望将这个 LoRA 的能力固化到底模里不再依赖外部文件可以用模型合并功能将 LoRA 权重合并到底模中。合并时需注意权重系数不要直接拉满。我的经验是0.7~0.9这个区间相对均衡拉满容易让底模对其它提示词的响应能力变差。多个 LoRA 叠加使用时要注意权重分配。建议先逐个测试每个 LoRA 的合适权重再一起叠加微调。不要所有 LoRA 权重都拉到 1叠加之后会有互相冲淡和污染的现象出来的图往往奇丑无比。比如我的角色 LoRA 权重通常设 0.8画风 LoRA 设 0.6风格词再额外叠加这样既能同时保留两个特征又不会让画面彻底偏向某一个方向。6.4 一个容易被忽略的底板适配问题还有一个我踩过很多次的坑同一个 LoRA 在不同底模上的表现差异可以非常大。因为训练时基于的底模它的特征空间和另一个底模的特征空间并不是完全一致的。训练效果不错的 LoRA换到一个风格迥异的底模上可能完全失效甚至扭曲。所以我在练 LoRA 时会把训练底模固定下来并且在输出文件名里标注清楚。发布给别人用时也会明确说明训练底模的类型和推荐权重让使用者有个预期。如果你发现自己练的 LoRA 在别人那边效果不对先问他用的是哪个底模八成是底模不匹配。7. 进阶思路炼丹之后的模型维护与迭代7.1 建立属于自己的写实反馈表训练跑多了之后我发现最实用的工具不是参数表而是一份属于自己的“案例反馈表”。每练完一个 LoRA我会记录下面这些信息训练底模名称与版本数据集来源和质量评估关键参数组合学习率、Dim、Alpha、批次、步数训练过程中出现过的问题验证出图的优缺点描述在哪些底模上表现好在哪些底模上失效这个反馈表积累到十次以上你会发现自己对参数调整的判断力有了质的提升。看到一个新的数据集根据内容特征就能大概推断出该用什么参数组合不用再从零试起。7.2 风格迁移和混合训练的扩展玩法练熟了基础的单概念 LoRA 后可以试试混合训练。我做过的玩法是把两个画师的图混在一起做数据集练一个融合新画风的 LoRA。需要注意的点是两个画师的图在数据集中要尽量平衡否则模型会被大数量的一方带着跑融合效果约等于零。标签标注时我会给每张图标上源画师的通用风格词这样模型能学到两种画风之间的共同潜在特征而不是简单地谁多谁赢。混合训练对数据质量要求更高至少要保证两边的图分辨率、主体占比保持一致否则模型很容易学会“一边清晰一边糊”这种奇怪的特征分布。7.3 控制网络与 LoRA 的搭配经验最后再分享一个让我出图质量明显提升的组合思路LoRA 负责主体特征ControlNet 负责结构控制。如果你想生成“保持角色特征但姿势完全不同”的图前者负责“长得像”后者负责“姿势稳”两者各管一摊按理说应该互补——但实际叠加时LoRA 权重需要比平时稍微调低一点因为 ControlNet 的结构约束已经画好了底层LoRA 如果权重太高很容易在结构谱面上覆盖掉 ControlNet 的约束。我实测下来在 ControlNet 介入时把角色 LoRA 权重从 0.8 降到 0.6 左右出图速度和稳定性都会更好。这个策略在做连续动作、全身立绘时特别有效。根据我个人经验炼丹这事没什么神秘的高深理论本质就是“数据清理 参数调优 结果复盘”的循环。刚开始练废几次实在太正常了我头两个模型练出来几乎就是灾难现场但坚持记录、分析、迭代之后后面基本一两轮就能出可用的结果。希望这份总结能让你少走几个来回。