【AI大模型】微调中的灾难性遗忘：学会新知识，忘了旧常识怎么办？写在前面：模型“偏科”背后的问题很多人微调完发现一个尴尬现象：模型会了你教的新任务，却把原本会的基础问答、常识、格式全“忘了”，说话也变得别扭。这就是本课要讲的灾难性遗忘（Catastrophic Forgetting）——微调中最常见的坑之一。本文讲透灾难性遗忘：为什么会发生 → 怎么发现 → 怎么缓解 → 一段可运行的评估与防遗忘代码。一、什么是灾难性遗忘灾难性遗忘指的是：模型在新数据上训练时，把之前学到的知识“覆盖”掉，导致旧能力明显退化。在微调大模型时尤其常见，比如你全用代码题微调，模型可能就不太会正常聊天了。一句话：模型为了“记住新的”，把“旧的”给挤掉了。二、为什么会发生根因在于神经网络通过调整权重来记忆，而新数据会大幅改动权重，旧知识对应的权重分布被破坏。几个放大器：数据单一——全是目标任务数据，模型只顾学新任务。学习率过高——权重改动幅度大，旧知识更易被覆盖。训练轮数过多——反复拟合新数据，越练越偏。全量微调——改动所有参数，风险比 LoRA 更大。关键点：学习率越高、训练越久、数据越单一，遗忘越严重。三、怎么发现“忘没忘”光看训练 loss 不够，要专门用“旧任务/通用任务”的测试集评估微调前后能力。给一个评估思路：