### 文章主要内容1. **研究背景**：大语言模型（LLMs）遵循多约束指令的能力至关重要，尤其是在涉及软约束时，但提升 LLMs 遵循软约束的能力尚未得到充分探索。现有研究在构建数据集、训练方法和考虑约束难度方面存在局限性。2. **相关工作**：介绍了软约束遵循的现有研究，主要集中在评估 LLMs 的能力；还介绍了课程学习的两种主要范式，而本文基于约束数量组织课程。3. **方法**- **数据集构建**：采用渐进式构建和 Judger 重排序两步法。渐进式构建从三个来源收集种子指令，逐步添加约束生成多约束指令；Judger 重排序根据约束遵循程度对输出进行排序，得到高质量的正负样本集。- **课程学习训练范式**：应用直接偏好优化（DPO）作为训练方法，基于指令中的约束数量建立课程学习训练范式，让模型从简单任务逐步学习到复杂任务，并混合 ShareGPT 示例防止灾难性遗忘。- **分析与比较**：对不同课程进行数据统计，分析约束数量、指令长度和动词频率等；与其他相关工作对比，突出本文数据集规模大、约束类型多样、经 Judger 重排序和渐进式构建的优势。4. **实验**- **实验设置**：在三个基础 LLMs 上进行实验，对比 BASE、SFT+Judger、DPO+Judger+CL 三种方法，选择多种开源和专有 LLMs 作为基线，使用 IFEval 和 FollowBench 作为评估基准。- **主要结果**：DPO+Judger+CL 方法显著提升了模型遵循软约束的能力，在困难软约束任务上表现出色，不同参数规模的模型在训练后性能优于部分基线模型，而 SFT+Judger 方法在部分模型上性能下降。- **泛化实验**：在 AlpacaEval