今天聊一个话题很多、但认真讲清楚很少的话题大模型的发展史。很多人是从ChatGPT开始认识大模型的一个对话框里面什么都能聊偶尔一本正经胡说八道。但如果只从那一刻开始理解你会很难搞清楚几个非常现实的问题为什么有的模型擅长写代码但写不好论文为什么上下文窗口会从几千个词一路卷到几十万为什么有人说“知识库能塞进提示词就根本不用微调”这些问题的答案其实都写在大模型走过的路里。我自己的感受是大模型这条赛道看起来新但它并不是突然蹦出来的。我从早些年做传统自然语言处理到后来转向深度学习序列模型再到现在天天跟预训练模型、本地部署和微调打交道回头看每一步的抉择都能在历史里找到对应。所以这篇文章不做编年史背诵我想把历史中真正影响今天工程决策的几个关键点拆开讲每种方案为什么被提出为什么被淘汰为什么有些技术吵了很多年最后还是分出了胜负。阅读过程中你会发现大模型真正有意思的地方不在于参数规模而在于它每一步都是在解决“上一代方案解决不了的问题”。1. 从N-gram到深度序列模型大模型真正的前史1.1 统计语言模型的困境只看得到近邻记不住远方大模型这个词之所以带一个“大”字不只是因为参数规模大更重要的是它形成了一整套“用数据统计文本规律”的思路。要理解这个思路得从语言模型这个概念的源头说起。早期的统计语言模型做的事情很简单给一句话算概率。比如“今天天气不错”这句话理论上可以拆解成“今天”出现的概率、“天气”在“今天”之后出现的概率、“不错”在“今天天气”之后出现的概率以此类推。直接计算这种条件概率最大的麻烦是稀疏——语料里词的组合太多了很多组合根本统计不到概率直接变成0。于是大家用马尔可夫假设把问题简化假设当前词只依赖前面n-1个词这就是n-gram模型。n取2或者3是常见选择n再大一点就组合爆炸。这个方案最大的问题不是数学而是“记忆”。当我说“她推开教室的门坐到了窗边”你需要记住“她”这个主语才能正确理解坐在窗边的是谁。n-gram只能看眼前几个词根本做不到这一点。这也是为什么早期统计模型写出来的话总是连贯但没逻辑因为模型压根没记住远一点的信息。1.2 词向量语义第一次变成了可计算的数字后来神经网络语言模型NNLM入场最先改变的不是“记忆长度”而是词的表示方式。2003年Bengio提出用神经网络来预测下一个词顺便把每个词训练成一个低维稠密向量也就是词嵌入。到2013年Word2Vec把这件事带火了因为它有一个非常漂亮的副产品向量算术。king - man woman的结果约等于queen动词和名词的语义关系能直接在向量空间里体现出来。这一小步的意义被很多人低估了。在离散符号时代词和词之间只有“相同”和“不同”两种关系而进入向量空间后语义相似度成了可计算的距离。现在我们说的“语义检索”“RAG找相关片段”底层靠的都是这个概念。没有词向量后面所有注意力机制都无从谈起。但词向量也有明显的天花板它是静态的一个词只有一个向量同一个词在不同上下文中的含义完全体现不出来。比如“苹果”既可能指水果也可能指手机静态向量只能给一个折中版本。这种局限直接催生了下一阶段要做的事让词的表示随上下文动态变化。1.3 RNN的有限记忆与本质瓶颈在Transformer出现之前处理序列问题的标准方案是循环神经网络以及它们的升级版LSTM、GRU。这类模型的核心想法是“按顺序读词把读到的内容压缩成一个隐藏状态h”原理上有点像人做笔记——每读到一个新词就把笔记更新一下最后用笔记的内容继续预测或分类。这个思路的瓶颈非常明显笔记是有容量上限的。当你读了500个词之后开头那个词的痕迹早就被冲淡了。对应的技术术语叫“梯度消失”反向传播时误差信号每经过一个时间步就会衰减时间一长就传不回去。所以RNN族模型在实践中能稳定处理的上下文通常也就几十个词再多就勉为其难。更麻烦的是这类模型只能一个词一个词地按顺序处理没法并行。你想训练一个超大模型如果没有并行机制训练效率就是最大的墙。我当时做序列标注任务GPU利用率拉满训练时间还是以天计算。后来回头看才明白当时缺的不是算力也不是数据而是一个能把“全局信息存取”和“并行计算”同时解决的架构。2. 预训练范式确立BERT与GPT分道扬镳的底层逻辑2.1 注意力机制从“压缩记忆”到“直接翻旧账”2017年Transformer论文《Attention Is All You Need》把游戏规则改了。注意力机制最直白的理解是不再把历史压缩成一个向量而是让当前词直接去“翻阅”前面所有词的表示计算一个权重权重越高越相关。继续用笔记打比方RNN是“不断改写同一页笔记”而Transformer是“把读过的所有原文摊在桌上想看哪段就看哪段”。这种“直接翻旧账”带来三个直接后果。第一长距离依赖被大幅度缓解哪怕开头提到了某个人名结尾依然能从原文中找到它并参与计算。第二整个序列可以并行计算因为每个位置的表示不再依赖前一个位置的计算结果。第三每个词的表征是上下文动态更新的前面词向量的“静态问题”随之被解决。Transformer后来衍生出很多变体但核心一直没有变把一条序列里的所有元素两两建立注意力关系用加权求和更新表示。工程上还要加上多头注意力让不同头关注不同的语法、语义或指代关系这也是为什么它能同时处理“这句话的主语是谁”和“这段文字情感倾向如何”这类不同层面的问题。2.2 预训练加微调大模型时代的“分工革命”Transformer解决了记忆长度和并行计算但真正让大模型走向产业化的是“预训练微调”这套范式。先用海量无标注文本做预训练学通用语言规律再用小规模标注数据做微调适配具体任务。微调不需要重新学习语言只需要用少量数据调整输出习惯这就是这个范式的核心价值。当年推动这套范式的模型路线不太一样。ELMo训练的是双向LSTM的语言模型词表示是几层特征的拼接BERT采用Transformer编码器做到了真正双向上下文GPT则选了Transformer解码器路线只做自回归生成。三个模型方向各异但组合在一起把“预训练微调”这条路彻底铺实了。这背后的经济学逻辑非常关键预训练模型是“基础设施”只有少数有算力的机构能做微调是“应用开发”大多数开发者用少量资源就能做。我们今天常说的“企业大模型私有化部署”本质就是在“基础设施成本集中化”之后再通过开源模型或私有化方案把能力分配回各自业务里。2.3 BERT的双向理解与GPT的自回归生成之争BERT和GPT在2018年前后相继出现走向完全不同。经常有人把两者简单理解为“一个做理解、一个做生成”但它们的核心差异比这更深。我习惯用一张表来对比对比项BERTGPT模型结构Transformer编码器Transformer解码器训练目标恢复被遮掩的词预测下一个词上下文方向双向从左到右单向擅长任务分类、抽取、判断续写、生成、对话预训练与推理一致性掩码设计与真实推理不一致完全一致这里有个关键问题值得展开按当时主流认知BERT的表征能力更强因为双向信息能让每个词看到完整上下文GPT只往一个方向看似乎天然吃亏。但最后的路线之争GPT赢了。为什么我理解有两个核心原因。第一语言模型的原生任务是“预测下一个词”这是一个通用且可扩展的自监督目标不需要为每种下游任务重新设计输入输出头。做对话、写文章、翻译本质上都是“继续生成”。BERT的掩码任务虽然预训练效果好但推理时根本没有[MASK]符号出现存在训练和推理的不一致做具体任务时还要改结构复杂度更高。第二也是更容易被忽略的一点下一代大模型的应用形态不是“理解一篇文档然后打个标签”而是“给定指令产生一段输出”。理解能力当然重要但它最好内化在生成过程里。GPT用生成目标把理解能力全部纳入“下一词预测”框架。后来所有关于多轮对话、智能体工具调用的想象都是从这一选择里长出来的。这里还必须提一嘴GPT-2。2019年GPT-2发布时有15亿参数在当时属于“大到不敢全量发布”的模型官方最开始只放出小版本理由是担心滥用。今天看这种讨论在当时的社区里搅起了特别大的水花它第一次让大众意识到生成模型的能力已经跨过了“玩具门槛”。3. 规模法则与涌现能力GPT-3如何改写游戏规则3.1 规模法则没有新架构反而是最深的一条路2020年GPT-3把参数拉到1750亿直接引爆了后续的一切。但相比模型本身它背后有一个更值得记住的结论——规模法则Scaling Laws。OpenAI在2020年前后发表的研究指出语言模型的测试损失和模型参数量、训练数据量、计算量之间存在近似幂律关系。翻译成人话就是在架构不变、训练方法不变的前提下只要把参数和训练数据一同按比例扩大模型效果就会稳定提升。你想提升多少能力可以提前估算要多少算力和数据。这等于给行业画了一条“确定性扩大的路线图”所以那个阶段的基础研究经常被和“堆GPU”画等号倒也不冤枉。从工程角度说规模法则也带来了明摆着的问题参数越大推理成本越高部署门槛越陡峭。今天大量出现在各类搜索里的“GPU微调大模型”“大模型部署”“vLLM部署大模型”本质上都是在处理这个矛盾。模型变大了效率和可行性就成了新的瓶颈。于是量化、剪枝、蒸馏这些压缩手段才成为大模型产业链里不可或缺的部分。3.2 上下文学习与涌现Prompt技术的理论根源GPT-3真正破圈的技术点不是“它更聪明”而是“我不需要给它标注数据只要在输入里举几个例子它就能照着做”。具体来说同一个模型做翻译、问答、分类不必改权重只需要在提示词里放几个“题目-答案”的示例也就是few-shot模型就能自己“照猫画虎”完成新输入。这种做法后来被命名为上下文学习In-Context Learning。这件事在今天看起来稀松平常但它对行业的影响被低估了。它意味着模型在推理阶段能临时使用上下文来完成新任务不必修改任何参数。想让模型临时学会“从文本抽字段”你不需要微调只需要写好示例和格式放进提示词。提示工程的真正理论地基就是在这里打下的。和大规模参数一起出现的还有“涌现能力”。所谓涌现不是说某个模型能力线性增长而是参数规模跨过某个阈值之后某些能力突然出现了——比如多步推理、思维链、角色扮演。没人能提前准确预测这些能力会在哪个规模点上出现这也是为什么大模型研究一直存在两种态度一边是“大力出奇迹”的工程乐观另一边是“黑盒不可控”的担忧。到了GPT-3后半段一个很现实的问题也暴露出来模型虽然能生成很像样的文字但它不会“听话”。它可能在整段看起来有道理的回答里夹带错误事实也可能把一个简单问题绕到大段废话里。这不是偶然而是训练目标决定的。预测下一个词只教会了模型“最可能的单词序列”并没有教会它“用户想要什么样的回答”。这就是下一阶段要解决的核心矛盾。4. 对齐纪元从“会生成”到“好助手”的分水岭4.1 指令微调先学会听懂问题解决“不听话”的办法分两大步。第一步是有监督指令微调Instruction Tuning也就是常说的SFT。做法很直接人工构造大量“指令-回答”对比如“请总结下面这段话”配一个标准总结然后用这些数据在预训练模型上继续训练让模型的输出风格转向回答问题、遵循指令。这里有一个经常被误解的地方指令微调并不会给模型注入多少新知识它在本质上更接近“格式化”。预训练阶段知识早已在模型里了只是模型不知道用户是在提问。SFT做的就是教会模型“这种格式的输入之后应当跟着这种格式的输出”。SFT数据并不好做质量比数量重要。脏数据会让模型出现复制模板、空话套话之类的毛病。我之前在项目里反复调模型输出质量最后发现问题的根源往往不是模型不够大而是SFT数据里混入了太多语气不一致的样本。这类经验在后来做RLHF时依然成立甚至更明显。4.2 RLHF:把“聪明”调整成“有用”第二步是RLHF。OpenAI在InstructGPT里首先系统性地把“人类反馈强化学习”用在语言模型对齐上。整个流程可以拆成三个阶段收集人类对多个模型输出的偏好排序数据。用这些数据训练一个“奖励模型”给任一输出打分。用强化学习典型是PPO让语言模型学会输出高分回答同时配合一个KL项防止模型偏离原始分布太远。为什么有了SFT还不够因为SFT是“照着示例学格式”它复制的是人的范式而不是人的偏好。人类偏好有非常微妙的主观性一版回答更简洁但少了一个细节另一版更完整但有点啰嗦这种偏好很难用一对一的问答数据体现出来但用“比较”的方式就能学得很好。RLHF的意义怎么强调都不过分。ChatGPT能火技术上的关键不是千亿级参数而是“它像助手一样回答问题”。GPT-3能生成漂亮文本但容易跑题、敷衍、编造对齐之后模型开始明白什么是“有用的回答”什么是“含糊的敷衍”。很多人没有意识到ChatGPT和GPT-3使用的是同一条科技树真正的分水岭就在对齐。4.3 ChatGPT引爆的产业格局2022年11月ChatGPT上线后事情的性质彻底变了。原本只在研究社区内部讨论的预训练模型一下子变成普通用户每天都在用的产品。随之而来的是一整套新生态API经济成型Prompt工程成为被广泛讨论的能力方向大模型从实验室样本变成了可用工具。从工程角度看ChatGPT的出现也让“智能体”Agent这个词被高频使用。原因在于模型第一次能在一个对话里多次调用工具虽然当时还不普及并且能规划多个步骤做事。没有对齐革命模型只会“续说”不会“执行”更不可能作为生产力工具嵌入业务流程。当然对齐也带来了新的麻烦。一些通用能力会因为在“安全合规”上的过度约束而被压制模型在一些开放性创作任务上变得过于保守。行业里管这类问题叫“对齐税”。今天你看到的模型风格差异有的偏活泼、有的偏谨慎本质上都是在“安全”和“能力”之间做取舍。5. 多模态、长上下文与智能体大模型形态的全面扩展5.1 上下文长度从“几百词”到“几十万token”有一个参数贯穿了大模型整个历史上下文长度行业里也直接叫“上下文窗口”。RNN时代窗口基本等同于隐藏状态能记住的内容几十个词就是极限GPT-2时期窗口通常是1024个tokenGPT-3扩大到2048再到GPT-4 Turbo的128K以及各家竞相推出的高K窗口产品。为什么窗口这么重要因为它直接决定“模型一次能感知的信息总量”。长上下文能力一旦上台阶很多应用就不再需要改变模型只需要提供更多素材。比如你要分析一百页PDF过去得切块、检索、拼接现在可以直接把全文放进去让模型做整体总结。技术层面无限长上下文并不简单。常见方案包括预训练或继续训练阶段加入长文本数据、改进位置编码比如RoPE、对KV Cache做压缩、使用环状记忆等。这里不展开每个细节但有一点值得记住长上下文不是免费特性它换来的是注意力计算随长度增加的复杂度和推理成本上升。有些团队把模型换成128K窗口后发现推理速度明显下降就是因为这类代价。5.2 多模态从纯文本到图文音视频统一模型几乎和长上下文同步推进的另一条线是多模态。GPT-4系列最先让大众感受到“给张图就能聊”图片输入、文本输出Gemini等模型进一步接入音频和视频中文社区这边的GLM、Qwen-VL、DeepSeek-VL也在持续演进。多模态的核心技术问题是怎么把不同模态的信息放进同一个表示空间。常见做法是用视觉编码器把图片切成若干patch并投影成向量再和文本token的向量一起进入Transformer做注意力计算。关键突破在于“跨模态对齐”——让模型理解“图里那团橘色的动物”和文本里的“猫”是同一个东西。除了图片语音和视频也在走类似路线把不同模态的信息统一成模型能“看”的序列。从工业应用看多模态让大模型从“键盘里的助手”变成了“能看懂世界的助手”。做会议纪要时可以看图读表做故障排查时可以直接把截屏丢给模型。这个方向之所以总能在“多模态大模型 最新进展”这类搜索里保持热度是因为它离实际业务价值太近了。5.3 智能体与工具调用从“问答”到“做事”如果多模态和长上下文还是改变模型的输入输出形态智能体Agent改变的是模型在系统中的位置。过去模型是被动的答题器现在模型被放进一个循环里——“思考、调用工具、观察结果、再思考”通过API、代码解释器、搜索引擎等外部工具真正去完成一个任务。为什么行业对智能体方向这么热衷因为单靠“生成”模型能干的事情有限一旦它能调用外部工具就能访问实时数据、操作系统、数据库从一个“聪明脑袋”变成“能动手的助手”。市面上dify这类开发框架之所以流行本质上就是想降低搭智能体和RAG应用的门槛。这里必须提一下RAG。RAG不是新发明它大概是“检索生成”组合的现代版先从知识库检索片段再把片段塞进提示词让模型基于这些内容回答。它之所以成为刚需是因为大模型知识有截止日期而企业的私有知识又是核心资产。RAG可以说是“长上下文能力外部数据”最贴近实际的一种应用形态。而智能体要想稳定工作目前最大的坑还是幻觉。你给模型配了记忆、工具和流程但如果它在关键动作上给了一个自信的谎话整个任务就会脱轨。所以做智能体很大精力其实是放在“评估和兜底”上给回答加引用、加验证步骤、加失败回退机制。所有做过实际智能体项目的人都懂这个痛点有多真实。6. 以史为镜几个影响当前工程决策的判断6.1 能通过上下文完成的任务不要轻易动微调把历史坐标拉到当下最值得记住的工程判断就是先试上下文方案再试微调方案。上下文学习从GPT-3时代就成熟了多给模型几个示例、塞进更多背景往往能解决大部分需求。上下文方案的最大优势是成本低、可随时改。想让模型输出JSON格式改提示词就行想让它在服务客户时语气更温和改示例就行。微调不一样一次训练、一次验证全是时间成本和资源成本。再加上微调可能改坏预训练能力还有“灾难性遗忘”风险所以不到万不得已不建议直接上全参数微调。当然例外也存在任务要求的格式极其特殊提示词怎么约束都约束不住或者推理阶段的上下文要全部让位给业务数据没有余量放示例又或者你确实要在垂直领域术语上做深层扩展。这些时候微调甚至继续预训练就是合理选项。6.2 本地部署与云端API不是简单二选一看了很多团队踩坑之后我对“大模型私有化部署”有了比较强烈的感受它更多时候是“数据安全要求”的产物而不是“技术最优解”。企业怕数据出域又希望模型可定制于是选择本地部署。做本地部署前先把账算清楚。显存需求大致可以用“模型参数乘位宽再除8”粗算7B参数模型FP16推理大约需要14GB显存4比特量化则降到3.5GB左右70B模型即使量化也要35GB上下单卡很难撑起来多卡部署又涉及通信和调度。所以很多团队会先用Ollama这类工具起步用量化版验证业务效果再决定要不要上vLLM这类高吞吐方案。免费API和限时额度也经常被拿来快速验证想法这是完全合理的起步方式。另一个常见问题是把API和本地部署对立起来看。我更愿意按“数据敏感性、延迟要求、预算”三个维度做决策。数据敏感不可出域选本地或私有化部署对服务质量要求高直接上成熟云API预算有限又不涉及敏感数据用免费额度或小模型起步。没有哪个方案永远最优只有当下最合适。6.3 数据质量和评测闭环永远比模型选型重要回头看整个发展史最容易被验证的道理是数据质量决定上限。统计语言模型时代稀疏问题要靠人工平滑预训练时代语料抽取和配比是核心到了微调阶段“指令数据是否干净”“偏好数据是否一致”直接决定模型好不好用。你反复看到的“大模型数据标注样例”类搜索背后就是大家终归要在数据上磨很久。这里还必须提一下数据和安全的边界。从数据投毒到后门攻击的传闻从来没有断过这也是为什么不少团队越来越看重数据管线的审计和权限控制。模型可能越换越强但脏数据造成的坏影响会在后续几乎每个环节里持续放大。所以我建议每个项目从第一天就把评测集和基线建起来想换模型或调参数先跑固定评测指标严格一点别凭感觉判断效果。最后说点个人的体会。我最初是带着“记年份、记参数量”的心态看这段历史后来发现越往深挖越觉得大模型的历史不是博物馆而是工具箱。每个阶段沉淀下来的思考都能直接对应今天的某个选择。比如我现在做项目会把“上下文长度”当成和“模型参数”同等重要的变量来规划看到某个新框架宣传“无限上下文”我会先问它是真长了还是把成本转嫁到了别处接到客户的微调需求时我会先反问一句这些问题用RAG和Prompt解决不了吗这样想问题的时间久了选型反而比以前自信了。如果你正处在大模型应用开发的学习阶段我希望这篇“发展史”能帮你少走一点弯路。技术名称肯定还会继续换但它背后被反复解决的那些需求——更大的记忆、更好的生成、更听话的输出——大概率不会变。看懂这条线索很多新东西在你眼里就只是老问题的另一种解法。