简介这份图解PDF面向大模型初学者、技术爱好者及希望本地部署应用的研发人员围绕DeepSeek本地运行、基础原理与推理模型训练展开。资源共1个PDF文件约2.64MB以图文教程和操作界面截图呈现便于边看边对照降低初次部署门槛。内容先说明本地部署在隐私保护、离线运行和定制优化方面的价值再给出借助工具完成模型下载、启动与对话的三个步骤并梳理大语言模型参数、Transformer架构、预训练、监督微调与强化学习的基础脉络对常见概念和训练方法作出通俗解释。重点图解DeepSeek-R1的完整训练过程包括含R1-Zero的中间推理模型和通用强化学习两项创新结合案例展示推理导向与通用能力。已有2202人学习适合零基础快速上手也可供研究工作者参考前沿训练思路。 ). Ill write it as 开头标记与结束标记avoid exact chars issues. Use 开始标记/结束标记. In code I can use thinking marker. Ill keep generic:start_marker thinking,end_marker end_thinking. Hmm confusing. Ill just describe with generic markers and note the actual marker is the opening/closing think tag. Use code with markers as variables. Fine.For cons16 small python:from collections import Counter def cons_at_n(answers, n16): # 同一道题采样 n 次取出现次数最多的最终答案 return Counter(answers).most_common(1)[0][0]Maybe skip to save space; or include in ch4.6 briefly. Ill include a tiny one — its mechanism-revealing. OK but keep code blocks limited (3 total plus this 4). Fine.Now write the full text.## 1. 本地能不能跑先别急着查显卡多数人第一次尝试 AI本地部署第一反应是查显卡型号、算显存然后被“大模型起步七十亿参数”之类的说法劝退。这里有个反直觉的点决定你能不能跑起来的往往不是模型聪不聪明而是你选的是哪一档参数量以及你是否清楚“1.5b”里的 b 说的是十亿个可训练浮点数不是十亿条知识。一个 1.5B 的大型语言模型量化之后权重只占一两 GB普通笔记本的内存装得下跑起来出字还挺快。这条链路上真正值得搞懂的是三件事参数量怎么换算成体积、Transformer 架构凭什么能并行放大、训练方法尤其是强化学习那一段为什么让模型看上去“会思考”。把这三层拆开再回头看部署时踩的坑很多玄学就变成了可以解释的现象。2. 参数量的经济学1.5b 与 70b 差的到底是什么2.1 b 是十亿个浮点数不是十亿条知识大模型的“参数”指所有可训练权重weight与偏置bias的总和1.5b 就是 15 亿个7b 就是 70 亿个。这些数字不是拍脑袋标的它约等于层数 × 每层自注意力 前馈网络的矩阵尺寸累加最后再加上词嵌入和输出层。参数量之所以直接决定“能不能跑”是因为推理时每个参数都要占内存或被搬进显存而磁盘占用、加载时间、每 token 的计算量基本都跟它成正比。粗略估算fp16 精度下每参数约 2 字节7B 模型光权重就 14GB 左右换成 4bit 量化每参数压到 0.50.6 字节7B 降到 4GB 上下1.5B 只要 1GB 出头。但权重只是底座真正让“看着够用却爆内存”的是另外两块KV cache 和运行时开销。上下文越长、并发越高KV cache 增长越快这也是同一个小模型有人跑得很顺、有人一动就卡死的原因。档位fp16 权重4bit 量化权重典型印象1.5b约 3GB约 1GB普通笔记本可跑适合验证链路与格式7b / 8b约 1416GB约 45GB需要一定显存余量日常问答基本够用数十亿以上数十 GB 起十几 GB 起权重搬运本身就是瓶颈普通机器不建议硬上提示估显存时别只算权重先按“权重量 KV cache 框架开销”三项相加再留出 20% 余量。2.2 Scaling Laws为什么掺了噪声的数据反而喂出通用模型扩展规律说的是三条曲线的关系参数量、数据规模、训练算力同时增大时模型的损失按幂律下降。它不是定理是从大量实验里拟合出来的经验规律但足够稳定稳定到工程上可以拿它做预算——想让效果上一个台阶参数、数据、算力得一起加只加一项收益会很快变平。更反直觉的一点是训练语料里混着大量噪声、口水话、重复内容模型依然能学出通用能力因为规模足够大时它拟合的不是某条样本而是语言背后的统计共性。这也解释了一个常见困惑为什么小模型也会“偶尔很聪明”。扩展规律给的是平均意义上的能力下界具体到某道题、某个格式小模型完全可能表现超预期反过来大模型在冷门知识上也会翻车。所以拿单个 case 去评判参数量档位基本等于抛硬币。2.3 通用与专精的取舍单数据集训出来的模型为什么不能聊天拿单一数据集比如某个图像分类集、某个新闻分组语料训出来的模型知识边界就是数据集边界它在这个领域里可以很准出了这个领域什么都不会。大模型走的是另一条路语料覆盖书籍、新闻、代码、论坛学的不是“某一类任务的判别边界”而是“下一个词该是什么”的通用分布于是具备了迁移能力和多任务能力。代价是它在任何单点上都不一定最优。一个 1.5B 的通用模型写行业术语往往不如一个拿内部知识库微调过的小模型但后者换个问题就废了。所以“本地部署一个大模型”和“微调一个小模型”不是替代关系前者解决通用性与隐私后者解决垂直精度。搞清这一层才不会指望拿 1.5B 去顶替业务系统里的规则模块。2.4 参数量是预算不是能力刻度同一个 1.5B 档位不同训练配方出来的模型差距可以很大数据质量、训练轮次、是否做过指令微调、是否做过推理导向的强化学习都会改变它在具体任务上的手感。这也是为什么本地跑起来之后第一件事不该是问它“你有多强”而是固定几道自己的题看它在你的场景里稳不稳定。档位决定的是成本上限配方决定的是能力分布两者别混为一谈。3. Transformer 架构自注意力凭什么把循环结构挤出去3.1 自注意力一次矩阵乘法算清“谁该看谁”循环神经网络处理一句话是一个词一个词往前推的第 t 步依赖第 t-1 步的结果Transformer 把整句话一次性铺开用自注意力直接算出序列内任意两个位置的相关性。核心就是 Q、K、V 三组线性投影Q 代表“我在找什么”K 代表“我有什么可供匹配”V 代表“匹配上之后我贡献什么信息”。import numpy as np def attention(Q, K, V, maskNone): d_k Q.shape[-1] # QK^T 得到 n×n 的相关性矩阵n 是序列长度 scores Q K.T / np.sqrt(d_k) # 除以 sqrt(d_k) 压住点积方差 if mask is not None: scores scores mask # 因果掩码每个位置只能看它前面 weights softmax(scores, axis-1) return weights V # 加权求和得到融合上下文的新表示这里有两个容易忽略的细节。除以sqrt(d_k)不是装饰维度越高点积的方差越大softmax 会被推成近似 one-hot梯度几乎消失训练直接僵住。因果掩码也不是可选项生成式模型在预测第 t 个词时不能偷看第 t1 个词掩码把“未来”位置的分数压到负无穷训练和推理的目标才一致。3.2 多头与位置编码并行之后顺序信息从哪来单套注意力只能学到一种“相关性视角”多头注意力的做法是把 Q、K、V 投影到多组低维子空间里并行算再拼回去。不同的头容易分化出不同偏好——有的盯紧邻词有的盯长距离指代有的盯标点与句式边界。这不是设计上的浪漫而是让模型用同一层参数覆盖多种依赖模式性价比比堆层数高。麻烦在于整句并行之后模型根本不知道谁在前谁在后。位置编码就是为这件事补的早期用正弦函数生成固定位置向量后来普遍改成把位置信息以旋转方式注入 Q、K 的可学习方案好处是相对位置关系更稳定长度外推也更友好。没有这一步自注意力对词序是完全无序的“狗咬人”和“人咬狗”在它眼里没有区别。3.3 并行度、显存墙与 FFN这套结构为什么天生适合放大Transformer 干掉了时间步上的串行依赖一整句话可以同时进 GPU训练吞吐直接起飞这是它能吃下扩展规律的前提。但代价也写在结构里注意力矩阵是 O(n²)上下文翻倍这部分计算和显存翻四倍同时每个 token 的 KV 都得缓存下来供后续步骤复用长上下文场景下 KV cache 会成为新的显存黑洞。另一个常被忽略的事实是参数分布。一个 Transformer 层里自注意力的投影矩阵只占小头真正的大头在前馈网络FFN通常占到总参数的三分之二左右。这解释了为什么“换更小的注意力头”省不了多少显存而“砍层数”或“降 FFN 宽度”才是真正的减重手段。也解释了为什么量化对小模型更友好权重分散在大量 FFN 矩阵里低比特压缩的收益直接。3.4 架构只是地基行为是训练喂出来的到这里能得出一个关键判断架构决定的是“能不能训得动、能扩到多大”不决定“模型会不会一步步推理”。同一个 Transformer 结构喂纯预训练数据是一个只会续写的模型加监督微调变成会答话的助手再加强化学习才可能出现长篇的思考过程。三者共用一套骨架行为差异全部来自训练阶段的目标函数与数据分布。4. 三段式训练到 R1预训练、SFT、强化学习各修哪种偏差4.1 预训练唯一的监督信号是“下一个词”预训练做的事情非常朴素给一段文本遮住后面让模型预测下一个 token用交叉熵算误差反向传播更新参数。海量语料反复灌进去模型学到的是词与词的共现概率、句法结构、事实关联甚至一部分推理模式。它的优点是监督信号免费——文本本身就是标签不需要人工标注缺点是目标太底层模型只对“接下来像什么”负责不对“回答得对不对、有没有用”负责。预训练出来的基座模型有个典型特征你问它一个问题它可能接着往下续写更多问题因为在它的训练分布里提问后面跟着提问也很常见。这就是为什么必须进入第二阶段。4.2 SFT把“会续写”掰成“会回答”监督微调用的是人工整理的提问回答成对数据目标函数还是预测下一个词但数据分布变了——现在它见到的都是“问句 规范答案”的形态。参数一个没多模型的输出风格、格式、语气却被整体拽了过去。这件事的本质是分布对齐不是知识注入SFT 几乎不教模型新知识它教的是“什么时候该用哪种方式说话”。这也埋下了一个隐患。SFT 的上限就是标注数据的质量与覆盖度想让模型在数学、代码、逻辑这类需要多步推演的任务上变强光靠“抄优秀答案”很难因为标注者自己写不出足够长、足够正确的思考过程而且成本极高。4.3 RLHF把“像人写的”变成可以优化的标量强化学习阶段换了一套目标不再比对标准答案算误差而是让模型自己生成再由一个奖励模型通常也是从人类偏好数据里学出来的打分模型按分数高低调整策略。为了不让模型为了拿高分而胡说实现上一般会加一个 KL 约束限制新策略别离 SFT 后的模型太远——这个约束相当于一条保险绳防止模型跑偏成“专门骗奖励模型”的形态。RLHF 解决的是“答得像人希望的样子”但它优化的是偏好不是正确性。偏好模型自己会犯错于是模型可能学会迎合评分习惯而不是真的把题做对。这个结构性缺陷正是后来“用可验证奖励取代偏好奖励”这条路线能成立的原因。4.4 R1-Zero跳过 SFT 的纯强化学习为什么没有崩掉DeepSeek-R1 的训练起点是基础模型第一个关键动作是做推理导向的强化学习而 R1-Zero 这条支线更极端完全跳过监督微调直接从基础模型上开训。它没崩掉的核心原因不在算法多花哨而在奖励怎么给——数学题、代码题这类任务有可验证的结果答案对不对、格式符不符合要求可以用规则直接判不需要奖励模型去猜人类喜好。奖励信号干净模型就没机会去钻“讨好评分器”的空子。训练过程中模型自发长出了长链式思维先展开、再自我检查、再回头修正这些行为没有人教是被“答对才给分”这个目标逼出来的。这一步的意义在于证明了一件事——推理能力可以不完全依赖人工标注的思考过程来获得。它也顺手解决了 SFT 数据贵的死结既然模型自己能生成大量带思考过程的样本那这些样本就能反过来喂给下一阶段。4.5 中间推理模型与通用强化学习自产数据和语言混合问题纯强化学习练出来的模型有明显短板回复里中英混杂、格式散乱、非推理类任务表现下滑。原因不难理解探索阶段模型只被“答对”这个目标牵引没人管它说得好不好看、是不是在用一个统一语言。于是训练流程里加了两个动作一是用少量冷启动数据做 SFT再接着做强化学习得到中间推理模型它负责批量生产高质量的思考过程样本二是基于 SFT 检查点做通用强化学习除了任务正确性还引入帮助性与安全性奖励模型把“能不能好好说话”也纳入优化目标。这两步的分工值得记一下中间推理模型解决“推理数据从哪来”通用强化学习解决“模型能不能在推理之外的场景里正常干活”。前者是自产自销的数据飞轮后者是给能力做边界约束。4.6 pass1 与 cons16一致性采样到底在测什么看 R1-Zero 的能力曲线时会遇到两个指标。pass1 是单次采样的准确率代表“一把过的概率”cons16 是同一道题采样 16 次取出现次数最多的答案再看它对不对。后者能超过前者原因很朴素推理题的正确答案唯一而错误答案是发散的多次采样后错误会分散到不同选项上正确选项反而堆出票数优势。from collections import Counter def cons_at_n(answers, n16): # answers 是同一道题采样 n 次得到的最终答案列表 # 正确答案唯一、错误答案发散所以多数票往往比单次采样更准 return Counter(answers).most_common(1)[0][0]这个机制解释了为什么“多想几遍”在推理任务上有效也解释了它为什么不能滥用开放写作、创意类任务根本没有唯一答案多数投票只会把输出拽向最平庸的那个。consN 是推理任务的专用放大镜不是通用提分按钮。5. 避坑与排查AI本地部署里最容易翻车的五个点5.1 标签、量化与显存同一个 1.5b 为什么有人跑得动有人跑不动模型名后面的标签不是装饰它通常绑定量化方式和权重版本不同标签的磁盘占用、内存占用、输出质量都不一样。另外上下文窗口是有代价的长度翻倍KV cache 也跟着涨很多人是在“聊了十几轮之后”才炸的而不是一开始就炸。# 拉取指定档位的模型标签不同占用差异很大 ollama pull deepseek-r1:1.5b # 交互式对话退出用 /bye ollama run deepseek-r1:1.5b # 非交互单次调用适合脚本化验证输出格式是否稳定 ollama run deepseek-r1:1.5b 用一句话解释自注意力跑之前先看两个数模型文件大小以及你机器的可用内存/显存。前者决定加载能不能过后者决定多轮对话能撑多久。如果只是验证链路和输出格式用小档位完全够如果要做真实任务别指望靠调参数把小档位救成大档位。5.2 输出解析think 标签是流式处理的边界推理模型会把思考过程和正式回答分开输出思考段落被包在一对标签里。一次性拿到完整文本时用正则抠掉就行但流式场景下标签很可能被切在两个增量分片之间直接对每个分片跑正则就会出现“标签残留”或者“前端一直转圈不结束”的情况。正确做法是维护一个缓冲区只在缓冲区里出现完整结束标记之后才把前面那段判定为思考内容。import re START, END think_start, think_end # 实际用模型输出的开始/结束标记替换 def split_output(full_text: str): # 一次性文本用非贪婪匹配注意开启 re.S 让 . 能跨行 thinking re.search(rf{START}(.*?){END}, full_text, re.S) answer re.sub(rf{START}.*?{END}, , full_text, flagsre.S) return (thinking.group(1).strip() if thinking else ), answer.strip()流式版本要在这段逻辑外面再包一层状态机没见到开始标记之前的内容按普通回答处理进入思考态后先缓存不渲染见到结束标记再一次性切分。这套处理不做前端要么把思考过程当正文展示要么永远等不到结束信号。5.3 五条翻车记录一、拉完模型直接跑报内存不足。现象是加载阶段就退出日志里能看到分配失败。原因通常不是模型太大而是同时开了其他吃内存的进程或者默认上下文长度开得太长KV cache 提前把余量吃干净。解决方式是先关掉无关进程再把上下文长度调小一档确认能起来之后再逐步加回去。二、回复中英混杂、逻辑跳。现象是回答到一半突然换语言或者反复自我否定。原因跟模型档位和训练配方都有关——纯强化学习路线的模型在探索阶段容易出现语言不一致小参数量会把这个特征放大。解决方式是换更大的标签、在提示里明确要求输出语言并把采样温度调低让分布收窄。三、思考过程没有结束标记界面卡住。现象是文字一直在出但永远进不了“正式回答”状态。原因是流式分片把结束标记切开了前端没匹配到。解决方式是按上一节的状态机处理别在每个分片上做整段正则匹配同时给一个最大等待时长兜底超时就当作思考结束。四、同一个问题两次答案差很多。现象是同一提示词跑两遍结论相反。原因是采样本身有随机性温度、top_p 这些参数没调模型每次走的都是不同分支。解决方式是把温度压到接近 0或者干脆按 consN 的思路多跑几次取多数但要清楚这只在答案唯一时才有意义。五、拿小档位硬啃复杂推理。现象是简单题很顺稍微绕两步就崩。原因是参数量决定的能力上限摆在那里强化学习能提升的是这条曲线上的斜率不是把 1.5B 抬成几十 B。解决方式是先判断任务类型格式转换、信息抽取、简单问答用小档位性价比最高多步数学、长链逻辑要么换档要么把问题拆成多轮。6. 取舍纯强化学习的天花板与工程落地的地板R1-Zero 最容易被误读的地方是把“跳过 SFT 也能训出推理能力”直接当成通用配方。仔细看它的成立条件就会发现这套方法吃的是可验证奖励——数学、代码这类任务能自动判对错奖励信号干净得像实验室环境。换成开放域问答、客服对话、内容生成正确答案没法用规则判只能靠奖励模型去近似人类偏好而奖励模型一旦不完美纯强化学习就会开始钻空子输出变得冗长、格式套路化、看起来很有道理但经不起核对。这就是为什么最终成型的训练流程还是回到了“少量 SFT 冷启动 强化学习 通用强化学习”的组合。取舍点在三处一是可读性纯探索出来的思考过程语言混乱产品里没法直接展示二是任务覆盖面只优化推理会让非推理场景退化必须用帮助性与安全性奖励把它拉回来三是可控性SFT 提供的是一个稳定的起点能让后续强化学习不至于从太远的分布出发。换句话说纯强化学习证明了能力上限可以更高SFT 与通用强化学习保证的是下限别塌。想自己验证这套取舍是否成立我一般会做三件事固定一组有确定答案的题分别跑单次采样和多次一致性采样看差距有多大再看思考过程的长度分布如果长度暴涨但正确率没涨基本就是奖励被钻了空子最后拿一组非推理任务改写、摘要、格式转换测一遍确认模型没有为了推理能力牺牲掉正常说话的能力。我自己踩过最贵的一次坑是拿一个小档位模型在开放任务上开了很高的探索自由度结果输出越来越长、越来越像模像样正确率却纹丝不动白烧了两天机器时间。从那以后我每次调训练或推理参数都强制先跑那三组对照再动别的。希望帮到你。本文还有配套的精品资源点击获取