大模型LLM面试这几年已经变成了一场“原理深度”的比拼。过去两年里我既作为候选人面过大厂和创业公司的LLM岗位也作为面试官坐在桌子另一边看过很多人的临场发挥有一个感受特别强烈翻来覆去就是那么8个问题但能答透的人少之又少。这8个问题一旦答不上来后续基本就是走个过场。这篇文章就把这8个必问问题逐个拆开讲覆盖预训练与微调、Transformer架构、Tokenizer、幻觉、评估指标、RAG、LoRA、上下文窗口八个方向从底层原理、面试官到底在考什么到怎么组织答案一次说清楚。准备面试的朋友直接按这篇来过一遍比零散刷题有效得多。1. 面试官在筛选什么人LLM面试的底层逻辑1.1 这8个问题串成的“能力链路”很多人把面试问题当成孤立的知识点去背这是最大的误区。你把这8个问题摆在一起看会发现它们不是随机抽取而是一条非常完整的链路模型怎么来的预训练与微调→ 模型内部靠什么结构运作Transformer→ 模型怎么理解语言的基本单位Tokenizer→ 模型会出什么典型问题幻觉→ 怎么判断模型好坏评估指标→ 模型上线后短板怎么补RAG→ 资源有限时怎么定制LoRA/QLoRA→ 处理长文本时会遇到什么瓶颈上下文窗口。从这条链路就能看出面试官问这些问题不是单纯想考你的记忆力而是在验证你有没有构建起一套“从原理到工程落地”的完整认知。如果你只会调API、只会写Prompt那你在这8个问题上会非常吃力。相反如果你能把这条链路串起来理解很多追问根本不用猜顺着逻辑就能推出来。1.2 面试官换着法子问其实都在测这三件事面试官不会一上来就抛“CNN和Transformer的区别”这种开放大题通常是从一个概念切入然后不断追问。追问的过程才是真正打分的过程。我坐在面试官那一侧时最关注的其实是三件事第一候选人是否具备真正的底层理解而不是停留在“我知道有个东西叫RAG”这种程度第二能不能把概念安放到实际问题里比如谈起幻觉缓解会不会给出结合业务场景的方案还是只会背诵“用RAG可以解决幻觉”第三面对没有标准答案的开放题时有没有一套清晰的思考框架。在接下来的拆解里我会把每个问题按“是什么→为什么→怎么做→会踩什么坑”的梯度来讲。建议你不要只满足于看懂第一层面试时你至少要能稳定输出到第三层。2. 必问问题深度拆解从原理到面试话术2.1 预训练与微调模型的“来历”决定了理解的深度面试官一般有两种问法直接问“预训练和微调的区别是什么”或者绕个弯问“既然大模型已经在海量数据上训练过了为什么还要微调”。如果你只回答“一个无监督、一个有监督”基本就是送分题白送面试官会立刻往下加压。预训练阶段模型在海量文本上做自监督学习目标只有一个根据前文预测下一个token或者把被盖住的词猜出来。这个阶段学到的不是某个具体任务而是语言的统计规律、世界常识、逻辑关系的底层分布。你可以把它理解成一个读过无数本书但还没上过岗的实习生知识面很广但你让他按你的业务格式输出他会手足无措。微调阶段就是让这个实习生化身成你需要的岗位角色用带标签的领域数据教他输出JSON、用特定语气说话、遵守某些规则。比如你想让模型做客服就准备大量的“用户问题→标准答复”数据继续训练。这里有个关键认知预训练模型的“知识面”来自预训练语料如果语料里没有某个行业知识微调再努力也只是在引导既有知识而不是凭空创造知识。面试时比较加分的回答是你主动提到Scaling Law说清楚随着参数量、数据量、计算量同步放大模型损失会按幂律关系下降能力会涌现。同时补一句“数据质量几乎和参数规模一样重要训练垃圾堆只会得到垃圾输出”立刻会让面试官觉得你不是背定义而是有训练实践的感知。再往下面试官如果追问对齐Alignment你可以顺势讲一遍“预训练→SFT→RLHF/DPO”的三阶段链路把早期的人类反馈强化学习和现在主流用的DPO都带一句这一段回答就能从“概念对比”升维到“整条技术演进”的层面。2.2 Transformer与自注意力不只看懂还要能讲透Transformer几乎是必问中的必问。面试官可能从任意角度切入什么是自注意力、什么是多头注意力、位置编码怎么加、为什么Transformer能取代RNN。这些点不串起来讲很容易被追问到卡壳。自注意力Self-Attention的核心流程是这样每个输入的token都会生成三个向量——Query查询、Key键、Value值。Query和Key做点积得到一个相似度分数再除以根号下的维度数做缩放送入softmax归一化成权重最后对Value做加权求和。这里容易被忽略的是“为什么除以sqrt(d_k)”因为点积的数值会随维度增大而方差变大如果不缩放softmax会进入饱和区梯度极小模型就学不动了。你能讲出这个细节面试官基本能确认你不是背公式。多头注意力Multi-Head Attention则是把Q、K、V分别做多次线性投影拆分到多个“头”里独立计算注意力最后拼起来再过一层线性层。为什么要多头因为不同的头可以关注不同的语义关系有的头注意句法有的头注意指代有的头关注数值组合起来才能覆盖复杂语义。说人话就是一个全能的“观察者”不如一组各司其职的“专家团”。此外还要能说清位置编码的意义。Transformer的结构本身不感知顺序把“我打你”和“你打我”的两个token变成完全一样的向量所以必须把位置信息注入进去。早期用正弦余弦位置编码后来LLM里更主流的是RoPE、ALiBi这类可外推的编码。回答中能把Attention公式写出来再点明三个关键设计意图——并行度高、长距离依赖能力强、复杂度O(n²)但可通过工程手段缓解——这个问题基本就过关了。2.3 Tokenizer词是怎么切成模型的“字母”的Tokenizer是个容易被忽视但特别重要的底层问题。面试官常问有哪些Tokenizer类型、BPE是怎么工作的、词表大小怎么定、为什么中文经常被切得很碎。基本分类要能脱口而出字符级、词级、子词级。现在主流是子词级其中BPEByte Pair Encoding又是最常被问的。BPE的逻辑很朴素从头开始看每个词先看成一个个字符然后反复统计相邻字符对的出现频次把最高频的那对合并成一个新符号重复这个过程直到词表规模达到设定值。比如“low”和“lower”在数据里反复出现“low”和“er”就可能被合并成下个阶段的一个token。WordPiece与BPE的区别是它每次合并时选能让语言模型似然值增加最多的符号对而不是简单看频次。Unigram则是另一路用概率模型迭代删减字符看谁少了损失最小就删谁。加分点是你要能结合中文情况讲。中文词表如果用词级切分词表会爆炸新词永远收不完OOV未登录词问题极其严重。所以中文LLM普遍用字节级BPE或SentencePiece这类方案把“算力”切成“算”“力”甚至更细虽然看着碎但模型能通过上下文重新组合语义。这里还要能说清trade-off词表太大Embedding矩阵占显存词表太小序列会被拉长训练和推理速度变慢。面试官问这个词表规模时不用背具体数字但要能说“词表大小和语料规模强相关像GPT-2设的是50257很多中文模型会做到几万甚至十几万因为中文字符组合更丰富”。2.4 幻觉问题为什么AI越自信越容易胡编幻觉是我在面试里必问的问题因为它太贴近真实应用了。大模型本质上是根据前文预测下一个token的概率分布它不知道什么是对的只知道什么在统计上更“顺”。当你问它一个训练数据里很少出现的问题时模型为了维持输出的流畅和自信会硬凑一段内容出来——这就是幻觉。面试时最好把幻觉分两类讲事实性幻觉和忠实性幻觉。事实性幻觉是答案跟真实世界不一致比如问“某公司2023年营收”它编了一个数字忠实性幻觉是答案跟用户提供的上下文不一致比如你给了它一段材料它生成的内容却偏离了材料。能主动区分这两类本身就是有真实项目经验的信号。缓解方案不能只说一句“上RAG”。实际项目里通常是组合拳一是靠RAG把回答约束在给定材料上减少模型自由发挥的空间二是在微调数据里加入“知识不足时回答不知道”的样本让模型学会拒绝三是在解码阶段调低temperature让模型更保守降低小概率token冒头的概率四是上线后用抽样多次、答案一致性校验来筛选更可信的输出。更有水平的收尾是补一句“幻觉无法百分百消除目标是把发生比例压到业务可接受的范围”面试官听到这种务实表述往往比任何炫技都认可。2.5 评估指标不能只谈“效果好”一聊评估很多人条件反射就答BLEU、ROUGE但这两个指标在大模型开放生成任务里有明显局限。BLEU基于n-gram精确率看生成文本和参考文本有多少片段重合适合机器翻译这种标准答案清晰的任务ROUGE基于召回率适合摘要任务看参考摘要的内容有没有被覆盖到。但大模型生成任务常常没有唯一正确答案同一种意思可以有十种不同表达n-gram重合率会很低但人类评分会觉得答得很好这时候光看BLEU会严重失真。面试时建议用一张“指标地图”来回答传统匹配类指标BLEU、ROUGE适合封闭式任务困惑度PPL衡量模型对序列的预测能力只反映流畅度不反映事实正确性人工评估仍是终极标准但贵且慢所以要设计评分标准把流畅度、相关性、忠实度、有害性分开打分LLM-as-a-judge用另一个强模型来打分便宜可规模化但会出现打分模型的偏好偏差需要校准。末尾一定要落到业务上。做客服问答就看答案是否准确解决用户问题做文案生成就重点看流畅度和可读性。能说出“评估标准取决于业务目标和成本约束”这句话会让面试官觉得你考虑过真实的测评体系而非模板答案。评估方式适用场景主要局限BLEU机器翻译等有标准答案的任务同义词、合理表达会被误判为低分ROUGE摘要任务、文本覆盖度只关注覆盖不关注连贯性和事实性PPL衡量序列预测流畅度不能判断回答内容是否正确人工评分替代用户真实感受的终极标准成本高、速度慢、需要设计严谨评分表LLM-as-a-judge大规模、低成本打分的场景存在评分模型偏好需校准2.6 RAG与外挂知识库把模型变成“带着资料的回答者”RAG的问题几乎等于必问而且面试官一定会追问细节。最基础的流程是用户问题进来后先转成向量在向量库里做近邻检索拿到最相关的Top-K文本片段把这些片段和用户问题一起拼成Prompt再交给LLM生成回答。回答不能只停在这一层。你要能讲出三个关键细节第一切块策略chunking直接决定检索质量。块太大信息冗余召回的片段可能跟问题只沾个边块太小语义被切断正确答案反而找不到。常用方案是按段落切、按句子切或者用固定窗口加重叠overlap来避免语义断裂。第二纯向量检索对专有名词和缩写不友好所以成熟项目普遍用混合检索向量BM25再配一个rerank模型把候选重排确保最相关的答案排在前面。第三用户提问往往口语化、信息不全需要做query改写把口语问题翻译成更适合检索的书面化表达。面试官大概率会追问“既然有了RAG是不是就不需要微调了”你要明确回答RAG解决的是知识时效性、私有知识引入、减少幻觉这几个问题但如果你需要模型改变输出格式、遵循领域指令、调整说话风格那就仍然要微调。两者是互补关系不是替代关系。能把RAG和微调的边界划清楚这道题就稳了。2.7 LoRA与QLoRA花小钱微调大模型的工程思路LoRA是参数高效微调PEFT里最核心的代表面试官问它通常是想看你对“资源受限时怎么定制模型”有没有真实认知。LoRA的做法很巧妙预训练权重W保持不变只额外学习一个低秩增量ΔW。研究发现微调过程中模型参数的更新量往往具有低秩特性所以可以把ΔW分解成两个小矩阵A和B相乘训练时只更新A和B两个小矩阵。参数量瞬间降到原来的极小比例很多任务只用不到0.5%的可训练参数就能逼近全参数微调的效果。推理时还能把A×B合回原权重不增加任何额外延迟。面试官常问的三个点你要接得住。第一秩r怎么选一般8到16比较常用具体看任务复杂度建议做一轮增秩对比找到效果饱和点不是r越大越好。第二LoRA加在哪些层通常是注意力层的q、k、v、o投影矩阵上也能扩展到MLP层不同层敏感度不同需要测试。第三为什么LoRA有效背后的经验观察是微调过程的权值更新确实是低秩的低秩子空间能在保留主干泛化能力的同时降低灾难性遗忘风险。QLoRA则是在LoRA基础上叠加了4-bit NF4量化把预训练权重压缩后再插LoRA适配器配合分页优化器解决显存尖峰让几十B规模的模型都能在单卡上微调。面试里可以补一句“4-bit量化会在一定程度上损失精度但适配器训练能部分抵消这部分误差所以很多任务上QLoRA效果和全参数微调差距很小真要追求极致效果全参数微调仍然是最稳的”。这两个概念连起来讲显得既有广度又有取舍判断。2.8 上下文窗口长文本是能力也是瓶颈上下文窗口就是模型一次最多能接收的token数量。为什么它是个永远绕不开的话题因为自注意力的时间和显存复杂度是O(n²)序列长度每翻一倍计算量翻四倍显存也翻四倍。所以长上下文不只是“能不能装下”的资格题更是成本题。面试时先把复杂度讲清楚已经能及格。再往下讲优化手段FlashAttention通过分块计算和在线softmax把显存复杂度降到O(n)推理速度也明显提升KV Cache在生成时缓存历史token的K、V矩阵避免重复计算是产业界支撑长对话的必备手段稀疏注意力、滑动窗口注意力用局部性假设降低复杂度位置编码外推比如RoPE、ALiBi、YaRN让训练时较短的模型也能在更长上下文上继续工作。这里最容易翻车的是把“上下文窗口”理解成“塞得进去就行”。实际项目里把一大本手册全怼进上下文往往会触发“Lost in the Middle”现象——模型对长篇文本中间位置的内容记忆和关注显著变弱你还是找不到答案。所以工程上更稳的做法是RAG外挂加关键片段提取必要时做递归摘要压缩。这种“用组合拳解决长文本问题”的工程化回答比单纯介绍概念要高级得多。3. 面试实战技巧把知识转化成表达能力3.1 一套通用回答框架结论→机制→权衡知识储备再好现场表达一团乱也白搭。我强烈建议你用“结论—机制—权衡”三层结构来组织所有技术问题的回答。第一层一句话给结论。比如被问RAG你开口先说“RAG是检索增强生成它通过动态引入外部资料来提升LLM生成内容的准确性和时效性。”面试官马上知道你有清晰认知。第二层展开机制和流程刚才那套检索、切块、重排的细节可以来了。第三层补上权衡也就是“它有什么短板、你实际项目里怎么取舍”。比如补充“RAG的效果瓶颈在检索质量如果Top-K里没有正确答案模型再大也没用”。三层结构最大的价值是控制节奏。就算时间不够你至少保住了第一层时间充裕再往下展开。背答案的人往往从头到尾输出一长串细节面试官听完都抓不住重点。你按框架走任何问题都显得有条理哪怕内容稍微薄一点至少对方愿意听下去。我实际带人面试时还发现一个细节讲项目经历也适用类似的框架。背景和要解决的问题一句话说清别铺垫到两分钟然后说技术选型为什么选了这套方案最后说结果和踩坑有数字就给数字。这种表达方式不只是面试管用日常工作汇报、写技术方案一样受益。3.2 追问链至少准备到第三层面试官常做的操作是沿着一个概念连追三层。比如第一层什么是LoRA 第二层为什么LoRA能减少训练参数量 第三层你的业务里用LoRArank怎么选效果怎么验证第一层答好只是过关第二层答好算有体系第三层答好才算真正有竞争力。你要做的准备不是背诵几十道题而是把每个核心概念都向深处挖一到两层。在上面每一节里我都标注了通往第二层、第三层的线索Tokenizer要往下挖到BPE和中文切碎问题RAG要往下挖到切块和重排幻觉要往下挖到事实性幻觉与忠实性幻觉的区分。最好在家对着录音把追问练习一遍。你听自己回答时会发现很多问题逻辑跳跃、记住的名词卡住、表达冗余。这些在脑海里过的时候不会被发现一开口就暴露无遗。把每个概念练到能自然讲到第三层面试时无论面试官怎么换角度问你都能接住。4. 常见翻车现场与避坑清单4.1 现场答错的几种典型姿势第一个翻车现场把RAG说成“就是向量检索”。RAG的核心是“检索增强生成”检索只是其中一个环节你还得说清楚怎么检索、怎么拼接、怎么生成才算是真正懂。第二个说Tokenizer就是“把词变成编号”完全没有子词和BPE概念面试官一听就知道你只写过几行调用代码。第三个说Transformer就是“注意力机制”却没有Encoder-Decoder结构、多头、位置编码的支撑。第四个讲LoRA只会背“低秩分解”四个字问“为什么微调更新是低秩的”就哑火。第五个评估指标只背BLEU、ROUGE却意识不到开放生成里这两个指标有多脆弱。第六个说到预训练和微调只会说“有监督无监督”完全不知道RLHF/DPO这根线。还有一种更遗憾的翻车方式遇到不会的问题直接沉默或者硬编。面试官其实没那么苛刻你诚实说“这块我还没有实际跑过但我理解的大致方向是……”也能保住交流分因为面试官更看重你的推理过程和思维能力而不是你恰好见过所有题。不说话或者强行胡扯等于直接把门焊死。4.2 面试前一周怎么急救最有效如果时间不多我不建议你刷几十份题库而是按一个更高效的清单来第1天把预训练与微调、Transformer、Tokenizer、幻觉、评估、RAG、LoRA、上下文窗口8个概念每个写成100到200字的自己话版本。不用追求完美目的是逼自己回忆激活。第2到3天每个问题用“结论—机制—权衡”框架口头练一遍控制在1到2分钟。一定要出声不要默念。第4天做追问模拟。把每个问题连着追问三层的版本各录一遍回听时重点关注卡壳点。第5天准备项目介绍。用“背景—方案—踩坑—结果”四段式写一个5分钟版本再精简出一个1分钟版本。面试官让你介绍项目时这两份稿子基本够用。第6天复述8个概念的“为什么”和“业务权衡”。这比再背一遍定义有用得多。第7天休息保持精力别再硬塞新知识。这套清单我带人用过几次核心思路不是追求面面俱到而是逼迫你把知识组织进回答流程里。面试现场状态比知识储备更重要从容不迫地讲出三层结构比你记得几十个名词但支支吾吾要强太多。最后再分享一点个人体会。我坐在面试官那侧时最欣慰的是看到有人在讲错之后能立刻反应过来说“等等我刚才说的不准确更准确的理解应该是……”这种自纠能力其实是做LLM应用非常重要的素质因为模型输出本身就带有不确定性你必须能快速识别偏差并修正。反过来我最担心的不是候选人知识面窄而是明明不懂却坚持嘴硬。把这8个问题吃透你收获的绝不只是面试能力而是一套对LLM技术栈更完整的理解骨架——这套骨架你后面做应用、做研究、做模型选型都会反复用上。