简介《机器学习期末复习试题.doc》是一份面向机器学习课程期末备考的试题资料适合高校生、考研复习者以及算法初学者系统梳理核心概念。内容以问答形式覆盖九大高频考点监督与无监督学习、过学习的成因与对策、回归与逻辑回归的损失函数、多层感知机BP算法流程、朴素贝叶斯在特征重复场景下的失效分析、最近邻法与三近邻法的距离计算、极大似然法参数推导、线性可分性与异或问题的核函数映射、EM算法收敛原理等。每道题都附有简明参考答案部分计算题如三近邻距离排序、抛硬币的θ估计、φ(x)[1,x1,x2,x1x2]映射与最大间隔求解均给出逐步推导或观察解法便于对照自测。资源包仅含1个doc文档大小93KB适合考前一周集中复习、打印背诵或作为题库快速查阅。已有5740人浏览学习是期末前查漏补缺的实用资料。1. 机器学习期末复习试题考前一周最该做的不是刷题是刷「错题归因」拿到一份“机器学习期末复习试题.doc”考前一周的常规操作是闷头刷一遍对答案把错题背下来。我的看法相反翻车的同学大多不是不够努力而是把做题当成了终点。这份复习试题的真正价值不是让你“做过这些题”而是用它暴露你的知识盲区再逐个填平。这篇文章按我实际用过的复习流程展开先搭考点地图再拆高频题型接着用避坑清单兜住低级失误最后把错题反向变成查漏清单。适合正在准备期末、手上有复习题但不知道怎么用的同学自学者也一样适用。2. 先搭知识地图一份期末卷的考点分布与分值权重参考2.1 监督学习主线回归、分类与集成模型的高频考点边界不搞清知识框架就刷题刷完只会记得零散题目换个问法还是不会。我一般建议先按“模型—任务—损失函数—评估”四层去看整张卷子。监督学习通常占整卷的50%到60%这部分丢分期末基本就危险了。回归部分线性回归是必考。要掌握损失函数是均方误差 MSE公式是 1/n 乘以所有样本真实值与预测值差值的平方和参数求解有两条路径最小二乘法闭式解和梯度下降迭代。闭式解要会推导梯度下降要能写清更新式 θ : θ - α·(1/m)·Σ(h(x_i)-y_i)·x_i。问答题常考“为什么线性回归用最小二乘而不用绝对值误差”答案是 MSE 处处可导几何上对应欧氏距离方便求导和优化。分类部分逻辑回归虽然名字带“回归”实际是分类模型。常考“为什么不用 MSE 做逻辑回归损失”因为 MSE 对 Sigmoid 输出是非凸函数梯度下降会陷入局部最优交叉熵是凸的更容易收敛。朴素贝叶斯考贝叶斯定理和条件独立假设手算题典型是垃圾邮件分类。决策树考信息增益与基尼系数的计算要能根据给定表格一步步算出 H(D)、H(D|A) 和最终的信息增益。集成学习是近年试卷里的常客。随机森林等于 Bagging 加决策树特点是并行训练、降低方差AdaBoost 与 GBDT 属于 Boosting串行训练、降低偏差。我见过最狠的一道简答题是“为什么 Boosting 比 Bagging 更容易过拟合”答案在 Boosting 会不断拟合残差、对异常点敏感而 Bagging 对每个子集平均化天然平滑。2.2 无监督与降维聚类、关联规则与 PCA 的出题方式无监督部分通常占 20% 左右。K-Means 是绝对主力考点包括欧氏距离度量、迭代步骤初始化中心、分配样本、更新中心、收敛判断、K 值选择肘部法。手算题会给 6 个点聚成 2 类要求写两轮迭代后的类中心。DBSCAN 考两个参数邻域半径 eps 和最少样本数 minPts常问“当 eps 过大时聚类结果会怎样”答案是噪声点被并入簇、簇数量减少严重时整片数据合成一坨聚类失去意义。降维部分PCA 考概念比考计算多主成分是协方差矩阵的特征向量特征值大小代表该方向的方差解释率。常问“为什么 PCA 之前要做标准化”因为不标准化量纲大的特征会主导方差主成分结果失真。关联规则 Apriori 算法考支持度、置信度、提升度三个指标的计算外加剪枝思想先找频繁项集再生成关联规则提升度大于 1才算正相关。这类题算起来不难但容易因为忘记分母到底是哪个计数而丢分。2.3 评估指标与验证策略混淆矩阵、偏差方差与交叉验证的分值分布评估部分一般占 15% 到 20%但最容易暴露出“背了定义、不会用”的毛病。混淆矩阵是起点要能从 TP、FP、FN、TN 推导准确率、精确率、召回率和 F1。选择题常考“在信用卡欺诈检测中把正常交易误判为欺诈和把欺诈漏过去哪个代价更高”答案是漏过去低召回后果严重所以优化目标应该是召回率或 F1而不是准确率。偏差方差这块偏置大等于欠拟合方差大等于过拟合。正则化是降低方差的常用手段L1 会把权重稀疏化适合特征选择L2 把权重压缩到接近 0 但不为 0。这个问题在多选和简答里反复出现。交叉验证几乎所有问答题都会碰。K 折交叉验证把训练集分成 K 份轮流拿 K-1 份训练、1 份验证最终指标取平均。常问“为什么不直接用测试集调参”因为测试集一旦参与调参就有了信息泄漏最终评估结果虚高这不是给自己买后悔药而是自己骗自己。下面是复习试题中一份参考用的考点分布表复习时优先覆盖占分高的格子考点块典型题型大致分值占比线性回归与梯度下降简答、计算10%-15%分类模型逻辑回归/朴素贝叶斯/决策树简答、手算、选择20%-25%SVM 与核函数选择、简答5%-10%集成学习选择、简答10%K-Means / DBSCAN计算、简答10%PCA 降维选择、简答5%评估指标与交叉验证选择、简答15%-20%数据处理与特征工程选择、简答5%-10%注意这是参考分布不是铁律。如果你的课程偏向“机器学习西瓜书”决策树和信息增益的分值会更高如果偏向“吴恩达机器学习”线性回归和神经网络的分值会更高。拿到真实试题先翻一遍主观题对照这个表再分配时间。2.4 别忘了神经网络与深度学习的基础考点很多学校的“机器学习”课和后续的“深度学习”课分开但期末卷里神经网络至少占 10%。考点集中在感知机与多层感知机、激活函数选型、前向传播和反向传播的流程、梯度消失原因。反向传播不要求手算链式法则每一步但至少要能把流程写出来前向算输出、算损失、从输出层往回逐层求梯度、更新权重。常考“为什么深层网络用 Sigmoid 容易梯度消失”原因在 Sigmoid 导数最大值只有 0.25连乘之后趋近于 0梯度传不到前面层ReLU 导数为 1能缓解。激活函数的选择口诀隐藏层优先 ReLU二分类输出层用 Sigmoid多分类输出层用 Softmax。选择题喜欢把 Tanh 和 Sigmoid 放一起比答案是 Tanh 均值接近 0收敛更快。3. 用试题反向定位复习重点四类高频题型的拆解与答题套路3.1 概念辨析题六个最容易混淆的术语对与区分方法辨析题本质是考“边界感”。我总结了六个高频易混淆对子。过拟合与欠拟合区分看训练集和验证集的表现。训练集差、验证集也差是欠拟合训练集好、验证集差是过拟合。口诀“训差验差欠拟合训好验差过拟合”。常和学习曲线放一起考偏差高时曲线收敛在高误差方差高时两条曲线分叉明显。L1 与 L2 正则化图形上理解L1 约束是菱形最优解容易落在坐标轴上产生稀疏权重能做特征选择L2 约束是圆让权重趋向 0 但不等于 0。选择题问“哪个正则能做特征选择”就选 L1。Bagging 与 BoostingBagging 并行训练多个基学习器投票表决主要降方差Boosting 串行训练每轮纠正前一轮残差主要降偏差。监督与无监督核心看训练数据有没有标签。有标签是监督无标签是无监督。要注意“半监督”是用少量带标签加大量无标签数据它不是独立算法而是训练策略。偏差与方差简单说偏差是模型预测的期望与真实值的差距方差是不同训练集上预测的波动。高偏差就是跑偏高方差就是不稳。SVM 与逻辑回归SVM 追求最大间隔只关注支持向量适合小样本高维逻辑回归对全量样本建模输出概率适合需要概率解释的场景。选型时样本小、维度高、边界复杂优先 SVM样本大、要概率输出优先逻辑回归。3.2 计算推导题线性回归、朴素贝叶斯、决策树的手算流程计算题是拉分关键三个流程值得考前默写一遍。线性回归最小二乘法分四步走设模型 y wx b写误差平方和 J Σ(y_i - (wx_i b))^2对 w、b 求偏导并令其等于 0解二元一次方程组得到 w 和 b。考试给两个点也能解比如 (1,2) 和 (3,4)代入方程组可得 w1、b1。注意如果题目要求矩阵形式 x (X^T X)^{-1} X^T y而 X^T X 不可逆说明特征存在多重共线性要改用岭回归加 λI。朴素贝叶斯分三步统计先验概率 P(C)对每个特征统计条件概率 P(x_i | C)对新样本连乘后取最大后验的类别。最容易翻车的是某个条件概率为 0连乘直接为 0必须用拉普拉斯平滑分子加 1、分母加类别数。决策树信息增益分三步计算总熵 H(D) -Σ p_k log2 p_k对每个特征按特征取值划分子集计算条件熵 H(D|A)信息增益等于 H(D) 减 H(D|A)取最大者作为划分特征。如果题目改用基尼系数Gini(D) 1 - Σ p_k^2选 Gini 最小的特征。ID3 用信息增益C4.5 用信息增益率CART 用基尼系数这个对应关系是选择题常客。3.3 应用设计题从场景描述到模型选型的答题模板应用设计题是“机器学习 应用流程”最直接的考法。给一段业务场景让你设计解决方案。我的标准答题模板分四步。第一步定性任务先写“这是一个二分类/多分类/回归/聚类问题”不要上来就选模型。第二步匹配数据与模型小样本高维用 SVM 或逻辑回归文本用朴素贝叶斯或 TF-IDF 加 SVM图像用 CNN数值表格用决策树、随机森林或 GBDT。第三步写全流程数据清洗、特征工程、划分训练集验证集测试集、交叉验证选参数、训练模型、评估指标。第四步说明评估与迭代分类看准确率、召回率、F1回归看 MSE、MAE不平衡数据看 PR 曲线。答题时把这四步写全每一步写一两句理由就能拿大部分分数。数据量、特征维度、是否有标签、是否要求可解释性这四件事决定选型方向。3.4 实验分析题数据处理、特征工程与模型调优的答题框架实验分析题专门考“机器学习中的数据处理”和调参。给你一组实验结果让你解释为什么效果差或怎么改进。常见场景有三类。第一类模型在训练集上准确率 95%测试集只有 70%。判断为过拟合改进动作是加 L2 正则、降低模型复杂度、增加训练数据、用交叉验证调参、做数据增强。第二类训练集和测试集都只有 60%。判断为欠拟合改进动作是换更强模型、增加特征、减少正则强度、增加训练轮数。第三类归一化之后效果变差。先检查测试集是不是用了训练集的均值和方差做标准化。正确做法是把 scaler 拟合在训练集上再用同一 scaler 变换测试集否则就是数据泄漏。特征工程部分常考连续变量离散化、One-Hot 编码、缺失值处理均值、中位数、众数、删除、标准化与归一化的差别。标准化适合有异常值不严重的数值特征归一化适合有界的特征比如像素值 0 到 255。树模型对特征尺度不敏感线性模型和神经网络对尺度敏感答题一定要扣住这个点。4. 避坑期末复习中常见的五个「看似会了」陷阱4.1 背了公式但换数值就算错现象梯度下降更新公式默写得很流畅但卷子上给三个具体样本让算第一轮迭代后的参数算出来和同学对不上。原因只背了向量形式的公式 θ : θ - α·(1/m)·X^T(Xθ - y)没理解标量展开后要对每个样本的误差求和再乘以对应特征。实际手算时漏了求和或者乘了错误的特征列。解决考前至少完整手算一次线性回归一轮迭代。拿 3 个样本、2 个特征按“先算预测值、算误差、对每个特征求梯度、更新参数”的步骤走一遍把中间数字写下来。算完再用 python 的 sklearn 或者和同学对答案确认结果一致。4.2 混淆训练集、验证集、测试集的分工现象把测试集当验证集反复使用调完参数再拿同一份测试集评估最终得到 95% 准确率自我感觉良好。原因没理解三个集合的职责。训练集学参数验证集调超参数测试集只做最终评估。测试集一旦参与调参信息已经泄漏进模型最终评估结果虚高。解决在复习笔记里写死一句话“测试集只能碰一次”。做实验分析题时每一轮调参都要写“用 K 折交叉验证在训练集内部选参数最后用测试集评估一次”这样答题规范又能拿分。4.3 混淆监督与无监督的应用场景判断现象题目描述“给一批用户行为日志没有历史标签想把用户分群”有同学直接写决策树。原因看到“分”就想到分类没意识到“分群”是聚类。本质是没先问“有没有标签”。解决做题先圈出“是否有标签”这个关键条件。没有标签聚类或降维优先有标签再分回归还是分类。把这个流程写进应用设计题的模板里每次先写定性任务再选模型就能避开这个坑。4.4 只刷选择不写推导现象复习时选择题刷得很顺手觉得都会。考场上简答题要求“推导线性回归最小二乘估计”只能写出第一步误差平方和后面全乱了。原因选择题靠选项能唤起记忆推导题要自己组织逻辑链条两者记忆深度完全不同。这属于复习方式选错了把复习做成了刷题打卡。解决用复习试题时主观题不要只在脑子里过答案拿纸笔写完整推导。写完对照标准答案订正。推导题的产出是过程分脑子里过一遍和写出来差别很大尤其考试时间紧张时平时写过的同学能更快进入状态。4.5 忽略数据处理类考点现象卷子中“将类别特征用 One-Hot 编码”“标准化后 SVM 为什么精度提升”这类题丢分而模型原理却答得不错。原因复习时把精力都放在模型算法上轻视了“机器学习中的数据处理”这个基础环节。但数据预处理往往是实验分析题的第一步丢了很可惜。解决把数据处理常见考点列成一个清单缺失值处理、异常值处理、标准化与归一化、类别编码、特征选择、降维。每个考点配一个问题像选择题一样快速过一遍。花一小时补齐这部分比盲目刷十道模型题更划算。5. 错题归因到查漏清单逆向复习的三个具体动作5.1 错题分类把错误归到概念、计算、应用三类拿到参考答案后先别急着背。我习惯把每道错题归到三类中的一类。概念类表现为术语混淆、定义说不清比如“Bagging 与 Boosting 区别”答反了。计算类表现为公式记得住但手算出错、数值代错、步骤漏掉比如“信息增益算到一半忘了乘样本占比”。应用类表现为场景判断错、流程漏步骤、评估指标选错比如“不平衡数据集用准确率评估”。模糊的题按最严重的一类归。归类后统计数量哪类最多就先复习哪类这是按痛点排序不按教材目录排序。下面这张表可以快速对照错误表现分类对应复习动作SVM 和逻辑回归区别答反概念类画对比表各写三句关键差异梯度下降第一轮迭代数值算错计算类重做三道同类手算题场景没提标签还写了逻辑回归应用类练应用设计模板先写任务定性5.2 建立查漏清单按「不会的公式」「混淆的概念」「没见过的题型」三列我考前做的最后一份表是一个三列清单。不会的公式比如线性回归闭式解、SVM 对偶形式、信息增益、交叉熵、F1复习动作是默写直到能不假思索写出来。混淆的概念比如偏差与方差、Bagging 与 Boosting、L1 与 L2复习动作是画对比表用自己的话解释一遍。没见过的题型比如“给学习曲线判断模型状态”“给业务场景选评估指标”复习动作是找同题型再练两道练到套路熟练。这张表比错题本轻量考前一晚只看它效率最高。错题本太厚考前根本翻不完三列清单每列不超过五行十分钟能过一遍。5.3 时间分配考前三天与考前一晚的复习节奏我的一般节奏是这样的供你参考。D-3 做完整考拿一份完整复习试题按考试时间 2 小时限时做不看笔记、不查资料。这一步的目的是暴露真实水平不是制造焦虑。D-2 归因订正对答案把错题按 5.1 分类填三列清单。花半天把清单里“不会的公式”全部默写一遍。D-1 补漏针对“混淆的概念”和“没见过的题型”回到对应教材章节快速补。西瓜书看算法原理部分吴恩达机器学习笔记看课后题这两个来源足够覆盖大多数期末出题思路。考前一晚只做轻量复习看三列清单和错题归因统计别再刷新题。新题只会制造焦虑不会带来新的知识点。这也是我踩过的坑考前一晚刷了一套模拟题第二天考试满脑子是新题答案本来背熟的定义反而模糊。所以考前一晚只做“提取练习”不做“输入练习”。6. 最后一道坎把「会做」变成「能在考场上做对」复习试题练到能答对离考场上做对还差一个“模拟考试”环节。我的建议是至少完整限时做一次卷子时间严格按正式考试的 80% 到 90% 来留出检查余量。做题顺序先易后难先把选择填空这类快速拿分的做掉再做计算题最后写应用设计题因为设计题最耗时容易写到一半没时间。考场上一个容易丢分的地方是计算题的过程书写。复习试题的答案通常只写结果但阅卷按过程给分。线性回归推导哪怕最后数值错了只要前面的求和公式、求导过程是对的也能拿大半分数。所以要养成“每步一行、写清公式再代数”的习惯。另一个技巧是给简答题留“关键词优先”的答题结构先把核心术语写出来再展开解释。比如问“为什么 L2 能缓解过拟合”第一句写“L2 在损失函数中加入权重的平方和惩罚项迫使权重趋向 0降低模型复杂度”后面再补充几何解释。阅卷看关键词给分这个习惯能少丢不少冤枉分。我自己带复习时反复强调一个观念答题不是为了显得聪明是为了让判卷人快速看到你会哪些知识点。概念题先写定义再写区别设计题先写流程再写理由。这道坎过去了你会发现期末并没有想象中可怕。希望帮到你。本文还有配套的精品资源点击获取