简介面向高校人工智能、计算机相关专业学生的《A卷强化学习期末考试原题加答案》是一份备考资源针对强化学习课程期末考核所涉及的核心概念与方法进行系统梳理。该资料以 PDF 形式提供共 1 个文件压缩包整体约 332KB内容紧凑且便于直接查阅与打印复习。资源覆盖折扣因子、状态转移与奖励、贝尔曼方程、蒙特卡洛方法、时间差分方法、SARSA 与 Q-learning、值迭代与策略迭代、马尔可夫决策过程、状态-行动值函数和学习率等重点专题每道题目均配有步骤清晰的参考解答便于读者对照理解计算过程与算法差异。资源还比较了在线算法与离线算法的适用场景、基于模型与无模型方法的优缺点帮助构建完整的强化学习知识框架。目前已有290人学习下载适合期末冲刺复习、考研备考。1. 强化学习期末考试原题加答案考前刷卷比看十遍课件有用期末周时间紧光看课件和公式推导很难知道自己到底掌握到什么程度。这份强化学习期末考试原题加答案把一学期最重要的考点浓缩进十道题里网格世界的贝尔曼方程手算、蒙特卡洛与TD方法对比、SARSA与Q-learning的更新方式辨析、值迭代与策略迭代的步骤拆解还有n-step Sarsa和标准Sarsa、MC学习之间的转换关系。每道题都带参考答案和推导过程适合三类人期末前想快速刷真题的本科生需要系统梳理强化学习核心概念的考研党以及入门强化学习后想用题目检验自己的开发者和研究者。这份资料的判断标准只有一个——题够不够典型答案够不够清楚。2. 贝尔曼方程与MDP手算把四状态网格世界算到小数点后两位2.1 从题目文字到方程组先搞清楚状态、奖励和转移原题第一题是典型的网格世界手算题状态空间只有四个状态转移和奖励都预先给定。这种题的价值在于不需要写代码靠纸笔就能推完整个值函数估计过程是理解贝尔曼方程最好的训练场。先把状态和转移关系拆清状态s₁奖励为-150%概率转移到s₃转移奖励150%概率转移到s₂转移奖励1状态s₂奖励为1总是转移到s₄转移奖励0状态s₃奖励为1总是转移到s₄终止状态状态s₄奖励为0是终止状态每走一步既产生当前状态的即时奖励又叠加转移后的未来价值。把贝尔曼方程写出来# 四状态Bellman方程组γ0.9 # v(s1) 0.5*(-1 0.9*v(s3)) 0.5*(-1 0.9*v(s2)) # v(s2) 1 0.9*v(s4) # v(s3) 1 0.9*v(s4) # v(s4) 0 # 终止状态价值恒为0这里有个关键约定终止状态的价值定义为0因为它之后没有任何后续奖励。很多人在这一步翻车把s₄当成普通状态继续套递归结果算出一个奇怪的发散值。从s₁出发无论走哪条分支都要先支付-1的即时奖励所以两个分支的括号里都带着-1。2.2 折扣因子γ0.9时的完整手算过程有了方程组代入γ0.9逐步回代。从终止状态开始反推是最稳妥的做法因为v(s₄)是已知边界条件gamma 0.9 v4 0 v2 1 gamma * v4 # 1 0.9*0 v3 1 gamma * v4 # 1 0.9*0 v1 0.5*(-1 gamma*v3) 0.5*(-1 gamma*v2) print(fv(s4){v4:.4f}) # v(s4)0.0000 print(fv(s2){v2:.4f}) # v(s2)1.0000 print(fv(s3){v3:.4f}) # v(s3)1.0000 print(fv(s1){v1:.4f}) # v(s1)-0.1000v(s₁)-0.1这个结果值得多说一句它不等于各分支奖励的简单平均因为未来价值v(s₂)和v(s₃)经过折扣后反过来影响了当前状态的估值。这正体现了动态规划的思想——单步奖励差不代表整个状态价值差要看后续状态的连锁反应。原卷答案里出现了v(s₄)1/(1-γ)的写法那是把s₄当成奖励为1的自环吸收态才成立。但题目白纸黑字写了s₄奖励为0是终止状态所以这里以终止价值为0重算。刷题时遇到这种不一致要警惕别背答案按题目条件推。我在第5章避坑部分还会再展开。2.3 状态值与行动值第六题和第九题的对照练习第六题给了三个状态的状态值要求计算某个状态下采取不同动作的状态值第九题则直接考状态值函数和行动值函数的公式与作用对比。两题连起来看恰好覆盖了贝尔曼方程的两种形态# 第六题已知 v(s2)6, v(s3)5, γ0.9 # 从s1采取a1到s2奖励4 v1_a1 4 0.9 * 6 # 9.4 # 从s1采取a2到s3奖励2 v1_a2 2 0.9 * 5 # 6.5 print(f策略1: 采取a1 - v(s1){v1_a1:.1f}) # 9.4 print(f策略2: 采取a2 - v(s1){v1_a2:.1f}) # 6.5状态值V(s)评估当前状态好不好行动值Q(s,a)评估当前状态下哪个动作最好。第六题算的是给定动作下的状态值本质是在做策略评估如果要找最优策略就在9.4和6.5之间取max。这两道题放在一起就是在提醒你别把策略评估和策略改进混成一步这是值迭代与策略迭代的根本区别。3. 蒙特卡洛与TD方法离线更新还是在线更新边界在这里3.1 蒙特卡洛完整回合结束后的事后结算第二题要求分析蒙特卡洛方法和时间差分方法并判断在线还是离线。蒙特卡洛的核心逻辑很简单玩完一整局统计每个状态的实际累计回报然后取平均作为该状态的估计值。它不需要环境模型也不需要当前状态的估计值去推下一个状态只需要一条完整的轨迹。特点在于更新必须等到回合结束。中间无论走多少步都不能回头修正之前的状态价值。这决定了它是离线算法——严格说是回合终止才更新。如果一轮对局要几百步那收集一条样本的效率很低但因为用的是真实回报估计的偏差相对较小主要问题是方差大。实战里MC常用于游戏类场景一盘结束就能拿到明确的胜负或得分信号。3.2 时间差分方法走一步就更新边走边学TD方法的核心公式是一个就地更新# TD(0)更新公式 # V(s_t) - V(s_t) α * [r_t γ * V(s_{t1}) - V(s_t)]TD方法在t时刻迈出一步拿到即时奖励r_t和下一个状态的价值估计V(s_{t1})立刻就把当前状态的价值往目标方向推一点。它不需要完整轨迹所以天然支持在线的逐步学习。这就好比边开车边看导航每隔几秒修正一次路线而不是到了终点再复盘。TD的代价是引入偏差——因为用估计去更新估计自举初始值估计不准时误差会传播。但它的方差比MC低因为每步只看一个随机转移而不是整条轨迹的累计随机变量。第二题的答案里还特别强调了MC是离线、TD是在线这个点考试频率极高。实际判断标准就一条更新是否需要等待整个回合结束。需要就是离线不需要就是在线。3.3 n-step Sarsa把MC和TD放进同一个谱系第二题单独考MC与TD第十题却把标准Sarsa、n-step Sarsa和MC拉到一起对比。n-step Sarsa的更新公式是Q的学习目标由n步真实奖励加上第n步之后的估计值组成。# n-step Sarsa 回报定义 # G_t^(n) r_t γ*r_{t1} ... γ^(n-1)*r_{tn-1} γ^n * Q(S_{tn}, A_{tn})当n1时它就是标准SARSA完全依赖自举当n趋于无穷大时它退化成蒙特卡洛完全依赖真实累计回报。n越大偏差越小、方差越大n越小方差越小、偏差越大。这是理解算法谱系的钥匙所谓不同算法不过是用多少步真实奖励来替换估计值的不同选择。4. SARSA与Q-learning对比一个公式之差on-policy与off-policy的分界线4.1 两行公式背后的策略差异第三题直接要求列出SARSA和Q-learning的更新公式。把它们并排写出来对比差异一目了然# SARSA: Q(s,a) - Q(s,a) α * [r γ*Q(s,a) - Q(s,a)] # Q-learning: Q(s,a) - Q(s,a) α * [r γ*max_{a} Q(s,a) - Q(s,a)] # 行为策略在SARSA里是ε-greedy或其他策略Q-learning的目标用的是maxSARSA的更新目标是下一个状态s、下一个动作a对应的Q值其中a是当前行为策略实际选出来的动作。Q-learning的更新目标则是s下所有动作Q值的最大值不管你实际下一步选了什么。这两个目标函数决定了它们的身份SARSA是on-policy因为更新用的目标值来自正在执行的行为策略Q-learning是off-policy因为目标值来自对最优策略的贪心假设与行为策略无关。考试里常见的问法是SARSA和Q-learning谁更安全。落实到具体情况SARSA因为跟着行为策略走在存在死亡陷阱比如悬崖边走会掉下去的环境里它会把避免危险编码进Q值Q-learning因为总是取max在学习过程中会高估危险区域的乐观价值实际执行时如果行为策略比较贪心容易一头撞进陷阱。这是两类算法在实践中的一个真实差别。4.2 手算SARSA更新把每个数代进去第四题给了一组具体的Q值要求手动计算一次SARSA更新。起始条件Q(s₁,a₁)2r3转移到s₂并选择a₂Q(s₂,a₂)3α0.5γ0.9Q_s1a1_old 2 r 3 gamma 0.9 Q_s2a2 3 alpha 0.5 Q_s1a1_new Q_s1a1_old alpha * (r gamma * Q_s2a2 - Q_s1a1_old) # 2 0.5 * (3 0.9*3 - 2) # 2 0.5 * (3 2.7 - 2) # 2 0.5 * 3.7 # 3.85 print(f更新后Q(s1,a1) {Q_s1a1_new:.2f})这种手算题有两个高频失分点。一是漏掉γ对Q(s₂,a₂)的折扣直接把0.9×3算成3二是忘记减去旧Q值Q(s₁,a₁)2把括号里的式子写成了(rγQ)就算了。每步都要严格按照旧值α×(目标值-旧值)的模板代入目标值里该折扣的折扣、该减的减才能拿到步骤分。4.3 值迭代与策略迭代交错前进还是大步循环第五题考的是值迭代和策略迭代的步骤。值迭代的更新公式是# v(s) - max_a [ r(s,a) γ * Σ_{s} P(s|s,a) * v(s) ]它每一轮都把状态值更新为当前所有动作下能达到的最大值本质上是贝尔曼最优方程的定点迭代。不需要显式维护策略收敛后直接从Q值贪心提取策略。策略迭代则是两步反复交替先固定策略做策略评估算出该策略下的状态值再做策略改进按照当前状态值选择最优动作更新策略。直到策略不再变化收敛到最优。策略迭代的收敛速度通常比值迭代快但每一步都要解一次方程组或做多轮迭代计算开销更大值迭代每次只要做一次max操作实现简单但迭代次数可能更多。考试答题时步骤一定要写全初始化策略、策略评估、策略改进、判断终止四步缺一不可。5. 强化学习刷题避坑五个高频失误与排查方法5.1 终止状态的价值被写成1/(1-γ)条件没看清现象第一题里把s₄的价值算成1/(1-γ)10导致v(s₁)、v(s₂)、v(s₃)全部连锁出错。原因某些教材用s₄奖励1、带自环的示例推导出v1/(1-γ)直接套模板没注意本题s₄的奖励是0且是终止状态。解决动笔之前先圈出终止状态。终止状态的定义就是V0没有后续奖励。如果题目给了奖励0、终止这类字眼直接令V(s)0往回代。5.2 蒙特卡洛被答成离线学习而丢掉后半句现象只写MC是离线算法判卷扣分。原因课程讲义里沿用了离线这个说法但简单两个字不足以解释MC的本质——它不需要模型但必须等回合结束才能更新。解决按先跑完整回合并记录回报→计算累积回报→更新状态值→重复四步作答每步后面补一句作用。MC更新的触发条件是回合终止不是离线训练这种模糊概念。5.3 第六题把策略评估当成值迭代直接用max取最优现象题目问计算状态s₁在不同策略下的状态值有人直接写max(9.4, 6.5)9.4当作最优值函数。原因看到v(s₁)就默认要求最优值没注意题目问的是该策略下的值而不是最优策略下的值。解决区分策略评估和策略改进。题目要求计算某个策略下的状态值就按该策略每个动作逐一计算期望只有题目明确说求最优策略或最优值函数时才用max。5.4 SARSA手算漏掉旧Q值的减法现象第四题算出Q(s₁,a₁)20.5×(30.9×3)4.85和正确答案3.85差1分。原因把SARSA公式记成了Q_new Q_old α×(r γQ_next)括号里漏了-Q_old这一项。解决UPDATE模板统一写成 new old α × (target - old)。先把target算清楚rγ×Q(s,a)再和old做差乘以α最后加回old。每一步都单独打草稿别心算跳步。5.5 n-step Sarsa的n搞不清边界现象把n0当成标准Sarsa来记。原因n-step是从时间步t开始往后数真实奖励的步数。n1表示只取一步真实奖励其余用自举估计这才是标准Sarsan∞才是MC。解决默念三遍n1是Sarsan∞是MCn越大越靠近MC。看到n-step先确认n的值再写公式避免把系数和指数写错。6. 复习收尾用n-step Sarsa串起整张算法谱系如果只挑一条线索串起全部考点我建议用n-step Sarsa。它把标准Sarsa和蒙特卡洛学习放在了两端n1时退化为标准Sarsa完全靠自举更新n→∞时退化为MC完全靠真实累计回报。改变n就是改变偏差与方差的权衡比例而TD方法恰好是这条谱系上n1的特例加上一个学习率α。# 谱系对照 # MC: G_t r_t γ*r_{t1} γ^2*r_{t2} ... 方差大, 偏差小 # n-step: G_t r_t γ*r_{t1} ... γ^(n-1)*r_{tn-1} # γ^n * Q(S_{tn}, A_{tn}) 折中 # SARSA: G_t r_t γ * Q(S_{t1}, A_{t1}) 方差小, 偏差大顺着这条线回看整张卷子就清楚了第一题的贝尔曼方程是Dyna-style规划的基础第二题的MC与TD对比是时序差分学习的起点第三题的SARSA与Q-learning是on-policy与off-policy的分水岭第五题的值迭代与策略迭代是动态规划求最优的策略第十题则是把这几个方法统一进一个框架收网。建议刷这套题时别按顺序刷先从第十题开始带着谱系感倒着做。从那以后我每次复习强化学习都会强制自己先默写一遍n-step Sarsa的回报公式再顺着它展开成Sarsa和MC两个特例最后落到值迭代的公式上。整套知识框架用十分钟就能过一遍比盲目刷二三十道零散题管用。这份原题卷覆盖的考点和手算题型很典型考前值得沉下心走一遍希望帮到你。本文还有配套的精品资源点击获取