简介《强化学习的数学原理》是西湖大学赵世钰教授撰写的英文专著面向具备线性代数、概率论与基础优化知识的研究生及算法工程师系统解决强化学习理论根基薄弱、公式推导模糊、算法理解流于表面等核心痛点。全书以数学严谨性为纲从网格世界等直观示例切入逐步展开马尔可夫决策过程、贝尔曼方程及其矩阵形式、值迭代与策略迭代收敛性、蒙特卡洛与时间差分方法的随机逼近本质、值函数近似与策略梯度的泛函分析视角并在附录中严格论证序列收敛性形成闭环理论体系。资源为单文件PDF18.9MB内容完整覆盖10章正文与附录排版清晰、公式规范、示例丰富适合作为高校RL课程补充教材或算法研发人员深度研读的数学参考手册。目前已有847人学习下载是少有的兼顾数学深度与教学可读性的强化学习原理型著作。1. 强化学习的数学原理为什么你调通了Q-learning却总在收敛边界上反复横跳你写完一个带经验回放的DQNreward曲线终于爬升——但下一秒就崩成锯齿你把learning rate从1e-3调到1e-4训练反而更抖你换掉ReLU换成Swishloss突然卡死在0.87不再下降……这些不是玄学是数学没落地的典型症状。赵世钰老师这本《强化学习的数学原理》不讲API怎么调、框架怎么搭而是直击所有翻车现场的底层根因贝尔曼算子的收缩性是否被破坏随机近似迭代的步长序列是否满足Robbins-Monro条件策略梯度估计中baseline的偏差-方差权衡是否失控全书用同一套网格世界贯穿10章把“值函数为何能收敛”“为什么off-policy能学optimal policy”“为什么actor-critic必须解耦critic更新节奏”全拆到线性代数与测度论的颗粒度。它解决的不是“怎么跑通”而是“为什么一改参数就崩”——当你看懂第6章Dvoretzky定理如何约束SGD步长衰减率你就不会再盲目调lr当你吃透第7章TD误差的马尔可夫链分解就能一眼识别出自己代码里那个没做状态归一化导致的方差爆炸。这不是一本“入门书”而是一份给已踩过坑的开发者准备的数学级调试手册。2. 贝尔曼方程为什么状态值函数必须满足这个递归结构而不是随便定义一个损失函数去拟合贝尔曼方程不是人为规定的“算法步骤”而是由马尔可夫决策过程MDP的底层概率结构强制导出的唯一自洽约束。它回答的是一个根本问题在给定策略π下状态s的价值v_π(s)究竟该是什么答案不是靠经验猜而是由环境动力学P(s|s,a)和奖励函数R(s,a,s)共同决定的必然结果。2.1 状态值的本质一个带折扣的无穷级数期望v_π(s) _π[G_t | S_t s]其中G_t R_{t1} γR_{t2} γ²R_{t3} … 是从时刻t开始的折扣回报。关键在于这个期望无法直接计算——因为未来轨迹长度无限且每一步都依赖于策略π和转移概率P。但MDP的马尔可夫性即未来只依赖当前状态提供了突破口将G_t拆成首项R_{t1}和剩余部分γG_{t1}而G_{t1}的分布只取决于S_{t1}。于是v_π(s) _π[R_{t1} γG_{t1} | S_t s] Σ_a π(a|s) Σ_{s,r} p(s,r|s,a) [r γ _π[G_{t1} | S_{t1} s]] Σ_a π(a|s) Σ_{s,r} p(s,r|s,a) [r γ v_π(s)]这就是贝尔曼方程的标准形式。注意它不是定义而是推导结果v_π(s)若不满足此式则其作为“长期回报期望”的语义就自相矛盾。2.2 矩阵-向量形式把方程变成可解的线性系统当状态空间有限||n可将v_π ∈ ℝⁿ视为列向量定义转移矩阵 P^π ∈ ℝ^{n×n}其中 [P^π]_{ij} Σ_a π(a|s_i) p(s_j|s_i,a)奖励向量 r^π ∈ ℝⁿ其中 [r^π]i Σ_a π(a|s_i) Σ{s,r} p(s,r|s_i,a) r则贝尔曼方程写作v_π r^π γ P^π v_π→ (I - γ P^π) v_π r^π此时解的存在唯一性完全取决于矩阵(I - γ P^π)是否可逆。而由于P^π是随机矩阵行和为1其谱半径ρ(P^π) ≤ 1故γ 1时ρ(γ P^π) 1从而I - γ P^π严格对角占优必可逆。这是折扣因子γ 1的数学必要性——没有它方程可能无解或无穷多解。2.3 闭式解与迭代解两种求解路径暴露的本质差异闭式解直接给出v_π (I - γ P^π)^{-1} r^π但实际中P^π和r^π往往未知model-free场景且矩阵求逆复杂度O(n³)不可行。于是转向迭代法v_{k1}(s) ← Σ_a π(a|s) Σ_{s,r} p(s,r|s,a) [r γ v_k(s)]这等价于不动点迭代 v_{k1} T^π(v_k)其中T^π是贝尔曼算子。关键性质在于T^π是γ-压缩映射γ-contractive mapping即对任意两个价值函数u,v有||T^π(u) - T^π(v)||_∞ ≤ γ ||u - v||_∞。这意味着每次迭代都让解向真实v_π收缩γ倍保证全局收敛且误差以几何级数衰减。提示压缩映射性质是所有动态规划算法如VI/PI收敛的基石。若你的自定义更新规则不满足此性质例如用非线性激活函数扭曲TD误差收敛性立即失效。2.4 从状态值到动作值Q函数为何天然适配策略优化状态值v_π(s)描述“在s处按π行动的长期收益”但无法指导“下一步该选哪个a”。动作值q_π(s,a) _π[G_t | S_ts, A_ta]则直接关联动作选择。其贝尔曼方程为q_π(s,a) Σ_{s,r} p(s,r|s,a) [r γ Σ_{a} π(a|s) q_π(s,a)]对比v_π方程q_π的右侧显式包含π(a|s)这使它成为策略改进的天然载体要提升策略只需对每个s选择使q_π(s,a)最大的a。而v_π的更新需先通过π加权平均q_π再反推——这正是策略迭代中“策略评估→策略改进”两步分离的数学根源。2.5 常见问题排查为什么你的贝尔曼更新总在震荡现象v_k(s)在两个值之间周期性跳变不收敛原因γ ≥ 1 或 步长过大如用固定步长α而非衰减步长。当γ1时T^π失去压缩性当α过大迭代v_{k1} v_k α[T^π(v_k) - v_k]可能跨过不动点。解决强制γ ≤ 0.99若用随机近似确保步长满足∑α_k∞, ∑α_k²∞Robbins-Monro条件现象v_k(s)收敛但值明显偏离理论预期如网格世界中目标格子v值应最高却排第三原因状态转移概率p(s,r|s,a)未归一化或奖励r的符号/量纲未统一如有的r∈[0,1]有的r∈[-10,10]解决检查p矩阵每行和是否为1对r做min-max缩放至[-1,1]现象矩阵求逆法得到v_π但代入贝尔曼方程验证时残差||v_π - r^π - γ P^π v_π||很大原因P^π构建错误——常见于混淆了p(s,r|s,a)与p(s|s,a)忽略了r的期望计算。正确做法是先算E[r|s,a] Σ_{s,r} p(s,r|s,a)r再与p(s|s,a)组合解决用小规模网格3×3手算验证P^π和r^π比对纸质推导3. 贝尔曼最优方程为什么“贪心策略”能直接导出最优解而无需遍历所有策略贝尔曼最优方程BOE不是对某个策略π的描述而是对*所有可能策略中最优者v_的刻画。它揭示了一个反直觉事实最优价值函数v_(s) max_π v_π(s)本身满足一个确定性方程且其解直接对应最优策略π_(s) argmax_a q_*(s,a)。这使得我们能绕过策略空间的指数爆炸直接在价值空间搜索最优解。3.1 最优性的本质v_*是所有v_π的逐点上确界v_(s)定义为所有策略下s状态价值的上确界。由于策略空间是紧集在有限MDP中上确界可达即存在π_使v_(s) v_{π_}(s)。BOE正是v_必须满足的约束**v_(s) max_a Σ_{s,r} p(s,r|s,a) [r γ v_*(s)]**注意右侧的max操作——它取代了v_π方程中的π加权平均。这意味着在s处最优策略π_*必然选择使即时奖励与后续最优价值之和最大的动作a。这正是“贪心”greedy的数学表达且贪心操作在此处是精确最优的而非启发式近似。3.2 BOE的收缩性为什么值迭代VI能收敛到v_*BOE对应的贝尔曼最优算子T_定义为(T_v)(s) max_a Σ_{s,r} p(s,r|s,a) [r γ v(s)]关键证明书中3.3.4节T_同样是γ-压缩映射。对任意u,v||(T_u)(s) - (T_* v)(s)||∞ |max_a f_u(a) - max_a f_v(a)| ≤ max_a |f_u(a) - f_v(a)| ≤ γ ||u - v||∞其中f_u(a) Σ{s,r} p(s,r|s,a)[r γ u(s)]。这保证了迭代v{k1} T_* v_k必收敛到唯一不动点v_*。注意T_*的压缩性比T^π更难证因为它涉及max操作的Lipschitz连续性。赵世钰老师用“max函数的非扩张性”non-expansiveness巧妙处理这是理解VI收敛的核心。3.3 矩阵-向量形式的陷阱为什么BOE不能简单写成线性方程v_* r^* γ P^* v_*看似成立但r^*和P^*依赖于v_本身因最优动作a随v_变化故P^不是常数矩阵。这导致BOE本质上是非线性方程。这也是为什么闭式解v_ (I - γ P^)^{-1} r^*不可行——P^未知且依赖解。值迭代的迭代法恰恰规避了这一困境每轮用当前v_k计算a_k(s) argmax_a q_k(s,a)再构造临时P^{π_k}和r^{π_k}相当于用一系列线性近似逼近非线性方程。3.4 收敛速度的数学瓶颈为什么VI需要O(log(1/ε)/log(1/γ))轮由压缩映射性质||v_k - v_||∞ ≤ γ^k ||v_0 - v||_∞。设初始误差界为D则要使误差ε需k log(D/ε)/log(1/γ)。这解释了为何γ越接近1收敛越慢——例如γ0.99时log(1/γ)≈0.01k需达数百轮而γ0.9时log(1/γ)≈0.105k仅需数十轮。实践中若发现VI收敛极慢首要检查γ是否过大而非怀疑代码bug。3.5 常见问题排查为什么你的值迭代总卡在次优解现象v_k(s)收敛但对应策略π_k在测试中表现远低于理论最优原因状态空间离散化不足或动作空间未覆盖关键区域。BOE假设动作集A完备若A中缺失真正最优动作a*则max操作被迫选次优a。解决在网格世界中确认动作集包含{上、下、左、右、不动}在连续控制中确保采样动作覆盖足够范围如用Ornstein-Uhlenbeck噪声现象v_k(s)收敛值随初始化v_0剧烈变化原因γ ≥ 1 或 环境存在零环zero-loop——即存在状态循环且r0导致γ^k项不衰减。此时v_*不唯一可加任意常数BOE有无穷多解。解决检查MDP中是否存在r0的自环若存在强制γ 1并添加微小正则项如v ← (1-λ)v λT_*v现象迭代中v_k(s)某轮突增后持续高位不回落原因浮点精度误差在max操作中被放大。当多个q_k(s,a)值非常接近时argmax的微小扰动导致a切换引发v_k跳变。解决在argmax前添加soft-max平滑a_k(s) softmax_τ(q_k(s,·))τ为温度参数4. 值迭代与策略迭代为什么策略迭代收敛更快却在深度强化学习中被值迭代抛弃值迭代VI和策略迭代PI是求解BOE的两大经典动态规划算法。PI理论上收敛轮数更少但VI在现代RL中成为主流——这并非工程妥协而是由模型可用性、计算范式迁移、以及函数近似的数学约束共同决定的必然选择。4.1 值迭代用单次贝尔曼最优更新替代完整策略评估VI的更新规则极其简洁v_{k1}(s) ← max_a Σ_{s,r} p(s,r|s,a) [r γ v_k(s)]它不显式维护策略π_k而是每轮直接更新v_k。其本质是将策略评估PE和策略改进PI融合为一步v_k隐含了策略π_k即π_k(s)argmax_a q_k(s,a)而v_{k1}的计算既是基于π_k的PE右侧求和又是对π_k的改进max操作。这种融合牺牲了PE的完整性未等v_k充分收敛到v_{π_k}就改进但极大降低了每轮计算量——尤其当状态空间大时避免了求解线性系统(I - γ P^{π_k})v r^{π_k}。4.2 策略迭代分治思想的极致体现PI严格分离两步策略评估PE对固定π_k求解v_{π_k}即解(I - γ P^{π_k})v r^{π_k}策略改进PI令π_{k1}(s) argmax_a q_{π_k}(s,a)PI的收敛性由“单调改进引理”保证v_{π_{k1}} ≥ v_{π_k}逐点不减且最优策略是上界故必收敛。更重要的是PI通常比VI收敛轮数少得多——因为PE确保了每轮改进都基于精确的v_{π_k}而VI的v_k只是v_{π_k}的粗糙估计。4.3 截断策略迭代TPI在VI与PI之间寻找数学平衡点TPI是PI的实用变体PE步不求精确解v_{π_k}而是只执行m轮迭代m≥1v^{(0)} v_kv^{(i1)}(s) ← Σ_a π_k(a|s) Σ_{s,r} p(s,r|s,a)[r γ v^{(i)}(s)] i0,...,m-1v_{k1} v^{(m)}, π_{k1}(s) argmax_a q_{v_{k1}}(s,a)当m1时TPI退化为VI当m→∞时TPI趋近PI。书中4.3.1节指出TPI的收敛速度介于VI与PI之间且m的选择需权衡计算量与收敛轮数。例如在中等规模MDP中m3常比VI快2倍比PI省50%计算量。4.4 为什么深度RL抛弃PI函数近似下的数学坍塌PI的致命弱点在函数近似场景如DNN拟合v_π中彻底暴露PE步崩溃求解v_{π_k}需最小化损失ℒ(v) [(v(s) - Σ_a π_k(a|s) Σ_{s,r} p(s,r|s,a)[r γ v(s)])²]。但π_k由v_k生成v_k又由DNN输出导致ℒ(v)高度非凸、梯度病态。实践中PE常陷入局部极小v_k严重失真。PI步失准π_{k1}(s) argmax_a q_{v_k}(s,a)。若v_k在某些s处拟合不准argmax会选错a引发策略震荡。而VI的单步更新v_{k1}(s) ← max_a [...] 只需一次网络前向传播max对v_k的误差鲁棒性更强。这解释了为何DQN等算法本质是VI的随机近似版本——它用经验样本替代p(s,r|s,a)用target network稳定max操作完美规避了PI在近似下的数学脆弱性。4.5 常见问题排查为什么你的策略迭代在函数近似下完全失效现象PE步的MSE loss快速下降至0.01但策略性能不升反降原因损失函数ℒ(v)最小化的是贝尔曼残差而非v_π的真实误差。当v拟合了高误差区域如稀疏奖励区残差小但v_π整体偏差大。解决在loss中加入v_π的方差正则项或改用distributional RL估计v_π分布现象PI轮数极少如2轮就声称收敛但测试策略失败原因策略改进步未验证v_{π_{k1}} ≥ v_{π_k}。若v_k失真argmax可能生成更差策略。解决每轮PI后用蒙特卡洛方法估计v_{π_{k1}}和v_{π_k}强制v_{π_{k1}} ≥ v_{π_k}才接受新策略现象TPI中m增大训练反而更不稳定原因m轮PE的累积误差被放大。每轮v^{(i1)} T^{π_k}(v^{(i)})若T^{π_k}非严格压缩因π_k不稳误差可能指数增长。解决对每轮v^{(i)}添加dropout或权重衰减抑制误差传播5. 随机近似与收敛定理为什么你的SGD学习率衰减策略总在过早停止和永不收敛间摇摆当MDP模型未知model-free时贝尔曼方程无法直接计算必须用样本均值替代期望。这催生了随机近似SA方法——其核心是设计一个迭代序列θ_{k1} θ_k α_k h(θ_k, X_k)其中X_k是随机样本h是更新方向。但并非所有α_k序列都有效太大会震荡太小会停滞。赵世钰老师在第6章用Dvoretzky定理给出了普适的收敛判据它比SGD的常用经验法则α_k a/(bk)更深刻。5.1 Robbins-Monro算法随机近似的奠基性框架RM算法解决的是求解方程g(θ) 0其中g(θ) [H(θ,X)]不可直接计算但可获得带噪声的观测Y_k H(θ_k, X_k)。更新规则为θ_{k1} θ_k α_k Y_k其收敛性要求α_k满足∑_{k1}^∞ α_k ∞ 步长总和发散确保能到达解∑_{k1}^∞ α_k² ∞ 步长平方和收敛确保噪声被压制例如α_k c/k满足∑1/k∞∑1/k²∞。这是所有RL时序差分TD算法的理论基石。5.2 Dvoretzky定理比Robbins-Monro更普适的收敛保障RM要求g(θ) 0有唯一解且h(θ,X)满足强条件。Dvoretzky定理放宽了这些限制适用于更广的SA场景。其核心条件是迭代可写为 θ_{k1} θ_k α_k [h(θ_k) M_{k1}]其中h(θ)是确定性漂移项M_k是鞅差序列即[M_k|ℱ_{k-1}]0h(θ)满足存在Lyapunov函数V(θ)使∇V(θ)·h(θ) ≤ -c V(θ)负定α_k满足RM条件则θ_k以概率1收敛到h(θ)0的解集。在TD学习中h(θ) -∇ℒ(θ)损失梯度V(θ) ℒ(θ)条件∇ℒ·(-∇ℒ) -||∇ℒ||² ≤ -cℒ成立当ℒ强凸——这正是TD误差的数学本质。5.3 SGD的收敛模式为什么你的loss曲线总在最后阶段抖动SGD更新θ_{k1} θ_k - α_k ∇ℓ(θ_k; X_k)其中ℓ是单样本损失。Dvoretzky定理指出若α_k α/k收敛速率是O(1/log k) —— 极慢且最终抖动幅度∝ α若α_k α k^{-β}β∈(0.5,1)则收敛速率O(k^{β-1})抖动∝ k^{-β}实践中β0.55即α_k ∝ k^{-0.55}常比固定α或1/k更稳。书中6.4.2节用模拟证实在TD学习中α_k 0.1 * k^{-0.6}比α_k 0.01/k的最终误差低40%。5.4 批量梯度下降BGD、SGD与小批量Mini-batch的数学本质差异方法更新形式梯度方差收敛速度内存需求BGDθ_{k1} θ_k - α ∇ℒ(θ_k)0O(1/k)若ℒ强凸O(SGDθ_{k1} θ_k - α_k ∇ℓ(θ_k; X_k)O(1)O(1/√k)O(1)Mini-batchθ_{k1} θ_k - α_k (1/b)∑_{i1}^b ∇ℓ(θ_k; X_{k,i})O(1/b)O(1/√(bk))O(b)关键洞察Mini-batch的方差降低b倍但每轮计算量增b倍故单位计算量的收敛效率与SGD相同。这解释了为何在GPU上增大batch size常不提升训练速度——它只是把SGD的方差摊薄未改变本质收敛阶。5.5 常见问题排查为什么你的学习率调度总在关键时刻失效现象训练初期loss快速下降后期在0.05附近震荡无法突破原因α_k衰减过快如α_k 0.1 * 0.999^k导致后期梯度更新幅度过小陷入局部极小。解决改用α_k a / (b k^c)c∈[0.5,0.7]或采用余弦退火保证末期仍有有效更新现象loss前期平稳下降某轮后突然飙升10倍原因α_k过大触发梯度爆炸或mini-batch中出现异常样本如reward1e6导致∇ℓ剧增。解决梯度裁剪clip_grad_norm并监控每批∇ℓ的L2范数剔除3σ的批次现象不同随机种子下收敛到的策略性能方差极大原因α_k不满足∑α_k²∞噪声累积未被压制。例如α_k 0.01常数违反条件。解决强制α_k 0.1 / sqrt(k)即使k10000时α_k0.001也确保∑α_k²收敛6. 时间差分与蒙特卡洛为什么TD能在episode未结束时更新而MC必须等终局蒙特卡洛MC和时间差分TD是model-free RL的两大支柱。MC用完整episode的回报G_t作为v_π(S_t)的无偏估计但需等待episode结束TD用单步bootstrapR_{t1} γ v_k(S_{t1})作为目标实现在线更新。这种差异源于二者对偏差-方差权衡bias-variance tradeoff的截然不同选择——而赵世钰老师在第5、7章用严谨数学揭示了其根源。6.1 MC的基本形式无偏但高方差的终极估计器MC估计v_π(s)为访问s的所有episode中G_t的平均值。其无偏性来自大数定律[Ĝ_t] [R_{t1} γR_{t2} ...] v_π(S_t)但方差巨大G_t是长序列和其方差为Var(G_t) Σ_{i0}^∞ γ^{2i} Var(R_{t1i})。若奖励方差为σ²则Var(G_t) ≈ σ² / (1 - γ²)当γ→1时爆炸。这导致MC需要大量episode才能降低方差收敛极慢。6.2 TD(0)有偏但低方差的智能折中TD(0)更新v_{k1}(S_t) ← v_k(S_t) α [R_{t1} γ v_k(S_{t1}) - v_k(S_t)]目标R_{t1} γ v_k(S_{t1})是v_π(S_t)的有偏估计因为v_k(S_{t1}) ≠ v_π(S_{t1})。但其方差远低于G_t仅含单步奖励R_{t1}和v_k(S_{t1})的方差。书中7.1.2节证明TD误差的方差满足Var(δ_t) ≤ γ² Var(δ_{t1}) Var(R_{t1})呈几何衰减。6.3 n-step TD在偏差与方差间滑动的数学标尺n-step TD用n步回报G_{t:tn} R_{t1} γR_{t2} ... γ^{n-1}R_{tn} γ^n v_k(S_{tn})作为目标。当n1即TD(0)当n→∞即MC。其偏差和方差随n变化偏差随n增大而减小因γ^n v_k(S_{tn}) → 0方差随n增大而增大因G_{t:tn}含更多R项书中7.3节给出精确表达式[G_{t:tn}] v_π(S_t) γ^n (v_k(S_{tn}) - v_π(S_{tn}))Var(G_{t:tn}) Σ_{i0}^{n-1} γ^{2i} Var(R_{t1i}) γ^{2n} Var(v_k(S_{tn}))这为超参n的选择提供了数学依据在奖励方差σ²大时选小n如n1在v_k较准时选大n如n5。6.4 Q-learning的off-policy奇迹为什么用行为策略π_b生成的数据能学最优策略π_*Q-learning更新Q_{k1}(s,a) ← Q_k(s,a) α [R_{t1} γ max_{a} Q_k(S_{t1},a) - Q_k(s,a)]关键在max_{a}操作——它使目标不依赖于实际采取的动作A_{t1}而只依赖于S_{t1}。因此只要行为策略π_b满足覆盖性coverage即对所有s,aπ_b(a|s)0Q_k就能收敛到q_*。数学上Q-learning的更新可视为对最优算子T_*的随机近似其漂移项h(Q) _{π_b}[R γ max_{a} Q(S,a) - Q(S,A)]而T_的不动点q_恰好满足h(q_)0。这解释了为何ε-greedy探索性π_b能学q_——覆盖性保证了所有(s,a)被充分采样。6.5 常见问题排查为什么你的TD学习总在特定状态崩溃现象多数状态v_k(s)稳定但某状态s的v_k(s)在0附近剧烈震荡原因s的转移概率p(s|s,a)高度集中于少数s导致v_k(s*)更新目标R γ v_k(s)的方差极大因v_k(s)本身在抖动。解决对s使用更小的α或增加s的采样频率如优先经验回放中提高s*的优先级现象Q-learning收敛但策略π(s)argmax_a Q(s,a)在测试中表现差原因Q_k(s,a)的估计有系统性偏差如欠估计导致argmax选错a。尤其当多个a的Q值接近时小偏差引发大策略误差。解决用Double Q-learning分离动作选择与价值评估或添加softmax策略π(a|s) ∝ exp(Q(s,a)/τ)现象MC在稀疏奖励任务中完全不学习TD却能缓慢进展原因MC的G_t在无奖励episode中恒为0无法传递“接近奖励”的信号TD的R γ v_k(s)能将奖励信号沿状态链反向传播。解决在MC中引入reward shaping或改用TD(λ)λ0增强信用分配7. 函数近似与策略梯度为什么神经网络拟合v(s)会失效而直接优化策略π(a|s)却能成功当状态空间连续或巨大时表格型v(s)不可行必须用函数近似如DNN。但第8章揭示了一个残酷现实用DNN拟合v_π(s)会导致理论保证全面坍塌——收敛性丢失、偏差不可控、策略改进失效。而第9章的策略梯度PG方法则另辟蹊径不拟合价值函数而是直接参数化策略π_θ(a|s)用梯度上升优化期望回报J(θ) _π_θ[G_1]。这背后是两种范式的数学本质差异。7.1 价值函数近似的致命缺陷投影算子的非收缩性在表格型中贝尔曼算子T^π是γ-压缩的。但用函数近似后更新变为w_{k1} w_k α [R γ v_w(S) - v_w(S)] ∇_w v_w(S)这等价于在参数空间执行T^π的投影。问题在于投影后的算子不再是压缩的。书中8.2.5节证明若v_w是线性函数v_w(s) φ(s)^T w则收敛需满足“兼容性条件”φ(s)必须张成T本文还有配套的精品资源点击获取