简介这是一份面向人工智能研究者、Agent 方向学习者与多模态应用开发者的综述型 PDF 资料由李飞飞等学者参与撰写聚焦 Agent AI 的原理、系统架构、具身代理及物理与虚拟环境中的多模态交互并讨论其作为通向通用人工智能的一条可能路径。压缩包内仅含 1 个 PDF 文件约 50.51MB包含论文正文、图示与参考文献便于系统阅读和引用。该资料已有 7001 人学习关注说明其在 Agent 与多模态方向具有较高参考价值。内容从 Agent AI 系统概览、感知与行动能力、跨现实训练框架、生成式 AI 与多独立数据源结合等角度展开并涉及利用具身环境缓解基础模型幻觉、提升上下文感知与动作预测的思路适合用来搭建领域认知框架、梳理研究脉络或作为论文写作与技术选型的参考文献。1. Agent AI 的反直觉起点能动手的模型为什么反而更少胡说把一个只会聊天的模型接上摄像头、机械臂或者游戏手柄很多人的第一反应是错误会被放大。这篇由高校与工业研究院联合署名的长篇综述给出的判断相反——当模型必须在环境里产出一个可被验证的动作时它随意编造的空间反而被压缩了。道理并不玄学语言模型的输出只要“像”就行而 Agent AI 里具身智能体的输出要落到具体像素、具体关节角度、具体下一步操作上错了立刻有反馈。这篇综述想回答的核心问题就是多模态交互要满足什么条件才能让“感知—推理—行动”闭成一个环而不是三段各自为政的演示。2. Agent Transformer观测、状态与动作怎么塞进同一条注意力序列多数人第一次做智能体走的是“大模型外面套一层解析器”的路子模型吐文本正则表达式抽动作再喂给环境。这条管线能跑通 demo但一上强度就开始崩——解析失败率高、误差无法回传、每一步都是开环。综述里提出的 Agent Transformer 之所以值得单独拎出来讲是因为它换了个思路不把动作当成“文本的下游产物”而是把动作本身变成序列里的一种 token。2.1 管线式架构的三个结构性缺陷第一个缺陷是不可微。文本解析器是一个硬编码的离散映射环境给出的奖励信号没法穿过它回传给视觉编码器于是“看错了导致做错了”这种因果链在训练时完全断掉。第二个缺陷是误差累积每一步解析哪怕只有 2% 的失败率二十步任务的成功率就掉到六成多。第三个缺陷最隐蔽——模型不知道自己输出的是动作。它在预训练阶段学的是“下一个词的概率”而不是“这个动作在物理上是否可达”这两件事的分布差异极大。Agent Transformer 的解法是把多模态输入和动作输出放进同一个自回归序列用一个统一的目标函数训练。这样“看”和“做”共享同一套注意力和同一份梯度视觉表征会被动作损失反向塑形这是管线式架构做不到的。2.2 三类输入怎么编码到同一维度工程上的关键不是“拼起来”而是拼接顺序和各自的位置编码。综述里的做法是视觉观测先用编码器压成固定数量的 patch token语言指令走词表嵌入本体状态关节角、末端位姿、速度经线性层投影历史动作反向嵌入回填。四段按固定顺序拼接因果掩码保证每一步只能看见过去。import torch import torch.nn as nn class AgentTransformer(nn.Module): 把观测、指令、本体状态、历史动作压进同一条因果序列 def __init__(self, d_model1024, n_action_bins256): super().__init__() self.vis_proj nn.Linear(768, d_model) # 视觉编码器输出 - 统一维度 self.txt_emb nn.Embedding(32000, d_model) # 指令走文本词表 self.state_proj nn.Linear(32, d_model) # 关节角/速度/末端位姿 self.act_emb nn.Embedding(n_action_bins, d_model) # 历史动作回填 self.blocks nn.ModuleList([...]) # 因果注意力堆叠 self.act_head nn.Linear(d_model, n_action_bins) # 粗动作分类头 self.res_head nn.Linear(d_model, 7) # 细粒度残差头 def forward(self, obs_feat, instr_ids, state, act_hist): # 每类输入先各自投影再按固定顺序拼接顺序本身携带角色语义 tok torch.cat([ self.vis_proj(obs_feat), # [B, 256, D] 视觉观测 self.txt_emb(instr_ids), # [B, L, D] 语言指令 self.state_proj(state)[:, None], # [B, 1, D] 本体状态 self.act_emb(act_hist), # [B, T, D] 历史动作 ], dim1) h self.blocks(tok) # 因果掩码只能看过去 last h[:, -1] # 取最后一位预测下一步 return self.act_head(last), self.res_head(last)几处细节值得说。历史动作要“回填”进输入而不是只作为标签是因为动作之间存在强相关性——机械臂上一帧在向左这一帧大概率还在向左把历史动作当条件能显著降低抖动。粗动作头和残差头的双层设计对应的是动作离散化的经典矛盾bin 太少精细操作精度不够bin 太多分类空间爆炸、长尾类别学不动。拆成“粗分类 连续残差”之后粗头负责选方向残差头负责补那几毫米。2.3 训练目标下一个具身动作预测综述把训练目标概括为“下一个具身动作预测”实际落地时通常是多项加权动作主损失、辅助的视觉重建或语言对齐损失、以及可选的时序一致性约束。# act_bin: 离散化后的动作类别act_res: 归一化后的连续残差 loss (ce(logits, act_bin) lam * l1(residual, act_res) # lam 通常 0.1~1.0按动作维度量纲调 beta * aux_recon) # beta 很小主要防止视觉编码器塌缩lam的取值不是拍脑袋不同关节的量纲差异极大旋转维度用弧度、平移维度用米直接相加会让某一维主导梯度所以要在归一化之后再算 L1。beta之所以要小是因为辅助损失一旦过大模型会把容量花在“把看到的东西重建得更清楚”上而不是“把动作做对”这是典型的辅助任务喧宾夺主。2.4 模块与基础设施为什么综述要单独列这两块综述把智能体拆成模块层和基础设施层分别讨论。模块层是记忆、规划、工具调用、验证器基础设施层是环境接口、轨迹回放、并行仿真。后者常被忽略但它才是真瓶颈——一个智能体任务动辄几千步交互如果环境单线程跑GPU 大部分时间在等 CPU。我见过不止一个项目在算法上反复调参最后发现吞吐提升十倍之后同样的算法直接好用了。3. 学习策略分层强化学习、模仿学习与上下文学习各自补哪一段把智能体的学习方式混成一锅粥是最常见的认知混乱。综述按“改不改参数、需不需要奖励、数据从哪来”把策略拆开看这个拆法很实用因为它直接对应工程上“什么时候该用哪一招”的决策。3.1 强化学习奖励稀疏是第一性问题强化学习在智能体里的位置很明确——优化长期回报。但它的软肋也同样明确奖励稀疏。一个“把杯子放进柜子”的任务中间几百步都没有有效奖励随机探索撞上的概率接近于零。综述里提到的应对思路有三类把稀疏奖励拆成稠密的子目标奖励、用示教数据做热启动、以及用基础模型先给出“看起来合理”的动作分布把探索空间收窄。第三类最值得注意它把大模型的先验当成探索的先验而不是当成最终策略。还有一点容易被忽略奖励塑形本身会引入偏差。给“靠近杯子”加分智能体可能学会一直靠近但永远不抓。所以塑形项通常要随训练逐步退火最终由任务本身的成功信号主导。3.2 模仿学习与传统 RGB 输入为什么还不能扔模仿学习的价值在于它绕过了探索难题——有人做过直接学。综述特别提到传统 RGB 视觉输入在这个环节仍然不可替代很多精细操作依赖纹理、反光、形变这些低层线索而经过强语义压缩的特征图恰恰会把这些丢掉。常见的做法是双通道语义通道走预训练视觉编码器提供“这是什么”低层通道保留原始分辨率提供“它现在什么状态”。模仿学习的坑在分布偏移。专家数据里杯子永远在桌子中间策略一旦偏出去就进入没见过的状态然后越偏越远。解决办法是数据增广加上少量在线纠偏——让专家在策略失败的状态上补几次示范成本比全量重采低得多。3.3 上下文学习不改参数的那一层上下文学习负责的是“不改权重就能适配新任务”。给几个示例、给一段工具说明、给一份环境状态摘要模型就能调整行为。它便宜、可解释、可回滚适合任务频繁变化但每个任务数据量很小的场景。局限也清楚它受上下文长度约束且稳定性依赖示例质量——示例选偏了模型会一本正经地沿着偏的方向走。综述把智能体系统分成零样本/少样本层和预训练微调层其实是在说能用上下文学习解决的别急着微调需要稳定性的高频任务才值得付出微调成本。这两层的边界应该由数据量、任务稳定性和延迟预算共同决定而不是由“哪个听起来更先进”决定。3.4 混合训练循环长什么样实际系统里这三者经常同时存在。下面是一个把模仿学习和强化学习混在一起的训练骨架重点看权重和 detach 的位置。for ep in range(epochs): traj rollout(policy, env) # 与环境交互收集轨迹 # 模仿学习项只在有专家动作标注的片段上计算用 mask 屏蔽无标注步 il_loss masked_mse(policy.act(traj.obs), traj.expert_act, traj.has_label) # 强化学习项回报减基线得优势detach 防止梯度回传污染基线 adv traj.returns - baseline(traj.obs) rl_loss -(policy.logp(traj.act) * adv.detach()).mean() # 系数 0.1 是经验值RL 梯度方差大权重大了会把 IL 学到的先验冲掉 (il_loss 0.1 * rl_loss).backward()baseline的作用是降方差而不是改期望所以它在计算图上必须断开如果忘了 detach基线网络会被策略梯度带偏最后优势估计整体漂移表现为训练前期还行、后期突然崩。这种崩法很隐蔽日志上看损失在降实际策略在退化。4. 从接地到跨现实幻觉为什么被环境压住评测又凭什么可信幻觉这个词在大模型语境里被用得太泛。综述把它拆成了可定位的几类这个拆法比笼统地说“模型爱瞎编”有用得多因为每一类的抑制手段完全不同。4.1 三种错法知识缺失、感知错配、目标漂移知识缺失型幻觉是模型不知道却硬答典型表现是编造物体属性或者工具用法。感知错配型是看错了——把背景里的相似物体当成目标或者把遮挡当成消失。目标漂移型最容易被低估单步都对但几十步之后偏离了最初指令长程任务里几乎必然出现。这三类的共同点是“错误可以被环境检测到”。这正是综述强调接地的原因环境返回的下一帧观测就是最诚实的裁判它不看你的措辞多流畅。4.2 接地为什么有效把可验证性塞进回路接地grounding的本质不是“多给点数据”而是让输出立刻接受外部检验。检索到的知识可以被事实比对工具调用的返回值可以被解析验证动作执行后的观测可以被视觉比对。一旦某一步对不上系统就有机会回退重规划而不是沿着错误一路编下去。幻觉类型典型表现抑制手段代价知识缺失编造不存在的物体属性外部知识检索、工具调用延迟上升感知错配把背景相似物当成目标多视角观测、分割掩码约束算力开销目标漂移长任务中途丢失原指令显式计划重写、独立验证器需额外模型推理增强这一类手段检索、工具、验证器在综述里被归为不改参数的外部增强。它的性价比很高但也有边界验证器本身也会错一个弱的验证器会把错误动作判成正确反而给了系统虚假的确定性。所以验证器最好是“窄而硬”的——只判断它能确定判断的那部分剩下的交给人或者交回重试。4.3 跨模态、跨现实与仿真到现实综述用了三个“跨”来组织这部分跨模态图像、视频、音频、语言、跨域游戏到机器人、医疗到通用、跨现实虚拟环境到物理世界。三者共享同一个难点——分布差。仿真里的光照是干净的、物理参数是理想的、通信是没有延迟的真机上这三样全变。常见的迁移思路是先在仿真里把随机性拉满纹理随机、光照随机、质量与摩擦系数随机、甚至人为注入动作延迟。这样训出来的策略对分布偏移更钝感。另一条路是表示层对齐让仿真和真实共享一套语义特征只在低层视觉上做适配。两条路不冲突实践中经常一起用。真正要警惕的是“仿真分数幻觉”在仿真里调到 95% 成功率上真机掉到 30%这时候继续在仿真里调参只会越调越偏正确动作是补真机数据做小样本微调。4.4 评测多智能体基准怎么判分才算数综述里给出了一个多智能体协作的基准设计思路值得借鉴多名智能体在一个共享环境里分工完成一个长程任务评分不只看最终是否完成还看步骤效率、无效动作比例、以及出错后的恢复能力。这几项拆开是有道理的——只看成功率一个磨了一百步才成功的策略和一个十步就成功的策略得分一样但工程价值差十倍。用大模型当裁判是当前流行做法风险也明确它会偏好格式工整、篇幅更长的输出甚至被自己生成的解释说服。缓解办法是把评分拆成客观子项任务是否完成、关键对象状态是否改变加少量主观项并且定期人工抽检校准。裁判的可靠性必须被单独评估否则整个榜单的数字都没意义。5. 避坑与排查Agent 系统里最常见的五类翻车5.1 仿真里九十分上真机直接瘫现象训练曲线漂亮仿真成功率稳定在九成以上换到真实设备成功率断崖式下跌。原因通常不是模型容量不够而是三处分布差叠加视觉纹理差、物理参数摩擦、质量差、以及控制回路时延差。第三点最容易被漏掉仿真里动作下发即执行真机上从决策到执行有几十毫秒延迟闭环策略会因此震荡。解决顺序是先做时延对齐在仿真里人为插入相同延迟再做视觉与物理随机化最后用少量真机数据做末端微调。顺序反了会白调很久。5.2 加了记忆模块表现反而变差现象引入长期记忆后短任务分数下降模型开始引用不相关的旧经验。原因是记忆写入没有门槛什么都被存下来检索时按相似度召回噪声压过了信号。解决要三件事一起做写入加门槛只存任务成功或明确失败的关键片段、按任务类型分库而不是混在一个池子里、召回结果加衰减权重。记忆不是越多越好它本质是一个上下文预算分配问题。5.3 多智能体协作死锁互相等对方现象多个智能体在共享环境里停滞日志显示每个都在“等待其他角色完成前置步骤”。原因是角色职责只有自然语言描述没有可执行的契约谁都以为自己该等。解决办法是把角色写成显式契约输入条件、输出产物、超时时间、超时后的降级动作。超时后必须能自己重规划而不是继续等。协作系统的鲁棒性来自“有人不干活时系统还能推进”不是来自“大家都很自觉”。5.4 裁判给高分人工一看全错现象自动评测分数持续上升人工抽检发现大量任务实际没完成。原因多半是评分标准太粗裁判被“看起来合理”的过程描述说服而没检查环境最终状态。解决是把判分锚定在环境状态上——物体是否真的到位、目标计数是否真的变化——过程描述只作为辅助项。同时保留固定比例的人工抽检抽检结果反过来校准裁判提示词这个闭环不能省。5.5 动作离散化太粗精细操作一直抖现象大方向都对临近目标时来回小幅摆动抓取成功率低。原因是动作 bin 数量不足加上归一化方式不统一不同关节的同一 bin 宽度代表的实际位移差异巨大。解决是分层动作头粗分类选方向 连续残差补精度并且归一化统计量要按关节单独统计不能用全局均值和方差。这个坑在调试时很难看出来因为损失曲线是平滑下降的只有看实际轨迹才能发现抖动。6. 设计取舍统一动作空间与模块化管线到底该选哪一边统一 token 空间的诱惑很大一套注意力、一个损失、端到端可训视觉表征会被动作信号反向塑形听起来全面胜出。但它有三笔隐形成本。第一笔是数据联合训练需要观测与动作严格对齐的轨迹而这类数据的采集成本远高于纯文本或纯图像。第二笔是可解释性端到端模型出错时你很难定位到底是看错了还是决策错了模块化管线至少能在每个接口打点。第三笔是可替换性基础模型迭代速度极快统一架构意味着换一个模型就要整体重训模块化则可以只换一段。所以我的判断是任务固定、数据充足、延迟敏感的场景统一架构优势明显任务形态还在探索、数据零散、需要快速换模型验证的场景模块化更划算。中间地带可以用“统一表示 分阶段训练”折中——共享视觉与语言表征动作头分开训既保留一部分端到端收益又不至于被数据量卡死。维度统一架构模块化管线数据需求高需对齐轨迹低各段可独立采集可解释性弱难定位强接口可打点换模型成本高常需重训低替换单段精细控制上限高受接口精度限制验证这套取舍是否成立最实用的办法不是看论文指标而是做消融固定数据与算力只把动作头换成模块化解析看成功率掉多少再固定架构只把数据量减半看谁先崩。两个方向各做一次取舍就有依据了。从那以后我每次评估一个智能体方案都强制先跑这两组消融再谈架构优劣——血泪经验是很多看起来是算法问题的东西一消融就发现是数据对齐没做好。希望帮到你。本文还有配套的精品资源点击获取