做具身智能这一年我拆过不少视觉-语言-动作模型VLA的推理链路最后发现最棘手的问题往往不在模型本身而在模型没有“记性”。明明同一个物体上一次扫过一遍下次换了个角度又要从头开始理解明明已经学会了开冰箱换一间厨房就得重新摸索。这种“每次睁眼都是新世界”的状态严重拖累了机器人在真实环境里的长时序任务表现。后来我给VLA外面套了一层多尺度具身记忆Multi-scale Embodied MemoryMEM实测下来任务成功率能涨十几个点返工率明显下降。这篇就把MEM的架构思路、实现细节和我在工程落地中踩过的坑完整写出来。内容适合正在做VLA模型部署、机器人任务决策或者多模态学习的工程师和研究者也适合想把“记忆”真正落到实际系统中的同学。我会尽量讲清楚Why和How以及那些论文里经常一笔带过、但你真去实现时一定会卡住的问题。1. 为什么VLA模型必须加记忆只看当下根本不行1.1 VLA模型的边界一次观察只能换来一次动作视觉-语言-动作模型的核心链路很直接输入当前视觉观测图像或视频片段和一条语言指令模型输出下一步动作或动作序列。这个范式在单步操作上很有效比如“拿起红色杯子”模型能通过视觉定位和语言理解直接给出抓取位姿。但一旦任务变成“把厨房里的东西搬到餐厅并按照餐具、调料分区摆放”单步推理就开始明显吃力。原因在于VLA模型本身是“无状态”的。它没有历史信息的概念每次推理都假设观测是完整且自足的——可现实是一个场景里总有遮挡、视角有限、目标不在当前视野内的情况。模型要完成长序列任务就必须依赖一种外部机制来保存和调用历史信息这个机制就是具身记忆。我在实际测试中发现即便使用GPT-4级别的多模态大模型作为VLA骨干如果没有显式记忆面对“找东西”这类任务时依然会出现反复探索同一个区域的情况。上下文窗口再大也只是给你“对话级别”的记忆不是“具身级别”的记忆这两者有本质区别。1.2 没有记忆的具身系统用户会被逼疯用一个生活化场景类比你让一个没有记忆的机器人去超市买东西它每走到一个货架都相当于第一次进店必须重新扫描、重新识别、重新规划路径。走两步要停下来环顾四周效率低不说还可能漏掉之前的判断。我在客户那边看到一个典型案例机器人负责巡检仓库任务是把缺失货物登记到系统。没有记忆时它每到一排货架都做一次完整的目标检测重复框选同一批货还把上次已经登记过的货又登了一遍。加了记忆之后只需要重点检测与上次相比“变化”的区域整体巡检时间缩短了约40%。所以“记忆”不是可选项而是具身智能走向实用化的必选项。给VLA配一个记忆模块本质上就是给它建设一个“工作笔记”让它知道我来过这里、做过什么、接下来该接续哪一步。1.3 现有记忆方案为什么不够用常见做法其实有几种但都有硬伤。直接把历史帧堆进上下文简单粗暴但显存开销极大。VLA模型处理高分辨率图像时每帧的token开销已经很高再叠加十几帧历史推理延迟立刻爆表。你不可能靠“堆帧”来实现长期记忆。用语言模型记录对话摘要把机器人的经历用文本描述存进LLM的上下文里。这能维持一个“粗粒度记忆”但丢失了大量空间细节机器人无法凭一段文字描述精确调整机械臂的抓取姿态。经验回放Experience Replay在训练阶段常用把过往轨迹存入buffer帮助模型稳定学习。但这是“训练期的记忆”不是“推理期的记忆”推理时不会动态调用。这些方案的根本问题是没分尺度。底层物理交互需要毫秒级的空间特征中层任务执行需要秒级的语义事件高层长程规划需要分钟甚至跨天的目标状态。把它们塞进同一个记忆结构里要么精度不够要么管理困难。2. MEM的架构思路把记忆按尺度拆成三层2.1 尺度到底指什么时间、空间、抽象层级“多尺度”听起来玄乎拆开看其实对应三个维度。时间尺度从毫秒级的关节电机反馈到秒级的动作事件再到分钟小时级的任务状态。空间尺度从像素级的物体轮廓到物体级的位置属性再到房间级的拓扑结构。抽象尺度从原始传感器特征到语义化描述“门是关着的”再到任务目标“完成晚餐准备”。这三个维度高度耦合。比如“打开冰箱”这个事件时间上持续几秒空间上涉及冰箱把手的位置抽象层级上它既是一个具体动作又是“准备食材”这个大任务下的一个子步骤。只建单一尺度的记忆就会丢失某一方面的重要信息。2.2 三层记忆结构传感层、事件层、任务层我把MEM设计成三层结构每层保存不同粒度的信息并设置独立的写入和检索策略。第一层是传感层记忆Sensory Memory对应短时、低抽象度。保存最近若干帧的压缩视觉特征、机器人关节角度、力反馈信息等。这一层主要服务实时控制帮助模型理解“当前物理状态”时间窗口通常只保留5到10秒。第二层是事件层记忆Event Memory对应中时、中等抽象度。保存的是“发生了什么”的语义片段比如“t12秒时机械臂抓取到红色杯子”。事件由VLA模型中间层的注意力信号或独立的动作边界检测器产生带有时间戳、对象标识和动作类别。这一层是连接感知和规划的桥梁也是我日常工作里调参最多的部分。第三层是任务层记忆Task Memory对应长时、高抽象度。保存的是任务执行过程中的决策轨迹、环境布局信息、用户偏好以及可复用的行为子序列。比如“五号货架的货物经常缺香皂”这类历史统计信息会沉淀到任务层供后续决策直接调用。2.3 写入与遗忘不是所有信息都值得记住记忆体系的难点不只是“怎么存”更是“存什么”和“忘什么”。机器人在真实环境中每秒会产生大量传感数据如果全存任何存储介质都扛不住。MEM采用一种基于信息增益和冲突度的注意力写入机制。简单说当新信息到来时我会计算它相对于已有记忆的“意外程度”。高意外程度的信息会触发写入或者更新记忆比如机器人发现“昨天这里摆着红色椅子今天变成了蓝色椅子”这种冲突信号说明环境变了必须更新对应位置的记忆。而重复出现、能被已有记忆很好预测的信息则不写入以节省空间。遗忘策略上用“时间衰减重要性加权”。每条记忆有一个重要性分数由任务完成贡献度、使用频率和最近访问时间共同决定。当记忆库达到容量上限就把重要性最低、最久未被访问的记录先清掉。这么做至少在实际场景中足够稳定也避免了手动去调阈值的麻烦。下表是三层记忆的关键参数对比记忆层保存内容时间尺度空间尺度典型容量更新机制传感层压缩视觉特征、力觉/位姿数据毫秒~秒像素/关键点数百条滚动覆盖事件层语义事件、动作片段秒~分钟物体/操作区域数千条信息增益写入任务层决策轨迹、场景地图、偏好分钟~天房间/楼层几百条任务完成后台式更新3. 核心实现从数据格式到模型集成的完整过程3.1 记忆数据怎么组织统一成Memory Chunk为了让三层记忆能被VLA模型统一读取我设计了一个叫MemoryChunk的数据结构。每个chunk包含以下字段dataclass class MemoryChunk: chunk_id: str memory_type: str # sensory, event, task timestamp: float duration: float embedding: np.ndarray # 统一嵌入向量 scalar_feats: dict # 原始的小型特征如位姿、速度 semantic_text: str # 语义描述可为空 importance: float # 表示重要性由写入时计算 last_access: float metadata: dict # 额外信息如来源传感器、置信度这个结构的好处是底层传感层可以只填embedding和scalar_feats不填semantic_text事件层和任务层则重点填充语义文本。所有记忆都带一个embedding向量方便用统一的向量检索接口去搜索不需要为每层单独写一套逻辑。嵌入向量的选择上我推荐直接用VLA模型自身的视觉编码器或CLIP的视觉分支来做。这样记忆的嵌入空间和模型当前观测的嵌入空间是基本对齐的检索的时候相似度分数才有参考意义。跨空间不一致是检索失效的主要原因后面会专门说。3.2 多尺度检索低层KNN高层语义融合当模型执行任务时记忆模块需要根据当前观测和指令检索出对下一步动作最有帮助的历史信息。MEM的检索分为并行两路一路是底层特征检索。用当前视觉特征经过Encoder得到的embedding去传感层记忆里做KNN搜索让模型快速获取同一位置、同一姿态下的历史视觉状态。这一路主要服务于“我现在在哪、物体在哪个位置”这类感知问题。另一路是语义检索。把当前语言指令和历史事件描述分别编码用语义向量计算相似度从事件层和任务层抽取上下文相关的记录。比如指令是“把调味料放回原来的位置”语义检索会优先召回之前记录过的调味料摆放位置操作序列。随后用一个融合层把两路结果合并根据当前任务状态分配权重。我实现的时候给底层特征检索设定了固定TopK10语义检索TopK8再用一个小型打分网络两层MLP对候选记忆排序最后取Top5作为下一步推理的辅助输入。这个规模在实机推理时延迟增加不到5毫秒基本无感。3.3 与VLA模型集成Cross-Attention还是Prompt拼接这是集成层面最关键的单点。我给VLA模型加记忆有两种方式取决于主模型的开源程度和是否允许微调。第一种是搭建Cross-Attention注入。如果VLA模型使用Transformer架构可以在解码器的每一层插入一个额外的Cross-Attention模块让当前token同时attend到视觉特征和历史记忆特征。这种方式能最大程度保留时序信息效果最好但需要二次训练对算力和数据要求高。第二种是Prompt拼接适合快速验证和不微调场景。将检索到的记忆转换为文本prompt和原始用户指令拼在一起让VLA模型“带着历史记忆”生成动作。例如系统你之前在本厨房执行过“准备早餐”任务以下是相关记忆 - 10:05 打开冰箱取出牛奶放在料理台。 - 10:07 从料理台第二层取走蓝色杯子。 用户现在把牛奶倒进杯子里。这种方式不需要改动模型参数实现最快但受上下文窗口和文本信息密度的局限。我实际项目中是先用了Prompt拼接完成功能验证确定有价值后再升级到Cross-Attention方案。3.4 冷启动与在线更新空记忆也能跑起来一个无法回避的问题是机器人第一次进入全新环境时MEM里什么数据都没有此时和普通VLA模型完全一样。为了不让记忆模块在冷启动时变成累赘我专门做了两种处理首先是初始化注入。在开始执行任务前让机器人先快速巡视一遍环境把基本布局作为任务层记忆写入。这一步叫“环境预扫描”相当于人进入陌生房间先环顾一圈成本很低但能极大提升后续任务执行质量。其次是边做边写。机器人每一步动作完成后会将新的观测、动作、结果组织成一个MemoryChunk写入MEM。这个过程完全在线完成不打断推理流程。我采用异步写入的方式用一个独立线程做特征提取和向量化避免阻塞主推理循环。4. 训练策略与效果评估不要只盯任务成功率4.1 训练数据组织记忆增强的模仿学习MEM训练主要分两部分一部分是记忆检索网络的训练另一部分是VLA模型在记忆条件下生成动作的训练。为了让模型学会“怎么用记忆”训练数据的组织方式很关键。我的做法是把一整条完整轨迹切片每个训练样本由三个要素构成当前观测、历史记忆库存储到当前时间为止、目标动作标号。不再是“观测-动作”这样的单点映射而是“观测-历史-动作”的三元组映射。模型需要学会在给定历史记忆的情况下输出正确的下一步动作。训练损失除了常规的动作预测损失外我还加了一个“记忆重构损失”让模型在读取记忆后能够还原该记忆对应的观测特征。这个辅助目标强迫模型真正理解记忆内容而不是把记忆当成一个可忽略的特征口袋。加入该损失后模型对记忆的利用率明显上升任务成功率差距约为3到5个百分点。4.2 评估指标SR之外还要看命中率和时序连贯性任务成功率SR当然要测但它是一个偏“结果”的指标无法解释成功或失败的原因。我把MEM的评估指标拆成了三个维度记忆检索质量用命中率Hit Rate和NDCG来评估检索到相关记忆的能力。具体做法是人工标注一部分“当前步骤依赖哪条历史记忆”然后看检索系统能否把这些关键记忆排在前面。行为连贯性通过重复动作比例、回头率、路径冗余度来度量。机器人如果总是折返哪怕最终任务成功了也说明记忆没有有效引导行为。任务级效率包括完成任务步数、平均执行时间、中断次数。这一维度直接反映记忆带来的收益。我做过一组对比实验在不加MEM时机器人完成“整理桌面”任务平均需要42步执行时间4分20秒过程中有6次重复扫描区域的动作。加上MEM后平均步数降到27步执行时间缩到2分50秒重复扫描次数减少到1次。效果非常直观。4.3 消融实验把某一层记忆单独去掉看效果掉多少为了验证“多尺度”并不是堆砌我做了一组消融实验。分别屏蔽传感层、事件层和任务层观察不同任务类型下的成功率变化。结果如下任务类型全量MEM去传感层去事件层去任务层单步抓取92%88%90%91%多步整理84%76%68%73%跨房间搬运79%70%72%61%长时巡检87%81%78%65%可以看到单步抓取任务对记忆依赖不高即便去掉某一层影响也不大。但多步整理对事件层依赖最强因为模型需要记住中间动作的顺序跨房间搬运和长时巡检则非常依赖任务层记忆。这从数据上证明了多尺度设计确实有独立价值而不是简单堆叠。5. 部署中的常见问题与排查技巧实录5.1 记忆检索不相关先检查特征空间是否对齐最常踩的坑是检索结果明明有很高的相似度但内容却和当前任务没有关系。我排查下来绝大多数情况是训练VLA模型和记忆编码器时用了不同的特征空间。比如VLA的视觉编码器是自监督训练出来的而记忆用的Embedding模型是CLIP训练出来的两者空间分布差异很大KNN找出来的只是“向量上相近”但“语义上无关”的样本。解决办法有两个要么用VLA自己的编码器重新为记忆生成embedding要么训练一个线性对齐层把CLIP特征映射到VLA特征空间。我推荐前者虽然离线需要多跑一遍特征提取但效果稳定得多。5.2 存储膨胀、检索变慢分一半时间做内存碎片整理跑的时间长了记忆库会越来越大检索延迟跟着飙上去。这个问题的根源不是单条记录太多而是索引结构逐渐退化。FAISS这类向量索引在持续插入时会产生碎片导致查询效率下降。我的排查经验是每隔一段时间在记忆库低峰期做一次全量索引重建。具体操作是先把所有MemoryChunk导出清空索引库再批量插入重建。过程只需要几秒到十几秒但和高峰期卡顿几分钟相比已经完全值得。同时我还会做一个“记忆压缩”把任务层中那些语义重复的记录合并成一条摘要性记录。比如机器人连续15次执行巡检任务每次都记录“五号货架正常”最终压缩成一条“五号货架15次巡检均正常最近一次时间戳为...”。这样既保留统计信息又大幅减少条目数。5.3 分布漂移导致记忆失效给记忆打场景指纹有一类问题特别隐蔽机器人工作环境发生大范围改变比如仓库重新装修、货架重新布局MEM里存的历史信息大面积失效。此时检索出来的旧记忆不仅没有帮助还会误导模型。如果模型信任度较高甚至会把“冰箱在A位置”的旧信息当成当前空间布局来执行动作导致规划撞墙。我想到的方案是给场景加指纹。每隔一段时间让系统在当前观测上计算一个全局描述向量作为“场景ID”。每次写入记忆时带上当时的场景ID检索时只从当前场景ID对应的记忆分区里检索。场景变化超过一定阈值就自动切换记忆库保留旧记忆但不用于当前决策避免污染推理。5.4 实测下来的Memory Budget建议很多朋友会问MEM到底需要多大的存储和算力我分情况给出实测参考值。对于算力检索模块整体延迟应控制在10毫秒以内否则会影响VLA推理的实时性。我推荐记忆Embedding计算放在GPU上但检索用CPU上的FAISS就够不必额外占用GPU显存。向量维度统一用256维比常用的768维快很多且对性能影响不大。以下是不同任务规模的建议配置任务规模传感层容量事件层容量任务层容量索引内存估算单臂桌面操作200条1000条100条约20MB室内移动操作500条5000条500条约120MB多楼层巡检1000条20000条2000条约500MB按照这个配置普通工控机也能轻松跑起来内存占用完全可控。建议开始时把容量设小一点运行一段时间再根据任务复杂度和延迟情况动态调整不要一上来就放大容量否则后续排查问题时会增加无效变量。我个人在实际操作中还有一个小技巧每次部署MEM前先跑一遍“记忆回放测试”。把之前录制的轨迹数据喂给记忆系统手动检查几个关键时间点检索出来的记忆是否合理。这一步看似麻烦但能省掉后续大量实机调试的时间。记忆系统最容易出现问题的不是算法本身而是数据分布不匹配回放测试能提前暴露这些问题。做多了之后你会发现具身记忆真正难的地方不是建出来而是建完之后能让它和VLA模型配合得像一个整体。