机器人领域的基础模型应用、挑战与未来1. 引言传统机器人的困境为什么需要基础模型1.1 传统机器人深度学习的痛点1.2 基础模型给机器人带来什么能力增益2. 基础模型核心理论基础2.1 关键术语2.2 几类关键模型介绍2.3 两种重要训练范式3. 基础模型在机器人中的完整应用体系3.1 机器人决策、规划与控制1语言条件模仿学习2语言辅助强化学习 RL3语言‑图像目标条件价值学习4任务规划两大范式5Robot‑TransformerVLA视觉‑语言‑动作模型端到端6开放词汇导航与操作3.2 机器人感知系统3.3 具身智能 Embodied AI4. 核心八大挑战机器人落地真实世界的拦路虎挑战一机器人相关训练数据极度稀缺挑战二实时推理性能瓶颈挑战三多模态表征的固有局限挑战四不确定性量化机器人安全重中之重挑战五安全评估挑战六即插即用还是从头构建机器人原生基础模型挑战七机器人环境与硬件高度多变挑战八基准、可复现性5. 两条发展路线即插即用 VS 原生机器人基础模型路线A即插即用 Plug‑and‑Play路线B构建机器人原生基础模型6. 可复现性、基准测试难题7. 综述总结与深度思考机遇现存现实壁垒个人深度思考8. 代表论文工作汇总表简介斯坦福、普林斯顿、Google DeepMind、上海交大等机构联合重磅综述。本文完整精读该综述从传统机器人痛点、基础模型底层原理、三大应用模块决策控制/感知/具身AI深入剖析8大落地瓶颈、两条技术路线、未来研究机会。论文信息论文名称Foundation Models in Robotics: Applications, Challenges, and the Future作者机构斯坦福大学、普林斯顿大学、UT‑Austin、NVIDIA、Google DeepMind、柏林工业大学、上海交通大学论文定位机器人基础模型领域经典综述。和其他综述最大区别不只罗列论文重点强调安全、不确定性量化、现实部署问题同时横向对比各个算法架构的优缺点。1. 引言传统机器人的困境为什么需要基础模型1.1 传统机器人深度学习的痛点传统机器人深度学习模式任务驱动一任务一模型。针对抓取、导航、装配单独采集小规模机器人硬件数据集训练模型。模型只见过训练集内的物体、环境一旦环境物体发生变化性能急剧下降每换一个任务需要重新采集大量机器人演示数据成本极高。而基础模型是在互联网规模海量多模态数据上预训练得到大模型具备两大核心能力强大泛化能力零样本/少样本能力面对训练阶段从未见过的任务不需要重新大规模微调仅通过提示就可以完成任务。研究者希望把基础模型能力引入机器人改造机器人完整自主栈感知 → 决策规划 → 控制执行。1.2 基础模型给机器人带来什么能力增益大语言模型 LLM常识推理、复杂任务拆解、生成代码、人类自然语言交互视觉‑语言模型 VLMCLIP等开放词汇视觉识别。不用重新训练就识别训练中没见过的物体多模态对齐把图像、文本、深度图、传感器信号映射到统一嵌入空间打通视觉、语言知识迁移把互联网上学到的常识知识迁移给物理机器人减少机器人端训练开销。⚠️但是互联网训练出来的大模型不懂物理世界。论文开篇直接抛出5个现实难题也是整篇综述贯穿始终的主线机器人相关数据稀缺缺少互联网量级的机器人交互、3D带标注数据机器人场景高度多变不同机器人硬件、不同家庭/工厂环境、千变万化任务不确定性与大模型幻觉大模型经常输出物理不可行的方案实体机器人执行会带来安全风险区分实例级不确定性、分布级不确定性、闭环带来的分布偏移安全评估难题如何在部署前、运行全周期保证机器人安全实时推理性能大模型推理速度慢机器人闭环控制要求高频实时推理。本文文献筛选标准1背景论文理解基础模型理论2机器人论文即插即用接入大模型、微调大模型、专门构建机器人基础模型3邻域论文CV、具身AI有明确向机器人迁移潜力。2. 基础模型核心理论基础很多人只会调用模型API不理解底层机制。论文第二章讲解机器人领域用到的基础模型底层概念。2.1 关键术语Tokenization分词不只是文本分词图像切成图像patch、点云分块、传感器时序流、机器人动作序列都可以切分成token序列送入Transformer。例如RT‑2把机器人6维位姿、夹爪状态编码为文本token直接复用LLM的tokenizer实现视觉‑语言‑动作统一建模。Transformer架构核心是多头自注意力机制。自回归模型Decoder‑onlyGPT系列单向生成根据上文预测下一个token擅长生成文本、动作序列缺点是双向理解能力弱掩码自编码EncoderBERT双向上下文理解随机mask部分token让模型预测擅长理解完整输入。对比学习 Contrastive LearningCLIP核心训练范式。构造匹配图文对、不匹配图文对训练模型让匹配样本嵌入距离更近不匹配样本距离更远实现图文联合嵌入空间。机器人领域大量复用CLIP预训练权重做感知、奖励函数。扩散模型 Diffusion Model前向过程逐步给图像增加高斯噪声反向网络学习去噪。机器人用途数据增强、场景修复、生成手‑物体交互姿态、生成目标场景图像。2.2 几类关键模型介绍LLM大语言模型GPT‑3/4、LLaMA擅长推理、任务分解、代码生成。缺点没有物理世界的直接经验容易幻觉。Vision TransformerViT视觉TransformerDINOv2自监督视觉特征提取SAM可提示图像分割。VLM视觉‑语言模型CLIP、BLIP建立图像‑文本对齐开放词汇识别。具身多模态大模型 PaLM‑E里程碑工作。把图像、RGB‑D观测、机器人状态、3D场景表征投影到大语言模型的embedding空间把视觉信息融入语言大模型。模型输出文本再接短horizon机器人策略完成控制。关键发现同时训练互联网图文数据 机器人具身数据会产生正向迁移效果。2.3 两种重要训练范式即插即用 Plug‑and‑Play直接使用已经预训练好的模型几乎不改动权重端到端共微调 Co‑finetune拿预训练VLM/LLM使用机器人轨迹数据一起微调代表RT‑2。3. 基础模型在机器人中的完整应用体系论文把机器人系统分为三大模块决策控制、感知、具身AI。⚠️论文特别指出该领域一个现实痛点很多论文效果高度依赖定制硬件、定制底层控制模块或者使用简化仿真忽略真实物理论文结果很难复现仿真效果不等于真机效果。3.1 机器人决策、规划与控制解决接收人类自然语言指令完成任务规划输出机器人动作。1语言条件模仿学习目标训练策略π θ ( a t ∣ s t , l ) \pi_\theta(a_t|s_t,l)πθ​(at​∣st​,l)输入机器人状态s t s_tst​、人类语言指令l ll输出动作a t a_tat​。训练数据带语言标签的机器人演示轨迹。CLIPort双流架构。CLIP做语义理解Transporter网络做空间定位局限仅支持2D平面抓取PerAct升级3D体素表征支持多视角RGB‑D输入完成6自由度机械臂操作Play‑LMP利用无标注“玩耍play数据”。不需要昂贵专家标注人随便遥控机器人玩耍采集数据实验证明玩耍数据相比专家演示对扰动鲁棒性更强CACTI结合Stable Diffusion扩散模型做数据增强扩充场景、物体多样性提升多场景泛化。核心痛点闭环策略带来分布偏移。机器人执行动作之后进入训练集没有见过的状态性能快速衰减。2语言辅助强化学习 RL强化学习依靠与环境交互得到奖励优化策略。基础模型可以解决RL两大难题奖励设计难、探索难。SayCan【经典】SayLLM根据人类高层指令输出一系列可行子任务Can可及性函数评估当前物理环境中这个动作到底能不能执行解决大语言模型“纸上谈兵”输出在物理世界无法执行的计划。AdA自适应智能体基于R L 2 RL^2RL2TransformerXL记忆机制在海量开放任务仿真预训练测试时少量交互就快速适应全新3D环境。3语言‑图像目标条件价值学习价值函数评估当前状态距离目标有多“好”可以作为奖励信号。R3M从大规模人类视频预训练视觉表征冻结作为机器人感知backboneVIP自监督不需要图文配对视频学习隐式视觉目标价值函数LIVCLIP VIP结合支持语言目标、图像目标两种条件输入预训练完成后表征冻结只训练浅层MLP作为策略网络VoxPoser大模型生成代码结合VLM构建3D价值热力图直接作为运动规划目标不需要任何训练。4任务规划两大范式自然语言转中间任务表示把人类自然语言翻译为时序逻辑、TAMP任务与运动规划中间表示交给传统规划器做运动规划代表 NL2TLAutoTAMP。Code‑as‑Policies 代码即策略非常有影响力方向。不输出自然语言计划直接输出可执行机器人代码。LLM生成代码调用机器人API实现反馈循环、空间几何运算。少量示例做少样本提示不需要对模型专门做机器人数据微调。代表工作ProgPrompt、Code‑as‑Policies、ChatGPT‑Robotics。5Robot‑TransformerVLA视觉‑语言‑动作模型端到端当前工业界火热方向。输入图像语言指令直接输出机器人动作端到端打通感知到控制。RT‑1谷歌13万真实机器人轨迹700任务输入图像语言输出离散机械臂/底盘动作RT‑2拿现成的VLM模型把机器人动作编码为文本token使用机器人轨迹数据共微调将互联网图文知识迁移到机器人支持思维链CoT推理重大局限机器人能做的物理技能只能局限训练数据见过的技能分布很难生成全新的动作模式。RT‑X Open X‑Embodiment21家机构联合汇集22种不同机器人硬件数据集。证明不同机器人本体之间可以实现正向知识迁移。6开放词汇导航与操作开放词汇 不需要预定义物体类别机器人可以响应从未见过物体的语言指令。导航LM‑Nav、ViNTLM‑Nav即插即用组合LLMVLM导航模型ViNT是专门面向导航的基础模型操作VIMA多模态提示文本/图像作为任务提示、RoboCat自迭代改进智能体DALL‑E‑Bot利用扩散模型做零样本场景重排。3.2 机器人感知系统机器人接收RGB、深度、点云等高维原始传感器数据。基础模型核心赋能方向是开放词汇感知不用重新训练识别新物体。2D开放词汇检测OWL‑ViT、GLIP、Grounding‑DINOGrounding‑DINO结合DINO自监督特征开放集检测性能突出。语义分割LSeg语言驱动语义分割测试阶段可以自由增删类别SAM分割一切SA‑1B十亿级掩码数据集支持点、框、文本提示分割机器人致命缺点推理速度慢很难用于机器人闭环实时控制。衍生FastSAM、MobileSAM轻量化版本。3D感知巨大难点3D‑语言配对数据稀缺PointCLIP将3D点云渲染多视角图像复用CLIP 2D知识ULIP构建图像‑文本‑点云三者联合嵌入空间LERF / CLIP‑NeRF把CLIP语义嵌入NeRF神经辐射场构建带语义的3D场景支持语言查询三维空间3D‑LLM把点云特征输入大语言模型做3D问答、3D任务分解。为了解决3D数据少用ChatGPT自动生成大量3D‑语言训练样本。可及性 Affordance连接感知与动作的关键概念物体可以被如何交互哪里可以抓、推、按压。Affordance Diffusion扩散模型生成手‑物体交互姿态VRB从互联网人类视频学习可及性适配模仿学习、强化学习、目标条件学习多种范式。世界预测模型 World Model给定机器人动作预测环境未来状态。用于规划。代表GAIA‑1自动驾驶视频世界模型。3.3 具身智能 Embodied AI注意绝大多数具身AI工作是仿真虚拟智能体不是实体物理机器人。具身智能体能够在环境中感知、行动、获取反馈的AI智能体。通用智能体GatoDeepMind一套权重同时玩游戏、对话、图像caption、真实机械臂、仿真导航文本作为跨不同硬件本体统一媒介。VoyagerMinecraftGPT‑4驱动终身学习智能体不需要微调依靠in‑context learningLLM生成代码控制游戏角色同时自我校验任务是否完成。仿真平台Habitat、iGibson、VirtualHome、RoboTHOR。核心痛点Sim‑to‑Real仿真‑现实鸿沟仿真中表现很好放到真实机器人性能大幅下降。技术范式LLM充当奖励函数不需要人工手写奖励直接使用语言描述期望行为生成奖励信号。代表Kwon等人Reward design with language models。4. 核心八大挑战机器人落地真实世界的拦路虎这是整篇综述最精华部分也是开题、写论文非常重要的参考。挑战一机器人相关训练数据极度稀缺互联网拥有海量图文但是机器人交互数据、带语言标注的3D数据非常稀缺。论文给出多条可行研究路径使用无标注人类play玩耍数据不需要昂贵专家演示现有工作表明只需要1%的语言标注数据就可以训练视觉‑语言可及性模型生成式模型做数据增强图像修复、扩散模型生成新物体、新场景⚠️风险生成图像视觉上逼真但是物理交互是假的。比如生成被机器人抓取的物体抓取姿态物理不合理。高保真仿真生成大规模合成机器人数据VLM模型做自动标注给无标签机器人轨迹自动生成语言指令根本性局限现有机器人基础模型学习到的物理技能被训练数据技能分布限制很难生成全新运动模式。可以尝试从人类视频挖掘运动信息作为补充。挑战二实时推理性能瓶颈机器人闭环控制需要高频推理几Hz到几十Hz而很多基础模型推理延迟很高。很多大模型只能够调用云端API强依赖网络安全关键场景自动驾驶、灾难搜救网络不可靠一旦断网系统失效。✅未来方向模型蒸馏、量化压缩把大模型压缩小模型部署机器人板载硬件牺牲部分性能换取速度设置安全降级策略云端不可用时切换传统机器人控制栈。挑战三多模态表征的固有局限现在图像、文本模态对齐做得很好但是机器人特有传感器模态点云、力反馈、力矩、电机状态。这类模态缺少大规模和文本对齐的数据集当前很多折中方案把传感器信息全部翻译成文本再喂给LLM但翻译转换会丢失底层物理信息。开放问题是否存在一个统一多模态基础模型可以原生处理机器人全部传感器模态挑战四不确定性量化机器人安全重中之重大模型会产生幻觉hallucination输出物理不可行的规划。实体机器人执行会造成设备损坏、人身危险。论文把不确定性分成3个层次实例级不确定性针对当前这一条输入输出模型对本次结果有多大把握分布级不确定性模型部署在真实世界全部场景整体出错概率分布偏移尤其闭环带来的分布偏移机器人自己执行动作改变环境后续看到的观测分布和训练集完全不一样。同时强调标定Calibration的重要性模型输出的置信度要和真实出错概率匹配。区分贝叶斯概率和频率派概率机器人安全场景往往需要频率派统计保证。案例工作 KNOWNO基于共形预测Conformal Prediction。当机器人不确定性高不执行动作主动向人类求助给出统计层面可证明的任务成功率下界。未来方向把这套不确定性方法扩展到VLM、VLA视觉‑语言‑动作模型。挑战五安全评估安全评估分三个阶段部署前、模型迭代更新、运行时。部署前安全测试测试场景不能是模型训练见过的数据大模型输出开放式计划自动化评估难度高方案参考大模型红队测试人工模型自动红队大量仿真测试仿真测试搭配小规模真机验证。运行时监控 OOD分布外检测实时检测异常输入、异常行为触发安全回退策略。难题在有限数据下同时控制误报、漏报拿到统计保证仍是开放研究。挑战六即插即用还是从头构建机器人原生基础模型下一节独立详细展开。挑战七机器人环境与硬件高度多变市面上机器人硬件形态五花八门家庭、工厂环境物体千差万别。传统机器人方案大多针对特定硬件调优泛化很差。研究方向训练跨硬件、任务无关的机器人基础模型代表RT‑X、ViNT。利用多家机构汇集多机器人数据集实现跨本体知识迁移。挑战八基准、可复现性下一节独立详细展开。5. 两条发展路线即插即用 VS 原生机器人基础模型这篇综述提炼的核心观点领域两大技术路线目前没有标准答案。路线A即插即用 Plug‑and‑Play直接复用CV/NLP领域已经预训练完成的基础模型CLIP、GPT、SAM组装到机器人系统少量微调甚至不微调。✅优势直接复用互联网海量数据学到的知识开发速度快不需要消耗海量算力从头预训练❌劣势模型没有见过真实机器人物理交互对物理世界理解不足感知、推理和机器人动力学、控制之间存在gap。路线B构建机器人原生基础模型专门收集机器人交互数据从头或者大规模微调训练面向物理机器人的基础模型。✅优势深度适配机器人动力学、感知、控制❌劣势机器人高质量数据获取成本巨大需要极高算力资源普通实验室很难负担。现状两条路线并行发展。很多工作处于中间态复用预训练大模型主干再用机器人数据做共微调例如RT‑2。6. 可复现性、基准测试难题论文重点吐槽的现实问题。大量机器人论文依赖专有实体硬件外部研究者没有同款机器人硬件完全无法复现实验很多仿真忽略物理接触、碰撞只做高层任务逻辑仿真效果和真实世界差距巨大即使物理仿真各个研究组仿真参数设置不一样很难横向公平对比算法Sim‑to‑Real鸿沟一直存在。✅建议未来方向推动开放机器人硬件使用物理保真仿真做统一基准论文完整公开仿真配置、代码、数据集提升整个领域的可复现性。7. 综述总结与深度思考机遇基础模型为机器人带来了零样本开放词汇感知、常识推理、高层任务分解能力有望打通机器人感知‑决策‑控制整套链路推动通用机器人发展。现存现实壁垒机器人专用数据稀缺推理实时性约束大模型幻觉与不确定性完整的安全评估体系缺失机器人硬件与环境多样性实验可复现性差。个人深度思考现在网上很多Demo把LLM机器人拼接在仿真或者高度约束环境效果惊艳。但是一旦放到真实物理机器人会暴露出大量问题LLM输出计划物理不可行幻觉大模型推理延迟导致闭环控制失效现实环境分布偏移模型直接失效。未来不能只追求炫酷Demo。机器人是安全关键系统我们需要更多研究不确定性量化、安全保障、统计可证明性能边界而不仅仅追求任务成功率指标。8. 代表论文工作汇总表方向代表工作核心特点具身多模态LLMPaLM‑E图像、传感器输入注入LLM嵌入具身推理VLA视觉‑语言‑动作RT‑1RT‑2RT‑X端到端动作文本化跨机器人本体迁移LLM机器人规划SayCan、Code‑as‑Policies、VoxPoser大模型做任务分解、生成代码/3D价值图开放词汇2D感知Grounding‑DINO、OWL‑ViT、SAM检测、提示式分割3D感知ULIP、LERF、3D‑LLM3D点云、NeRF结合语言语义模仿学习CLIPort、PerAct、Play‑LMP语言条件模仿学习玩耍数据仿真平台Habitat、iGibson、VirtualHome具身AI仿真测试环境