摘要物体目标导航ObjectNav是具身智能体执行一切复杂任务的基础前置能力。本文以《软件学报》2025年发表的《面向具身人工智能的物体目标导航综述》为核心蓝本系统解析了环境表示、视觉自主探索、端到端与模块化导航策略、四类发展进程以及数据集与评价指标。在此基础之上本文进一步锚定启元Q1双足人形机器人的生态定位探讨了ObjectNav技术对启元Q1导航能力、RPK技能开发以及AtomGit开发者生态的技术启发。本文关键词物体目标导航具身人工智能视觉自主探索视觉物体重排布启元机器人目录引文献来源一、引言——机器人找东西这件事到底有多难1.1 一个日常任务的背后1.2 为什么ObjectNav是具身智能的前置任务1.3 人类基线vs机器人现状1.4 本文脉络二、基础地基——环境表示与视觉自主探索2.1 具身智能体的五种思维2.2 环境表示的三种范式2.3 视觉自主探索五种奖励机制三、核心技术深度拆解——ObjectNav的两大范式3.1 任务类型分类3.2 端到端的导航策略3.3 模块化的导航策略3.4 四类发展进程3.5 物体重排布ObjectNav的后置任务四、数据集、评价指标与实验分析4.1 数据集全景4.2 评价指标4.3 模仿学习预训练与强化学习调优4.4 不同方法的性能对比五、启元生态专属锚定与展望5.1 启元Q1的导航能力需求与底层接口映射5.2 从RPK技能包看ObjectNav的工程价值5.3 启元AtomGit社区与ObjectNav生态5.4 从最后一公里看ObjectNav的未来六、总结与展望尾引诸位技术同仁本系列将系统精读的方式深入剖析计算机科学顶级期刊/会议论文聚焦前沿突破的核心机理与工程实现。通过严谨的学术剖析解耦研究范式、技术方案及实证方法揭示创新本质。我们重点关注理论-工程交汇点的技术跃迁提炼可迁移的方法论锚点助力诸位的技术实践与复杂问题攻坚共推领域持续演进。文献来源DOI: 10.13328/j.cnki.jos.007250软件学报,2025, 36(4):1715–1757.已标明出处如有侵权请联系笔者。一、引言——机器人找东西这件事到底有多难1.1 一个日常任务的背后想象一下这样的场景启元Q1正在你家里执行任务用户说“去厨房把冰箱里的牛奶拿过来”。Q1首先需要通过SDK的/aima/hal/camera/CaptureJpegImage服务抓取当前视角的RGB图像或者拉取RTSP视频流。同时它得在没去过的房间里探索构建环境地图搞清楚一个问题我现在在哪但换成机器人呢它首先得知道客厅在哪茶几长什么样遥控器是什么物体。然后它得在没去过的房间里探索构建环境地图同时搜索目标物体。找到之后还得规划路径走过去避开路上的障碍物。整个过程涉及视觉感知、语言理解、空间记忆、路径规划、避障等一系列能力的协同。这就是物体目标导航Object Goal Navigation, ObjectNav要解决的问题。论文把它定义为要求具身智能体在事先未知的、复杂且语义丰富的场景中搜寻并导航至指定的物体目标例如找到水槽。1.2 为什么ObjectNav是具身智能的前置任务论文在摘要中明确指出ObjectNav是其他基于交互的具身智能研究的基础和前置任务。这个定位非常关键。我们可以这样理解具身智能的任务层次底层导航与移动能力ObjectNav中层物体操作与交互能力抓取、放置、使用工具顶层复杂任务规划与执行“帮我整理房间”、“准备一杯咖啡”没有底层的导航能力中层的操作能力就无从施展——机器人连目标物体都找不到谈何操作论文中的一张图非常直观地展示了ObjectNav任务的输入输出从图中可以看到ObjectNav任务的输入通常包括目标类别如沙发自身位姿RGBD视觉观测输出则是当前时刻的导航动作通常包括直行、左转、右转和停止。1.3 人类基线vs机器人现状论文中有一组数据非常值得注意实证研究表明人类擅长在未知的环境中执行ObjectNav任务在MP3D数据集上达到了88.9%的导航成功率。而目前最先进的ObjectNav策略在MP3D验证集上仅达到40%左右的成功率。这个差距说明什么说明ObjectNav任务远未解决。人类之所以擅长这个任务是因为我们能够通过记忆环境中的空间和语义模式来高效导航利用不同物体之间的从属或共现关系比如遥控器通常放在茶几或沙发附近避免重复和冗余的搜索让机器人具备这些能力正是ObjectNav研究的核心目标。论文用一组对比图直观展示了端到端方法和模块化方法在执行ObjectNav时的差异从图中可以看到基于RGB视觉观测的端到端方法在导航过程中碰撞了2次导航失败而基于语义地图预测的模块化方法碰撞了0次导航成功。这个对比非常直观地说明了模块化方法在环境记忆和路径规划上的优势。1.4 本文脉络本文以《面向具身人工智能的物体目标导航综述》为核心蓝本系统拆解ObjectNav的技术全景包括环境表示、视觉自主探索、导航策略、发展进程、数据集与评价指标。在此基础之上本文进一步锚定启元机器人的生态定位探讨ObjectNav技术对启元机器人导航能力、Skill任务编排以及AtomGit开发者生态的技术启发。论文的整体架构可以用一张图来概括这张图自底向上展示了任务层次关系、方法分类和应用场景。底层是环境表示和视觉自主探索前置任务中间是物体目标导航任务本身分为单物体/多物体、端到端/模块化上层是视觉物体重排布后置任务最顶层是医疗陪护机器人、智能家庭助手等应用场景。二、基础地基——环境表示与视觉自主探索2.1 具身智能体的五种思维论文引用了一项研究指出具身智能体至少需要具备五种思维直接依赖视觉观测进行决策的思维利用物体间的语义关系搜寻目标物体的搜索思维高效地捕获环境布局的探索思维根据物体的方位运动到目标位置的导航思维运动过程中的避障思维这张图将现有的ObjectNav方法按强调的思维进行了分类可以直观看到不同方法在五种思维上的侧重。2.2 环境表示的三种范式环境表示是ObjectNav的基础。机器人需要一种方式来记住它看到过什么、去过哪里。论文将现有的环境表示方法分为三大类1基于语义占用地图的环境表示这类方法通过RGB图像语义分割、深度图像反投影生成三维语义点云再通过拼接、融合和维护构建三维语义占用地图。从图中可以看到完整流程RGB图像和深度图像 → 语义分割 → 三维语义点云 → 沿Z轴投影 → 二维语义占用地图。2基于拓扑语义地图的离散环境表示这类方法将环境中的高层次语义和关系进行表征相对于语义占用地图更加精简和抽象。拓扑语义地图的节点可以表示为物体的一组属性边可以表示为节点之间的空间和语义关系。3基于对比学习的连续环境表示这类方法将成对的语义关系嵌入到一个潜在的特征空间鼓励具身智能体以探索的方式逐渐构建一个鲁棒的、全面的环境表示。2.3 视觉自主探索五种奖励机制视觉自主探索是ObjectNav的前置任务。机器人需要在没有明确任务目标的情况下自主探索环境、收集信息、构建环境表示。论文系统梳理了五种探索奖励机制奖励类型核心思想代表工作新颖性奖励鼓励探索先前未访问过的状态Savinov等好奇心奖励鼓励探索难以准确预测的状态Pathak等覆盖范围奖励引导短期内捕获尽可能多的信息Chaplot等占用预期奖励最大化环境重建的准确性Ramakrishnan等内在影响奖励鼓励对内部环境表示的改变Raileanu等从架构图中可以看到完整的探索流程SLAM神经网络接收视觉观测和位姿传感器数据建立环境表示全局探索策略选择长期导航目标路径规划器生成全局导航路径局部导航策略输出具体动作。三、核心技术深度拆解——ObjectNav的两大范式3.1 任务类型分类论文按任务类型将ObjectNav分为两类单物体目标导航要求具身智能体在一个事先未知的环境中导航至由一个特定标签指定的物体目标。多物体目标导航要求具身智能体探索环境并按照指定的语义标签序列搜索并导航至多个不同的物体目标。从图中可以看到MultiON采用Actor-Critic强化学习架构通过one-hot编码表示多个物体类别标签同时将视觉观测和占据地图作为数据输入经过特征拼接并输入到GRU网络中最终输出导航动作的概率分布和状态值。在介绍完单物体和多物体目标导航的定义之后论文对现有方法进行了统计分析从这张图可以读出几个关键信息单物体目标导航占88%多物体仅占12%模块化策略占55%端到端策略占45%基于有限数据集的方法占75%基于增强数据集的占8%基于元学习的占9%视觉语言模型增强的仅占8%。这说明大部分研究仍集中在单物体、有限数据集的方向上视觉语言模型增强的零样本导航虽然潜力巨大但当前研究占比仍然很小。3.2 端到端的导航策略端到端的导航策略通常采用一个神经网络来建模导航所需的几种能力或思维。神经网络以原始图像数据为输入直接输出导航动作。从图中可以看到该模型由三种注意力机制组成考虑图像中物体目标信息的目标注意力机制、考虑具身智能体的上一个动作的动作注意力机制、考虑先前所有步骤的记忆注意力机制。3.3 模块化的导航策略模块化的导航策略分别采用不同的模块建模导航所需的几种能力或思维通常包括视觉感知模块对视觉观察进行编码或通过语义分割获取环境语义信息。语义映射模块整合视觉特征、深度信息和语义信息构建环境表示。动作决策模块根据视觉观测和环境表示进行路径规划和运动决策。在介绍模块化导航策略时除了之前提到的ORGTPN和HOZ还有几个重要工作需要补充SSCNav是典型的基于局部语义地图场景表示的模块化ObjectNav策略。它的核心创新是引入了语义地图补全网络和语义置信度预测网络——前者用来预测视野之外的语义占用情况弥补传感器视野的限制后者用来预测补全区域的不确定性指示预测结果的可信程度。PONI是典型的基于全局语义地图环境表示的模块化ObjectNav策略。它的核心思路是将ObjectNav问题解耦为两个子问题“去哪里寻找目标和如何导航到目标”。PONI提出了基于区域势函数和物体势函数的encoder-decoder架构——区域势函数指示未知区域所包含的潜在信息量指导充分探索物体势函数指示未探索区域中存在物体目标的可能性指导导航至具体目标。Min等人提出了一种自监督的ObjectNav算法利用自主探索和对比学习技术以具身的方式训练语义分割模型和构建环境表示。这篇工作的一个重要贡献是率先进行了真实场景的机器人实验验证了方法的可行性。3.4 四类发展进程论文按发展时间线将现有的ObjectNav策略分为四类1基于有限数据集的导航策略学习早期得益于MP3D、Gibson和AI2-THOR等逼真的室内场景数据集的发布基于有限数据集的导航策略学习方法迅速发展起来。2基于增强数据集的导航策略学习为了缓解有限的数据集导致的模型训练过拟合问题基于增强数据集的导航策略学习方法被提出。通过对现有数据集进行编辑和融合或者引入新的场景导航模型的性能和泛化能力被进一步提高。3基于元学习的泛化策略学习考虑到现实世界中物体类别和场景的多样性ObjectNav策略被期望能够泛化到事先未见过的物体类别和环境。以基于梯度的元学习为基础具身智能体被赋予学习如何去学习的能力。4视觉语言模型增强的导航策略随着大规模视觉语言模型的发展强大的视觉语言对齐能力被用于增强ObjectNav的语义先验信息。大规模视觉语言模型为零样本ObjectNav的实现提供了可能。3.5 物体重排布ObjectNav的后置任务视觉物体重排布任务要求具身智能体反复导航至不同的目标物体是ObjectNav的后置任务。目前可以分为两类受目标状态约束的物体重排布任务具身智能体在预排布步骤中探索场景的目标状态并构建场景记忆在重排布步骤中依靠记忆将错位物体恢复至目标位置。无目标状态约束的物体重排布任务基于先验知识执行物体错位检测并进行物体重排布。四、数据集、评价指标与实验分析4.1 数据集全景数据集发布时间场景数目物体数目场景覆盖面积(km²)可导航面积(km²)支持交互物理引擎Matterport3D20179040101.8230.22否-Gibson2018572-217.9981.84否PybulletHM3D20211000-365.42112.50是-AI2-THOR20191203578--是UnityiGibson 1.0202115570--是PybulletiGibson 2.02021151217--是PybulletProcTHOR2022-1633--是Unity在介绍完视觉自主探索和ObjectNav通用数据集之后论文还介绍了视觉物体重排布任务的专用数据集数据集发布时间场景数目房间数目物体类别物体数目重排布任务设置物理引擎RoomR2021-1207231576000UnityHabitat 2.02021111-92--BulletHouseKeep2022141052681799--RoomR是Weihs等人基于AI2-THOR仿真环境专门为物体重排布任务设计的数据集包含6000个不同的物体重排布任务设置涉及120个不同场景中的72种不同类型的物体类别。Habitat 2.0包含基于ReplicACAD数据集构建的交互式3D仿真环境支持具身智能体与刚体的动作交互。HouseKeep是用于评估家庭环境中具身智能体性能的基准任务包含整洁和不整洁的室内场景。4.2 评价指标ObjectNav的核心评价指标包括1成功率Success Rate, SR成功的任务数量占所有任务的比例。S R n N SR \frac{n}{N}SRNn​2路径长度加权成功率SPL在衡量成功率的同时还衡量导航至目标的效率。S P L 1 N ∑ i 1 N S i l i max ⁡ ( p i , l i ) SPL \frac{1}{N}\sum_{i1}^{N} S_i \frac{l_i}{\max(p_i, l_i)}SPLN1​i1∑N​Si​max(pi​,li​)li​​其中l i l_ili​为第i ii次任务中从起始位置到目标的最短路径距离p i p_ipi​为实际走过的路径长度。3距离成功的距离DTS任务结束时具身智能体距离成功阈值边界的距离。4目标进度Goal Progress具身智能体每次运动后与目标类别物体缩减的距离。5轨迹相似性nDTW衡量具身智能体的真实路径与专家路径之间的相似度。4.3 模仿学习预训练与强化学习调优论文详细介绍了当前主流的训练范式模仿学习预训练 强化学习调优。从图30可以看到一个关键发现当不采用模仿学习时专家演示数量为0用于ObjectNav的强化学习是失败的成功率近乎为0。随着专家演示数量的增加强化学习后的ObjectNav成功率逐渐增加。4.4 不同方法的性能对比论文在多个数据集上对比了现有方法的性能方法年份发表渠道优势局限性SAVN2019CVPR首次提出采用元学习技术提高导航策略的泛化性能缺少有效的长期记忆易导致重复探索DD-PPO2020ICLR近乎完美地解决了点导航问题缺少环境表示能力无法有效完成物体导航任务SemExp2020NeurIPS首次提出基于语义地图环境表示的物体导航策略动作空间大采样效率低易导致重复探索SSCNav2020ICRA通过想象未知区域中的场景先验信息增强决策缺少有效的长期记忆易陷入局部探索区域PONI2022CVPR提出基于监督学习预测未探索区域的潜在信息增益需要收集大量的地图训练数据泛化性能易受环境布局影响3D-aware2023CVPR提出了基于3D语义地图的场景表示和角向引导的探索策略3D语义地图的更新和维护效率低PEANUT2023ICCV采用监督学习根据语义地图直接预测未知区域中物体目标的潜在位置需要收集大量的地图训练数据ESC2023ICML通过大语言模型将常识性知识引入导航策略实现零样本学习导航性能受限于提示符的设计和语义地图构建的准确性五、启元生态专属锚定与展望5.1 启元Q1的导航能力需求与底层接口映射启元Q1作为一款身高88cm、拥有22个自由度的双足人形机器人其核心能力之一就是在未知环境中自主导航并找到目标物体。从官方SDK的接口设计可以看出Q1为ObjectNav任务提供了完整的“感知-决策-控制”底层支撑视觉感知看哪里ObjectNav算法需要输入RGB图像。Q1的SDK不仅提供了单帧抓拍服务CaptureJpegImage还提供了RTSP视频流接口例如rtsp://10.1.1.100:2554/live_head_monocular_centra。这意味着开发者可以将论文中的语义建图算法直接接入实时的视频流进行环境表示。状态控制怎么走ObjectNav输出的是动作指令前进、转弯。在Q1的状态机里必须先通过SetMcAction服务将系统切换至BIPED_WALK_RUN走跑模式并通过GetMcAction轮询确认状态已变为RUNNING。只有在就绪状态下才能安全地接收导航指令。速度执行走多快算法规划出的路径最终通过/aima/mc/locomotion/velocity话题转换为机器人的物理运动。该话题接收包含前后线速度forward_velocity、横向速度lateral_velocity和转向角速度angular_velocity的消息。Q1的输入源仲裁机制最高优先级100-80会确保导航算法pnc在控制权上平稳运行。5.2 从RPK技能包看ObjectNav的工程价值在启元的生态中原子能力最终是被封装成RPKRobot Package技能包分发的。以官方仓库中的“拿衣服”技能为例其核心逻辑就完美体现了ObjectNav的重要性导航作为基础前置当用户下达“拿衣服”指令后Q1不能直接抓取。它必须先调用类似ObjectNav的算法在房间中移动寻找Explore直到视觉传感器确认目标的坐标Loc(s)。状态切换与执行确认目标后技能脚本会通过SetMcAction将机器人从BIPED_WALK_RUN切换到指定的动作模式调用机械臂完成抓取。闭环反馈如果抓取失败ObjectNav发现目标并未拿到控制脚本会捕获异常重新规划路径或触发搜索行为。5.3 启元AtomGit社区与ObjectNav生态再看启元在AtomGit上的开源布局从启元在AtomGit上的开源布局来看ObjectNav作为一项基础导航能力完全可以在开源SDK的基础上构建以下模块模块对应SDK技术点说明视觉感知模块CaptureJpegImage/ RTSP将算法模块接入机器人的实时视频流运动状态机控制McAction服务确保机器人在导航前进入BIPED_WALK_RUN速度指令下发locomotion/velocity将算法的规划输出映射为机器人的线/角速度优先级控制SetMcInputSource确保导航信号pnc能安全抢占控制权仿真验证URDF/MuJoCo在仿真中验证ObjectNav算法再下发真机5.4 从最后一公里看ObjectNav的未来论文在最后部分讨论了ObjectNav的最后一公里问题当前的ObjectNav研究停留在导航到目标物体附近阶段还没有充分涉及与目标物体的交互。这个问题对启元机器人来说尤其重要。用户说帮我拿一杯咖啡机器人不仅要找到咖啡机还要操作咖啡机、拿杯子、倒咖啡。ObjectNav只是第一步。论文指出在大语言模型的加持下具身智能的倡导者们针对机器人导航和抓取任务提出了相应的结合大语言模型的具身智能体。未来结合大语言模型的具身智能体可能在解决物体目标导航和抓取问题方面大显身手。六、总结与展望本文以《面向具身人工智能的物体目标导航综述》为核心蓝本系统拆解了ObjectNav的技术全景环境表示语义占用地图、拓扑语义地图、连续环境表示。视觉自主探索五种奖励机制新颖性、好奇心、覆盖范围、占用预期、内在影响。导航策略端到端与模块化两大范式。发展进程有限数据集、增强数据集、元学习、视觉语言模型四类。后置任务视觉物体重排布。在此基础之上本文进一步锚定启元机器人的生态定位探讨了ObjectNav技术对启元机器人导航能力的核心价值。从Skill开发看ObjectNav的工程价值。AtomGit社区如何构建ObjectNav生态模块。物体目标导航不仅是机器人找东西的技术手段更是具身智能从能导航走向能干活的关键基础能力。对于启元机器人来说掌握并善用这一技术体系将是从能走能跑走向能找能做的关键一跃。尾本期技术解构至此。论文揭示的方法论范式对跨领域技术实践具有普适参考价值。下期将聚焦其他前沿成果深入剖析其的突破路径。敬请持续关注共同深挖工程实现脉络淬炼创新底层逻辑在学术与工程融合中洞见技术演进规律推动领域范式持续进化。启元机器人开发者社区https://dev.primebot.com/