# HumanoidPano: 用于人形机器人的混合球形全景-激光雷达跨模态感知 张强$^{1,2,*}$，张璋$^{1,4,*}$，崔威$^{1,*}$，孙靖凯$^{1,2}$，曹嘉航$^{1,2}$，郭一杰$^{1}$，韩刚$^{1}$，赵文$^{1}$，王佳雪$^{1,2,3}$，孙成浩$^{1}$，张凌峰$^{2}$，程浩$^{2}$，陈宇杰$^{5}$，王林$^{6}$，唐健$^{1,\dagger}$，许仁景$^{2,\dagger}$ $^{1}$ 北京人形机器人创新中心 $^{2}$ 香港科技大学（广州） $^{3}$ 香港科技大学 $^{4}$ 北京理工大学 $^{5}$ 苏黎世联邦理工学院 $^{6}$ 南洋理工大学 $^{*}$ 共同第一作者。 † 通讯作者。 ![Image](images/f229958e587888ee38e099f48fecf376dab6a4222d543328fda563f1a227e081.jpg)
Figure 1. The humanoid robot autonomously navigates complex environments using HumanoidPano, which fuses panoramic vision and LiDAR to generate real-time BEV semantic maps. The figure depicts motion trajectory while visualizing real-time visual sensor data and perception results in the upper-left corner, alongside detailed illustrations of the HumanoidPano universal perception module.
## 摘要 人形机器人的感知系统设计面临独特的挑战，这是由于固有的结构限制导致严重的自遮挡和有限的视场 (FOV)。 我们提出了一种名为 HumanoidPano 的新型混合跨模态感知框架，该框架通过无缝集成全景视觉和激光雷达传感，以克服这些限制。 约束会导致严重的自遮挡和有限的视场（FOV）。我们提出了HumanoidPano，这是一种新型混合跨模态感知框架，可协同整合全景视觉与LiDAR传感，以突 --- 克服这些限制。与依赖单目摄像头或标准多传感器配置的传统机器人感知系统不同，我们的方法通过球形视觉变换器建立具有几何意识的多模态对齐，从而可以无缝融合$360^{\circ}$视觉上下文与LiDAR精确的深度测量。首先，球形几何感知约束（SGC）利用全景相机光线属性来引导具有失真正则化的采样偏移，以实现几何对齐。其次，空间可变形注意力（SDA）通过球形偏移聚合分层3D特征，从而可以实现高效的$360^{\circ}$到俯视（BEV）融合，并获得具有几何完整性的对象表示。第三，全景增强（AUG）通过组合跨视图变换和语义对齐来增强BEV-全景特征在数据增强过程中的一致性。广泛的评估表明，该系统在360BEV-Matterport基准上实现了最先进的性能。在人形机器人平台上的实际部署验证了该系统通过全景-LiDAR协同感知生成准确的BEV分割图的能力，从而可以直接支持复杂环境中的下游导航任务。我们的工作为人形机器人的具身感知开创了新的范式。代码将很快发布。 ### 1. 引言 通过计算机视觉驱动的机器人环境感知已经取得了革命性的进展[^3] [^9] [^15] [^17] [^26] [^27] [^36] [^44] [^51] [^53], 具有突破性的创新深刻地重塑了核心应用中的技术格局，例如自动驾驶和工业自动化。 目前的行业标准解决方案主要依赖于严格的、无遮挡的传感器配置假设：自动驾驶汽车通过安装在车顶的多传感器阵列（激光雷达、相机、毫米波雷达等）实现无遮挡的全方位感知[^2] [^4] [^6] [^18] [^19] [^31] [^40]，而工业机器人手臂通过固定空间关系实现的视觉系统实现出色的定位精度[^10] [^21]。 这些领域都具有一种基本的设计范式，以确保传感器视场（FOV）的不变性，这通过机械工程来实现。 例如，自动驾驶汽车通过刚性车身结构保持传感器之间的几何一致性，而仓库机器人使用固定高度的传感器柱来消除动态遮挡。 人形机器人被广泛认为是通用机器人的最有希望的候选者，也是人类对机器人身体的终极愿景$^{[8,11,14,16,34,52]}$。 然而，与机械设计和运动策略的快速进步相比，它们的环境感知能力进展相对缓慢$^{[46]}$。 人形机器人在非结构化环境中的自主运行仍然受到一个根本悖论的制约，即它们的仿生结构和感知需求之间的矛盾。 虽然人形肢体配置增强了移动性，但同时也创建了持续的自遮挡区域：肘部关节在操作任务期间会遮挡安装在胸部的摄像头，而大腿的运动会完全遮挡安装在腰部的传感器。 这种结构引起的感知退化使得广泛应用于通用机器人的立体视觉解决方案在人形平台上效果明显较差。 如前所述，为人形机器人开发视觉感知系统面临着多方面的挑战。 尽管多视角传感配置在自动驾驶中已显示出有效性，但其在人形平台上的应用面临着双重约束：数据稀缺会阻碍基于数据的模型调整，而形态多样性会阻止建立通用的传感器放置标准。 尽管全景视觉可以克服视场限制，但它会引入三重特征退化，即球面投影下的结构碎片化、区域间的尺度差异以及深度感知的特征退化。 依赖于2D偏移预测机制的现有解码器无法模拟失真和场景深度的耦合效应。 在多模态融合中，汽车激光雷达-相机配准范式由于球面投影和点云之间的几何不兼容而效果不佳，而动态关节运动会导致跨模态几何对齐矩阵的实时漂移。 此外，用于统一全景-鸟瞰图（BEV）的复杂空间映射由于训练数据中的几何稀缺而受到限制，而传统的增强策略无法保留跨视图的度量一致性——这些是严重限制，严重限制了3D环境理解。 我们提出了 HumanoidPano，一个专门为人形机器人设计的全新感知框架，通过全景视觉和激光雷达感知的协同融合，实现全面的环境感知。该框架通过三阶段的分层处理来工作：通过全景成像进行像素级别的语义特征提取，使用激光雷达点云进行具有几何感知能力的深度分析，以及通过我们提出的基于几何的对齐机制进行跨模态特征融合。 我们的方法通过四个关键创新重新定义了机器人感知： • 球形几何感知约束 (SGC)：引入了从全景成像原理派生的几何约束，通过基于光线的特征调制实现具有畸变感知的跨模态对齐。 --- • 空间可变形注意力 (SDA)：通过自适应空间可变形注意力进行高效的 $360^{\circ}$ 到鸟瞰图 (BEV) 的融合和采样。 • 全景增强 (AUG)：引入了一种新颖的数据增强方法，该方法集成了全景图像和鸟瞰图空间变换，包括随机翻转、混合和语义地图对齐，以解决联合视图增强中的对齐问题。该几何上一致的框架为人形感知树立了新的标准，有效地弥补了全景畸变鲁棒性和 3D 场景理解之间的差距，同时保持实时运行效率。 我们为人形机器人感知树立了新的方法论标准。通过将结构约束转化为设计资产，HumanoidPano 证明了当感知算法被深度地适应其形态特征时，人形机器人可以超越生物视觉的局限性。我们的贡献弥补了人形平台在环境理解方面的重要技术差距，并为未来的具身智能系统提供了一个可扩展的架构蓝图。主要进展如下： - 一种通用的多模态人形机器人感知框架：HumanoidPano，一种针对人形生物力学约束进行优化的通用感知系统，通过结构感知的融合，将全景视觉和激光雷达集成在一起。 - 在 360BEV Matterport 数据集上取得了最先进的结果，在理解全景鸟瞰图场景的精度方面超越了以往的方法。 • 真实世界人形机器人验证：在物理人形平台上展示了实际的感知能力，从而能够实现高级的下游任务，例如在复杂环境中基于语义地图的导航。（图 1） 这些成就共同重新定义了人形机器人与环境互动的范式，为下一代具身人工智能系统奠定了基础。 ### 2. 相关工作 #### 2.1. 人形机器人感知 近年来，人形机器人因其类人的设计和在生活和工作环境中的卓越多功能性而备受关注。为了提高人形机器人的适应性，对于运动和操作至关重要的是，需要为这些机器人配备先进的感知能力。 结构化的高程图，为人形机器人提供采样高度点作为观测值。类似地，[^13] 直接利用视场深度图像作为感知输入，并利用模拟器中的采样高度点来监督高度图预测器，从而促进更好的模拟到现实的迁移。然而，这些感知模式主要用于运动策略，因此仅包含几何信息，缺乏语义理解。 在运动学领域，现有方法主要依赖于高程图 [^35] 和深度图像。诸如 [^33] [^37] [^42] [^57] 等研究使用 LiDAR 或深度相机来获取关于- 对于操作，感知模式通常更加多样化，并且具有更高的精度。诸如 [^16] [^22] [^23] [^25] 等方法使用 RGB 相机和传送设备来收集人类示范数据，使人形机器人能够通过模仿学习自主完成任务。[^28] 通过利用 RGB-D 视频示范来获取技能，进一步提高了人形机器人的操作能力。此外，[^48] 将 3D LiDAR 传感器与增强的扩散策略模仿学习框架集成在一起，使人形机器人能够在各种现实世界场景中自主执行任务。[^56] 构建了一个具有视场 RGB 相机的导航仿真环境。 尽管取得了这些进展，但现有方法受到其有限的视野和缺乏理解和与大型环境交互的能力的限制。为了解决此限制，我们提出了一种名为 HumanoidPano 的新框架，该框架首次将全景相机和 LiDAR 相结合，以实现全面的环境感知。 #### 2.2. 全景感知 随着机器人和人工智能的快速发展，人类对真实场景的感知不再受限于狭窄的视野和低维传感设备。全景感知能够实现更全面的环境理解和测量。HoHoNet [^39] 提出了一个用于使用潜在水平特征的室内 360 度全景理解框架，实现了密集深度估计、布局重建和语义分割。[^43] 增强了 360 度图像的单目深度估计，从而能够有效地跨不同相机投影和数据模态进行知识迁移。多项研究 [^29] [^38] [^47] 结合全局注意力机制，从而显着提高了 360 度深度估计的精度。 语义分割对于导航和场景理解也至关重要。诸如 [^12] [^24] [^32] [^45] [^49] [^54] [^55] 等研究通过全景语义分割提供对室内场景的更全面解释。此外，[^41] 扩展了全景感知，以生成俯视 (Bird's Eye View) 分割图。然而，尽管取得了这些进展，许多这些方法受到缺乏真实世界验证的限制，因为它们主要依赖于有限的数据集 [^1] [^6] [^58]。 --- ![Image](images/70266e3b6ddadb2cc09bba693d425a0763521188569f6ae414296216a77ef309.jpg)
Figure 2. HumanoidPano Framework Overview. The system addresses panoramic image distortion using Spherical Geometric Constraints (SGC) to guide 3D adaptive sampling offsets. By encoding camera ray properties into offset prediction, SGC aligns panoramic features with depth measurements, reducing projection artifacts. Spatial Deformable Attention (SDA) adaptively aggregates geometrically consistent object representations from panoramic images.
### 3. Humanoid Pano 受人形机器人中具身场景理解的关键需求驱动，我们正式地将感知挑战定义为全景-激光雷达跨模态BEV语义分割任务，这是一个新颖的任务，需要联合解释$360^{\circ}$的视觉上下文和3D空间感知，同时在动态形态约束下进行。随后，我们将详细介绍我们提出的方法。 #### 3.1. 问题定义 在本工作中，我们旨在从全景图像中获得用于人形机器人的准确语义BEV地图。从形式上讲，它可以定义为： $$ M=F_{seg}(I,D) $$ 其中，$F_{seg}$是分割模型，$I \in R^{3 \times h \times w}$是输入全景图像，D表示深度图像，$(h, w)$表示图像的高度和宽度，$M \in R^{L \times X \times Y}$是输出的语义BEV地图，$(X, Y)$表示BEV空间的感知范围，L是预测的类别数。 #### 3.2. 总体架构 如图2所示，我们提出的HumanoidPano框架包括三个关键组件：（1）基于Transformer的全景图像编码器和变换模块。（2）全景失真感知注意力（PD Attention）模块，该模块实现了从全景图像到BEV空间的视图变换，以及具有球形几何约束的自适应空间特征提取。（3）BEV解码器解析投影后的特征图，并预测语义BEV地图。 ##### 3.2.1. 全景失真感知注意力 由于人形机器人观察到的巨大且失真的全景图像，原始的360注意力难以学习物体在全景图像中具有不同尺度和失真的真实3D空间分布和完整表示信息。因此，提出了PD注意力，它通过球形几何感知约束（SGC）学习全景图像中的特征畸变，并通过空间可变形注意力（SDA）在真实3D空间中捕捉完整的物体信息。球形几何感知约束。给定BEV查询$Q \in R^{N \times C}$和3D参考点$P \in R^{N \times 3}$作为输入，其中N是BEV查询和3D参考点的长度。3D参考点P通过将深度图D投影到伪点云中获得。对Q和P应用mask()操作，以屏蔽不相关的点。3D参考点P转换为球面，以生成球面参考点$S \in R^{N \times 2}$，如图2所示： $$ \Phi=t a n^{-1}\frac{y}{x},\Theta=t a n^{-1}(\frac{x}{z}\cdot\frac{1}{c o s(\Phi)}) $$ 其中，$(x, y, z)$表示笛卡尔坐标系中的3D参考坐标，$(\Phi, \Theta)$表示球坐标系中的方位角和极角。球面采样偏移量$\Delta S \in R^{N \times 2}$由BEV查询通过线性层生成，生成球面位置$S' \in R^{N \times 2}$与原始球面参考点$S \in R^{N \times 2}$，如图2的（3, 4）所示： $$ (\Delta\Phi,\Delta\Theta)=f_{\Delta s}(m a s k(Q)+f_{p o s}(m a s k(S))) $$ $$ \Phi^{\prime}=\Phi+\Delta\Phi,\Theta^{\prime}=\Theta+\Delta\Theta $$ 其中，$f_{\Delta s}$表示用于预测球面角度偏差的线性层，$f_{pos}$表示用于球面位置编码的线性层。之后，我们从球面位置$I \in R^{N \times 2}$生成全景图像特征图中的2D索引$S'$，如图2的（5）所示： $$ I_{h}=\lceil\frac{H\Theta^{\prime}}{\pi}\rceil,I_{w}=\lceil(\frac{\Phi^{\prime}}{\pi}-\frac{1}{W})\cdot\frac{W}{2}\rceil $$ --- 其中，$(H, W)$表示全景图像特征图的高度和宽度，$(I_{h}, I_{w})$表示球面位置$S'$在全景图像特征图上的2D索引值。 空间可变形注意力。我们将这些 2D 索引 I 视为 BEV 查询 Q 的参考点，并从全景图像特征图中采样特征 $F \in R^{C \times H \times W}$。最后，我们对采样的特征进行加权求和，得到 SDA 的输出。SDA 的过程可以表示为： $$ SDA(Q,I,F)=\sum_{i}^{N_{ref}}A_{i}\cdot F[I+f_{\Delta ref}(mask(Q))] $$ 其中 $f_{\Delta ref}$ 表示用于预测 2D 偏移量的线性层，$A_{i}$ 表示每个采样点的注意力权重。 ##### 3.2.2. 全景-激光雷达跨模态感知 在现实世界的机器人场景中，深度信息通常由两种主要类型的传感器获取：3D 结构光深度相机和激光雷达。我们采用全景激光雷达跨模态感知，因为传统结构光深度相机在现实世界的机器人应用中存在局限性。这些传感器通常无法提供人形机器人导航所需的远距离检测范围，而激光雷达提供扩展的传感能力。虽然激光雷达生成的深度图与结构光相比更稀疏，但其深度信息可以用于稀疏语义查询，这对于理解遮挡环境中的场景至关重要。 激光雷达深度与结构光深度之间的主要区别在于数据密度。但是，这种稀疏性并不会影响该框架的适用性。我们的架构设计旨在通过几何约束机制来适应这种特性，从而实现全景和激光雷达模态的无缝集成。这种方法确保了强大的环境感知能力，同时保持计算效率，以实现人形机器人的实时运行。 全景激光雷达跨模态感知的范例使用真实物理数据进行验证。具体而言，使用 Insta360 X4 全景相机和 Livox Mid360 激光雷达进行数据采集，并通过时间戳同步实现精确对齐。点云数据使用外参校准矩阵转换为全景相机的坐标系，从而构建基于 BEV 的地图掩码和地图高度图。HumanoidPano 使用 PD 注意力机制生成 3D 空间点和 2D 索引值，然后进行推理以生成最终的 BEV 语义分割图。这项研究不仅证实了该方法在真实场景中的有效性和鲁棒性，而且开创了全景视觉和激光雷达融合感知的全新方向，将其应用扩展到自主导航等领域。在上述人形机器人感知系统讨论的基础上，我们展示了硬件设计，如图 4 所示，该设计具有通用的多模态感知模块。激光雷达点云和全景图像的投影可视化过程如图 3 所示。 #### 3.3. 数据增强 数据增强的优势在 2D 图像处理领域已达成共识。我们设计了一种用于联合全景图像空间和 BEV 空间的增强方法，但这种方法尚未得到充分探索。数据增强的可视化和更多细节请参见附录材料。 全景图像增强。对于全景图像，为了增强其多样性，我们随机对其进行翻转，并随机将其与其他训练集中的全景图像混合。 BEV增强。类似于全景图像增强，BEV增强采用上述随机翻转和混合方法。需要注意的是，由于图像空间和BEV空间需要对齐才能进行适当的视图变换，因此BEV空间中的数据增强比图像空间更具挑战性。因此，为了对齐全景图像增强，我们需要对语义地图的ground truth应用相应的旋转和混合。 ### 4. 实验 在本节中，我们全面展示了我们在多个数据集上所提出的方法的性能。我们首先介绍第4.1节中常用的全景相机感知数据集，这些数据集是训练和评估我们方法的依据。随后，在第4.3节，我们展示了我们在这些数据集上实现的像素级准确率、召回率以及平均IoU（mIoU），突出了我们在语义分割任务中的有效性。此外，我们还进行了一项消融研究（Section 4.3），以分析我们方法中不同组件的贡献。 关于在人形机器人上的实际部署，考虑到其独特的requirements，我们设计了一种专门的布局和传感器排列，具体细节在第4.4节中介绍。由于在实际场景中，结构光深度相机具有有限的感知范围和视场（FOV），因此我们选择使用激光雷达来获取深度信息。最后，在实际人形机器人平台上进行的验证演示有力地证明了我们解决方案的整体有效性，突出了其在人形机器人领域的实际应用潜力。 --- ![Image](images/34f6415caa05a5889932744fdb8bac435a9f652b9e26dd784633ef9df90ecca9.jpg)
Figure 3. Visualization of LiDAR Depth Extraction and Projection Process. First, LiDAR captures raw point clouds, which are then projected onto panoramic images using the camera's intrinsic and extrinsic parameters. This projected depth information is fed into the network, enabling the retrieval of pixel-wise semantics corresponding to the depth values.
![Image](images/782b1bed4f9ac8cd6f028afa7c328726300826a33561ce304e74394a7a79205b.jpg)
Figure 4. Hardware design of our universal sensor module, integrating an Insta360 X4 panoramic camera and Livox Mid-360 LiDAR with precise spatial alignment. The compact, lightweight assembly minimizes self-occlusion while maximizing $360^{\circ}$ coverage. Its modular design supports flexible deployment across humanoid platforms for real-time panoramic-LiDAR fusion in navigation and manipulation tasks.
![Image](images/32d43223bc5ec46fe68f33c6f3ef25b500d5e4cbae539ec8a79704199ec3ca66.jpg)
Figure 5. The data distribution of 360BEV-Matterport visualized by category $^{[41]}$. We directly adopted the well-established indoor classification scheme and visual schematics from 360BEV-Matterport for dataset presentation, these categories enable humanoid robots to effectively perform indoor navigation tasks.
#### 4.1. 数据集 全景数据集的稀缺性，加上球形图像标注的挑战，给全景感知研究中的模型泛化带来了显著的限制。然而，我们通过利用360BEV-Matterport数据集 $^{[41]}$，克服了这一问题。这是一个专门的benchmark，与人形机器人感知requirements高度一致。该数据集源自Matterport3D，提供分辨率为 $512\times1024$ 的全景RGB图像，以及针对20个导航关键类别的密集BEV语义标注（图5）。通过射线投射生成的合成深度图确保了与全景输入的几何一致性，从而能够严格验证我们的跨模态融合框架。该数据集的多场景覆盖范围涵盖了复杂的室内环境（生活空间、办公室），与实际人形机器人操作场景密切相关。虽然BEV标注直接符合我们生成可导航语义地图的目标，但全景图像的球形投影与人形传感器配置相匹配，并且结合 $360^{\circ}$ 的视觉上下文、合成深度和以导航为中心的标签，使其成为评估我们基于畸变的跨模态全景-激光雷达融合方法的理想数据集。 #### 4.2. 训练细节 我们采用了与360BEV[^41]相同的训练设置。具体来说，我们使用4个A100 GPU训练HumanoidPano模型。初始学习率为 $6 \times 10^{-5}$，并采用分步策略在50个epoch上进行调度。我们使用AdamW优化器，epsilon值为 $1 \times 10^{-8}$，权重衰减为0.01，批次大小为每个GPU 4。 360FV-Matterport $^{[41]}$ 数据集中的全景图像尺寸为 $512 \times 1024$。在训练HumanoidPano时，输入采用来自360BEV-Stanford和360BEV-Matterport数据集的全景图像，这些图像的分辨率同样为 $512 \times 1024$。同时，输出BEV图被设置为 $500 \times 500$，对应感知范围为 $10m \times 10m$。遵循 [^5] [^7] 的工作，我们采用像素准确率（Acc）、像素召回率（mRecall）、精确率（mPrecision）和平均交并比（mIoU）作为评估指标。 #### 4.3. 全景语义映射 我们使用三种骨干网络，例如SegFormer[^47]的MiT-B0、MiT-B2和SegNeXt[^20]的MSCA-B，对全景语义映射任务进行比较。其中，E代表早期投影方法，L代表后期投影方法，I代表中间投影方法。中间投影可以保留来自前方全景图像的密集视觉线索和长程信息，并提供更有价值的上下文信息，从而实现更好的BEV语义映射效果。 ---
Table 1. Panoramic semantic mapping on the val set of 360 BEV-Matterport dataset. We marked the data of HumanoidPano with light blue. Meanwhile, we marked the state-of-the-art (SOTA) results with dark blue and indicated the sub-optimal results with underlines (on each backbone). † benefits from data augmentation.
MethodProjBackboneAccmRecallmPrecisionmIoU
SegFormer [^47]EMiT-B268.1241.3345.2529.22
SegNeXt [^20]EMSCA-B68.5342.1346.1230.01
HoHoNet [^39]LResNet10162.8438.9944.2226.21
Trans4PASS [^49]LMiT-B255.9929.5940.9120.07
Trans4PASS+ [^50]LMiT-B257.8932.7540.9321.58
SegFormer [^47]LMiT-B262.9841.8445.3027.78
Trans4Map [^7]IMiT-B070.1944.3150.3931.92
360BEV [^41]IMiT-B074.7247.1455.2035.46
HumanoidPanoIMiT-B076.1950.4157.8638.50
HumanoidPano †IMiT-B076.7152.8757.7640.12
BEVFormer [^30]IMiT-B272.9943.6151.7032.51
Trans4Map [^7]IMiT-B273.2851.6053.0236.72
360BEV [^41]IMiT-B276.9854.3059.6341.42
HumanoidPanoIMiT-B277.7257.5460.1843.52
HumanoidPano †IMiT-B278.4858.3261.5244.54
360BEV [^41]IMSCA-B78.3758.0862.6245.04
HumanoidPanoIMSCA-B79.2160.4163.1746.47
HumanoidPano †IMSCA-B79.4760.9262.6646.35
Table 2. Panoramic semantic mapping on the test set of 360 BEV-Matterport dataset. The annotation is consistent with Table 1.
MethodProjBackboneAccmRecallmPrecisionmIoU
SegFormer [^47]EMiT-B269.7235.2840.4124.04
SegNeXt [^20]EMSCA-B69.9936.2541.9625.22
HoHoNet [^39]LResNet10162.8935.1839.5422.01
Trans4PASS [^49]LMiT-B253.5029.3533.5316.53
Trans4PASS+ [^50]LMiT-B257.2430.6434.4917.72
SegFormer [^47]LMiT-B262.9135.3539.6422.02
Trans4Map [^7]IMiT-B071.7838.2743.7726.52
360BEV [^41]IMiT-B075.9844.7548.5931.81
HumanoidPanoIMiT-B076.4847.0951.4233.56
HumanoidPano †IMiT-B077.5049.2652.2335.37
BEVFormer [^30]IMiT-B272.0436.6947.9027.46
Trans4Map [^7]IMiT-B272.9445.4547.0331.08
360BEV [^41]IMiT-B277.9550.5553.0636.00
HumanoidPanoIMiT-B278.0253.2253.9337.95
HumanoidPano †IMiT-B278.1653.6054.8138.49
360BEV [^41]IMSCA-B79.0753.5956.4039.10
HumanoidPanoIMSCA-B78.9655.6456.6140.27
HumanoidPano †IMSCA-B78.9255.6956.8640.41
优于其他范式。如图6所示，我们的方法在扭曲的全景区域表现更好，尤其是在严重变形的物体上，这对于人形和通用具身人工智能系统中的全景感知至关重要。 360BEV-Matterport的结果。我们在360BEV-Matterport的验证集和测试集上进行了广泛的实验，并将我们的HumanoidPano与其他最先进的方法（如BEVFormer、Trans4Map和360BEV）进行比较，以验证所提出的HumanoidPano的有效性。在360BEV-Matterport验证集中，如表1所示，所提出的HumanoidPano与MiT-B0相比，在准确率、召回率、精确率和交并比上，分别优于360BEV 1.99%、5.73%、2.56%和4.66%。所提出的HumanoidPano与MiT-B2相比，在准确率、召回率、精确率和交并比上，分别优于360BEV 1.50%、4.02%、1.89%和3.12%。所提出的HumanoidPano与MSCA-B相比，在准确率、召回率、精确率和交并比上，分别优于360BEV 0.84%、2.33%、0.55%和1.43%。在360BEV-Matterport测试集中，如表2所示，所提出的HumanoidPano与MiT-B0相比，在准确率、召回率、精确率和交并比上，分别优于360BEV 1.52%、4.51%、3.64%和3.56%。所提出的HumanoidPano与MiT-B2相比，在准确率、召回率、精确率和交并比上，分别优于360BEV 0.21%、3.05%、1.75%和2.49%。所提出的HumanoidPano与MSCA-B相比，在召回率、精确率和交并比上，分别优于360BEV 2.10%、0.46%和1.31%。
Table 3. Results under noise with backbone MiT-B0 on the val set of 360 BEV-Matterport dataset. The annotation is consistent with Table 1.
MethodPitchRollAccmRecallmPrecisionmIoU
360BEV--74.7247.1455.2035.46
360BEV✓-69.8540.8749.1129.74
360BEV-✓69.7440.7549.1929.64
360BEV✓✓66.6537.8244.9726.67 (-24.78%)
HumanoidPano--76.1950.4157.8638.50
HumanoidPano✓-71.4644.0151.8532.84
HumanoidPano-✓71.5043.8151.9732.79
HumanoidPano✓✓68.4140.3247.8729.58 (-23.16%)
HumanoidPano †--76.7152.8757.7640.12
HumanoidPano †✓-72.1246.6751.5034.28
HumanoidPano †-✓72.3546.6452.2134.55
HumanoidPano †✓✓69.1943.2548.2731.13 (-22.40%)
Table 4. Ablation study on the test set of 360 BEV-Matterport dataset. The annotation is consistent with Table 1.
SDASGCAUGBackboneAccmRecallmPrecisionmIoU
---MiT-B075.9844.7548.5931.81
✓--MiT-B076.3846.7849.7233.05
✓✓-MiT-B076.4847.0951.4233.56
✓✓✓MiT-B077.5049.2652.2335.37
使用诸如 BEVFormer [^30]、Trans4Map [^7] 和 360BEV [^41] 等方法来验证所提出的 HumanoidPano 的有效性。如表 1 所示，在 360BEV-Matterport 验证集中，所提出的 HumanoidPano 与 MiT-B0 相比，在准确率 (Acc)、平均召回率 (mRecall)、平均精度 (mPrecision) 和平均 IoU 方面，分别高出 1.99%、5.73%、2.56% 和 4.66%。所提出的 HumanoidPano 与 MiT-B2 相比，在准确率 (Acc)、平均召回率 (mRecall)、平均精度 (mPrecision) 和平均 IoU 方面，分别高出 1.50%、4.02%、1.89% 和 3.12%。所提出的 HumanoidPano 与 MSCA-B 相比，在准确率 (Acc)、平均召回率 (mRecall)、平均精度 (mPrecision) 和平均 IoU 方面，分别高出 0.84%、2.33%、0.55% 和 1.43%。如表 2 所示，在 360BEV-Matterport 测试集中，所提出的 HumanoidPano 与 MiT-B0 相比，在准确率 (Acc)、平均召回率 (mRecall)、平均精度 (mPrecision) 和平均 IoU 方面，分别高出 1.52%、4.51%、3.64% 和 3.56%。所提出的 HumanoidPano 与 MiT-B2 相比，在准确率 (Acc)、平均召回率 (mRecall)、平均精度 (mPrecision) 和平均 IoU 方面，分别高出 0.21%、3.05%、1.75% 和 2.49%。所提出的 HumanoidPano 与 MSCA-B 相比，在平均召回率 (mRecall)、平均精度 (mPrecision) 和平均 IoU 方面，分别高出 2.10%、0.46% 和 1.31%。 噪声设置下的实验结果。在真实环境中，人形机器人的全景图像容易受到相机干扰的影响。本文在此类噪声设置下评估了所提方法的性能。具体而言，我们将全景图像转换为球 ---
Table 5. Per-class results with backbone MiT-B2 on the 360BEV-Matterport dataset. The annotation is consistent with Table 1.
MethodDatamIoUvoidwallfloorchairdoortablepicturefurnitureobjectswindowsofabedsinkstairsceilingtoiletmirrorshowerbedtubcountershelfing
Trans4Map [^7]val36.7247.8728.5282.9634.4422.2739.5816.2822.7526.2925.0842.8162.2513.9541.5137.7945.8219.5648.0547.7138.2527.31
360BEV [^41]val41.4278.7332.1084.2340.6023.9244.8918.1722.3022.9825.1748.3064.9416.9544.0149.4854.5119.1250.7159.0143.9325.85
HumanoidPano †val43.5273.3433.7285.9441.7425.0047.0720.9826.2023.5927.6349.3566.5221.5045.2952.8057.1227.5349.8760.9348.9028.93
HumanoidPano †val44.5476.3633.2985.9542.9827.3447.1821.7423.6528.8527.5650.8165.0919.6048.1158.1554.4926.9051.5366.7945.5833.28
Trans4Map [^7]test31.0840.5132.5480.2133.2320.8537.2119.0118.4623.0523.5632.3552.0815.3429.0218.2741.9015.3925.5848.1930.3815.52
360BEV [^41]test36.0063.4735.5084.9539.0217.8542.1219.9622.0723.0926.6036.1858.4822.8037.0847.0938.7617.0321.3852.8335.2614.66
HumanoidPano †test37.9560.4337.0484.7739.8921.6444.2522.1622.1124.4326.8235.7660.4227.7736.2348.2754.6215.7327.2253.7135.4018.27
HumanoidPano †test38.4961.3837.7284.3939.4122.9143.6020.9421.9724.7527.1337.4461.0524.6436.9350.0556.0919.4129.6452.6636.4019.78
coordinate system 并应用俯仰和滚转方向的旋转。对应的旋转矩阵是 $R(\alpha, \beta, 0)$，其中 $\alpha$ 是俯仰角，$\beta$ 是滚转角。如表 3 所示，当全景图像受到干扰时，现有方法的性能会显著下降。在这些噪声条件下，提出的 HumanoidPano 的性能下降较小，并且与 360BEV [^41] 相比仍具有优势，这得益于其理解 3D 世界的能力。此外，提出的 HumanoidPano 在数据增强设置下也表现出更强的鲁棒性。可视化结果见附录材料。 消融实验。表 4 所示的实验结果表明，当采用我们的空间可变形注意力 (SDA)、球形几何感知约束 (SGC) 和数据增强 (AUG) 时，可以获得改进。我们提出的 SDA 补充了空间上下文信息，增强了网络理解 3D 世界的能力，从而获得相对显著的提升。我们提出的 SGC 构建了全景感知能力，并学习了失真特征，从而迫使 SDA 更好地适应全景图像中失真对象的结构。我们提出的 AUG 通过随机旋转和混合创建多个新场景，从而增强了数据的多样性，提高了模型的鲁棒性，并同样获得了相对显著的提升。 每类结果。表 5 显示了 360BEV-Matterport 上的每类 IoU 分数。与 Trans4Map [^7] 和 360BEV [^41] 相比，我们使用相同 MiT-B2 主干的 HumanoidPano 在验证集和测试集上可以分别达到 44.54% 和 38.49% 的 mIoU。360BEV-Matterport 数据集中也包含“void”类。 #### 4.4. 在人形机器人上的实现 我们在一款名为“天宫”的全尺寸人形机器人平台上部署和验证了HumanoidPano系统，该机器人平台高度为1.65米，具有23个自由度，并通过全面的室内环境测试进行验证。天宫由北京人形机器人创新中心开发，展示了先进的越野移动能力。我们选择在该高性能的越野人形机器人上进行测试，以便更好地展示我们感知系统的性能。感知模块集成了Insta360 X4全景相机和Livox Mid-360激光雷达，如图4所示。这种配置通过运动学碰撞分析实现最小的结构干扰，确保在动态运动（如爬行和楼梯导航）期间实现连续的$360^{\circ}$感应覆盖。一个硬件加速处理流水线使用Nvidia Jetson Orin AGX，以10Hz的速率同步球形视觉数据和激光雷达点云，同时，一种在线校准协议动态调整外部参数，以补偿由关节运动引起的传感器位移。 在杂乱的家庭环境中进行的评估表明，该系统具有良好的运行效率。即使在复杂的全身互动中，例如穿过门道和避开障碍物时，HumanoidPano 也能保持稳健的鸟瞰视图（BEV）语义地图。该框架成功解决了人形机器人全向语义感知系统的系统级挑战，解决了同时获取深度信息和语义理解的长期问题。通过利用高效的感知神经网络，为下游导航模块提供可靠的语义指导，如图 1 所示。本次实现是人形平台上首个实现基于全景-BEV 感知的系统，证明了其在无需外部基础设施的条件下，支持在以人为中心的环境中进行高级导航任务的能力。视频演示结果见附录材料。 ### 5. 结论 这项工作通过 HumanoidPano 框架，开创了人形机器人的大规模语义地图构建方法，建立了一个首个能够实时理解环境的感知系统，该系统适用于全身运动场景。通过解决生物仿态形态和传感需求之间的根本冲突，我们证明了当算法与机器人本体协同设计时，结构约束可以转化为感知优势。该方法为面向下一代以人为中心的机器人系统的形态感知树立了新的先例，并提供了理论基础和实施指南。在 --- ![Image](images/547c03cbe8ca54cfcf4073b2a368ce8c75affa2976bc6c55058d0e2bfb740853.jpg)
Figure 6. The comparative experiments on the 360BEV-Matterport dataset. We compared the inference results of 360BEV [^41] and our model, where HumanoidPano demonstrated superior performance in areas with distortions.
未来，我们将进一步优化多视图和全景相机的感知系统和算法，同时收集和标注与人形机器人相关的场景数据，以进行进一步的研究。 ### 6. 致谢 作者衷心感谢北京人形机器人创新中心的技术专家，以及他们在此研究中提供的宝贵技术专长和积极合作。他们的深刻见解对克服人形机器人平台复杂耦合任务中的挑战至关重要。 特别感谢 Arashi Vision Inc. (Insta360) 的慷慨支持和最先进的技术协助，这极大地促进了实验实施和数据采集过程。 这项工作没有他们的专业承诺和跨学科协同，是不可能实现的。 ## 参考文献 [^1]: Georgios Albanis, Nikolaos Zioulis, Petros Drakoulis, Vasileios Gkitsas, Vladimiros Sterzentsenko, Federico Alvarez, Dimitrios Zarpalas, and Petros Daras. Pano3d: A holistic benchmark and a solid baseline for 360deg depth estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3727–3737, 2021. 3 [^2]: Iro Armeni, Sasha Sax, Amir R Zamir, and Silvio Savarese. Joint 2d-3d-semantic data for indoor scene understanding. arXiv preprint arXiv:1702.01105, 2017. 2 [^3]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, et al. Rt-1: Robotics transformer for real-world control at scale. arXiv preprint arXiv:2212.06817, 2022. 2 [^4]: Holger Caesar, Varun Bankiti, Alex H Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. Nuscenes: A multimodal dataset for autonomous driving. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11621–11631, 2020. 2 [^5]: Vincent Cartillier, Zhile Ren, Neha Jain, Stefan Lee, Irfan Essa, and Dhruv Batra. Semantic mapnet: Building allocentric semantic maps and representations from egocentric views. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 964–972, 2021. 6 [^6]: Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Niessner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3d: Learning from rgb-d data in indoor environments. arXiv preprint arXiv:1709.06158, 2017. 2, 3 [^7]: Chang Chen, Jiaming Zhang, Kailun Yang, Kunyu Peng, and Rainer Stiefelhagen. Trans4map: Revisiting holistic bird's-eye-view mapping from egocentric images to allocentric semantics with vision transformers. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 4013–4022, 2023. 6, 7, 8 [^8]: Penghui Chen, Yushi Wang, Changsheng Luo, Wenhan Cai, and Mingguo Zhao. Hifar: Multi-stage curriculum learning for high-dynamics humanoid fall recovery. arXiv preprint arXiv:2502.20061, 2025. 2 [^9]: Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. The International Journal of Robotics Research, page 02783649241273668, 2023. 2 [^10]: Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, and Shuran Song. Universal manipulation interface: In-the-wild robot teaching without in-the-wild robots. arXiv preprint arXiv:2402.10329, 2024. 2 [^11]: Wenhao Cui, Shengtao Li, Huaxing Huang, Bangyu Qin, Tianchu Zhang, Liang Zheng, Ziyang Tang, Chenxu Hu, NING Yan, Jiahao Chen, et al. Adapting humanoid locomotion over challenging terrain via two-phase training. In 8th Annual Conference on Robot Learning. 2 [^12]: Yuan Dong, Chuan Fang, Liefeng Bo, Zilong Dong, and Ping Tan. Panocontext-former: Panoramic total scene understanding with a transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 28087–28097, 2024. 3 [^13]: Helei Duan, Bikram Pandit, Mohitvishnu S Gadde, Bart Van Marum, Jeremy Dao, Chanho Kim, and Alan Fern. Learning vision-based bipedal locomotion for challenging terrain. In 2024 IEEE International Conference on Robotics and Automation (ICRA), pages 56–62. IEEE, 2024. 3 ### [^14]: Yiqun Duan, Qiang Zhang, Jinzhao Zhou, Jingkai Sun, Xiaowei Jiang, Jiahang Cao, Jiaxhu Wang, Yiqian Yang, Wen --- 赵，汉，等人。E2h：一种双阶段非侵入式神经信号驱动的人形机器人全身控制框架。arXiv 预印本 arXiv:2410.02141，2024. 2 [^15]: Yiqun Duan, Zhuoli Zhuang, Jinzhao Zhou, Yu-Cheng Chang, Yu-Kai Wang, and Chin-Teng Lin. Enhancing end-to-end autonomous driving systems through synchronized human behavior data. In Proceedings of the 1st International Workshop on Brain-Computer Interfaces (BCI) for Multimedia Understanding, pages 1–8, 2024. 2 [^16]: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, and Chelsea Finn. Humanplus: Humanoid shadowing and imitation from humans. arXiv preprint arXiv:2406.10454, 2024. 2, 3 [^17]: Zipeng Fu, Tony Z Zhao, and Chelsea Finn. Mobile aloha: Learning bimanual mobile manipulation with low-cost whole-body teleoperation. arXiv preprint arXiv:2401.02117, 2024. 2 [^18]: Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. In 2012 IEEE conference on computer vision and pattern recognition, pages 3354–3361. IEEE, 2012. 2 [^19]: Andreas Geiger, Philip Lenz, Christoph Stiller, and Raquel Urtasun. Vision meets robotics: The kitti dataset. The international journal of robotics research, 32(11):1231–1237, 2013. 2 [^20]: Meng-Hao Guo, Cheng-Ze Lu, Qibin Hou, Zhengning Liu, Ming-Ming Cheng, and Shi-Min Hu. Segnext: Rethinking convolutional attention design for semantic segmentation. Advances in neural information processing systems, 35:1140–1156, 2022. 6, 7 [^21]: Huy Ha, Yihuai Gao, Zipeng Fu, Jie Tan, and Shuran Song. Umi on legs: Making manipulation policies mobile with manipulation-centric whole-body controllers. arXiv preprint arXiv:2407.10353, 2024. 2 [^22]: Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, and Guanya Shi. Omnih2o: Universal and dexterous human-to-humanoid whole-body teleoperation and learning. arXiv preprint arXiv:2406.08858, 2024. 3 [^23]: Tairan He, Zhengyi Luo, Wenli Xiao, Chong Zhang, Kris Kitani, Changliu Liu, and Guanya Shi. Learning human-to-humanoid real-time whole-body teleoperation. In 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 8944–8951. IEEE, 2024. 3 [^24]: Zhigang Jiang, Zhongzheng Xiang, Jinhua Xu, and Ming Zhao. Lgt-net: Indoor panoramic room layout estimation with geometry-aware transformer network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1654–1663, 2022. 3 [^25]: Daehwa Kim, Mario Srouji, Chen Chen, and Jian Zhang. Armor: Egocentric perception for humanoid robot collision avoidance and motion planning. arXiv preprint arXiv:2412.00396, 2024. 3 [^26]: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan Foster, Grace Lam, Pannag Sanketi, et al. Openvla: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246, 2024. 2 [^27]: Sergey Levine, Chelsea Finn, Trevor Darrell, and Pieter Abbeel. End-to-end training of deep visuomotor policies. Journal of Machine Learning Research, 17(39):1–40, 2016. [^28]: Jinhan Li, Yifeng Zhu, Yuqi Xie, Zhenyu Jiang, Mingyo Seo, Georgios Pavlakos, and Yuke Zhu. Okami: Teaching humanoid robots manipulation skills through single video imitation. In 8th Annual Conference on Robot Learning, 2024. 3 [^29]: Yuyan Li, Yuliang Guo, Zhixin Yan, Xinyu Huang, Ye Duan, and Liu Ren. Omnifusion: 360 monocular depth estimation via geometry-aware fusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2801–2810, 2022. 3 [^50]: Ziqi Li, Wenna Wang, Hongyang Li, Enze Xie, Chonghao Sima, Tong Lu, Qiao Yu, and Jifeng Dai. Bevformer: learning bird's-eye-view representation from lidar-camera via spatiotemporal transformers. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024. 7 [^31]: Yiyi Liao, Jun Xie, and Andreas Geiger. Kitti-360: A novel dataset and benchmarks for urban scene understanding in 2d and 3d. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(3):3292–3310, 2022. 2 [^32]: Zhixin Ling, Zhen Xing, Xiangdong Zhou, Manliang Cao, and Guichun Zhou. Panoswin: a pano-style swin transformer for panorama understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17755–17764, 2023. 3 [^33]: Junfeng Long, Junli Ren, Moji Shi, Zirui Wang, Tao Huang, Ping Luo, and Jiangmiao Pang. Learning humanoid locomotion with perceptive internal model. arXiv preprint arXiv:2411.14386, 2024. 3 [^34]: Chenhao Lu, Xuxin Cheng, Jialong Li, Shiqi Yang, Mazeyu Ji, Chengjing Yuan, Ge Yang, Sha Yi, and Xiaolong Wang. Mobile-television: Predictive motion priors for humanoid whole-body control. arXiv preprint arXiv:2412.07773, 2024. 2 [^35]: Takahiro Miki, Lorenz Wellhausen, Ruben Grandia, Fabian Jenelten, Timon Homberger, and Marco Hutter. Elevation mapping for locomotion and navigation using gpu. In 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 2273–2280. IEEE, 2022. 3 [^36]: Zekun Qi, Wenyao Zhang, Yufei Ding, Runpei Dong, Xin-qiang Yu, Jingwen Li, Lingyun Xu, Baoyu Li, Xialin He, Guofan Fan, Jiazhao Zhang, Jiawei He, Jiayuan Gu, Xin Jin, Kaisheng Ma, Zhizheng Zhang, He Wang, and Li Yi. Sofar: Language-grounded orientation bridges spatial reasoning and object manipulation. arXiv preprint arXiv:2502.13143, 2025. 2 [^37]: Junli Ren, Tao Huang, Huayi Wang, Zirui Wang, Qingwei Ben, Jiangmiao Pang, and Ping Luo. Vb-com: Learning vision-blind composite humanoid locomotion against deficient perception. arXiv preprint arXiv:2502.14814, 2025. 3 ## [^38]: Zhijie Shen, Chunyu Lin, Kang Liao, Lang Nie, Zishuo Zheng, and Yao Zhao. Panformer: panorama transformer for indoor 360 depth estimation. In European Conference on Computer Vision, pages 195–211. Springer, 2022. 3 --- [^39]: Cheng Sun, Min Sun, and Hwann-Tzong Chen. Hohonet: 360 indoor holistic understanding with latent horizontal features. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2573–2582, 2021. 3, 7 [^40]: Pei Sun, Henrik Kretzschmar, Xerxes Dotiwalla, Aurelien Chouard, Vijaysai Patnaik, Paul Tsui, James Guo, Yin Zhou, Yuning Chai, Benjamin Caine, et al. Scalability in perception for autonomous driving: Waymo open dataset. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2446–2454, 2020. 2 [^41]: Zhifeng Teng, Jiaming Zhang, Kailun Yang, Kunyu Peng, Hao Shi, Simon Reib, Ke Cao, and Rainer Stiefelhagen. 360bev: Panoramic semantic mapping for indoor bird's-eye view. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 373–382, 2024. 3, 6, 7, 8, 9 [^42]: Huayi Wang, Zirui Wang, Junli Ren, Qingwei Ben, Tao Huang, Weinan Zhang, and Jiangmiao Pang. Beamdojo: Learning agile humanoid locomotion on sparse footholds. arXiv preprint arXiv:2502.10363, 2025. 3 [^43]: Ning-Hsu Albert Wang and Yu-Lun Liu. Depth anywhere: Enhancing 360 monocular depth estimation via perspective distillation and unlabeled data augmentation. Advances in Neural Information Processing Systems, 37: 127739–127764, 2025. 3 [^44]: Kun Wu, Chengkai Hou, Jiaming Liu, Zhengping Che, Xiaozhu Ju, Zhuqin Yang, Meng Li, Yinuo Zhao, Zhiyuan Xu, Guang Yang, et al. Robomind: Benchmark on multi-embodiment intelligence normative data for robot manipulation. arXiv preprint arXiv:2412.13877, 2024. 2 [^45]: Haozheng Yu, Lu He, Bing Jian, Weiwei Feng, and Shan Liu. Panelnet: Understanding 360 indoor environment via panel representation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 878–887, 2023. 3 [^46]: Kai Yuan, Noor Sajid, Karl Friston, and Zhibin Li. Hierarchical generative modelling for autonomous robots. Nature Machine Intelligence, 5(12):1402–1414, 2023. 2 [^47]: Ilwi Yun, Chanyang Shin, Hyunku Lee, Hyuk-Jae Lee, and Chae Eun Rhee. Eformer: Equirectangular geometry-biased transformer for 360 depth estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 6101–6112, 2023. 3, 6, 7 [^48]: Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, and Jiajun Wu. Generalizable humanoid manipulation with improved 3d diffusion policies. arXiv preprint arXiv:2410.10803, 2024. 3 [^49]: Jiaming Zhang, Kailun Yang, Chaoxiang Ma, Simon Reib, Kunyu Peng, and Rainer Stiefelhagen. Bending reality: Distortion-aware transformers for adapting to panoramic semantic segmentation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 16917–16927, 2022. 3, 7 [^50]: Jiaming Zhang, Kailun Yang, Hao Shi, Simon Reiß, Kunyu Peng, Chaoxiang Ma, Haodong Fu, Philip HS Torr, Kaiwei Wang, and Rainer Stiefelhagen. Behind every domain there is a shift: 适应失真感知视觉变换器以进行全景语义分割。IEEE 模式分析与机器学习期刊，2024. 7 [^51]: Lingfeng Zhang, Xiaoshuai Hao, Qinwen Xu, Qiang Zhang, Xinyao Zhang, Pengwei Wang, Jing Zhang, Zhongyuan Wang, Shanghang Zhang, and Renjing Xu. Mapnav: A novel memory representation via annotated semantic maps for vlm-based vision-and-language navigation. arXiv preprint arXiv:2502.13451, 2025. 2 [^52]: Qiang Zhang, Peter Cui, David Yan, Jingkai Sun, Yiqun Duan, Gang Han, Wen Zhao, Weining Zhang, Yijie Guo, Arthur Zhang, et al. Whole-body humanoid robot locomotion with human reference. In 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 11225–11231. IEEE, 2024. 2 [^53]: Tony Z Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023. [^54]: Xu Zheng, Pengyuan Zhou, Athanasios V Vasilakos, and Lin Wang. Semantics distortion and style matter: Towards source-free uda for panoramic segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 27885–27895, 2024. 3 [^55]: Xu Zheng, Peng Yuan Zhou, Athanasios V Vasilakos, and Lin Wang. 360sfuda++: Towards source-free uda for panoramic segmentation by learning reliable category prototypes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024. 3 [^56]: Shaoting Zhu, Linzhan Mou, Derun Li, Baijun Ye, Runhan Huang, and Hang Zhao. Vr-robo: A real-to-sim-to-real framework for visual robot navigation and locomotion. arXiv preprint arXiv:2502.01536, 2025. 3 [^57]: Ziwen Zhuang, Shenzhen Yao, and Hang Zhao. Humanoid parkour learning. arXiv preprint arXiv:2406.10759, 2024. 3 ## [^58]: Nikolaos Zioulis, Antonis Karakottas, Dimitrios Zarpalas, Federico Alvarez, and Petros Daras. Spherical view synthesis for self-supervised 360 depth estimation. In 2019 International Conference on 3D Vision (3DV), pages 690–699. IEEE, 2019. 3 --- ### A. 附录 为了评估我们方法的鲁棒性，我们旋转全景图像，如图 7 所示。数据增强的优势在 2D 图像处理领域已达成共识。数据增强通过在训练集中引入变化，帮助模型更好地泛化，减少过拟合，并提高对未见场景的鲁棒性。全景图像空间、如图 8 所示的俯视图 (BEV) 空间的数据增强可视化，如图 9 所示。增强技术采用空间变换和特征混合策略，以提高泛化能力，同时保持几何对齐。数据增强的可视化结果见附录中的材料。对于全景图像，采用数据增强技术以增加训练样本的多样性。给定一个全景图像 I，以概率 p 应用水平翻转操作。设 W 为图像的宽度，$I(x, y)$ 表示坐标 $(x, y)$ 处的像素值。翻转后的图像 $I'$ 的定义如下： $$ I^{\prime}(x,y)=I(W-x,y),\quad\forall x\in[0,W],\quad\forall y\in[0,H], $$ 其中 H 为图像的高度。水平翻转的操作如下： $$ I^{\prime}=\begin{cases}I(W-x,y),&with probability p,\\I(x,y),,&otherwise.\end{cases} $$ 由于全景图像在边界处环绕，因此在翻转时必须注意确保连续性。 为了引入额外的变化，应用一种随机混合策略。给定两个从训练集中采样的全景图像 $I_{1}$ 和 $I_{2}$，使用混合因子 $\lambda$ 将它们混合如下： $$ I^{\prime}=\lambda I_{1}+(1-\lambda)I_{2}. $$ 此操作鼓励模型学习不同场景之间的平滑过渡，并减少对特定环境条件的敏感性。 俯视图 (BEV) 增强遵循与全景图像增强类似的方法，包括随机翻转和图像混合。但是，由于需要全景和俯视图表示之间的几何一致性，因此俯视图空间中的数据增强更加复杂。为了确保正确的对齐，引入了额外的约束。俯视图空间中的翻转操作必须对应于应用于全景空间的变换。给定一个俯视图语义图 S，翻转函数定义如下： $$ S^{\prime}(x,y)=S(W-x,y). $$ 这确保了图像空间中的任何增强都会准确地反映在俯视图空间中。 为了保持俯视图中的空间一致性，应用随机旋转。给定一个旋转角度，使用 2D 旋转矩阵计算变换后的语义图： $$ \begin{bmatrix}x^{\prime}\\ y^{\prime}\end{bmatrix}\begin{bmatrix}\cos\theta&-\sin\theta\\ \sin\theta&\cos\theta\end{bmatrix}\begin{bmatrix}x-x_{c}\\ y-y_{c}\end{bmatrix}+\begin{bmatrix}x_{c}\\ y_{c}\end{bmatrix}, $$ 其中是旋转中心。 除了翻转和旋转之外，俯视图语义图混合与全景图像类似： $$ S^{\prime}=\lambda S_{1}+(1-\lambda)S_{2}. $$ 这确保了俯视图标注的语义多样性，同时保留了空间对齐。这些增强策略的组合提高了模型在下游任务中的鲁棒性和泛化能力。 --- ![Image](images/f1638a234253aeeba80e8fbe97c02e3d168d057ebbd5389191f04e9629911c67.jpg)
Figure 7. Visualizations Panoramic Robustness Evaluation. Roll and Pitch mean the rotation of images in the following direction.
![Image](images/3e494601e0e8adccc8e923bc155905ffda344f73284025549ecac291c4bb7569.jpg)
Figure 8. Visualizations Panoramic Images Augmentation. The horizontal flip and mix augmentation.
![Image](images/683d6e2cbecd484a0a590578a435716629675b2e9ce3e551f8fccbdbc6c8c090.jpg)
Figure 9. Visualizations BEV Images Augmentation. The horizontal flip and mix augmentation.