# RoboCap：一种用于以人为中心的机器人学习的新平台
Grounded Superintelligence BitRobot
gsi.company
## 摘要
尽管以人为中心的操控数据在扩展机器人学习方面潜力巨大，但如今这类数据依然十分稀缺。要实现大规模数据采集，需要将符合人体工学的硬件与精度达厘米级的3D算法深度整合，而这种精度的实现此前尚未有公开演示。为填补这一空白，我们推出了RoboCap——一款重250克、配备六颗摄像头和双惯性测量单元的帽子式设备，专为野外环境下的以人为中心数据采集设计；同时我们还推出了Grounded API，这是一套针对RoboCap优化的、与设备无关的3D算法套件。在本报告中，我们将展示硬件、校准流程与3D算法如何协同作用，从而在各类公开基准测试中取得业界领先的性能：包括不同场景与设备下的SLAM表现、以人为中心场景下的深度估计性能，以及适配第三方设备时的手部追踪能力。
### 1. 引言
在大规模端到端机器人学习的发展历程中，该领域已涌现出几类数据形式，每类数据都有其已知的权衡取舍。仿真数据可借助算力实现规模化，但需要投入的人力工程成本会随其覆盖的多样性增加而上升。遥操作能精准获取机器人推理时所需的状态与动作，但这种方式依赖笨重的机器人硬件，导致演示过程不自然且难以规模化。UMI仅使用末端执行器来提升规模化程度，但无法应用于高自由度机械臂，且需要重新定位。以人为中心的数据通过给人类佩戴轻便的头戴设备来实现最大化规模化，但此类数据中的状态与动作只能通过估算获得，同样需要重新定位。
以人为中心数据的质量受限于其3D标签的准确性，也就是人手与头部的姿态。重新定位是将估算出的人体姿态映射到机器人实体上的过程 [^25] [^27] [^34] [^43]，因此估算误差会直接作为标签噪声进入策略的训练分布：以人为中心的数据采集在成为视频收集问题之前，首先是一个计量学问题，在实践中更是一个大规模的3D计算机视觉问题。在非实验室环境下采集的视频中，厘米级精度必须在遮挡、运动模糊、光照变化以及操作者差异等条件下仍能保持。该领域尚未像遥操作和UMI设备那样形成统一的标准设备，原因在于问题的两个组成部分（外形设计与3D算法）从未同时问世。Meta的Project Aria眼镜 [^15] 是最佳的外形设计候选方案，但受应用程序限制、硬件成本高昂且离线API难以规模化。混合现实头戴设备则重量大、具有社交侵入性，且仅提供不透明的设备端追踪功能，其误差特性无法被检测或离线优化。目前，想要获取满足策略学习精度要求的以人为中心数据的团队，还无法自行组装出相应的技术栈。
---
这样一来，就只能采用不透明的设备端追踪方式，其误差特性无法在离线状态下被检测或改进。若某个团队希望按照策略学习所需的精度来收集自身的自我中心数据，目前还无法搭建出相应的技术栈来实现这一点。
我们认为，以自我为中心的数据中存在的估计问题，其实是硬件设计缺陷所致——这类硬件从一开始就没为相关任务而设计。由于消费级智能眼镜和混合现实头戴设备主要面向显示、音频以及面向用户的体验进行优化，其传感组件只是附属产物。倘若设备的设计能反向契合三维估计流程的需求——比如立体基线、视场重叠度、硬件同步机制以及全局快门传感器等——那么估计状态与真实状态之间的差距就会缩小到足以支持策略学习的程度。正如我们在第4节中阐述的那样，RoboCap的架构正是实现这一点的关键。两组经过校准的立体摄像头能提供单目系统难以直接获取的度量尺度，而广角侧向摄像头则能在自然运动过程中始终将手部保持在视野范围内，同时确保在近距离操控时轨迹求解器仍能正常工作。
我们的三维算法也设计为与设备无关。同样的二进制文件可以在手持鱼眼设备、空中立体平台、消费级VR头戴设备以及研究用眼镜上运行；即便这些设备的摄像头视场几乎不重合，也无需针对特定数据集进行调整。这并非上述论点的偶然结果，反而恰恰印证了我们的观点：这种可移植性表明我们的研究成果反映的是通用三维估计能力，而非仅针对单一设备过度拟合的模型。例如，我们的SLAM算法融合了单目惯性设计与立体惯性设计的优点，能够将不同设备提供的各类线索整合进同一个估计流程——无论是RoboCap上配备的两组具有校准基线的六颗摄像头，还是Aria上没有立体重叠视场的两颗异质摄像头。
我们的贡献主要有两点：
1. RoboCap：一款专为三维度量估计需求而设计的、重250克、配备六颗摄像头和双IMU的以自我为中心采集设备，现已开放购买。
2. Grounded API：该接口集成了SLAM、深度估计和手部追踪算法，能够在各类视觉环境和硬件平台上实现业界领先的检测精度。
### 2. 相关工作
本文的贡献涉及以自我为中心的可穿戴硬件以及三维估计领域的发展。本节我们将分别予以综述。
#### 2.1. 自我中心可穿戴设备
以自我为中心的采集硬件涵盖了从改装后的消费级设备到专门研发的研究平台。早期的大规模以自我为中心数据集是通过头戴式运动相机采集的[^11] [^20]，这类设备仅能提供采用卷帘快门的单目RGB图像，且缺乏惯性测量功能或校准保障，因此无法用于度量三维标注。苹果Vision Pro和Meta Quest 3等混合现实头戴设备虽然具备更丰富的传感能力，还能提供头部和手部姿态估计功能[^3] [^25]，但这类设备重量较大、易引发社交尴尬，且只能通过设备内部的追踪API获取传感数据。
在理念上与我们最为接近的平台是Meta的Project Aria [^15]：这是一种轻量级的研究型眼镜，配备了经过校准的RGB摄像头、单色SLAM摄像头以及惯性测量单元，它催生了一系列以人眼为中心的数据集 [^3] [^36] [^37] [^39]。Aria验证了这样一个观点：经过校准的多摄像头视觉-惯性可穿戴设备能够实现高质量的3D标注；此前机器人领域的研究也证明了它可用于从人类数据中学习机器人操控策略 [^27] [^34]。不过，Aria仍只是一种通用型研究设备，而非可扩展的操控捕捉平台：其摄像头布局是为了理解场景，而非用于近场操作；而且由于其复杂性，它在大规模机器人学习中的应用相对受限。
此外，还有一系列旨在估算人体姿态的研究原型。例如，[^1] [^44] [^59]提出了安装在头部或帽子上的向下拍摄的鱼眼摄像头装置，但这类装置针对的是目标物体的姿态而非操控相关任务。更近期的研究则将动作捕捉手套与以人眼为中心的设备结合来估算手部姿态，但由于结构笨重且易受遮挡影响，实用性有限 [^50] [^53]。这些原型为了精准测量手部姿态而采用了侵入式硬件，却牺牲了自然性和扩展性。要想最大化以人眼为中心的数据采集的可扩展性，必然需要单个以人眼为中心的设备能够直接从视觉信息中计算出精准的手部姿态。
#### 2.2.3 D估计
摄像头校准。多传感器装置通常通过在基准目标上进行的连续时间批量优化来进行离线校准 [^16]，从而同步获取内参、摄像头与惯性测量单元之间的外参以及时间偏移量。由于机械应力和热应力的影响，出厂校准在实地环境中会逐渐失效，因此需要在设备运行时利用自然对应关系进行在线自校准 [^12] [^35]。正如我们在第4.1节中所展示的，当需要实现亚厘米级的3D估计误差时，这种漂移现象就会变得至关重要。
视觉-惯性SLAM。传统的稀疏视觉-惯性系统采用标准的因子图框架，将特征重投影数据与惯性测量单元预积分结果相融合 [^7] [^19] [^31] [^42] [^48] [^52]，再通过基于外观的位置识别 [^17] 和位姿图优化 [^21] 来保证全局一致性。借助GPU加速的实现方式可将这一技术应用于多摄像头装置，达到实时处理速率 [^28]。而基于深度学习的方法则用密集对应关系和前馈几何计算取代了传统的稀疏优化方式 [^38] [^51] [^54]。
---
Figure 1. RoboCap camera coverage. Left: azimuth coverage of the front stereo and lateral cameras. Center: azimuth coverage of the eye stereo cameras, visualized forward for legibility. Right: elevation coverage of the front and eye pairs. FoV-overlap in degrees at infinity.
而基于渲染的后端则能在付出巨大计算成本的前提下提升离线重建的质量 [^8] [^69]。
这些系统会在少量带有外部真实值的标准基准测试集上进行评估，这些测试集涵盖了航空立体惯性系统、手持鱼眼摄像头、多传感器装置 [^6] [^18] [^49]，最近还包括消费级VR头显 [^14]——这是目前最接近以人眼为中心场景的基准测试。对于它们而言，以人眼为中心的头部运动环境极具挑战性：包括快速旋转、近距离视差、佩戴者双手造成的动态场景内容，以及初始化时的不规则运动。这正是我们采用多摄像头宽视野配置以及对估算出的轨迹进行离线后处理的原因。
立体深度估计。深度立体匹配技术从基于代价卷的卷积神经网络发展到迭代式循环精炼模型[^9] [^32] [^33] [^55] [^58]，但这些模型需要针对特定领域进行微调，且在分布外数据上的表现会急剧下降。最近出现的一类模型通过在大规模高保真合成数据集上训练，利用单目基础先验实现强大的零样本泛化能力，这还是首次实现[^56] [^57]。单目度量替代方案[^4] [^5] [^62] [^63] [^65]无需校准基线要求，但其度量尺度是根据学习到的先验推断得出的，而非通过几何测量获得，而这恰恰正是我们的硬件旨在消除的误差来源。
手部追踪。参数化手部恢复技术主要以MANO模型为核心[^46]。单目网格恢复技术从早期的回归模型和实时关键点系统[^47] [^67]，逐步发展到大规模训练的基于Transformer的重建器[^40] [^41]。关键在于，所有单目方法都是在弱透视相机模型下回归姿态，即根据相对于学习到的先验的手部表观尺寸来推断形状和深度。不仅单目输出在度量上存在歧义，而且不同视角下的结果一致性也不足，无法用于精确三角测量，而这必然需要通过神经网络设计来解决[^26] [^61]。基于世界空间的扩展技术能从移动中的自中心视频中恢复轨迹，但仍存在尺度歧义以及SLAM误差问题[^66] [^68]。
多视图系统能够解决单目预测的度量歧义问题，但代价是增加了对硬件的依赖。量产级自中心追踪器会将多个头戴式鱼眼相机的视图融合为单一的度量预测结果[^23] [^24]，基于这些数据构建的多视图自中心基准测试[^3] [^45]直接评估了这种场景。这些系统的训练标签来源于动作捕捉装置或封闭的本地追踪器，因此标注成本随仪器设备数量而非计算量而变化。此外，动作捕捉技术将数据采集限制在已安装设备的空间内，近期的研究[^45]通过搭建大型外骨骼笼来解决这一问题。然而，手部追踪的真正难点在于真实应用场景：在这些场景中，度量精度必须在遮挡、运动模糊和操作者多样性等因素影响下仍能保持。我们的方法通过强制单目先验满足几何一致性，从而无需动作捕捉即可生成大量真实场景下的预训练数据。第4.4节评估了用这类数据训练的模型与用动作捕捉数据训练的基线模型的表现[^3] [^24] [^45]。
### 3. 设备
传感套件的选型取决于操作范围内3D估计所需的度量指标。深度必须是通过测量而非推断得到的，因此至少需要一对经过校准的立体相机，且其基线距离要足够大，以便能在手臂伸展范围内分辨出厘米级差异。手部在自然运动过程中必须始终处于相机的视锥范围内，包括那些超出前方视野范围的动作，这就要求相机具备广角覆盖能力。
---
| Cameras (6, hardware-synchronized) |
| Sensor | Global-shutter RGB, 10-bit, 3.0 $\mu$m px |
| Frame resolution | 1920 $\times$1080 |
| Frame rate | 30 Hz |
| Lens | Kannala-Brandt 4 |
| Focal length | f = 590-630 px |
| Exposure | Per-camera AE, bounded $\le$ 10 ms |
| Stereo optics | Fisheye, $180^{\circ} \times 112^{\circ}$ (216 $^{\circ}$ diag.) |
| Lateral optics | Wide, $161^{\circ} \times 98^{\circ}$ (179 $^{\circ}$ diag.) |
| Front stereo | 2 $\times$ 86.8 mm baseline, 157 $^{\circ}$ overlap |
| Eye stereo | 2 $\times$ 106.2 mm baseline, 154 $^{\circ}$ overlap |
| Lateral | 2 $\times$ mono, 85 $^{\circ}$ off forward axis, 30 $^{\circ}$ down |
| Magnetometer (1, crown center) |
| Rate | 3-axis, 100 Hz, time-aligned (auxiliary) |
| IMUs (2, opposite sides of crown, 6-axis) |
| Rate | 200 Hz, hardware-synchronized interrupt sampling |
| Gyro. noise density | $6 \times 10^{-4} \text{ rad s}^{-1} / \sqrt{\text{Hz}}$ |
| Gyro. bias walk | $3 \times 10^{-5} \text{ rad s}^{-2} / \sqrt{\text{Hz}}$ |
| Accel. noise density | $7 \times 10^{-3} \text{ m s}^{-2} / \sqrt{\text{Hz}}$ |
| Accel. bias walk | $2 \times 10^{-4} \text{ m s}^{-3} / \sqrt{\text{Hz}}$ |
| Camera-IMU offset | Residual ≤ 3 ms |
| System |
| Reference clock | 24 MHz TCXO, $\pm 1.81$ ppm |
| Trigger | Single PWM, 1-to-6 fan-out to all cameras |
| Power | 4-6 W |
| Weight | 250 g |
| Runtime | 6 h per 10,000 mAh |
| Storage | 214.5 GB onboard |
Table 1. RoboCap sensor suite. The two stereo pairs use fisheye optics, the lateral cameras a wide lens. Stereo overlap is the binocular field at infinity from the calibrated extrinsics. IMU noise parameters are fleet-level estimates from per-device continuous-time calibration [^16].
其工作范围远远超出了前向视锥。多视角融合只有在各视角数据同步时才能生效，这就要求使用硬件触发的全局快门传感器，而非对卷帘快门数据流进行逐通道调度。而度量尺度的准确性取决于其校准水平，这就需要针对每个单元进行出厂特性测定，而非依赖整个设备群共用的理论模型。表1总结了最终采用的硬件配置：六台硬件同步的全局快门摄像头，分为两对经过校准的立体摄像头，外加两个侧向广角摄像头；此外还有两个安装在帽顶相对位置的惯性测量单元。
这两项要求相互制约，因此这些摄像头并未共用光学元件。立体摄像头对采用鱼眼镜头，其视场角达到$180^\circ \times 112^\circ$（对角线为$216^\circ$），这样就能在整个活动范围内将手部保持在度量立体视锥内；前置摄像头对的基线距离为86.8毫米，双目重叠区域为$157^\circ$，眼侧摄像头对的基线距离则为106.2毫米，重叠区域为$154^\circ$。侧向摄像头则采用视场角为$161^\circ \times 98^\circ$（对角线为$179^\circ$）的广角镜头，安装位置偏离前向轴线$85^\circ$，并向下倾斜$30^\circ$；这类摄像头的首要任务是捕捉那些完全超出立体视锥的活动，同时确保在近距离操作期间轨迹求解器仍能保持约束，而非用于三角测量。每个侧向视角与通用立体视野的重叠部分约为$80^\circ$，因此在佩戴者正后方会形成一个$20^\circ$的盲区。
为了容纳这套硬件，我们选择了帽子而非眼镜、头戴设备或手机支架作为载体。帽子能将重量分散到整个帽顶，因此可以搭载比眼镜更大的传感器和电池，且不会造成不适；它无需显示屏、音频或交互硬件，因此成本主要集中在摄像头和惯性测量单元上；此外它的外观不会过于引人注目，适合在实验室外收集数据——而这正是该设备旨在捕捉的数据来源。最终设备重量为250克，可连续佩戴数小时而无需调整。
该设备在正常运行时的功耗为4–6瓦，由外接的独立电池组供电；一个容量为10,000毫安时的电池组可支持约六小时的连续录制。设备上还配备了一块小型锂离子电池作为应急电源。如果录制过程中连接线意外断开，这块电池能维持设备运行以完成录制并保存数据；当没有外接电池组时，它还能为数据导出提供电力，从而避免因为断电导致录制中断。录制内容会在设备端编码（H.265格式，YUV 4:2:0，每路流码率4 Mbps），存储在214.5GB的内部存储空间中（可存储10小时以上的录制内容），之后可通过USB 3接口以60–200 MB/s的速度导出。
#### 3.1. 校准
每台设备在出厂前都会单独进行校准。操作员会让设备按照特定的校准动作序列，对着固定的AprilGrid标定靶标（6×6网格，标签尺寸55毫米）运动，同时覆盖所有摄像头组和两个惯性测量单元。通过阿伦方差分析确定惯性测量单元的噪声模型；摄像头内参（针孔模型加上Kannala–Brandt KB-4畸变模型，这是此类视场角下的常用选择）、摄像头与惯性测量单元之间的外参以及时间偏移量，则通过连续时间批量优化算法来求解[^16]。由于两种类型的镜头是针对同一标定靶标扫描结果进行校准的，因此整个设备群中得到的焦距范围为590–630像素，而非单一的理论值。只有满足各参数公差要求的设备才会被接收，这些参数包括摄像头外参和内参重投影误差、陀螺仪以及加速度计相关指标；不符合任何一项要求的设备都会重新加工，而不会出厂。
工厂校准是在室温下进行的，设备不会应用与温度相关的参数校正，因此在实际使用中会因机械和热应力导致校准性能下降。在操作范围内，这种偏差并非次要因素：一个像素的视差误差
---
Figure 2. Epipolar residuals before (top) and after (bottom) self-calibration. Identical features are marked in the left and right cameras with a black dot, and epipolar lines are drawn across each pair. Self-calibration eliminates almost all epipolar drift and improves 3D estimation.
Figure 3. Histograms of the epipolar drift in the eye pair (left), front pair (middle), and front-eye pairs (right), over a subset of 150 deployed devices. We find that rotational correction (Section 4.1) is sufficient to restore epipolar drift, which follows a Gaussian centered around $0^{\circ}$.
相当于在0.65米距离处约1厘米的深度偏差。我们并未试图通过加强机械设计来消除这种无法避免的偏差，而是根据自然对应关系在每次会话中对其进行校正，第4.1节将对这一过程进行描述和量化。
#### 3.2. 时间同步
六台相机均由主控制器生成的单一PWM帧同步信号触发曝光，该信号通过1对6的时钟缓冲器分发，因此同步性是固有的，而非通过各通道调度实现；在时间戳精度下，测量得到的相机间偏移量为0毫秒。帧在曝光完成时由设备时钟打上时间戳。惯性测量单元在硬件同步的中断采样机制下以200赫兹的频率自主传输数据，并在到达同一时钟域时打上时间戳。每台设备通过连续时间校准确定相机与惯性测量单元间的偏移量[^16]，残余偏差不超过3毫秒；这一结果已通过相关自然记录验证，即通过将陀螺仪速率与图像衍生的旋转数据进行相关性分析来确认。
设备时钟由24兆赫兹的温度补偿晶体振荡器控制，其最坏情况下频率偏差为$\pm1.81$ppm，由此导致的绝对时间线漂移每小时不超过$\approx\pm6.5$毫秒。由于所有传感器共享这一时钟，这种漂移仅会影响绝对时间线，而不会影响传感器间的同步性，而这正是多视角融合和视觉惯性估计所依赖的基础。
### 4. 三维估计
从人类数据中重定向动作的最常见方式是，将不同实体间的统一动作空间定义为三维末端执行器姿态。因此，三维处理模块的作用就是在一致的世界坐标系下，恢复这一姿态以及用于描述其上下文的几何信息，且需达到计量级精度。在本节中，我们将介绍经过评估后在多个跨机架及机架内基准测试中均表现顶尖的SLAM、深度估计和手部追踪实现方案。
#### 4.1. 在线自校准
厘米级精度要求测距仪与设备校准之间保持紧密对齐。
一个像素的视差
相当于在0.65米距离处$\sim$1厘米的深度，且为立体成像
误差会随着$z^2/(fb)$而增大。实际使用中，该设备会出现轻微漂移现象
这种漂移源于机械和热力方面的应力，导致其偏离出厂校准状态。
应力。在我们整套设备中，相对旋转偏移为 0.2–
1.1°（中位数 $\approx$0.5°），产生 1–5 px 的对极残差
以及 1–2 cm 的距离相关深度偏差，位于操作
范围内。我们的观察结果与 Aria
报告 $\approx$25 arcmin 的瞬时形变，介于
其立体相机之间因摘下设备 [^15] 而产生。
漂移主要由旋转引起，因此我们仅在每次录制会话中，利用自然对应关系来估算残余旋转，无需校准目标，也无需操作员干预[^12] [^35]。左前摄像头作为锚点，始终固定不动。每对摄像头受其自身对应关系的约束，独立地基于桑普森极线距离进行拟合，而非基于校正后图像对的垂直残差。只有当修正后的结果能改善保留的残差，且落在该设备出厂值的$\approx 1^{\circ}$范围内时，修正才会被采纳。图3展示了在线自校准旋转的分布情况，图2则可视化了极线。
---
Figure 4. Scene reconstruction over 4 RoboCap sessions. For each session, we generate point clouds (Section 4.3) and project them into the SLAM world frame, leveled with the estimated gravity direction (Section 4.2). Then, we solve multi-session frame alignment with RANSAC on 3D-projected SIFT features.
| Method | Inputs | Short | Medium | Long | Low light | Moving | Avg. |
| Aria's SLAM (r) $^{\dagger}$ | bino, IMU | 90.7 | 78.5 | 70.9 | 84.2 | 55.0 | 75.9 |
| ORB-SLAM3 (r) [^7] | mono, IMU | 23.0 | 10.9 | 11.2 | 3.1 | 2.0 | 10.0 |
| OKVIS2 (r) [^30] | bino, IMU | 20.0 | 11.6 | 2.6 | 14.5 | 4.7 | 10.7 |
| OpenVINS+Maplab (r) | bino, IMU | 27.7 | 23.4 | 12.8 | 19.8 | 13.9 | 19.5 |
| Best of other submissions | mono, IMU | 34.2 | 29.3 | 16.8 | 25.4 | 15.5 | 24.2 |
| Ours | bino, IMU | 80.2 | 61.6 | 59.9 | 67.7 | 41.9 | 62.3 |
| pose recall @5 m (%) | | 99.9 | 96.2 | 99.3 | 99.9 | - | |
Table 2. Official LaMAria test-set results (control-point score, higher is better). (r): reproduced by the benchmark authors. "Best of other submissions" is the highest score per category over all other public entries. $^{\ddagger}$Shown in gray as a reference and excluded from the ranking: Aria's SLAM is the device manufacturer's own system, developed together with the glasses, and is the solution used to initialize the benchmark's ground-truth pipeline (its pose recall is therefore not reported). Bold marks the best result among the remaining methods.
在线校准前后的情况。
#### 4.2. SLAM
头部运动由我们自主研发的多摄像头视觉惯性SLAM系统估算，该系统基于成熟的组件构建：GPU加速的基于patch的光流前端、平方根滑动窗口估计器[^52]、基于外观的位置识别模块[^28]以及离线关键帧束调整模块[^30]。每种设备和数据集均采用同一配置；少数与实验平台相关的参数则由平台本身决定。
所有摄像头的数据均输入同一个估计器。视野重叠的摄像头组成立体像对，从而能从第一帧图像中获取地标的度量深度；在RoboCap系统中，这是指前置摄像头对，而侧置摄像头则以单目方式追踪各自的地标，并在手部遮挡前置摄像头对时维持估计器的稳定性。由于patch跟踪器是为VGA级别的图像设计的，因此图像会被下采样至宽度不超过1000像素；在全分辨率下，运动模糊和低光照条件会导致跟踪失效，估计器也会在无光源的房间中发散。估计器会根据运动初始化，当发散检测发现不合理的偏差或姿态跳变时，便会重新初始化[^42]。我们按照第4.1节所述执行在线校准。
所报告的轨迹源自对所有关键帧进行的离线视觉惯性束调整，该过程在所有重访点确定后进行，其中识别出的重访点会作为合并后的地标及相对姿态约束纳入计算。拍摄过程中得到的因果估计结果使用的是相同的前端和估计器，只不过用姿态图闭环闭合取代了这种精细化处理。
---
Figure 5. FFS depth with factory vs. online calibration, and the depth change between them. Factory calibration does not visibly degrade FFS depth maps: they remain sharp and complete, but are systematically distorted in scale and shape. Online calibration leaves the maps' appearance unchanged while removing this distortion, halving depth error within reach. See Figure 9 for more examples.
| Pixels | % px | FFS [^57] | FS [^56] |
| AbsRel $\downarrow$ | $\delta_{1.25}\uparrow$ | AbsRel $\downarrow$ | $\delta_{1.25}\uparrow$ |
| All | 100.0 | 0.455 | 69.7 | 0.278 | 75.5 |
| Visible in both views | 11.8 | 0.016 | 99.6 | 0.015 | 99.7 |
| Visible in one view | 26.8 | 0.297 | 61.2 | 0.171 | 77.8 |
Table 3. Zero-shot depth on UnrealEgo2 [^2]. In both views: pixels at 0.3–1.0 m with a correspondence in the right image. In one view: pixels without correspondence. FS and FFS are comparable where there is correspondence.
Table 4. Depth AbsRel of zero-shot FFS on a ChArUco board seen by the RoboCap front pair (1,277 frames, 106,602 corners, same frames for both calibrations).
| Distance | Calibration |
| Factory (Sec. 3.1) | Online (Sec. 4.1) |
| <0.8 m | 0.023 | 0.011 |
| ≥0.8 m | 0.029 | 0.016 |
| All | 0.025 | 0.012 |
精细化处理。
该基准测试尚未达到饱和状态。除我们的系统外，只有Aria自身的SLAM系统在任意类别中的得分超过35；现有及新近提出的学习类系统在长距离行走测试中都会丢失轨迹（见表2）。我们的系统排名第二，在各类别中的得分比其他最佳系统高出26–46分。其轨迹有96–100%的点位于控制点5米范围内，而其他最佳系统的这一比例仅为37–73%。
在LaMAria上的评估。LaMAria[^29]是与我们的实验环境最相近的公开数据集：它是一种头戴式多摄像头视觉惯性设备，用于记录城市环境下的日常行走数据。其63个测试录像总计时长27.5小时、路程76公里，单次行走时长最长可达48分钟、路程2.2公里。有两个类别专门针对已知的故障模式：夜间行走（低光照条件）以及在移动平台上行驶（移动环境）。真实轨迹数据并未公开，轨迹评分由基准测试服务器根据勘测得到的控制点计算得出。我们提交了两次结果；第二次提交增加了发散重置机制，并修改了三个序列。
在公共基准测试上的评估。我们在五种不同的硬件和运动条件下运行这些未经修改的模型进行基准测试（见表8），仅采用场景级设置，例如根据环境调整最大的闭环校正参数。该系统在TUM-VI房间、Monado和Aria数据集上的表现与已发表的最强系统相当甚至更优，在EuRoC上的表现则接近OKVIS2。不过仍存在两个局限性：极快的旋转速度（超过大约$500^{\circ}/s$，此时某些陀螺仪也会饱和）会干扰补丁跟踪器，从而导致Monado测试中的三次失败中有两次发生在boxing-game序列中，同时在快速的VECtor序列上也会出现较大的误差。在特征较少的长走廊中，闭环回环检测的召回率也低于使用较长特征轨迹的情况：在所有20个TUM-VI序列中，走廊序列仅在起点和终点房间有真实值，我们的中位误差为8.1厘米。
#### 4.3. 深度估计
我们使用Fast-FoundationStereo（FFS）[^57]对两组立体图像对进行度量深度估计，该模型是从FoundationStereo（FS）[^56]蒸馏而来的轻量级模型。我们发现，该模型的性能更多取决于校准效果而非泛化能力。
评估零样本迁移到以自我为中心的场景的能力。为了评估这些零样本模型在以自我为中心的场景中的能力，我们在UnrealEgo2 [^2]上对它们进行基准测试，这是一个带有密集真实值的合成头戴式立体基准测试集。
---
(a) Motion blur
(b) Visual ambiguity
(c) Complex hand poses
(d) Gloves
(e) Occlusion
(f) Lighting
Figure 6. Examples from our hand tracking model, which fuses multi-view images into a single hand mesh. Our model's pretraining makes it robust to blur, visual ambiguity, complexity, gloves, occlusion, and lighting. See Figures 11 and 12 for more difficult examples.
真实值。在两台相机都能看到物体的0.3–1.0米范围内，FFS的AbsRel值达到0.016，这一结果达到了该基准测试的2厘米量化极限，且与FS的表现相当（见表3）。剩余的误差出现在仅有一台相机能看到的像素上，这些像素没有对应的匹配项。FS能利用上下文更好地填充这些区域，不过其推理成本要高出$10\times$以上。我们得出结论：零样本模型已经足够精确，而部署在硬件上的限制因素是在线校准（见第4.1节）。
评估在线校准的效果。为了测量校准对深度的影响，我们在一台设备上分七次记录ChArUco棋盘的图像，并根据棋盘姿态获取真实值，该过程不依赖立体相机的外参。在线校准可将可触及范围内的FFS深度误差减半（见表4）。在150台已部署的设备中，出厂校准导致的前置摄像头对极线残差中位数为3.8像素，而在线校准可将其降至0.56像素。从出厂校准切换为在线校准后，每台设备上可触及范围内的FFS深度误差中位数变化为3.6%（第90百分位数为11%），其中31%的可触及像素位置变化超过5%。
#### 4.4. 手部追踪
手部追踪能在世界坐标系下恢复度量级的MANO [^46]手部姿态。以自我为中心的手部追踪是一项在极端视觉分布下的三维估计问题：野外采集的数据以视觉和几何上的特殊情况为主，而非实验室中的清晰图像，且没有任何一台相机能始终捕捉到手部，因此估计结果必须融合外观差异极大且经常被遮挡的多个视角信息。正因如此，真实标签必须从野外数据中生成，这也使得动作捕捉无法成为可靠且可扩展的数据收集方法。此外，我们将手部追踪视为多视角问题，因为单目手部模型不仅存在度量上的歧义，在不同视角下的表现也不一致。每个视角会在弱透视相机模型下独立回归形状与深度，因此直接对单目输出进行三角测量会产生扭曲的手部模型，仅在局部手部坐标系中就会累积数厘米的误差。
我们在一个自定义的RoboCap自然场景数据集上训练手部追踪模型，该数据集涵盖了多种肤色、手套、物体遮挡和运动模糊情况。该数据集的标签是通过离线多视角优化流程生成的，并未使用任何动作捕捉技术。我们利用单目先验[^40] [^41]来学习多视角手部重建模型，随后通过可微细化过程拟合单一的MANO参数化模型，从而在整个轨迹中优化投影后的外观与自然度。这款手部追踪模型是一种前馈式多视角ViT，它接收原始裁剪图像块和相机参数，以预测所有视角下的单一手部姿态，其设计本身就保证了多视角一致性。
我们评估了三个方面：预训练数据集的贡献、该模型相对于其他多视角手部估计模型的准确性，以及其在RoboCap数据集上的表现。我们在文中始终以毫米为单位报告平均关节位置误差（MPJPE），附录A.1中详细说明了数据划分与预处理细节。
评估预训练语料库的价值。为了分离出RoboCap数据集的影响，我们训练了相同的
---
| Scratch | Pretrained |
| HOT3D [^3] | 17.41 | 14.47 |
| UmeTrack [^24] | 19.00 | 11.49 |
| SHOW3D [^45] | 19.34 | 13.68 |
Table 5. Best validation MPJPE (mm) on held-out subjects across datasets, varying only initialization. More details in Appendix A.
| POEMv2 [^64] | Ours |
| DexYCB-Mv | 6.69 | 5.22 |
| OakInk-Mv | 8.34 | 7.25 |
| HO3D-Mv | 7.72 | 13.01 |
Table 6. MPJPE (mm) on third-person multi-view benchmarks.
架构，并在三个公开的第一人称视角数据集上进行实验，仅改变初始化方式。我们选取跨数据集验证性能最优的结果，该结果通过保留样本上的MPJPE来评估。HOT3D [^3]、UmeTrack [^24]和SHOW3D [^45]涵盖了三种不同类型的头戴设备，它们的摄像头数量、摆放位置与光学特性各不相同，因此这种对比涉及到的设备配置与预训练时使用的设备并不相同。这三款数据集均未发布公开的测试基准，因此我们按照官方协议尽可能严谨地构建了保留样本划分；相关细节在附录A.1中有说明。针对每个基准，我们会对预训练模型进行微调，并与从零开始训练的相同模型进行比较。预训练可使这三个数据集上的误差降低2.9至7.5毫米（降幅为17%–40%）。
与多视角重建方法的对比。我们在OakInk [^64]、DexYCB [^60]和HO3D [^10]数据集上与POEMv2 [^22]进行对比，后者是一款先进的多视角手部姿态估计模型。由于我们的模型是针对第一人称视角设计的，且是在单一设备上预训练的，这些第三人称视角的评估基准在视角与相机配置方面均超出了其分布范围。我们对手部追踪ViT进行了2万步的微调。虽然我们在DexYCB和OakInk数据集上的表现优于基线模型，但在HO3D上的性能却有所下降。在HO3D上性能下降的原因很可能是部分测试序列为了评估跨设备泛化能力而移除了2/5个摄像头。我们的模型是在单一一致的设备上训练的，若没有充分的微调，便难以泛化到与RoboCap不同的视角或设备上。
在RoboCap数据集上的性能评估。我们最终的评估是在自主研发的仿真基准上进行的，该基准采用了RoboCap的相机外参与内参；其构建细节见附录A.4。我们达到了亚厘米级的精度（9.2毫米）。总体而言，我们认为仿真数据与动作捕捉数据并不能完全反映自然场景下手部追踪的难度，但我们仍构建了这一内部基准，用以测试模型的上限性能。
### 5. 局限性
我们的硬件做出了特定的取舍。从三维度量估算的需求出发来反向设计传感套件，虽然能在操作范围内获得高精度，但也固定了设备的几何结构。工作空间由立体基线及横向覆盖范围决定，一旦动作超出这些范围，就无法再被恢复。该设备还依赖外接电池组供电，这种设计对于有意识的采集任务尚可接受，却不适合全天候佩戴使用。我们将后者视为外形上的权衡，而非永久性限制。
在我们测试的各类基准中，我们的SLAM算法表现与已发表的系统持平甚至更优，但并非在所有方面都如此。它在处理长度较长且形态相似的环境环路时表现不佳——由于可识别的重复区域太少，无法纠正由此产生的累积误差；这其实是场景识别召回率的限制，而非估算器本身的问题。Aria自带的MPS流程正是在此类场景下表现出色，我们在ADT和HOT3D数据集上就是与之对比评分的，因此那里的厘米级精度数据应被视为与某种伪参考值的一致性体现，而非真正的准确度，它们仅能反映这些数据集对两种系统所能展示的能力上限。最后，采集过程中得到的实时估算结果，其误差大约是离线轨迹的两倍——因为生成最终结果的优化过程要在采集结束后对整个会话数据进行一次处理；如今需要在线获得最终精度的应用场景还无法从该系统中获益。
手部追踪评估在此类场景中仍是最薄弱的环节，而且不止我们面临此问题。目前没有公开数据集能同时满足以第一视角进行的操控任务需求：短基线校正后的立体视觉数据、头戴式视角，以及在视觉多样性极强的极端情况下所需的密集且独立的真实标注。因此，我们参照三维计算机视觉领域的惯例，通过在其他设备上测试的方法迁移效果，间接衡量我们算法的质量，以此作为基准。
最后，本报告侧重的是精度本身，而非其对策略性能的后续影响。我们在第1节中提出，标签误差会以噪声形式进入策略的训练分布，已有研究也支持这一关联[^27] [^34] [^43]，但我们并未在此测量一厘米的精度提升能带来多大的性能改善。这类实验需要用该框架生成的数据大规模训练策略，目前相关工作仍在推进中。
### 6. 结论
以第一视角采集的数据是机器人学习领域最具可扩展性的数据源之一。然而，要获取策略学习所需的精度与规模的数据，就必须依靠为三维估算量身定制的硬件，以及能在野外视频流中无人值守运行的鲁棒算法。
---
而这两者此前都不是一个团队能直接购买或调用的。我们自行开发了这两样东西：RoboCap是一款重250克、配备六个摄像头和双惯性测量单元的帽子式设备，其传感套件的参数完全依据三维估算的需求设定；Grounded API则是一套针对该设备优化的三维算法，当迁移到其他设备上时，也能展现出顶尖的三维处理能力。
我们认为最具意义的结果并非某一项基准测试数值，而是为野外数据生成三维标签所蕴含的规模潜力。具体而言，现有各类手部姿态数据集的标注均来自动作捕捉系统或封闭的设备内追踪器，这限制了数据收集的多样性和可扩展性。相反，我们证明了精确且鲁棒的SLAM、深度估算和手部追踪并不依赖动作捕捉技术，因此我们的手部追踪模型比仅用动作捕捉数据训练出的模型适应性更强。
该设备和API现已可用。我们希望研究人员能在其中发现我们尚未察觉的故障模式，同时期待借此推动以自我为中心的感知数据、3D估计以及机器人学习领域的发展。
## 贡献者
Grounded Superintelligence团队（Qasim Ali、Nikash Bhardwaj、Kheri Hughes、Owen Akhibi、Alex Proshkin、Haotian Zhan、Ademi Adeniji、Vincent Liu），BitRobot团队（Sam Cho、Ethan Lee、Paul Luo、Shinn Chong、Sunny Yu、Niresh Dravin、Vivek Sharma、Jonathan Victor、Amanda Young、Michael Cho）
## 参考文献
[^1]: Hiroyasu Akada, Jian Wang, Soshi Shimada, Masaki Taka-hashi, Christian Theobalt, and Vladislav Golyanik. UnrealEgo: A new dataset for robust egocentric 3D human motion capture. In European Conference on Computer Vision (ECCV), pages 1–17, 2022. 2
[^2]: Hiroyasu Akada, Jian Wang, Vladislav Golyanik, and Christian Theobalt. 3d human pose perception from egocentric stereo videos, 2024. 7
[^3]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 2, 3, 9, 1
[^4]: Shariq Farooq Bhat, Reiner Birkl, Diana Wofk, Peter Wonka, and Matthias Müller. ZoeDepth: Zero-shot transfer by combining relative and metric depth. arXiv preprint arXiv:2302.12288, 2023. 3
[^5]: Aleksei Bochkovskii, Amaël Delaunoy, Hugo Germain, Marcel Santos, Yichao Zhou, Stephan R. Richter, and Vladlen Koltun. Depth pro: Sharp monocular metric depth in less than a second. In International Conference on Learning Representations (ICLR), 2025. arXiv:2410.02073. 3
[^6]: Michael Burri, Janosch Nikolic, Pascal Gohl, Thomas Schneider, Joern Rehder, Sammy Omari, Markus W. Achtelik, and Roland Siegwart. The EuRoC micro aerial vehicle datasets. The International Journal of Robotics Research, 35(10):1157–1163, 2016. 3, 1
[^7]: Carlos Campos, Richard Elvira, Juan J. Gómez Rodríguez, José M. M. Montiel, and Juan D. Tardós. ORB-SLAM3: An accurate open-source library for visual, visual-inertial, and multimap SLAM. IEEE Transactions on Robotics, 37(6): 1874–1890, 2021. 2, 6, 1
[^8]: Zhihao Cao, Hanyu Wu, Li Wa Tang, Zizhou Luo, Wei Zhang, Marc Pollefeys, Zihan Zhu, and Martin R. Oswald. Mcgs-slam: A multi-camera slam framework using gaussian splatting for high-fidelity mapping, 2026. 3
[^9]: Jia-Ren Chang and Yong-Sheng Chen. Pyramid stereo matching network. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5410–5418, 2018. 3
[^10]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. Dexycb: A benchmark for capturing hand grasping of objects, 2021. 9, 6
[^11]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The EPICKITCHENS dataset. In European Conference on Computer Vision (ECCV), pages 720–736, 2018. 2
[^12]: Thao Dang, Christian Hoffmann, and Christoph Stiller. Continuous stereo self-calibration by camera parameter tracking. IEEE Transactions on Image Processing, 18(7):1536–1550, 2009. 2, 5
[^13]: Mateo de Mayo and Collabora. Monado SLAM datasets. , 2023. 1
[^14]: Mateo de Mayo, Daniel Cremers, and Taihú Pire. The Monado SLAM dataset for egocentric visual-inertial tracking. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2025. 3
[^15]: Jakob Engel, Kiran Somasundaram, Michael Goesele, Albert Sun, Alexander Gamino, Andrew Turner, Arjang Talatfof, Arnie Yuan, Bilal Souti, Brighid Meredith, et al. Project aria: A new tool for egocentric multi-modal ai research. arXiv preprint arXiv:2308.13561, 2023. 1, 2, 5
[^16]: Paul Furgale, Joern Rehder, and Roland Siegwart. Unified temporal and spatial calibration for multi-sensor systems. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1280–1286, 2013. 2, 4, 5
[^17]: Dorian Gálvez-López and Juan D. Tardós. Bags of binary words for fast place recognition in image sequences. IEEE Transactions on Robotics, 28(5):1188–1197, 2012.
## [^18]: Ling Gao, Yuxuan Liang, Jiaqi Yang, Shaoxiang Wu, Chenyu Wang, Jiaben Chen, and Laurent Kneip. VEC-tor: A versatile event-centric benchmark for multi-sensor SLAM. IEEE Robotics and Automation Letters, 7(3):8217–8224, 2022. 3, 1
---
[^19]: Patrick Geneva, Kevin Eckenhoff, Woosik Lee, Yulin Yang, and Guoquan Huang. OpenVINS: A research platform for visual-inertial estimation. In IROS 2019 Workshop on Visual-Inertial Navigation: Challenges and Applications, 2019. 2
[^20]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4D: Around the world in 3,000 hours of egocentric video. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 18995–19012, 2022. 2
[^21]: Giorgio Grisetti, Rainer Kümmerle, Cyrill Stachniss, and Wolfram Burgard. A tutorial on graph-based SLAM. IEEE Intelligent Transportation Systems Magazine, 2(4):31–43, 2010. 2
[^22]: Shreyas Hampali, Sayan Deb Sarkar, and Vincent Lepetit. Ho-3dv3: Improving the accuracy of hand-object annotations of the ho-3d dataset, 2021. 9, 6
[^23]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D. Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, et al. MEgATrack: Monochrome egocentric articulated hand-tracking for virtual reality. ACM Transactions on Graphics (Proc. SIGGRAPH), 39(4):87:1–87:13, 2020. 3
[^24]: Shangchen Han, Po-Chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, et al. UmeTrack: Unified multiview end-to-end hand tracking for VR. In SIGGRAPH Asia 2022 Conference Papers, pages 1–9, 2022. 3, 9
[^25]: Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, and Jian Zhang. EgoDex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025. 1, 2
[^26]: Karim Iskakov, Egor Burkov, Victor Lempitsky, and Yury Malkov. Learnable triangulation of human pose. In IEEE/CVF International Conference on Computer Vision (ICCV), pages 7718–7727, 2019. 3
[^27]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. EgoMimic: Scaling imitation learning via egocentric video. In IEEE International Conference on Robotics and Automation (ICRA), 2025. arXiv:2410.24221. 1, 2, 9
[^28]: Alexander Korovko, Dmitry Slepichev, Alexander Efitorov, Aigul Dzhumamuratova, Viktor Kuznetsov, Hesam Rabeti, Joydeep Biswas, and Soha Pouya. cuVSLAM: CUDA accelerated visual odometry and mapping. arXiv preprint arXiv:2506.04359, 2025. 2, 6, 1
[^29]: Anusha Krishnan, Shaohui Liu, Paul-Edouard Sarlin, Oscar Gentilhomme, David Caruso, Maurizio Monge, Richard Newcombe, Jakob Engel, and Marc Pollefeys. Benchmarking egocentric visual-inertial slam at city scale, 2025. 7
[^30]: Stefan Leutenegger. OKVIS2: Realtime scalable visual-inertial SLAM with loop closure. arXiv preprint arXiv:2202.09199, 2022. 6, 1
[^31]: Stefan Leutenegger, Simon Lynen, Michael Bosse, Roland Siegwart, and Paul Furgale. Keyframe-based visual-inertial odometry using nonlinear optimization. The International Journal of Robotics Research, 34(3):314–334, 2015. 2
[^32]: Jiankun Li, Peisen Wang, Pengfei Xiong, Tao Cai, Ziwei Yan, Lei Yang, Jiangyu Liu, Haoqiang Fan, and Shuaicheng Liu. Practical stereo matching via cascaded recurrent network with adaptive correlation. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 16263–16272, 2022. 3
[^33]: Lahav Lipson, Zachary Teed, and Jia Deng. RAFT-Stereo: Multilevel recurrent field transforms for stereo matching. In International Conference on 3D Vision (3DV), pages 218–227, 2021. 3
[^34]: Vincent Liu, Ademi Adeniji, Haotian Zhan, Siddhant Haldar, Raunaq Bhirangi, Pieter Abbeel, and Lerrel Pinto. EgoZero: Robot learning from smart glasses. arXiv preprint arXiv:2505.20290, 2025. 1, 2, 9
[^35]: David G. Lowe. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2):91–110, 2004. 2, 5
[^36]: Zhaoyang Lv, Nicholas Charron, Pierre Moulon, Alexander Gamino, Cheng Peng, Chris Sweeney, Edward Miller, Huixuan Tang, Jeff Meissner, Jing Dong, et al. Aria everyday activities dataset. arXiv preprint arXiv:2402.13349, 2024. 2
[^37]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, et al. Nymeria: A massive collection of multimodal egocentric daily motion in the wild. In European Conference on Computer Vision (ECCV), 2024. 2
[^38]: Riku Murai, Eric Dexheimer, and Andrew J. Davison. MASt3R-SLAM: Real-time dense SLAM with 3D reconstruction priors. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 2
[^39]: Xiaqing Pan, Nicholas Charron, Yongqian Yang, Scott Peters, Thomas Whelan, Chen Kong, Omkar Parkhi, Richard Newcombe, and Yuheng Carl Ren. Aria digital twin: A new benchmark dataset for egocentric 3D machine perception. In IEEE/CVF International Conference on Computer Vision (ICCV), pages 20133–20143, 2023. 2, 1
[^40]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9826–9836, 2024. 3, 8
[^41]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. WiLoR: End-to-end 3D hand localization and reconstruction in-the-wild. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. arXiv:2409.12259. 3, 8
[^42]: Tong Qin, Peiliang Li, and Shaojie Shen. VINS-Mono: A robust and versatile monocular visual-inertial state estimator. IEEE Transactions on Robotics, 34(4):1004–1020, 2018. 2, 6
[^43]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J. Yin, Lars Paulsen Hong, Ge Yuan, et al. Humanoid policy $\sim$ human policy. arXiv preprint arXiv:2503.13441, 2025. 1, 9
### [^44]: Helge Rhodin, Christian Richardt, Dan Casas, Eldar Insafutdinov, Mohammad Shafiei, Hans-Peter Seidel, Bernt Schiele
---
Christian Theobalt等人。EgoCap：基于两台鱼眼相机的无标记自我中心动作捕捉技术。《ACM图形学交易》（SIGGRAPH Asia会议论文集），35(6)：162:1–162:11，2016年。2
[^45]: Patrick Rim, Kevin Harris, Braden Copple, Shangchen Han, Xu Xie, Ivan Shugurov, Sizhe An, He Wen, Alex Wong, Tomas Hodan, and Kun He. Show3d: Capturing scenes of 3d hands and objects in the wild, 2026. 3, 9
[^46]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (Proc. SIGGRAPH Asia), 36(6):245:1–245:17, 2017. 3, 8
[^47]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. FrankMocap: A monocular 3D whole-body pose estimation system via regression and integration. In IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), 2021. 3
[^48]: Antoni Rosinol, Marcus Abate, Yun Chang, and Luca Carlone. Kimera: An open-source library for real-time metric-semantic localization and mapping. In IEEE International Conference on Robotics and Automation (ICRA), pages 1689–1696, 2020. 2
[^49]: David Schubert, Thore Goll, Nikolaus Demmel, Vladyslav Usenko, Jörg Stückler, and Daniel Cremers. The TUM VI benchmark for evaluating visual-inertial odometry. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1680–1687, 2018. 3, 1
[^50]: Tony Tao, Mohan Kumar Srirama, Jason Jingzhou Liu, Kenneth Shaw, and Deepak Pathak. Dexwild: Dexterous human interactions for in-the-wild robot policies, 2026. 2
[^51]: Zachary Teed and Jia Deng. DROID-SLAM: Deep visual SLAM for monocular, stereo, and RGB-D cameras. In Advances in Neural Information Processing Systems (NeurIPS), pages 16558–16569, 2021. 2
[^52]: Vladyslav Usenko, Nikolaus Demmel, David Schubert, Jörg Stückler, and Daniel Cremers. Visual-inertial mapping with non-linear factor recovery. IEEE Robotics and Automation Letters, 5(2):422–429, 2020. 2, 6, 1
[^53]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and C. Karen Liu. DexCap: Scalable and portable mocap data collection system for dexterous manipulation. In Robotics: Science and Systems (RSS), 2024. 2
[^54]: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, and David Novotny. VGGT: Visual geometry grounded transformer. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 2
[^55]: Xianqi Wang, Gangwei Xu, Hao Jia, and Xin Yang. Selective-stereo: Adaptive frequency information selection for stereo matching. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 19701–19710, 2024. 3
[^56]: Bowen Wen, Matthew Trepte, Joseph Aribido, Jan Kautz, Orazio Gallo, and Stan Birchfield. FoundationStereo: Zero-shot stereo matching. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2025 37
[^57]: Bowen Wen, Shaurya Dewan, and Stan Birchfield. Fast-FoundationStereo: Real-time zero-shot stereo matching. In
IEEE/CVF计算机视觉与模式识别会议（CVPR），2026年。3，7
[^58]: Gangwei Xu, Xianqi Wang, Xiaohuan Ding, and Xin Yang. Iterative geometry encoding volume for stereo matching. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21919–21928, 2023. 3
[^59]: Weipeng Xu, Avishek Chatterjee, Michael Zollhöfer, Helge Rhodin, Pascal Fua, Hans-Peter Seidel, and Christian Theobalt. Mo $^{2}$Cap $^{2}$: Real-time mobile 3D motion capture with a cap-mounted fisheye camera. IEEE Transactions on Visualization and Computer Graphics, 25(5):2093–2101, 2019.
[^60]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction, 2022. 9, 6
[^61]: Lixin Yang, Jian Xu, Licheng Zhong, Xinyu Zhan, Zhicheng Wang, Kejian Wu, and Cewu Lu. POEM: Reconstructing hand in a point embedded multi-view stereo. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21108–21117, 2023. 3
[^62]: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, and Hengshuang Zhao. Depth anything: Unleashing the power of large-scale unlabeled data. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 3
[^63]: Lihe Yang, Bingyi Kang, Zilong Huang, Zhen Zhao, Xiaogang Xu, Jiashi Feng, and Hengshuang Zhao. Depth anything v2. In Advances in Neural Information Processing Systems (NeurIPS), 2024. 3
[^64]: Lixin Yang, Licheng Zhong, Pengxiang Zhu, Xinyu Zhan, Junxiao Kong, Jian Xu, and Cewu Lu. Multi-view hand reconstruction with a point-embedded transformer, 2024. 9, 2, 6
[^65]: Wei Yin, Chi Zhang, Hao Chen, Zhipeng Cai, Gang Yu, Kaixuan Wang, Xiaozhi Chen, and Chunhua Shen. Metric3D: Towards zero-shot metric 3D prediction from a single image. In IEEE/CVF International Conference on Computer Vision (ICCV), pages 9043–9053, 2023. 3
[^66]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dyn-HaMR: Recovering 4D interacting hand motion from a dyn-namic camera. In IEEE/CVF Conference on Computer Vi-sion and Pattern Recognition (CVPR), 2025. 3
[^67]: Fan Zhang, Valentin Bazarevsky, Andrey Vakunov, Andrei Tkachenka, George Sung, Chuo-Ling Chang, and Matthias Grundmann. MediaPipe hands: On-device real-time hand tracking. arXiv preprint arXiv:2006.10214, 2020. 3
[^68]: Jinglei Zhang, Jiankang Deng, Chao Antonopoulos, Rolandos Alexandros Potamias, and Stefanos Zafeiriou. HaWoR: World-space hand motion reconstruction from egocentric videos. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 3
#### [^69]: Zihan Zhu, Wei Zhang, Moyang Li, Norbert Haala, Marc Pollefeys, and Daniel Barath. Vigs-slam: Visual inertial gaussian splatting slam, 2026. 3
---
#### RoboCap：全新的自我中心机器人学习平台补充材料
Figure 7. Overlays of SLAM trajectories on Monado (top) and VECtor (bottom).
| Benchmark | ORB-SLAM3 [^7] | Basalt [^52] | OKVIS2 [^30] | cuVSLAM [^28] | Ours |
| EuRoC [^6] | 3.5 / 3.3 | 5.8 / 5.5 | 3.1 / 2.3 | 6.6 / $8.4^{(4)}$ | 3.1 / 2.3 |
| TUM-VI (rooms) [^49] | 0.9 / 0.9 | 9.2 / 6.3 | 0.9 / 0.9 | 2.0 / 1.7 | 0.7 / 0.6 |
| VECtor [^18] | 14.7 / $23.0^{(5)}$ | 28.0 / $71.1^{(7)}$ | 25.7 / $16.8^{(3)}$ | 16.5 / $36.0^{(7)}$ | 22.8 / $13.0^{(2)}$ |
| Monado [^13]* | - / 2.5 | - / 11.2 | - / 2.2 | 11.5 / $11.5^{(20)}$ | 4.1 / 2.2 |
| ADT [^39]† | 2.0 / $1.8^{(3)}$ | 11.2 / $6.5^{(3)}$ | 5.4 / $3.0^{(4)}$ | 15.9 / $6.9^{(12)}$ | 1.1 / 0.9 |
| HOT3D [^3]† | 1.3 / $\infty^{(18)}$ | 4.5 / $4.7^{(4)}$ | 1.7 / $1.7^{(6)}$ | 46.9 / $55.4^{(6)}$ | 0.4 / 0.3 |
Figure 8. Final (offline) ATE RMSE in cm, mean / median over sequences. A failure or an ATE > 1 m, denoted with ${}^{(n)}$, is excluded from the mean, $\infty$ in the median. We use each paper's own numbers where applicable, otherwise we run its released code with the published configuration on the same inputs. VECtor counts robot_fast as a failure for every method. Monado includes the two long free-movement sessions (64 sequences). $^{*}$Monado baselines are the non-causal aggregate medians reported by the dataset authors, and means are not published. $^{\dagger}$Aria datasets with pseudo-ground truth from Aria MPS.
---
Figure 9. More visualizations of FFS depth with factory vs. online calibration, and the depth change between them.
Figure 10. The Grounded API, which allows users to upload RoboCap sessions and submit jobs directly from a dashboard. The dashboard also embeds a 3D visualizer to view hand tracking and SLAM outputs. The CLI supports batch uploads, submissions, and downloads.
#### A. 手部追踪
我们展示了在预留的野外录制数据上的额外定性结果，这些数据涵盖了自我中心捕捉中最难处理的场景。图11展示了成像质量较差及视角极端的情况，图12则展示了手与物体的交互以及不寻常的手部姿态。在每种情况下，模型都能生成合理且多视图一致的网格，无需针对单个视图进行后处理。
#### A.1. 评估设置
评估指标：我们报告21个MANO关节的平均关节位置误差（MPJPE），单位为毫米。按照[^64]的规定，误差为绝对误差：它在第一台摄像机的坐标系下测量，包含全局平移，不进行根部对齐或Procrustes对齐。摄像机内参和
---
(a) Motion blur
(b) Lens fog
(c) Hand close to camera
(d) Transparent gloves
Figure 11. Robustness to degraded imaging and extreme viewpoints. Each panel shows the four camera views of a single frame with the predicted mesh overlaid. The model remains multi-view consistent when the hand is blurred by fast motion, when the lens is fogged, when the hand is close enough to the camera to fill the frame, and when the hand is seen through a transparent glove.
#### A.2. 自我中心数据集
外部参数在训练和评估阶段均被视为已知。
UmeTrack [^24]、HOT3D [^3]和SHOW3D [^45]这三个基准测试数据集均未向公众发布测试集。在这些基准测试上进行评估时，我们的训练学习率仅为预训练阶段的五分之一。表5中的两列数据仅在权重初始化方面存在差异。图13展示了在相同帧上，从头训练的模型和预训练模型针对各自我中心基准测试的预测结果示例。
UmeTrack是一种实时手部追踪系统，配有在VR头盔上采集的数据集，该头盔搭载四台广视场单色VGA摄像头，通常只能看到一只手或两只手。它旨在获取绝对世界空间姿态，而非以根部为参考的姿态。该数据集包含53名参与者的1,397个真实序列，每个序列时长15秒、帧率为30 Hz，且每个序列都配有对应的合成渲染图像，两类数据总计约83.9万帧。真实数据由采用3毫米标记点的36摄像头动作捕捉系统提供，采集过程遵循两种协议：单手模式和双手交互模式。公开发布的数据集包含41名参与者的2,041个序列。我们保留了四名参与者数据作为测试集，这与官方姿态追踪设定一致。我们的测试集仅包含真实数据，因为官方划分中并无合成序列。没有参与者会同时参与两种活动类型，因此交互比例完全由参与者选择决定；其中三名单手模式参与者加一名双手交互模式参与者构成的组合最接近官方比例，该组合包含103个序列，其中双手交互序列占12.6%，而官方数据中此类序列为95个，占比11.6%。由于合成渲染图像与其对应的真实数据没有相同的序列标识符，因此划分依据是参与者，测试集中这些参与者的合成渲染图像会被丢弃，不会用于训练。
## HOT3D是一个用于3D手部及物体追踪的第一人称视角数据集，包含19名参与者、33个物体和425次会话中录制的833分钟视频，涵盖超过150万帧多视角图像和370万张图片。该数据集通过两台设备采集：Project Aria设备配备一台$1408 \times 1408$ RGB鱼眼摄像头，视场角为$110^{\circ}$；还有两台$640 \times 480$单色鱼眼摄像头，视场角为$150^{\circ}$；Quest 3设备则配备两台前置$1280 \times 1024$单色鱼眼摄像头。手部真实数据来自几十台OptiTrack摄像头，每台摄像头可追踪每只手上的19个标记点，这些标记点被安装在……
---
(a) Small objects
(b) Small objects
(c) Tool use
(d) Tool use (with occlusion)
(e) Drawing
(f) Feet and Hands
Figure 12. Robustness to hand-object interaction and unusual configurations. Each panel shows the four camera views of a single frame with the predicted mesh overlaid. The model recovers plausible poses while grasping small objects, while holding a tool with the fingers largely occluded by it, during fine manipulation such as drawing, and when the hands appear alongside other body parts.
## 针对每位参与者的手部模型，该模型以UmeTrack和MANO两种参数化形式发布。公开发布的数据集涵盖两台设备上采集的13名参与者的数据。我们保留了两名参与者数据作为测试集，这与官方姿态追踪设定一致。我们选择的两台设备上的测试集参与者是共同确定的，而非针对每台设备单独选取；因为如果分别选取Aria和Quest 3的测试集，会导致同一人同时出现在训练集和验证集中。最终得到的测试集包含44次会话、132,944帧，其中Aria设备相关会话有21次，Quest 3设备相关会话有23次。SHOW3D是一个无标记捕捉数据集，结合了第一人称和外接视角：十台同步运行的单色鱼眼摄像头以60 Hz的频率采集数据，其中八台为外接$1024 \times 1280$摄像头，视场角为$152^{\circ} \times 116^{\circ}$，安装在可穿戴装置上；另外两台为佩戴在用户身上的Quest 3摄像头。该数据集记录了38名参与者约20小时的活动，包含1,200多个序列和30多个地点，共计430万帧图像和4,300万张图片。真实数据无需标记点即可获得，方法是先对多视角2D关键点预测结果进行三角测量，再通过逆向运动学拟合出个性化的线性混合蒙皮网格，据称其中位精度可达亚厘米级。公开发布的数据集包含32名参与者和1,689个场景。我们尝试模仿私有测试集的设置，保留了六名参与者数据作为测试集，同时遵循以下约束：训练集中必须涵盖所有物体类别，且两侧数据集都要有足够的物体姿态覆盖度。最终得到的测试集包含337个场景、581,795帧，占整个数据集的20.0%，涵盖28个物体类别中的23个，其中新活动比例达到12.7%，而官方划分中的该比例为12.2%。SHOW3D
---
(c) UmeTrack
(d) SHOW3D
Figure 13. Comparison of random vs pretrained weights on egocentric benchmarks. Within each panel the columns are the left and right camera views of a single frame, the top row is the model trained from scratch and the bottom row is the model initialized from our pretrained weights; both are trained until they achieve their best multi-dataset validation metrics. The pretrained model aligns more closely with the observed hand, particularly at the finger joints, where the scratch model tends to mispredict articulation while keeping the global hand position roughly correct.
## 并未提供MANO标注，因此其监督和评估仅针对关节层面。
---
| Held-out (ours) | Official test |
| subjects | share | subjects | share |
| UmeTrack | 4 | 10.1% | 4 | — |
| SHOW3D | 6 | 20.0% | 6 | 21.0% |
| HOT3D | 2 | 16.0% | 2 | — |
Table 7. Composition of the surrogate held-out sets. UmeTrack: 103 sequences, 12.6% hand-hand interaction against the official split's 11.6%; real sequences only. SHOW3D: 337 scenes covering 23 of 28 object classes against the official split's 23; novel-activity rate 12.7% against 12.2%. HOT3D: two held-out subjects per device, matching the official pose track.
| views | train | test | split |
| DexYCB-Mv [^10] | 8 | 25,387 | 4,951 | S0 |
| OakInk-Mv [^60] | 4 | 58,692 | 19,909 | SP2 |
| HO3D-Mv [^22] | 5 | 9,087 | 2,706 | 7 seq. |
Table 8. Multi-view benchmark splits, in multi-view frames, following [^64]. HO3D-Mv comprises the seven sequences: ABF1, BB1, GSF1, MDF1 and SiBF1 for training, GPMF1 and SB1 for evaluation.
SHOW3D不提供MANO标注，因此其监督与评估仅局限于关节层面。
### A.3. 多视角基准测试
我们严格遵循POEMv2协议[^64]，包括其多视角子集。根据该协议，我们仅在每个数据集内对右手样本进行训练。每个数据集中的摄像头数量和排列顺序都是固定的。
我们仅使用一个检查点，在三个训练集的合并数据上微调20k步，并在所有三个测试集上进行评估，且不做针对特定数据集的专门化处理。这与POEMv2的做法一致：POEMv2用混合数据训练一个模型，再依次在每个测试集上评估；POEMv2所用的混合数据还包含ARCTIC、InterHand2.6M和FreiHAND数据集，训练迭代次数为2.1M次。与前述情况相同，我们沿用了预训练配置，只是降低了学习率$5\times$。
DexYCB数据集是为评估物体抓取能力而构建的。它由八台固定安装且经过校准的RGB-D摄像头以$640 \times 480$的频率、30Hz的帧率采集数据；该数据集包含10名受试者操作20种YCB物体的场景，共1000个序列、582k帧图像。我们采用官方定义的S0划分方式以及[^64]所采用的八摄像头配置，最终得到25,387帧训练用多视角图像、1,412帧验证用多视角图像和4,951帧测试用多视角图像。
OakInk是一个关于手物交互的知识库。其图像部分由四台经过校准的RGB摄像头以$848 \times 480$的频率、30Hz的帧率采集，涵盖12名受试者和100种物体，共计约230k帧图像。我们采用官方定义的SP2基于物体的划分方式以及[^64]所采用的四摄像头配置，最终得到58,692帧训练用多视角图像和19,909帧测试用多视角图像。大约四分之一的OakInk序列记录了两人传递物体的过程，此时两只手都会出现在画面中；每只手均会单独进行训练和评估。
HO3D数据集提供了手物操作的3D手部与物体姿态标注，这些标注是通过优化2D关键点和分割线索得到的，而非通过标记点获取；v3版本提升了v2版本的标注精度。该数据集涵盖10名受试者和10种YCB物体，共有68个序列、约103k帧RGB-D图像，采集频率为$640 \times 480$，其中只有一部分序列是由多摄像头采集的。我们采用了[^64]所定义的配置，保留了包含五摄像头数据的七个序列：ABF1、BB1、GSF1、MDF1和SiBF1用于训练，GPMF1和SB1用于评估，最终得到9,087帧训练用多视角图像和2,706帧测试用多视角图像。SB1评估序列中有两台摄像头未被使用。由于绝对误差是在第一台摄像头的坐标系下测量的，缺失的视角会导致参考原点位于不同的物理摄像头上，其与每个训练序列中摄像头的位置相距约0.35米。
#### A.4. 合成数据集
我们利用RoboCap设备的摄像头几何参数来生成合成数据集，这样就能获得精确的MANO参数真值。每个序列都是通过摄像头装置渲染的，其内参和外参取自真实RoboCap设备的校准数据，因此合成图像能够还原我们硬件的视野范围、基线距离和镜头畸变特性。