# MEgoVista：面向野外场景的度量级4D手部与头部运动估计的多视角自我感知算法 肖江工 $^{*}\dagger$ 西北工业大学 大学 马超 $^{*}$ Maniformer 刘力 Manformer 张志豪 $^{*}\dagger$ 西安交通大学 金周毅 Manformer 陈伟煌 西安交通大学 董一飞 $^{*}$ Manformer 姚茂清 $^{\dagger}$ Manformer 侯志文 Manformer ## 摘要 孙宏斌 西安交通大学 从人类视频中学习操作行为需要高保真度的度量级手部运动重建。目前现有的度量级手部标注数据均来自演播室设备与专用头戴式装置，但这两类数据源都存在两个局限：它们既无法适用于自然场景，也无法与独立的参考基准进行校验。无约束的头戴式录制方式则能提供相反的权衡——其适用规模可随佩戴设备的用户数量灵活扩展。因此，我们提出了MEgoVista，这是一套离线处理流程，能够将单段未经特殊准备的MEgo View录制视频转换为同一重力对齐的世界坐标系下的度量级双手及头部运动数据。它与现有的以自我为中心的重建系统相比有三个显著特点：首先，它能在演播室空间与桌面实验装置无法覆盖的场景中完成重建，还能在检测阶段确定手部归属，从而避免旁观者的手进入佩戴者的运动轨迹；其次，它的度量基准来自经过校准的双目相机，而非单目先验模型，在初始化阶段就确定了尺度参数，这样后续策略接收到的就是物理单位，而非任意坐标；最后，两项输出结果都会在动作捕捉区域内与独立的Chingmu光学捕捉系统数据进行对比评分，整个验证过程采用专门的协议，既能校验自身参考基准的准确性，也能检测出模型无法预测的部分。MEgoVista为从以自我为中心的视频获取度量级手部监督数据提供了一条可量化的路径，大大拓展了这类标注数据的采集范围。 关键词：以自我为中心的动作捕捉、手部重建、动作捕捉验证 ### 1. 引言 以自我为中心的视频已成为具身人工智能的核心数据源。学习操作策略需要观测数据与产生这些数据的物理状态及动作信息相匹配，但在真实机器人上收集这类配对数据成本极高：每小时的遥操作过程都会消耗大量资源。 --- 硬件、操作者和环境重置 [^1]。人类录制则提供了不同的权衡方案：头戴式摄像头能够捕捉真实的接触物理过程、灵巧的五指手部动作以及日常环境的多样性，且无需在采集流程中依赖机器人，因此采集速率取决于佩戴设备的人数而非可用机器人的数量 [^2] [^3]。据此，以人为中心的数据集规模也不断扩大，从数百小时的被动活动采集发展到如今数千小时量级的最新版本 [^4] [^5] [^6]；如今，这类以人为中心的数据已成为具身基础模型预训练数据混合中的标准组成部分 [^1]。在这类数据中，手部运动是最为关键的信号。叙述性标注和动词-名词标签等语义标注虽然能描述人的行为，却无法体现实现该行为的具体运动过程。所有将人类演示转化为机器人动作空间的方法都围绕手部展开：腕部轨迹通过逆运动学映射得到，而手指关节的运动——通常由MANO模型参数化 [^7]——则通过考虑形态差异的映射方式实现 [^8] [^9] [^10]。因此，由此产生的监督信号质量受限于所估计的3D手部姿态的准确性。 尽管应用日益广泛，但带有精确3D手部标签的以人为中心的数据集仍较为有限。ARCTIC和Assembly101等实验室装置能在多视角光学动作捕捉环境下提供精确的姿态数据，但无法脱离其设定的捕捉范围 [^11] [^12]。配备传感器的头戴设备则通过设备原生的内侧追踪技术拓展了这一范围：EgoDex利用Apple Vision Pro记录了820小时的双手操作数据 [^5]，但仍局限于预先布置好的桌面环境。Ego4D等大规模被动数据集虽能采集野外活动数据，却不提供精确的3D监督信息 [^2]。即便有3D标签被发布，其准确性也仅依据硬件规格宣称，并未经过独立的度量基准验证。 近期的研究通过学习型回归器和时序优化技术推动了手部重建的发展。WiLoR和HaMeR能从单个裁剪图像中预测MANO参数 [^13] [^14]，而HaWoR和Dyn-HaMR则能将单目序列提升至世界坐标系下的轨迹 [^15] [^16]。这些方法借助UniDepthV2等单目学习预测器来获取度量深度信息 [^17]，但这种深度尺度仅为先验值而非实际测量结果，且重投影项无法修正视线方向上的深度误差。常规检测器只能区分左手和右手，无法分辨佩戴者之手与旁观者之手，一旦有其他人的手出现，便会同时影响检测的精确度和召回率。遮挡问题依然棘手：在最为重要的接触阶段，物体、前臂和画面边缘会遮挡手部。 头部运动追踪也面临类似挑战。头戴式捕捉以旋转运动为主，因此关键帧间隔内的平移运动往往可忽略不计。ORB-SLAM3等视觉-惯性追踪器能通过惯性单元恢复度量尺度 [^18]，但需要连续关键帧间存在可用的基线；当旋转运动占主导时，尺度估计精度便会下降。COLMAP等离线结构从运动恢复算法能生成更精确的结果 [^19]，但无法单目观测尺度，且生成的轨迹其度量尺度具有任意性。 为应对这些挑战，我们提出了MEgoVista系统，该系统能够从非受限真实环境中拍摄的以自我为中心的视频中重建三维手部与头部的运动数据。与以往局限于预先准备的桌面或摄影棚环境的方法不同，我们的方法适用于日常工作任务中拍摄的视频素材。该系统能够解决多人场景中的歧义问题，无需依赖单目学习先验即可恢复精确的深度信息，能够处理多个操作阶段的遮挡问题，并且能在佩戴者转动或移动时保持稳定的头部追踪。我们在动作捕捉区域内验证了该系统的重建精度，结果显示其与独立度量基准之间的误差仅为毫米级。我们的贡献如下： 在非受限的真实环境中实现稳健的重建。该系统能够应对野外工作环境，而此类环境无法使用摄影棚设备或桌面装置。它解决了多人/多手场景中的歧义问题、遮挡鲁棒性问题以及以旋转为主的头部运动问题，从而在现有方法无法覆盖的场景中提供有效的监督信息。 --- - 卓越的捕捉规格与重建精度。我们的捕捉系统拥有比以往以自我为中心的系统更宽的视野范围，重建精度达到亚厘米级：头部轨迹的误差在0.65至2.83毫米之间，手指关节运动的误差为4.29毫米，这些数据均是通过与独立的动作捕捉基准对比得出的。 - 可靠的度量尺度与坐标系统。我们的系统能够恢复准确的度量尺度以及与重力对齐的坐标系，从而确保后续的操控策略接收到的手部轨迹是以物理单位表示的，而非任意坐标值。 ### 2. 相关工作 以自我为中心的手部重建。MANO将手部恢复转化为拟合问题[^7]，而单裁剪区域回归器能预测其参数，但缺乏度量深度且各帧之间无关联[^14] [^13]——它只是我们的初始化工具，并非竞争对手。HaWoR、Dyn-HaMR和HaPTIC将单目手部运动映射到世界坐标系下[^15] [^16] [^20]，它们产生的输出形态与我们类似；不过它们是利用提供手部数据的同一视频流来估计该坐标系，而我们则采用经过校准的硬件来获取这一信息。MS-MANO通过肌肉-肌腱模拟器来确定姿态，但该模拟器无法表示不可能的配置[^21] [^22]，而BioPR则学习类似的先验知识[^23]；我们通过可微屏障来近似这种效果。前馈几何模型简化了各个处理阶段[^24] [^25] [^26]，却移除了可以注入已知基准信息的环节。学习得到的深度、立体视觉及分割信息提供了逐帧的几何数据[^17] [^27] [^28] [^29]；我们仅将其用作初始化和门控依据，而不会完全依赖它们。 立体深度与多视图几何。基于UniDepthV2 [^17]和UniK3D [^27]等学习型预测器进行的单目深度估计能够为每个帧提供深度信息，但所得到的尺度只是先验值而非实际测量结果，且不同帧之间的尺度还会存在差异。立体视觉方法则能通过校准后的基线来恢复度量深度。传统的块匹配和半全局匹配等方法需要图像校正步骤，而这会扭曲图像边缘处的广角鱼眼视图——而人手恰好出现在这些区域。近期出现的FoundationStereo [^28]等学习型立体视觉方法可直接处理未经校正的视图，且能适配多种相机模型，因此非常适合用于头戴式设备中鱼眼相机与侧置相机构成的高汇聚度相机对。COLMAP [^19]等多视图几何框架以及通用相机模型 [^30] [^31]将刚性安装的相机视为具有已知相对位姿的单个传感器，既能减少漂移现象，又能通过固定基线实现尺度恢复。我们采用了这一约束条件，同时还将校准后的基线作为衡量标准，用以确定整个重建过程中的度量尺度。 运动跟踪。头戴式设备采集的数据以旋转运动为主，在关键帧间隔内平移运动往往可忽略不计，且视角为广角；相关文献中值得参考的部分在于其如何提供度量尺度。ORB-SLAM3可通过加速度信息获取尺度 [^18]，它也是我们最初构建MEgo View头部姿态模块时所采用的在线VIO流程，因此它既是本系统的前身，也是离线处理路径的对比基准——为了进行对比，我们对离线结果进行了完整序列的束调整以及每帧相机的重新配准，而非直接采用其原始的实时轨迹数据。离线处理流程的重建精度要高于在线跟踪器 [^19] [^32] [^33]，但单目方式无法观测到尺度；理论上，类似我们的固定尺度约束机制也可被纳入学习型先验循环 [^34] [^35]——DROID-SLAM便是表2中的第二个基准方法。将刚性安装的相机视为具有已知相对位姿的通用相机 [^31] [^30]，并采用鱼眼投影模型 [^36]，这正是我们头部模块的核心机制；相关文献也采用这一约束来减少漂移现象，而我们 additionally 还将校准后的基线作为衡量标准。 --- ![Image](images/0103e7233ea26ba68a86548b9708af4c5396dfc56c5ad5c08786031a91a8dc67.jpg)
Figure 1: The MEgoVista pipeline. A raw recording enters at the left. MEgoVista— generate the per-frame camera pose. HANDSTAGE— hand detection, MANO regression, multi-view depth estimation, full-batch bundle adjustment. Outputs at the right: head trajectory and hand trajectory.
### 3. MEgoVista #### 3.1. 硬件 所有数据均通过MEgo View $^{1}$采集，这是一款专为野外环境下采集人类操作行为而设计的定制头戴式设备。MEgo View搭载了鱼眼相机 [^36]，其宽广的视野与人眼双目视觉类似，下文将使用其中的三台相机：一台中央相机和一对已校准的立体相机。这些相机具有高分辨率和60帧/秒的帧率，能够实现对精细且快速的手部运动的跟踪；同时，内置的惯性测量单元（IMU）采样频率高达500赫兹，可有效提升相机位姿估计的精度。 #### 3.2. 手部重建 A. 自我感知的手部检测与初始化。在现实场景中的第一人称视频里，常常会出现来自佩戴者及周围人的多只可见手。因此，我们采用经过训练的全卷积检测器，来同时估算手部位置、归属关系以及左右手属性，从而能够直接区分佩戴者的左手和右手与其他可见手。随后，一个轻量级的跟踪器会进一步确保手部身份在时间上的稳定性，以及序列中边界框的一致性。被跟踪到的佩戴者手部区域会交由类似WiLoR [^13] 和 HaMeR [^14] 的模型处理，以在相机坐标系下获取每帧的MANO [^7] 姿态与形状估计值，这些值将作为后续度量重建与序列级优化的初始数据。 B. 三鱼眼虚拟平面度量深度估计。为应对头戴设备上鱼眼相机带来的挑战——即其广阔的视野范围、较大的基线距离以及安装姿态偏差——本文提出了一种基于三鱼眼相机系统的立体深度估计与融合方法。设备上的中央相机（MID）会形成两对基线较宽的立体像对：MID $\times$LEFT与MID $\times$RIGHT，而两侧的两台相机（LEFT与 --- RIGHT）。针对每一对像对，我们设计了宽基线下的共旋转校正方案：校正后的坐标系以基线方向作为其$e_1$轴，用以抵消相机间任意的三轴安装偏移；同时以两个光轴的角平分线作为其$e_3$轴，从而使共同视野在校正后的图像中居中。这种设计在保证行对齐的同时，最大限度地保留了有效视野。随后，这两对校正后的立体像对会被送入FoundationStereo [^28]网络进行处理，每张图像都会生成一张密集深度图，以及源自匹配概率体的逐像素置信度指标。这两张深度图会在MID视图的共同视野范围内进行仲裁与融合。最后，融合后的深度数据会通过KB鱼眼模型反向投影并解析性重投影到MID鱼眼像素网格上，最终得到与原始鱼眼图像像素对齐的密集深度图。 C. 全序列手部运动优化。每帧输出的手部姿态或许单独来看是合理的，但未必能在时间上保持一致：它们可能会出现抖动、深度漂移，或是呈现出真实手部无法达到的姿态。因此，我们需要对整段视频中的单一MANO轨迹进行优化，以满足三项互补的要求：与观测结果一致、3D运动连续，以及符合解剖学上的合理性。 在优化之前，我们会筛选出可靠且具信息量的观测数据，以防止有误差的每帧估计值干扰整个序列的轨迹。每一帧都会根据检测置信度、深度有效性与离散程度、关节分布、骨骼比例一致性以及左右手一致性等指标进行评估。不符合这些条件的观测数据会被排除在相应的优化项之外，而剩余的高质量观测数据则会被用来约束全序列优化过程。 目标函数据此进行组织： 1. 严格依据观测结果。$\mathcal{L}_{reproj}$ 代表二维关键点残差，该数值经过手部边界框面积归一化处理，如此一来，距离较远的手部仍能贡献有意义的数据，而不会被附近的手部所主导；$\mathcal{L}_{depth}$ 利用TriVP提供的度量深度估计值来约束手腕在相机坐标系中的深度，提供仅靠重投影无法可靠获取的深度约束；而 $\mathcal{L}_{pose}$ 则将手指姿态锚定到每帧的回归器上。 2. 在三维空间中保持连续性。二阶平滑项 $\mathcal{L}_{\text{smooth}}$ 作用于根部轨迹，而Huber项 $\mathcal{L}_{\text{wrootvel}}$ 和 $\mathcal{L}_{\text{wrootang}}$ 则抑制平移与旋转漂移现象，同时避免单一大幅运动主导残差结果。$\mathcal{L}_{\text{fingervel}}$ 进一步消除了单帧内的关节抖动现象。 3. 符合解剖学规律。可微分的 $C^1$ relu$^2$ 屏障相当于对标准MANO求解器施加的软性惩罚项，用以模拟MS-MANO [^21] 和BioPR [^23] 所明确建模的解剖学约束。具体而言，$\mathcal{L}_{\mathrm{rom}}$ 限制了单个关节的运动范围，$\mathcal{L}_{\mathrm{bend}}$ 在输出空间而非参数空间强制设定弯曲极限，而 $\mathcal{L}_\omega$ 则根据生理上合理的界限来限制角速度。 两只手会在整个视频片段中被联合优化，而非逐帧独立处理，从而能在重建后的度量世界坐标系中生成时间上连贯的MANO轨迹。 #### 3.3. 运动跟踪 MEgoVista几乎能在每一帧中恢复头部姿态，进而确定手部定位所基于的度量且重力对齐的世界坐标系（详见第3.2节）。头部转动幅度往往远大于其移动距离，且场景中并无米或垂直方向的参照物，因此每个物理量都由对应的测量工具来确定。 A. 受机械结构约束的增量式重建。这种微弱的平移信息不足以作为相机模型的可靠依据：若允许自由移动的捆绑调整过程，就会以牺牲校准精度为代价换取更低的计算成本。 --- 重投影误差。因此，该阵列实际上是一种通用相机 [^31] [^30]，图像通过共享解码索引形成具有单一头部姿态的相机组，三个鱼眼摄像头均遵循Kannala-Brandt模型 [^36]，且其校准参数固定不变。任务分工明确：惯性传感器能低成本地检测运动，因此陀螺仪旋转数据与加速度计能量值用于筛选关键帧，确保不会遗漏快速转动的场景；只有视觉系统才能判断候选帧是否具有信息价值，因此Lucas-Kanade跟踪算法会对比上一个已确认的关键帧，剔除跟踪效果差的帧以及静态帧。可见性判断同样基于该相机组布局，而非依赖忽略时间与相机阵列信息的顺序匹配算法：关键帧在每台相机内向前匹配，三个相机在共享时间戳下同步匹配，非关键帧则与相邻的已映射关键帧匹配，以便后续进行PnP计算。地图构建与定位工作也被拆分处理——由于足以覆盖每一帧的地图数据量过大，无法用于捆绑调整：仅有关键帧会进入增量式映射器 [^19]，其生成的地图会被冻结，随后仅通过基于姿态的PnP算法进行定位。 B. 校准立体度量初始化。缩放参数只能在初始化时设定，而显而易见的初始值并不包含它：系统自动选择的往往是近乎纯旋转的一对图像，其缩放误差可能高达数个数量级；同时，同一时刻的左右图像属于同一个采集装置帧，在广义相对位姿计算中会出现退化现象。因此需构建初始值：选取关键时间戳下的左右图像匹配点，利用已校准的外参通过DLT算法进行三角测量，再用Levenberg-Marquardt方法优化，从而得到基于真实基线的一个已配准的采集装置帧，以此作为后续处理的起点。可见缩放参数源自校准而非对齐过程——不过这一规则仅适用于初始值，由其衍生出的数据则允许出现偏差。 C. 事后惯性重力对齐。视觉重建结果没有天然的垂直方向参考，若通过视觉-惯性联合束调整来指定垂直方向，惯性漂移就会影响几何精度。因此惯性数据不参与优化过程，仅在视觉处理完成后才被读取：重力信息通过500 Hz的惯性数据流传递，加速度计的贡献会被 $\|a\| - g$ 加权降低，以减少剧烈运动带来的干扰；随后通过RTS滤波平滑处理，最终作为一个全局旋转参数应用到初始读数所对应的重力对齐坐标系中。 ### 4. 实验 后续内容的顺序即论证逻辑。4.1节完整说明实验设置与流程；4.2节先评估参考基准本身的精度，之后才基于该基准开展各项指标测试；4.3节和4.4节则分别针对两种输出结果与参考基准进行对比评分。 #### 4.1. 实验设置 数据集。每一段视频均由MEgo View以60帧/秒的速率录制，录制环境为配备26个摄像头的120 Hz Chingmu动作捕捉系统；采集装置正常佩戴且未安装额外传感器，并通过PTP协议与参考系统同步。参考系统可通过头戴设备外壳上的刚性标记簇获取6自由度头部位姿，通过厂商提供的每手15个标记的算法得到手部骨骼数据。 指标与对齐约定。由于对齐是度量定义的一部分而非事后补充，表1列出了各指标及其对应的约定：此处所有头部相关指标均采用手眼对齐方式，且缩放系数固定为1，因此无法与evo工具默认相似性拟合得到的ATE指标直接比较。 #### 4.2. 真值构建与验证 空间标定将两个系统统一在同一度量坐标系中。由标定架相机与头戴式标记簇的成对相对运动 $A_i$ 和 $B_i$，我们在内参固定下求解 $A_i X_{\mathrm{hc}} = X_{\mathrm{hc}} B_i$，得到恒定的簇到相机变换 $X_{\mathrm{hc}}$。在时刻 t，实测簇位姿与 $X_{\mathrm{hc}}$ 将每个运动捕捉点带入相机坐标系。标定采集与验证和评估相互独立，因此 $X_{\mathrm{hc}}$ 从未拟合过用于评分的那些手部预测。 ---
Table 1: Metrics, each with the alignment that defines it. Jitter and violation rate, are reference-free and unaligned. Fitted scale is reported beside every trajectory figure but is not an error metric. Bold marks the primary hand metric. not a best result.
MetricAligned byWhat it measures
PA-MPJPE-pProcrustes similarity: R, t, sPrimary. Finger articulation alone, with hand scale and wrist orientation removed
CT-pnoneabsolute camera-frame wrist position; the depth-sensitive metric
ATE RMSEhand-eye, scale fixed at 1per-frame head position residual; RPE@1 s is the same residual over a 1 s interval
Fitted scalesimilaritymetric gauge; not an error metric
![Image](images/0d9cfb3506a80ef6d4456329645170943ce00834ed563f299434c84410b71209.jpg)
(a) Held-out board poses.
![Image](images/cc04876d98b95d946f85b9e6cca00c67c8373bfc23af478876366fe0cadc96cb.jpg)
(b) Hand points before (red) and after (cyan) calibration.
Figure 2: Validation of the motion-capture-to-camera transform. Left: projected corners on held-out static and moving board frames; annotations are per-frame means. Right: projected hand points before (red) and after (cyan) calibration.
保留的投影验证可全面检验整个流程的准确性。标定板由动作捕捉系统跟踪，同时被采集装置拍摄，随后像手部参考数据一样进行坐标转换与投影。图2中的代表性帧显示：静态场景下平均误差为0.62–1.25像素，动态场景下为0.83–2.51像素。静态帧用于测试几何精度，动态帧还能检验PTP时间戳的对应关系。这些仅为单帧平均误差的示例，并非序列级别的统计结果。手部叠加图像也证实了校准结果可成功应用于任务场景。 剩余的限制在于已求解的手部参考模型。棋盘格重投影验证了刚性变换的准确性，但无法验证供应商提供的标记点至骨骼求解器。因此，第4.1节中的共享屏幕会排除以下观察到的故障特征：相对于手腕而言，帧间位移低于0.02毫米的手指冻结现象（正常情况为0.2–1.4毫米）；求解器输出值超过基准值6倍以上的异常情况；指尖与标记点间的距离超过40毫米（正常情况为10–20毫米）。该机制能捕捉到离散性故障，却无法检测求解器的缓慢漂移；任何残留的参考误差都会被归咎于所评估的流水线。 #### 4.3. 运动跟踪精度 如表2所示，ORB-SLAM3和MEgoVista在两次采集过程中对Chingmu参考模型的跟踪误差均控制在几毫米以内，且跟踪过程无中断，误差约为$0.2^{\circ}$。两种方法的表现并非始终占优：在第2次采集阶段，MEgoVista的精度更高（稳态误差分别为0.65毫米和0.92毫米）；而在第1次采集阶段，ORB-SLAM3的精度更优（分别为2.12毫米和2.83毫米）。去除每段数据的前5秒后，ORB-SLAM3的误差减少了1.15毫米，而MEgoVista仅减少0.04毫米。这种差异源于ORB-SLAM3所需的惯性初始化过程—— --- 这一过程在我们的离线重建中并未出现。这也说明了在生产环境中采用离线阶段的必要性：实际采集片段时长约为30秒，固定的初始化过渡阶段所占比例远大于本次评估中最长的片段（104.3秒）。 在第1次采集阶段，DROID-W [^37]和MASt3R-SLAM [^35]的鲁棒性明显较差，且表现出不同的故障模式。DROID-W在22个片段中有4个出现了严重的尺度偏差问题，恢复后的尺度范围为0.80–2.68倍，平均SE(3) ATE达到395毫米。在其余18个片段中，平均手眼ATE为26.18毫米，拟合尺度为0.86倍。MASt3R-SLAM在一个片段中丢失了跟踪信息，且在其余21个片段中均低估了尺度（0.23–0.66倍），导致平均手眼ATE高达121.59毫米。对于MEgoVista而言，第1次采集时的平均尺度偏差|s – 1|为0.0120，第2次采集时为0.0048，但拟合尺度并不能稳定预测片段级别的精度（相关系数分别为+0.30和-0.44）。 在时长相近的片段（约40秒）中，MEgoVista处理每个片段的平均时间为206.0秒，而DROID-W和MASt3R-SLAM分别需要627.5秒和715.4秒。在相同评估条件下，这意味着两者每个片段的处理时间分别缩短了约$3.0\times$和$3.5\times$。
Table 2: Head-trajectory accuracy against Chingmu 26-camera 120 Hz optical motion capture. Per-episode RMSE, averaged over episodes, hand-eye aligned per capture day (Table 1). ORB-SLAM3 rows score an offline-refined trajectory, not the raw online output (Section 4.1). Steady discards the first 5 s (not computed for DROID-W/MASt3R-SLAM, Session 1 only). DROID-W/MASt3R-SLAM rows exclude failure episodes; see Section 4.3. Fitted scale is not an error metric. Bold: lowest ATE per group.
SessionHead-pose sourcenWindowATE RMSE mmRotation degRPE@1s mm / degFitted scale
Session 1ORB-SLAM3 (refined)22full3.270.1843.77 / 0.2190.9923
22steady2.120.1542.64 / 0.1880.9945
DROID-W [^37] (clean, excl. 4/22)18full26.18—— / —0.8608
MASt3R-SLAM [^35] (excl. 1/22)21full121.59—— / —0.5268
MEgoVista (ours, offline)22full2.870.1583.66 / 0.1941.0118
22steady2.830.1603.67 / 0.1961.0117
Session 2ORB-SLAM3 (refined)20full1.000.2601.34 / 0.3081.0008
20steady0.920.2631.29 / 0.3171.0026
MEgoVista (ours, offline)20full0.750.2581.06 / 0.3070.9951
20steady0.650.2621.04 / 0.3160.9969
#### 4.4. 手部重建精度 如表3所示，MEgoVista在所有指标上的表现均优于所有开源基准模型。 在检测方面，MEgoVista的精确度、召回率和F1分数均达到1.00，在整个评估集中既不会出现漏检也不会产生幻觉性手部检测结果；相比之下，Dyn-HaMR在遮挡情况下频繁出现幻觉现象（尽管召回率满分，但精确度仅为0.73），HaWoR偶尔也会出现漏检或错误检测手部的情况（F1分数为0.98）。在考虑覆盖率的评估协议中，漏检会导致确定的占位符误差，完整的检测覆盖率也会直接提升后续的精度指标。 在3D姿态方面，MEgoVista将PA-MPJPE-p降低至4.29毫米，这一数值比表现最佳的基准模型HaWoR（16.30毫米）提升了70%，更是比Dyn-HaMR（49.18毫米）低了一个数量级。 在方向定位和位置精度方面，误差最为显著：EPE-P值从83.10像素（HaWoR）降至9.90像素（8.4倍缩放），CT-p值则从46.70降至14.30（减少69%）。这表明我们的方法能够更精确地还原手部的绝对位置，我们认为这得益于多视角深度估计所提供的显式几何深度约束。 --- ![Image](images/9c703820a53c2f3d1fc08978568926eb04601ff893ecae2efdfa69136067061e.jpg) ![Image](images/6d604931edaf6ca8424fe1976cc6ba086b36d0fdf1e6eed158dcb6d881857e7f.jpg) ![Image](images/28f8b621cd71c2d6c84995050e08529e7ff2533a3dfe883276e8b4812f765c68.jpg) ![Image](images/c42c4e33e237ba0b963bbecbf6a6e856057db6bfcee237c79bfc144d6146f9f4.jpg) ![Image](images/53fb00f5c566c7016f5c99653ba04d7124a76ed1cb77ec5f100806ad078a1dcd.jpg) ![Image](images/0415b35bd3c88af987b5c48e4df860752e64ed97b72f32914062a52981f83ac9.jpg) ![Image](images/0b8b696cfaae1e7e46a7785b00928d1e2afbb94882a4a0d8eef946df5ea41ece.jpg)
Dyn-HaMR
![Image](images/33507699c22e54140ccf23970084d9fe42db5d5a2604ff0def9b240746393b60.jpg) HaWoR ![Image](images/d9aea0f9fcd573edadd6dcdddd94469fa73f38ff7952aa5659b5ec3b8f9885a0.jpg) MEgoVista（我们的方法）
Figure 3: Qualitative comparison on in-the-wild recordings. Top: rapid hand motion; middle: interaction with a bystander's hand; bottom: soiled hands under fast motion. Baselines exhibit pose offsets (top, bottom) or misattribute the bystander's hand to the wearer (middle), while MEgoVista maintains tight alignment and correct hand identity throughout.
在时间平滑性方面，MEgoVista的抖动值仅为1.11毫米/帧 $^{2}$，这一数值比最平滑的基线方法（Dyn-HaMR，3.50）低3.2倍，更是比HaWoR低一个数量级（16.71），且无需进行任何测试时优化。值得注意的是，HaPTIC在我们的多人捕捉场景中完全无法正常工作——这在现实世界的头戴式设备应用中是一个极为严重的局限，因为旁观者在现实场景中十分常见。总体而言，这些结果证明MEgoVista在手部重建的完整度、准确性和稳定性方面均显著优于现有的开源方法。
Table 3: Comparison with open-source egocentric hand reconstruction methods against motion-capture ground truth. All methods are evaluated on identical segments of our motion-capture dataset. All baselines are re-run and rescored on our data. HaPTIC fails to produce valid output in our multi-person capture scenes. Bold marks the best result in each column.
MethodDetection3D PoseOrient. & PositionTemporal
Precision $\uparrow$Recall $\uparrow$F1 $\uparrow$PA-MPJPE-p $\downarrow$CT-p $\downarrow$EPE-P $\downarrow$Jitter $\downarrow$
Dyn-HaMR[^16]0.731.000.8449.18184.3896.423.50
HaWoR[^15]0.960.990.9816.3046.7083.1016.71
HaPTIC[^20]———————
MEgoVista (Ours)1.001.001.004.2914.309.901.11
--- #### 4.5. 实际场景中的定性结果 我们进一步在缺乏动作捕捉基准数据的真实场景录像上对MEgoVista进行了评估，通过投影的手部骨骼与实际手部之间的对齐情况来定性分析结果（见图3）。文中展示了三个具有代表性的挑战性场景。 (i) 手部快速运动（制作奶茶）：MEgoVista和Dyn-HaMR生成的手部骨骼均与手部对齐良好，而HaWoR在左手部位存在明显偏移；这与表3中其更高的抖动值（16.71对比1.11）相一致，因为逐帧不稳定性在快速运动下会直接表现为对齐偏差。 (ii) 与他人的手部互动（美甲场景）：当佩戴者的左手靠近并与旁观者的左手互动时，Dyn-HaMR和HaWoR都会将旁观者的手误认为是佩戴者的手，而MEgoVista能够正确区分两者身份，仅重建佩戴者的手部。这种失效模式解释了表3中Dyn-HaMR较低的检测精度（0.73）的原因，也印证了HaPTIC在多人场景中的彻底失效：区分佩戴者手部与旁观者手部仍是现有头戴式方法的未解难题。 (iii) 手部沾有污渍时的快速运动（清洗动物）：虽然MEgoVista和Dyn-HaMR都能成功检测到沾有污渍的手部，但HaWoR在左手部位存在轻微偏移，手腕位置也不够准确，这与定量比较中其更高的CT-p误差（46.70）相符。总体而言，定性结果与定量结论相互印证：MEgoVista能够实现更完整的手部检测、更紧密的图像平面对齐以及稳健的手部身份区分，在快速运动和多人干扰场景下优势最为明显。 ### 5. 结论 MEgoVista接收未经处理的以自我为中心的录制数据，输出同一世界坐标系下的度量双手运动数据和头部轨迹。与同类系统不同的是，它遵循严格的测量标准：所输出的这两项数据均通过26个摄像头的光学动作捕捉系统进行评估，评估过程中会统计漏检情况，并会对系统自身参考值进行校验，而非直接采纳该参考值。头部轨迹误差在0.65到2.83毫米之间，手指关节运动的PA-MPJPE-p误差约为5毫米——后者是那些刻意美化结果的报告会忽略的数据，却恰恰是使用者最需要的信息。这种测量方法的优势并不局限于该系统本身：在初始化阶段就确定度量基准，而非事后通过对齐来获取基准，这才是让测量结果具备意义的关键；而能反映该方法缺陷的指标是拟合缩放比例，而非对齐误差。至于要将精度提升至下一级毫米级是需要更优的估算器还是更精准的参考值，目前尚无定论，而第4.2节中的实验板捕捉数据正是用于验证这一问题的关键。 ## 参考文献 [^1]: Yifan Ye, Yankai Fu, Yaoxu Lv, Bohan Hou, Jun Cen, Lingdong Kong, and Shanghang Zhang. Data pyramid for embodied manipulation: A survey, 2026. arXiv preprint arXiv:2607.24744. [^2]: Kristen Grauman et al. Ego4D: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 18973–18990, 2022. doi: 10.1109/CVPR52688.2022.01842. ## [^3]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Evangelos Kazakos, Jian Ma, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for EPIC-KITCHENS-100. International Journal of Computer Vision, 130(1):33–55, 2022. doi: 10.1007/s11263-021-01531-2 --- [^4]: Kristen Grauman et al. Ego-Exo4D: Understanding skilled human activity from first- and third-person perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 19383–19400, 2024. doi: 10.1109/CVPR52733.2024.01834. [^5]: Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, and Jian Zhang. EgoDex: Learning dexterous manipulation from large-scale egocentric video. In International Conference on Learning Representations (ICLR), 2026. [^6]: Build AI. Egocentric-10k, 2025. URL . [^7]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6):245:1–245:17, 2017. doi: 10.1145/3130800.3130883. [^8]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J. Yoon, Ryan Hoque, Lars Paulsen, Ge Yang, Jian Zhang, Sha Yi, Guanya Shi, and Xiaolong Wang. Humanoid policy human policy, 2025. URL . [^9]: Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, Trevor Darrell, Furong Huang, Yuke Zhu, Danfei Xu, and Linxi Fan. Egoscale: Scaling dexterous manipulation with diverse egocentric human data, 2026. URL . [^10]: Qixiu Li, Yu Deng, Yaobo Liang, Lin Luo, Lei Zhou, Chengtang Yao, Lingqi Zeng, Zhiyuan Feng, Huizhi Liang, Sicheng Xu, Yizhong Zhang, Xi Chen, Hao Chen, Lily Sun, Dong Chen, Jiaolong Yang, and Baining Guo. Scalable vision-language-action model pretraining for robotic manipulation with real-life human activity videos, 2025. URL . [^11]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12943–12954, 2023. doi: 10.1109/CVPR52729.2023.01244. [^12]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, et al. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21064–21074, 2022. doi: 10.1109/CVPR52688.2022.02042. [^13]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. WiLoR: End-to-end 3D hand localization and reconstruction in-the-wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12242–12254, 2025. doi: 10.1109/CVPR52734.2025.01143. [^14]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9826–9836, 2024. doi: 10.1109/CVPR52733.2024.00938. ## [^15]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. HaWoR: World-space hand motion reconstruction from egocentric videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1805–1815, 2025. doi: 10.1109/CVPR52734.2025.00175 --- [^16]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dyn-HaMR: Recovering 4D interacting hand motion from a dynamic camera. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 27716–27726, 2025. doi: 10.1109/CVPR52734.2025.02581. [^17]: Luigi Piccinelli, Christos Sakaridis, Yung-Hsu Yang, Mattia Segù, Siyuan Li, Wim Abbeloos, and Luc Van Gool. UniDepthV2: Universal monocular metric depth estimation made simpler. IEEE Transactions on Pattern Analysis and Machine Intelligence, 48:2354–2367, 2026. doi: 10.1109/TPAMI.2025.3628473. [^18]: Carlos Campos, Richard Elvira, Juan J. Gómez Rodríguez, José M. M. Montiel, and Juan D. Tardós. ORB-SLAM3: An accurate open-source library for visual, visual-inertial, and multimap SLAM. IEEE Transactions on Robotics, 37(6):1874–1890, 2021. doi: 10.1109/TRO.2021.3075644. [^19]: Johannes L. Schönberger and Jan-Michael Frahm. Structure-from-motion revisited. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 4104–4113, 2016. doi: 10.1109/CVPR.2016.445. [^20]: Yufei Ye, Yao Feng, Omid Taheri, Haiwen Feng, Shubham Tulsiani, and Michael J. Black. Predicting 4D hand trajectory from monocular videos, 2025. arXiv preprint arXiv:2501.08329. [^21]: Pengfei Xie, Wenqiang Xu, Tutian Tang, Zhenjun Yu, and Cewu Lu. MS-MANO: Enabling hand pose tracking with biomechanical constraints. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 2382–2392, 2024. doi: 10.1109/CVPR52733.2024.00231. [^22]: Soshi Shimada, Vladislav Golyanik, Weipeng Xu, and Christian Theobalt. PhysCap: Physically plausible monocular 3D motion capture in real time. ACM Transactions on Graphics, 39(6):235:1–235:16, 2020. doi: 10.1145/3414685.3417877. [^23]: Tao Du et al. BioPR: Biomechanically plausible hand pose regression. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023. [^24]: Shuzhe Wang, Vincent Leroy, Yohann Cabon, Boris Chidlovskii, and Jérôme Revaud. DUSt3R: Geometric 3D vision made easy. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 20697–20709, 2024. doi: 10.1109/CVPR52733.2024.01956. [^25]: Vincent Leroy, Yohann Cabon, and Jérôme Revaud. Grounding image matching in 3D with MASt3R. In Proceedings of the European Conference on Computer Vision (ECCV), pages 71–91, 2024. doi: 10.1007/978-3-031-73220-1_5. [^26]: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, and David Novotny. VGGT: Visual geometry grounded transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5294–5306, 2025. doi: 10.1109/CVPR52734.2025.00499. [^27]: Luigi Piccinelli, Christos Sakaridis, Mattia Segù, Yung-Hsu Yang, Siyuan Li, Wim Abbeloos, and Luc Van Gool. UniK3D: Universal camera monocular 3D estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1028–1039, 2025. doi: 10.1109/CVPR52734.2025.00104. ## [^28]: Bowen Wen, Matthew Trepte, Joseph Aribido, Jan Kautz, Orazio Gallo, and Stan Birchfield. FoundationStereo: Zero-shot stereo matching. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5249–5260, 2025. doi: 10.1109/CVPR52734.2025.00495 --- [^29]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, et al. SAM 2: Segment anything in images and videos. In International Conference on Learning Representations (ICLR), 2025. [^30]: Robert Pless. Using many cameras as one. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 587–593, 2003. doi: 10.1109/CVPR.2003.1211520. [^31]: Johannes L. Schönberger. Robust Methods for Accurate and Efficient 3D Modeling from Unstructured Imagery. PhD thesis, ETH Zürich, 2018. [^32]: Linfei Pan, Dániel Baráth, Marc Pollefeys, and Johannes L. Schönberger. Global structure-from-motion revisited. In Proceedings of the European Conference on Computer Vision (ECCV), pages 58–77, 2024. doi: 10.1007/978-3-031-73661-2_4. [^33]: Zhengqi Li, Richard Tucker, Forrester Cole, Qianqian Wang, Linyi Jin, Vickie Ye, Angjoo Kanazawa, Aleksander Holynski, and Noah Snavely. MegaSaM: Accurate, fast and robust structure and motion from casual dynamic videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10486–10496, 2025. doi: 10.1109/CVPR52734.2025.00981. [^34]: Zachary Teed and Jia Deng. DROID-SLAM: Deep visual SLAM for monocular, stereo, and RGB-D cameras. In Advances in Neural Information Processing Systems (NeurIPS), pages 16558–16569, 2021. [^35]: Riku Murai, Eric Dexheimer, and Andrew J. Davison. MASt3R-SLAM: Real-time dense SLAM with 3D reconstruction priors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 16695–16705, 2025. doi: 10.1109/CVPR52734.2025.01556. [^36]: Juho Kannala and Sami S. Brandt. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(8):1335–1340, 2006. doi: 10.1109/TPAMI.2006.153. [^37]: Moyang Li, Zihan Zhu, Marc Pollefeys, and Daniel Barath. Droid-slam in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026.