# MINT：基于可扩展自我中心式流水线监督的世界空间相机与手部运动估计统一模型

朱子杰 $^{1,3,4}$、蔡伟仁 $^{3}$、王一舟 $^{1,3}$、杨振杰 $^{4}$、刘一德 $^{3,5}$、陈嘉豪 $^{3,*}$、何冠奇 $^{2,3,*}$

![Image](images/00f1789fbd041e20afb5ad3be7a19e0734d92cfe5b8fc73c0e5c3e7842190294.jpg)

![Image](images/50a1238be82af018ec97b29c526d128f1fbb43cd225f6d4b87ae5dc01b5e6e64.jpg)

<div style="text-align: center;">Fig. 1. MINT converts ordinary egocentric video into world-space motion supervision, and MINT recovers that motion with a single feed-forward model. Top: EgoPIPELINE labels 1,021 hours of public egocentric video drawn from Ego4D [^8], EPIC-KITCHENS [^4] and EgoDex [^10] (center) with camera trajectories and bimanual MANO [^21] states; each pair shows an input frame and the recovered hands reprojected onto it. Bottom: trained on that supervision, without any data from the evaluation domains, MINT transfers zero-shot to unseen domains.</div>

摘要—从自我中心的视频中恢复世界坐标系下的相机与手部运动是活动理解、机器人学习和增强现实的关键能力。现有系统通常将这一问题拆解为相机运动、深度估计、手部重建和轨迹优化等独立阶段，这会带来巨大的计算开销，且无法对相机与手部运动进行联合建模。我们提出了MINT（Minting IN-the-Wild Trajectories），一种基于自我中心RGB视频的世界空间手部运动重建基础模型。MINT从单一的时空视频表征中，共同预测相机轨迹、视场角（FoV）、相机坐标系下的手部状态以及每帧的手部可见性，再通过显式的坐标变换生成世界空间下的手部运动。大规模训练此类模型颇具挑战性，因为成对的相机与手部世界空间标注数据十分稀缺。因此，我们开发了开源标注工具EgoPipeline，可将大量公开的自我中心视频转化为结构化的相机与手部轨迹监督数据。MINT首先利用这些大规模伪标签进行预训练，随后在少量高质量的相机与手部标注数据上进行微调。在公开基准测试中，MINT即便未在训练阶段接触过这些基准数据，也能达到最先进的精度：在HOT3D数据集上，双手法部重建的帧准确率为0.945，PA-MPJPE-p为13.646毫米，EPE-p为55.058像素；相机轨迹的RPE-T为4.690毫米，RPE-R为0.284°；其端到端运行速度比用于监督它的标注流水线快3.67倍。我们发布了该模型、训练与推理代码、标注流水线，以及一个时长达1021小时的精心整理的自我中心轨迹数据集。

索引词—自我中心视频；世界空间手部重建；相机轨迹；流水线摊销；跨域泛化

## I. 引言

自我中心视频记录了丰富的人体运动与手物交互信息，恢复其世界空间运动能为具身人工智能训练提供重要的运动监督数据[^14]，包括机器人模仿学习[^11]。然而，精准的世界空间监督数据依然十分稀缺。获取此类监督数据通常需要专门的传感器、精确的校准、同步的设备或高昂的运动重建成本，因此很难从公开可用的自我中心视频中获取大规模、高质量的世界空间监督数据。

现有的重建方法将自我中心运动拆解为手部检测、运动重建和相机轨迹估计等独立模块。这类流水线能够恢复单个序列，但通常需要复杂的优化流程和大量的工程工作。手部估计依赖检测器，在严重遮挡情况下容易失效；级联重建过程中的误差会在各阶段传递[^28]、[^34]，且不同任务间难以共享表征。与此同时，大规模3D重建模型为相机与手部运动的联合建模提供了基础。其预训练过程能够捕捉长距离的时间对应关系、相机运动……

---

我们将物体、动作以及场景几何信息整合到统一的时空表示中。因此，我们想探讨这种统一的几何表示是否能够同时支持相机和手部运动的重建。

我们提出了MINT，这是一个用于从以自我为中心的RGB视频中恢复世界空间相机和双手运动的统一模型。MINT将预训练的几何重建模型适配到以自我为中心的数据上，能够从共享的表示中预测相机外参、水平和垂直视场角、左右手的MANO $^{[21]}$ 状态，以及每帧的手部可观测性。该模型无需外部手部检测器、运动填充器或测试时优化，也无需密集深度图或点云图作为中间数据。对于每一个32帧的窗口，所有输出结果都可通过一次编码器前向传播获得；通过串联重叠的窗口即可处理任意长度的视频（见第IV-B节），从而实现统一的运动重建。

现实世界中的以自我为中心的视频包含多样化的场景和手部运动，但缺乏准确的世界空间手部监督数据。因此，我们构建了EgoPIPELINE，用以从普通视频中大规模生成运动监督数据。我们将来自Ego4D [^8]、EPIC-KITCHENS [^4] 和 EgoDex [^10] 的1729小时视频处理为1021小时的世界空间相机和手部运动监督数据（见图1）。由于这类监督数据中的相机轨迹继承了单目重建的尺度模糊性问题 [^36]，我们引入了第二阶段训练：仅使用高精度设备采集的人类以自我为中心数据集来适配相机模块。伪标签提供了广泛的覆盖范围，而该数据集则提供了精确的绝对尺度信息。

HOT3D [^1] 和 ARCTIC [^7] 均未被纳入训练数据，因此二者均在零样本设置下进行评估。在HOT3D数据集上，MINT在我们报告的所有九项指标上均接近最先进的精度水平，与在该基准数据集上训练的模型表现相近。在相机轨迹估计方面，MINT在ARCTIC数据集上取得了最低的相对平移误差。

## 我们的贡献如下：

- 统一的以自我为中心重建。MINT能够从统一的时空几何表示中共同恢复相机状态、视场角、双手状态以及手部可观测性。每个32帧的窗口仅需一次编码器前向传播，无需检测器、运动填充器或测试时优化。

- 可扩展的以自我为中心数据生产。EgoPIPELINE能将大规模普通以自我为中心视频转化为结构化的世界空间运动监督数据，将广泛且自动重建的数据与少量精确的几何监督数据相结合。

- 大规模结构化以自我为中心数据。我们提供包含相机轨迹、双手状态、世界空间运动、手部可观测性以及动作描述的大规模重建以自我为中心运动语料库。

### II. 相关工作

### A. 以自我为中心的视频理解

大规模以自我为中心的视频数据集，包括Ego4D [^8]、EPIC-KITCHENS [^4]、Ego-Exo4D [^9]和EgoDex [^10]，为从多样化的现实世界活动中学习人类动作及视觉-语言表征提供了重要资源。ViTRA [^14]进一步证明了大规模真实人类视频在预训练中的价值——这类视频涵盖了多种任务、物体和环境，能够提升零样本动作预测能力。从此类视频中提取3D手部运动监督信息通常需要多个步骤，包括相机校准、深度估计、视觉SLAM、手部重建以及轨迹处理，由此形成一条复杂的数据生产流程，需要投入大量工程精力进行优化与部署。

### B. 基于视频的手部姿态估计

MANO [^21]提供了一种从图像到手部姿态和形状的通用低维参数化方法。单目手部重建方法主要通过从RGB输入中估计MANO [^21]参数来恢复手部姿态和形状。HaMeR [^18]利用经过大规模训练数据预训练的ViT模型，以提升对真实世界图像的泛化能力；而WiLoR [^19]则将手部定位与3D重建相结合，用于单帧手部状态估计 [^25]。基于视频的方法进一步引入了时序建模机制。Dyn-HaMR [^37]结合了双手交互运动先验 [^6]与测试时优化技术；HaWoR [^39]则整合了相机坐标系下的手部估计、以自我为中心的SLAM轨迹估计，以及基于单目度量深度的运动填补技术 [^36]。ViDiHand [^33]利用预训练视频扩散模型的时空先验，无需显式的检测器或测试时优化即可同时估计手部存在情况及时序稳定的3D手部姿态，且重建出的手部状态仍位于相机坐标系中。

这些方法所使用的3D监督信息主要来源于专用传感系统和实验室环境下的采集，包括DexYCB [^2]采用的多深度相机装置、HOT3D [^1]采用的头戴式系统，以及ARCTIC [^7]采用的多视角标记点动作捕捉系统。这些系统虽能提供精确的3D标注，但依赖专门的采集设备，对手部运动、物体交互及现实场景的覆盖程度有限。以自我为中心的身体与手部估计同样面临此类监督信息不足的问题 [^35]。

### C. 前馈式3D重建

相机与场景重建技术正逐渐从逐视频优化的模式转向学习到的前馈式估计 [^12]、[^27]。DROID-SLAM [^24]将深度网络与可微优化相结合，以联合估计相机姿态与密集几何结构；MegaSaM [^13]则将学习到的几何表征融入SLAM框架，适用于动态及随意拍摄的视频。

近期的前馈式方法可直接从图像或视频中预测相机与场景几何信息 [^29]、[^40]。VGGT [^32]

---

![Image](images/8981b65a7145cb10a9bbaff9c5d07726d670b50211aaa9441751dfb02882967a.jpg)

<div style="text-align: center;">Fig. 2. Overview of EgoPIPELINE. Egocentric videos are first pre-filtered by hand detection. The retained clips are then processed by GeoCalib for camera intrinsics, MoGe-2 for monocular depth, MegaSaM for camera pose, and HaWoR for bimanual hand reconstruction. A final post-processing stage stabilizes the recovered trajectories and composes the camera-frame hand states with the camera trajectory to produce world-space bimanual motion supervision.</div>

该方法利用跨视图注意力机制，从多帧图像中估计相机参数和密集几何信息；而 $\pi^{3}$ [^31] 则采用排列等变建模方法来预测仿射不变的相机姿态以及尺度不变的局部点云图。LingBot-Map [^3] 通过将历史观测数据聚合为时空几何表示，将前馈重建技术扩展到长视频流场景，从而能够连续估计长序列中的相机轨迹和场景几何结构。这些研究确立了基于长视频序列的几何重建前馈范式。我们的工作进一步将该范式拓展到以自我为中心的手部重建领域，通过联合建模相机与双手运动，在统一的世界坐标系下恢复时间上连贯的3D手部运动。

### III. EgoPipeline结构化监督机制

现有的以自我为中心的手部重建及手-物体交互数据集大多是在受控环境中采集的，且任务设定固定，因此所涵盖的双手交互多样性和真实世界条件有限 [^1], [^2], [^7]。相比之下，公开可用的第一人称视频涵盖了多种多样的活动、物体、环境和交互场景。为了利用这种多样性来开展大规模3D运动学习，我们收集了长达1,729小时的以自我为中心的视频资料，内容涉及日常开放式活动、桌面的精细双手操作以及厨房中的结构化交互场景。这些视频包含了在受控采集环境下难以复现的视觉与运动变化，如复杂的背景、动态的物体交互、严重的手部遮挡、手部尺度变化以及光照条件的差异。

To extract 3D motion supervision from these videos, we develop a first-person video processing pipeline inspired by the data construction paradigm of ViTRA [^14], illustrated in Fig. 2. We first compress and encode the videos for improved I/O throughput and use high-confidence YOLO detections to filter clips with no detected hands for more than 1 s or more than two detected hands. For the remaining clips, we estimate camera intrinsics with GeoCalib [^26], undistort the frames, and inject the monocular metric depth prior [^36] from MoGe-2 [^30] into MegaSaM [^13] or DROID-SLAM [^24] to recover metric-scale camera trajectories. In parallel, HaWoR [^39] reconstruct both hands and estimates per-frame motion states in the camera coordinate system, with each hand represented by a 6D wrist pose and MANO [^21] parameters. We then combine the camera-space hand states with the recovered camera trajectory to obtain world-space bimanual motion.

由于HaWoR依赖基于YOLO的手部检测结果，因此可能会出现重建失败或检测间断的情况，进而导致轨迹出现异常、突变或短暂缺失。为此，我们采用统一的后处理流程，包括异常值剔除、缺失区间插值以及UKF时序滤波，以稳定恢复出的轨迹并提供更可靠的运动监督信号。最终，我们构建了时长达1,021小时、包含世界坐标系下3D双手运动监督的有效数据集。

尽管该流程能够实现大规模监督数据的生成，但它需要调用多个异构模型来完成手部检测、相机校准、深度估计、SLAM以及手部重建等任务。这种设计不仅带来了巨大的计算与工程开销，而且不同模块产生的误差也会相互传递。

---

![Image](images/747afba1f759abc5cb7fc468db3de72cde5eb8d2181b7466bb7b3bd47e2bd79a.jpg)

<div style="text-align: center;">Fig. 3. Architecture of MINT. Each window of 32 egocentric frames is encoded at  $378 \times 518$ by a DINOv2 ViT-L/14 patch embedding, and the resulting frame tokens are processed by the spatiotemporal geometric aggregator of GCT, which alternates frame attention and global attention so that every frame of the window is encoded with bidirectional temporal context. The unified visual-geometric features carry camera, register, scale, and patch tokens, and feed four prediction heads for camera extrinsics, field of view, bimanual MANO parameters, and hand observability. Composing the predicted camera trajectory with the camera-frame hand states yields world-space bimanual reconstruction.</div>

各个阶段可能会贯穿整个重建过程。因此，我们提出了MINT——一种统一的前馈自我中心3D重建框架，它可以直接从视频中联合建模相机和双手运动。MINT能够学习它们耦合的几何关系，并在同一世界坐标系下预测相机和手部运动。

### 四、方法

### A. 概述

单目手部重建旨在从自我中心视频中恢复3D手部姿态和运动。现有方法通常依赖手部检测、相机跟踪、手部拟合和后处理这一流程，这需要大量的工程工作量，各阶段会累积误差，还会限制整体处理吞吐量。因此，我们利用预训练的几何上下文变换器（GCT）——LingBot-Map [^3] 的几何编码器，该模型专为从视频中进行长距离3D重建而训练，以此学习用于手部重建的统一视觉-几何表征。GCT通过单次双向时空传递对一段窗口内的帧进行编码，四个任务头可分别回归相机外参、视场角（FoV）、双手的MANO参数以及手部可观测性，如图3所示。MINT仅需一个前馈模型就能从自我中心视频中恢复世界坐标系下的相机和双手运动，无需手部检测器、运动填充器或测试时优化。一个窗口内的数据可一次性处理，对于长度超过窗口的视频，则按照第IV-B节所述的方式通过串联窗口来处理。

我们采用两阶段的训练策略。第一阶段，在各类自我中心数据集上联合训练视觉-几何表征和任务头，以建立耦合的相机和手部重建能力。第二阶段，在保留已学到的几何表征和手部重建能力的前提下，仅针对小型内部数据集调整相机外参头，该数据集中的相机轨迹是通过高精度设备采集的。这种循序渐进的训练方式将长距离3D重建先验迁移到自我中心手部运动恢复任务中，同时使相机估计能力专门适配精确的世界空间标注需求。

### B. 基于视觉几何的骨干网络

自我中心视频将关节化的手部运动、手-物体接触、相机自身运动以及周围的3D布局交织在同一数据流中，其中任何一项都无法从单个帧中完全还原。为了获取时间上一致的几何特征，MINT采用了LingBot-Map [^3] 中预训练的几何上下文变换器（GCT）——一种基于视觉几何的变换器 [^32]，将其作为共享的时空几何编码器，这与成对重建骨干网络 [^12]、[^27] 不同。在广泛场景上的重建训练让该模型建立了关于场景结构、视角变化和轨迹一致性的稳健几何先验，而且它对视频序列中特征的综合处理方式，比为无序图像集设计的模型更能匹配自我中心记录的时间输入特性。

a) 几何特征提取：我们保留了原有的视觉编码器和几何聚合器，以便继承这些预训练的先验知识。每帧图像会被缩放至 $378 \times 518$，然后由ViT-L/14编码器进行编码——该编码器初始化自DINOv2 [^17]，且与聚合器共同预训练，最终生成999个维度为1024的标记。每个帧前会预先添加1个相机标记、4个注册标记和1个尺度标记，这样帧级的全局量就能被存储在专门的槽位中。随后序列会在帧注意力和全局注意力之间交替处理。

 $$ \begin{array}{r}{\mathbf{X}_{1:T}^{l}=G_{\mathrm{g l o b a l}}^{l}\left(G_{\mathrm{f r a m e}}^{l}(\mathbf{X}_{1:T}^{l-1})\right),}\end{array} $$

---

其中，帧模块用于建模单张图像内的空间结构，而全局模块则沿时间维度传播几何上下文，从而能够借助跨帧证据而非单帧视觉线索来推断自身运动。来自不同深度的特征会被聚合为共享的预测特征，第IV-C节中描述的相机和双手头部模型可通过同一前向传播过程读取这些特征。

b) 长序列推理：GCT的全局注意力机制作用于固定长度的视频片段，其训练时的帧数T设为32，因此若要将注意力机制应用于完整视频，计算量和内存占用会随序列长度增加而上升。所以我们会将任意长度的视频分割成重叠的滑动窗口。每个窗口由同一个共享网络独立编码，相邻窗口的相机轨迹会在SE(3)空间中对齐并串联起来，两个窗口共有的帧的手部参数和可观测性得分也会被融合。这种设计将单次前向传播的计算量限制在一个固定窗口内，同时使总计算成本与视频长度呈近似线性关系，从而支持对长序列进行连续的几何估计。

### C. 预测头

通过大规模几何重建预训练，GCT获得了关于场景几何、视角变化和时序运动的强大先验，其提取的特征能够编码场景结构、视角变化以及跨帧运动信息。然而，这些通用的几何特征并不能直接给出手部重建所需的结构化状态。与刚性的场景几何不同，以自我为中心的手部重建需要同时恢复腕部姿态、关节运动以及手部形状，同时还要应对手部与物体交互过程中的遮挡和部分不可观测情况。因此我们在这些几何特征的基础上引入了专门的手部和相机预测头，将其映射为结构化的双手MANO [^21] 状态和相机状态。手部状态是在相机坐标系中恢复的，并通过可微分的相机到世界变换与相机运动相耦合，同时手部可观测性头会抑制来自部分可见手部的不可靠监督信号。

对于每只手 $s \in \{L, R\}$，我们将其状态参数化如下：

 $$ \begin{array}{r}{\hat{h}_{t,s}=[\hat{\mathbf{\Lambda}}_{t,s},\hat{\mathbf{\Gamma}}_{t,s},\hat{\mathbf{\Theta}}_{t,s},\hat{\mathbf{\beta}}_{t,s}]\in\mathbb{R}^{109},}\end{array} $$

其中 $\Lambda$、$\Gamma$、$\Theta$ 和 $\beta$ 分别对应腕部平移、腕部旋转、15个关节旋转以及手部形状。所有旋转均采用六维连续表示，因此每帧中两只手共包含218个手部参数。

相机状态被参数化为：

 $$ \hat{c}_{t}=[\hat{t}_{t},\hat{q}_{t},\hat{f}_{t}]\in\mathbb{R}^{9}, $$

包括相机平移 $t_{t}$、采用世界到相机约定的单位四元数 $q_{t}$（对应的旋转矩阵为 $R_{t}$），以及垂直和水平视场角 $f_{t}$。

a) 结构化手部运动预测：以自我为中心的手部运动遵循结构化的运动学模型，仅靠逐帧特征不足以可靠地恢复完整的MANO状态，尤其是在快速运动和频繁遮挡的情况下。因此我们直接从时空几何特征中解码出双手的结构化状态。

每只手对应四个可学习的查询，分别对应于腕部平移、腕部旋转、关节旋转和手部形状。设 $X_{t}$ 表示第t帧的最终层时空令牌。每个查询都会通过这些令牌进行交互：

 $$ \begin{array}{r}{Q_{t,k}^{s}=\mathrm{C r o s s A t t n}(q_{k}^{s},X_{t},X_{t}),\quad k\in\{\Lambda,\Gamma,\Theta,\beta\}.}\end{array} $$

得到的四个特征会被共同映射为MANO状态。

仅靠逐帧解码并不能保证时间一致性，因为快速运动与遮挡会导致相邻帧之间出现不连续现象。因此，我们依据先前的预测结果来生成手部查询，并执行两次细化迭代。第一次迭代用于预测绝对旋转角度，后续迭代则预测当前局部坐标系下的有界轴角增量：

 $$ \tilde{\omega}=\frac{\omega}{\|\omega\|}\omega_{\max}\tanh\left(\frac{\|\omega\|}{\omega_{\max}}\right),\qquad\omega_{\max}=30^{\circ}. $$

随后，更新量会按照 $R^{(k+1)} = R^{(k)} \exp([\tilde{\omega}^{(k)}]_\times)$ 的方式应用，并映射回连续的六维表示形式。残差层被初始化为零，这使得细化模块在训练初期表现为恒等映射。

b) 相机状态与手-相机几何耦合：手部状态是在相机坐标系中恢复的，而最终的手部运动必须用统一的世界坐标系来表示。因此，相机状态既决定了相机的运动，也决定了手部轨迹向世界空间的映射关系。

我们采用了LingBot-Map [^3] 相机模组，它通过迭代细化来预测相机姿态。先前预测的结果会被嵌入，并通过自适应层归一化注入到因果时序主干中，进而预测当前的更新量。我们保留了四次细化迭代，同时将视野范围从反馈路径中移除，从而将迭代状态维度从九维降至七维。

视野范围由独立的分支进行预测：

 $$ \begin{array}{r}{\hat{\boldsymbol f}_{t}=\mathrm{S o f t p l u s}\big(H_{\mathrm{F o V}}(\boldsymbol X_{t}^{\mathrm{c a m}})\big),}\end{array} $$

在此过程中，相机标记首先被投影到512维空间，再经过两个时序块的处理。预测得到的外部参数与视野范围随后会在公式(3)中被拼接成相机状态。

设 $p_{t,s}^{c}$ 和 $Q_{t,s}^{c}$ 分别表示相机坐标系中手部s的腕部平移向量与旋转矩阵。它们会被映射到世界坐标系中：

 $$ \boldsymbol{p}_{t,s}^{w}=\boldsymbol{R}_{t}^{\top}(\boldsymbol{p}_{t,s}^{c}-\boldsymbol{t}_{t}),\quad\boldsymbol{Q}_{t,s}^{w}=\boldsymbol{R}_{t}^{\top}\boldsymbol{Q}_{t,s}^{c}. $$

在此变换下，关节旋转与手部形状保持不变。由于该变换具有可微性，世界坐标系下的损失函数能够同时约束相机与手部的预测结果，从而明确地将二者的几何关系关联起来。

---

<div style="text-align: center;">Table 1. Main comparison on the ARCTIC and HOT3D datasets. Best result per column in bold. ↑/↓ indicate the direction of improvement. MPJPE-p and PA-MPJPE-p are in mm, EPE-p in px, GO-p in degrees, CT-p in m and Jitter in mm/frame $^{2}$. MINT is evaluated in a zero-shot setting.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2"></td><td rowspan="2">Method</td><td colspan="3">Detection</td><td colspan="2">3D Pose</td><td colspan="3">Orient. &amp; Position</td><td style='text-align: center; word-wrap: break-word;'>Temporal</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FAcc $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Recall $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>F1 $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>EPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>GO-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CT-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Jitter $\downarrow$</td></tr><tr><td rowspan="8">ARCTIC</td><td style='text-align: center; word-wrap: break-word;'>InterWild [^16]</td><td style='text-align: center; word-wrap: break-word;'>0.878</td><td style='text-align: center; word-wrap: break-word;'>0.943</td><td style='text-align: center; word-wrap: break-word;'>0.959</td><td style='text-align: center; word-wrap: break-word;'>30.817</td><td style='text-align: center; word-wrap: break-word;'>15.952</td><td style='text-align: center; word-wrap: break-word;'>53.888</td><td style='text-align: center; word-wrap: break-word;'>25.386</td><td style='text-align: center; word-wrap: break-word;'>0.097</td><td style='text-align: center; word-wrap: break-word;'>46.577</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR [^18]</td><td style='text-align: center; word-wrap: break-word;'>0.875</td><td style='text-align: center; word-wrap: break-word;'>0.943</td><td style='text-align: center; word-wrap: break-word;'>0.957</td><td style='text-align: center; word-wrap: break-word;'>29.197</td><td style='text-align: center; word-wrap: break-word;'>14.596</td><td style='text-align: center; word-wrap: break-word;'>65.289</td><td style='text-align: center; word-wrap: break-word;'>24.907</td><td style='text-align: center; word-wrap: break-word;'>0.095</td><td style='text-align: center; word-wrap: break-word;'>18.279</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hamba [^5]</td><td style='text-align: center; word-wrap: break-word;'>0.833</td><td style='text-align: center; word-wrap: break-word;'>0.912</td><td style='text-align: center; word-wrap: break-word;'>0.941</td><td style='text-align: center; word-wrap: break-word;'>31.233</td><td style='text-align: center; word-wrap: break-word;'>17.168</td><td style='text-align: center; word-wrap: break-word;'>87.047</td><td style='text-align: center; word-wrap: break-word;'>27.822</td><td style='text-align: center; word-wrap: break-word;'>0.110</td><td style='text-align: center; word-wrap: break-word;'>15.357</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WildHands [^20]</td><td style='text-align: center; word-wrap: break-word;'>0.879</td><td style='text-align: center; word-wrap: break-word;'>0.946</td><td style='text-align: center; word-wrap: break-word;'>0.960</td><td style='text-align: center; word-wrap: break-word;'>25.704</td><td style='text-align: center; word-wrap: break-word;'>13.941</td><td style='text-align: center; word-wrap: break-word;'>50.517</td><td style='text-align: center; word-wrap: break-word;'>22.320</td><td style='text-align: center; word-wrap: break-word;'>0.058</td><td style='text-align: center; word-wrap: break-word;'>12.972</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OmniHands [^15]</td><td style='text-align: center; word-wrap: break-word;'>0.866</td><td style='text-align: center; word-wrap: break-word;'>0.949</td><td style='text-align: center; word-wrap: break-word;'>0.954</td><td style='text-align: center; word-wrap: break-word;'>29.674</td><td style='text-align: center; word-wrap: break-word;'>14.203</td><td style='text-align: center; word-wrap: break-word;'>51.505</td><td style='text-align: center; word-wrap: break-word;'>24.580</td><td style='text-align: center; word-wrap: break-word;'>0.087</td><td style='text-align: center; word-wrap: break-word;'>45.312</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR [^19]</td><td style='text-align: center; word-wrap: break-word;'>0.919</td><td style='text-align: center; word-wrap: break-word;'>0.951</td><td style='text-align: center; word-wrap: break-word;'>0.974</td><td style='text-align: center; word-wrap: break-word;'>22.012</td><td style='text-align: center; word-wrap: break-word;'>11.873</td><td style='text-align: center; word-wrap: break-word;'>71.527</td><td style='text-align: center; word-wrap: break-word;'>17.358</td><td style='text-align: center; word-wrap: break-word;'>0.075</td><td style='text-align: center; word-wrap: break-word;'>24.091</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dyn-HaMR [^37]</td><td style='text-align: center; word-wrap: break-word;'>0.842</td><td style='text-align: center; word-wrap: break-word;'>0.918</td><td style='text-align: center; word-wrap: break-word;'>0.951</td><td style='text-align: center; word-wrap: break-word;'>27.904</td><td style='text-align: center; word-wrap: break-word;'>17.017</td><td style='text-align: center; word-wrap: break-word;'>85.723</td><td style='text-align: center; word-wrap: break-word;'>25.951</td><td style='text-align: center; word-wrap: break-word;'>0.121</td><td style='text-align: center; word-wrap: break-word;'>12.840</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR [^39]</td><td style='text-align: center; word-wrap: break-word;'>0.700</td><td style='text-align: center; word-wrap: break-word;'>0.817</td><td style='text-align: center; word-wrap: break-word;'>0.895</td><td style='text-align: center; word-wrap: break-word;'>45.357</td><td style='text-align: center; word-wrap: break-word;'>26.375</td><td style='text-align: center; word-wrap: break-word;'>158.062</td><td style='text-align: center; word-wrap: break-word;'>43.325</td><td style='text-align: center; word-wrap: break-word;'>0.149</td><td style='text-align: center; word-wrap: break-word;'>19.789</td></tr><tr><td rowspan="10">HOT3D</td><td style='text-align: center; word-wrap: break-word;'>MINT</td><td style='text-align: center; word-wrap: break-word;'>0.918</td><td style='text-align: center; word-wrap: break-word;'>0.957</td><td style='text-align: center; word-wrap: break-word;'>0.978</td><td style='text-align: center; word-wrap: break-word;'>26.527</td><td style='text-align: center; word-wrap: break-word;'>15.961</td><td style='text-align: center; word-wrap: break-word;'>55.038</td><td style='text-align: center; word-wrap: break-word;'>19.332</td><td style='text-align: center; word-wrap: break-word;'>0.069</td><td style='text-align: center; word-wrap: break-word;'>12.959</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MINT + UKF</td><td style='text-align: center; word-wrap: break-word;'>0.918</td><td style='text-align: center; word-wrap: break-word;'>0.957</td><td style='text-align: center; word-wrap: break-word;'>0.978</td><td style='text-align: center; word-wrap: break-word;'>26.568</td><td style='text-align: center; word-wrap: break-word;'>15.955</td><td style='text-align: center; word-wrap: break-word;'>54.997</td><td style='text-align: center; word-wrap: break-word;'>19.353</td><td style='text-align: center; word-wrap: break-word;'>0.069</td><td style='text-align: center; word-wrap: break-word;'>2.621</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InterWild [^16]</td><td style='text-align: center; word-wrap: break-word;'>0.669</td><td style='text-align: center; word-wrap: break-word;'>0.881</td><td style='text-align: center; word-wrap: break-word;'>0.868</td><td style='text-align: center; word-wrap: break-word;'>77.168</td><td style='text-align: center; word-wrap: break-word;'>24.811</td><td style='text-align: center; word-wrap: break-word;'>71.482</td><td style='text-align: center; word-wrap: break-word;'>58.501</td><td style='text-align: center; word-wrap: break-word;'>0.213</td><td style='text-align: center; word-wrap: break-word;'>101.164</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaMeR [^18]</td><td style='text-align: center; word-wrap: break-word;'>0.692</td><td style='text-align: center; word-wrap: break-word;'>0.904</td><td style='text-align: center; word-wrap: break-word;'>0.883</td><td style='text-align: center; word-wrap: break-word;'>68.314</td><td style='text-align: center; word-wrap: break-word;'>21.455</td><td style='text-align: center; word-wrap: break-word;'>59.077</td><td style='text-align: center; word-wrap: break-word;'>49.636</td><td style='text-align: center; word-wrap: break-word;'>0.102</td><td style='text-align: center; word-wrap: break-word;'>23.632</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Hamba [^5]</td><td style='text-align: center; word-wrap: break-word;'>0.632</td><td style='text-align: center; word-wrap: break-word;'>0.828</td><td style='text-align: center; word-wrap: break-word;'>0.853</td><td style='text-align: center; word-wrap: break-word;'>71.732</td><td style='text-align: center; word-wrap: break-word;'>29.620</td><td style='text-align: center; word-wrap: break-word;'>107.625</td><td style='text-align: center; word-wrap: break-word;'>56.525</td><td style='text-align: center; word-wrap: break-word;'>0.128</td><td style='text-align: center; word-wrap: break-word;'>18.507</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WildHands [^20]</td><td style='text-align: center; word-wrap: break-word;'>0.655</td><td style='text-align: center; word-wrap: break-word;'>0.863</td><td style='text-align: center; word-wrap: break-word;'>0.844</td><td style='text-align: center; word-wrap: break-word;'>52.791</td><td style='text-align: center; word-wrap: break-word;'>28.946</td><td style='text-align: center; word-wrap: break-word;'>111.438</td><td style='text-align: center; word-wrap: break-word;'>53.933</td><td style='text-align: center; word-wrap: break-word;'>0.157</td><td style='text-align: center; word-wrap: break-word;'>22.885</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OmniHands [^15]</td><td style='text-align: center; word-wrap: break-word;'>0.649</td><td style='text-align: center; word-wrap: break-word;'>0.895</td><td style='text-align: center; word-wrap: break-word;'>0.868</td><td style='text-align: center; word-wrap: break-word;'>63.281</td><td style='text-align: center; word-wrap: break-word;'>22.682</td><td style='text-align: center; word-wrap: break-word;'>68.437</td><td style='text-align: center; word-wrap: break-word;'>49.120</td><td style='text-align: center; word-wrap: break-word;'>0.133</td><td style='text-align: center; word-wrap: break-word;'>69.510</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>WiLoR [^19]</td><td style='text-align: center; word-wrap: break-word;'>0.827</td><td style='text-align: center; word-wrap: break-word;'>0.897</td><td style='text-align: center; word-wrap: break-word;'>0.937</td><td style='text-align: center; word-wrap: break-word;'>30.966</td><td style='text-align: center; word-wrap: break-word;'>19.980</td><td style='text-align: center; word-wrap: break-word;'>72.978</td><td style='text-align: center; word-wrap: break-word;'>25.746</td><td style='text-align: center; word-wrap: break-word;'>0.098</td><td style='text-align: center; word-wrap: break-word;'>17.976</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dyn-HaMR [^37]</td><td style='text-align: center; word-wrap: break-word;'>0.614</td><td style='text-align: center; word-wrap: break-word;'>0.811</td><td style='text-align: center; word-wrap: break-word;'>0.802</td><td style='text-align: center; word-wrap: break-word;'>74.214</td><td style='text-align: center; word-wrap: break-word;'>38.201</td><td style='text-align: center; word-wrap: break-word;'>171.617</td><td style='text-align: center; word-wrap: break-word;'>43.851</td><td style='text-align: center; word-wrap: break-word;'>0.571</td><td style='text-align: center; word-wrap: break-word;'>44.942</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR [^39]</td><td style='text-align: center; word-wrap: break-word;'>0.348</td><td style='text-align: center; word-wrap: break-word;'>0.499</td><td style='text-align: center; word-wrap: break-word;'>0.654</td><td style='text-align: center; word-wrap: break-word;'>71.396</td><td style='text-align: center; word-wrap: break-word;'>66.031</td><td style='text-align: center; word-wrap: break-word;'>327.294</td><td style='text-align: center; word-wrap: break-word;'>79.350</td><td style='text-align: center; word-wrap: break-word;'>0.262</td><td style='text-align: center; word-wrap: break-word;'>23.872</td></tr><tr><td rowspan="2">MINT</td><td style='text-align: center; word-wrap: break-word;'>MINT + UKF</td><td style='text-align: center; word-wrap: break-word;'>0.945</td><td style='text-align: center; word-wrap: break-word;'>0.983</td><td style='text-align: center; word-wrap: break-word;'>0.953</td><td style='text-align: center; word-wrap: break-word;'>29.926</td><td style='text-align: center; word-wrap: break-word;'>13.656</td><td style='text-align: center; word-wrap: break-word;'>55.117</td><td style='text-align: center; word-wrap: break-word;'>21.099</td><td style='text-align: center; word-wrap: break-word;'>0.196</td><td style='text-align: center; word-wrap: break-word;'>12.057</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MINT + UKF</td><td style='text-align: center; word-wrap: break-word;'>0.945</td><td style='text-align: center; word-wrap: break-word;'>0.983</td><td style='text-align: center; word-wrap: break-word;'>0.953</td><td style='text-align: center; word-wrap: break-word;'>29.918</td><td style='text-align: center; word-wrap: break-word;'>13.646</td><td style='text-align: center; word-wrap: break-word;'>55.058</td><td style='text-align: center; word-wrap: break-word;'>21.091</td><td style='text-align: center; word-wrap: break-word;'>0.196</td><td style='text-align: center; word-wrap: break-word;'>2.373</td></tr></table>

c) 手部可观测性：在第一人称视频中，手部常常会受到物体交互、自身遮挡以及图像边界截断的影响，导致某些帧无法提供可靠的几何监督信息。因此，我们引入了一个轻量级的手部可观测性模块，用于判断当前帧中的手部是否能提供可靠的监督信号。

对于每只手而言，可学习的查询向量会与当前帧的图像块标记进行交叉注意力计算。这些标记会被投影到256维空间，随后该模块会预测左手与右手的可观测性对数概率 $\hat{z}_{t,L}$ 和 $\hat{z}_{t,R}$。对应的概率值 $\hat{a}_{t,s}$ 决定了该手部是否会对手部重建损失及世界坐标系下的损失做出贡献。

### D. 训练目标

这套第一人称重建流程能够从大规模视频中提取高质量的手部运动数据，包括腕部轨迹、关节运动以及手-物交互信息，涵盖了多种任务、场景与动作类型。这些数据为学习第一人称视频中的手部运动及几何关系提供了大规模的监督信息。

不过，相应的相机轨迹通常依赖于单目深度和SLAM技术。虽然单目SLAM能够很好地捕捉帧与帧之间的相对运动，但其尺度模糊性可能会在绝对轨迹尺度上引入系统性误差。因此我们采用两个训练阶段：第一阶段从大规模且多样化的数据中学习稳定的手-相机几何关系；第二阶段则利用高精度设备采集的相机运动数据来修正剩余的尺度和绝对位姿误差。

a) 第一阶段：学习手-相机耦合几何关系：第一阶段并不直接拟合绝对精确的相机轨迹，而是利用大规模自我中心数据中的丰富手部运动监督信息来学习稳定的手-相机几何关系。为了提升在不同任务、动作和场景下的泛化能力，我们从Ego4D [^8]、EgoDex [^10]以及EPIC-KITCHENS [^4]中选取场景和动作多样性高的片段，并用LingBot-Map [^3]预训练的GCT来初始化几何编码器。

我们联合优化四个目标：相机运动损失$\mathcal{L}_{\mathrm{cam}}$、双手法MANO损失$\mathcal{L}_{\mathrm{mano}}$、手部可观测性损失$\mathcal{L}_{\mathrm{obs}}$以及世界坐标系一致性损失$\mathcal{L}_{\mathrm{world}}$：

 $$ \mathcal{L}_{\mathrm{s t a g e1}}=\lambda_{\mathrm{c a m}}\mathcal{L}_{\mathrm{c a m}}+\lambda_{\mathrm{m a n o}}\mathcal{L}_{\mathrm{m a n o}}+\lambda_{\mathrm{o b s}}\mathcal{L}_{\mathrm{o b s}}+\lambda_{\mathrm{w o r l d}}\mathcal{L}_{\mathrm{w o r l d}}. $$

通过公式(7)中的可微变换，世界坐标系损失会同时约束相机和手部的预测结果，从而让可靠的手部运动监督信息能够用于确定二者的几何关系。

视场角和相机轨迹由不同的分支分别预测，这样既能保留预训练的视场角估计能力，又能避免相机轨迹适配过程对其产生干扰。

b) 第二阶段：相机轨迹修正：第一阶段建立了稳定的手-相机几何关系，但单目SLAM仍可能在绝对尺度和位姿上留下误差。因此我们采用第二阶段，利用高精度设备采集的相机轨迹来进行修正。

我们冻结已学习的几何编码器、手部模型、可观测性模块以及视场角模块，仅对相机轨迹预测进行优化。优化目标包含平移项$\mathcal{L}_{t}$、旋转项$\mathcal{L}_{R}$以及时间一致性项$\mathcal{L}_{temp}$：

 $$ \mathcal{L}_{\mathrm{s t a g e2}}=\lambda_{t}\mathcal{L}_{t}+\lambda_{R}\mathcal{L}_{R}+\lambda_{\mathrm{t e m p}}\mathcal{L}_{\mathrm{t e m p}}. $$

由于第一阶段已经确立了手部重建和手-相机几何关系，因此少量高精度相机轨迹数据就足以修正绝对尺度和位姿，同时还能保留已学到的手部运动、手-相机几何关系以及视场角估计能力。

---

### V. 实验

### A. 实验设置

数据集。第一阶段使用第III节中生成的1,021小时的EgoPIPELINE输出数据，这些数据中没有手动标注的手部信息，也没有真实的相机位姿标签。第二阶段仅在单个设备采集的小型内部数据集上单独训练相机分支，所用相机轨迹由该设备提供；此阶段不使用手部监督信息。两个阶段均未涉及HOT3D [^1]或ARCTIC [^7]数据集，因此下文的所有结果均为零样本测试结果。

指标。标准的手部姿态指标通常仅评估成功匹配的手部，因此并未考虑漏检情况。我们采用了一种顾及覆盖率的评估方式：对漏检的手部予以惩罚，而非将其排除在姿态评估之外 [^33]，同时按照所测量的内容对指标进行分类。检测指标包括帧准确率（FAcc）、召回率和F1值。相机坐标系下的手部重建指标包括用于衡量3D关节姿态的MPJPE-p和PA-MPJPE-p、用于衡量投影后2D关键点误差的EPE-p、用于衡量手腕方向的GO-p以及用于衡量手部位置的CT-p，所有指标均基于顾及覆盖率的协议计算得出。对于相机轨迹，我们报告用于衡量相对运动精度的RPE-T和RPE-R，以及用于衡量尺度偏差的弧长比。轨迹评估是在完整序列上进行的，且与 $SE(3)$ 对齐，不进行尺度拟合，因此报告的误差保留了模型自行恢复的量纲。RPE按序列以均方根误差形式计算，并以平均值和中位数汇总。时间质量通过相机的RPE和手部的抖动程度来评估。RPE对MINT尤为重要，因为该模型是基于帧间运动增量训练的，因此它直接反映了局部运动的一致性。

实现细节。MINT在$378 \times 518$分辨率下以32帧的片段进行训练，采用AdamW优化器并启用BF16混合精度。第一阶段中，预训练骨干网络、相机与视场头模块、手部及可观测性头模块的学习率分别为$5 \times 10^{-5}$、$1 \times 10^{-4}$和$5 \times 10^{-4}$，有效批大小为1。第二阶段中，聚合器、视场头模块以及手部与可观测性头模块被冻结，仅以$5 \times 10^{-5}$的学习率优化相机头模块，有效批大小变为4。两个阶段均采用0.05的权重衰减系数，并经过2000步的预热。

### B. 相机坐标系下的手部

检测与姿态。MINT能在每一帧上预测双手姿态，并给出明确的可观测性评分，而非依赖外部检测器；正是这一特性使得MINT在中心视觉遮挡场景下仍能可靠地定位手部（表1）。在HOT3D数据集上，MINT将帧准确率从最强基线的0.827提升至0.945，召回率从0.904提升至0.983，因此未检测到手部的帧占比从约六分之一降至二十分之一。在ARCTIC数据集上，MINT的召回率和F1值在所有方法中均名列前茅。

在姿态精度方面，MINT在两个零样本基准测试中的表现都十分出色。在ARCTIC数据集上，其性能略逊于WiLoR [^19]……

<div style="text-align: center;">Table 2. World-frame camera trajectory results on the HOT3D [^1] and ARCTIC [^7] validation sets. All sequences are evaluated over their full trajectories using  $SE(3)$-only alignment without scale fitting, while the trajectory arc-length ratio measures scale consistency. MINT w/o stage 2 never sees metric ground truth.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="2">RPE-T $\downarrow$ (mm)</td><td colspan="2">RPE-R $\downarrow$ (deg)</td><td style='text-align: center; word-wrap: break-word;'>Arc len.</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>mean</td><td style='text-align: center; word-wrap: break-word;'>med.</td><td style='text-align: center; word-wrap: break-word;'>mean</td><td style='text-align: center; word-wrap: break-word;'>med.</td><td style='text-align: center; word-wrap: break-word;'>ratio $\rightarrow$ 1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DROID-SLAM [^24]</td><td style='text-align: center; word-wrap: break-word;'>5.362</td><td style='text-align: center; word-wrap: break-word;'>3.524</td><td style='text-align: center; word-wrap: break-word;'>0.227</td><td style='text-align: center; word-wrap: break-word;'>0.146</td><td style='text-align: center; word-wrap: break-word;'>0.778</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InfiniteVGGT [^38]</td><td style='text-align: center; word-wrap: break-word;'>13.524</td><td style='text-align: center; word-wrap: break-word;'>9.673</td><td style='text-align: center; word-wrap: break-word;'>1.492</td><td style='text-align: center; word-wrap: break-word;'>0.392</td><td style='text-align: center; word-wrap: break-word;'>0.556</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LingBot-Map [^3]</td><td style='text-align: center; word-wrap: break-word;'>7.566</td><td style='text-align: center; word-wrap: break-word;'>6.185</td><td style='text-align: center; word-wrap: break-word;'>0.684</td><td style='text-align: center; word-wrap: break-word;'>0.253</td><td style='text-align: center; word-wrap: break-word;'>0.712</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MegaSaM [^13]</td><td style='text-align: center; word-wrap: break-word;'>3.187</td><td style='text-align: center; word-wrap: break-word;'>2.134</td><td style='text-align: center; word-wrap: break-word;'>0.082</td><td style='text-align: center; word-wrap: break-word;'>0.063</td><td style='text-align: center; word-wrap: break-word;'>0.716</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MINT w/o stage 2</td><td style='text-align: center; word-wrap: break-word;'>8.752</td><td style='text-align: center; word-wrap: break-word;'>8.371</td><td style='text-align: center; word-wrap: break-word;'>0.234</td><td style='text-align: center; word-wrap: break-word;'>0.229</td><td style='text-align: center; word-wrap: break-word;'>0.466</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MINT</td><td style='text-align: center; word-wrap: break-word;'>4.694</td><td style='text-align: center; word-wrap: break-word;'>4.783</td><td style='text-align: center; word-wrap: break-word;'>0.284</td><td style='text-align: center; word-wrap: break-word;'>0.259</td><td style='text-align: center; word-wrap: break-word;'>1.094</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DROID-SLAM [^24]</td><td style='text-align: center; word-wrap: break-word;'>33.845</td><td style='text-align: center; word-wrap: break-word;'>14.256</td><td style='text-align: center; word-wrap: break-word;'>1.006</td><td style='text-align: center; word-wrap: break-word;'>0.423</td><td style='text-align: center; word-wrap: break-word;'>0.964</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>InfiniteVGGT [^38]</td><td style='text-align: center; word-wrap: break-word;'>16.215</td><td style='text-align: center; word-wrap: break-word;'>12.637</td><td style='text-align: center; word-wrap: break-word;'>1.265</td><td style='text-align: center; word-wrap: break-word;'>0.655</td><td style='text-align: center; word-wrap: break-word;'>0.284</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LingBot-Map [^3]</td><td style='text-align: center; word-wrap: break-word;'>9.171</td><td style='text-align: center; word-wrap: break-word;'>8.472</td><td style='text-align: center; word-wrap: break-word;'>0.980</td><td style='text-align: center; word-wrap: break-word;'>0.717</td><td style='text-align: center; word-wrap: break-word;'>0.591</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MegaSaM [^13]</td><td style='text-align: center; word-wrap: break-word;'>8.738</td><td style='text-align: center; word-wrap: break-word;'>5.581</td><td style='text-align: center; word-wrap: break-word;'>0.779</td><td style='text-align: center; word-wrap: break-word;'>0.725</td><td style='text-align: center; word-wrap: break-word;'>1.956</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MINT w/o stage 2</td><td style='text-align: center; word-wrap: break-word;'>3.536</td><td style='text-align: center; word-wrap: break-word;'>3.624</td><td style='text-align: center; word-wrap: break-word;'>0.251</td><td style='text-align: center; word-wrap: break-word;'>0.243</td><td style='text-align: center; word-wrap: break-word;'>0.755</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MINT</td><td style='text-align: center; word-wrap: break-word;'>3.392</td><td style='text-align: center; word-wrap: break-word;'>3.372</td><td style='text-align: center; word-wrap: break-word;'>0.256</td><td style='text-align: center; word-wrap: break-word;'>0.251</td><td style='text-align: center; word-wrap: break-word;'>1.412</td></tr></table>

毫米级指标方面表现优异，而EPE-p仅比最佳结果相差几个像素；在HOT3D数据集上，MINT在所有姿态测量指标上均为最佳，MPJPE-p达到29.918毫米，PA-MPJPE-p为13.646毫米，EPE-p为55.058像素，GO-p为21.091°。因此，MINT在两个基准测试中都保持了稳定的性能，展现出强大的跨基准泛化能力。

HOT3D上的低EPE-p值表明图像空间的定位十分准确，而ARCTIC上的CT-p为0.069米，HOT3D上为0.196米。这些结果表明，残余平移误差主要源于沿视线方向的度量深度估计误差，而非图像空间定位问题。

时间平滑性。以自我为中心的手部轨迹通常会通过学习到的运动先验[^6]、[^34]或在测试时优化来保持稳定，但这两种方式都会增加推理成本；而MINT无需借助它们即可在ARCTIC数据集上达到12.959的抖动值，与最平滑的基线方法相当，在HOT3D数据集上的抖动值也仅为12.057，在所有方法中名列前茅。这种双向时空编码器会在每一帧中将其与相邻帧进行对齐，而非事后对独立估计出的序列进行平滑处理。第III节中介绍的UKF在推理阶段应用时，能使抖动值分别降至2.621和2.373，在这两个基准测试中均实现了近五倍的降幅。因此，平滑性本身就是学习到的表征所具有的特性，滤波器只需在此基础上进一步优化，而不会干扰恢复出的几何结构。

### C. 相机轨迹

在相机轨迹任务中（表2），MINT将ARCTIC数据集上的相对平移误差降低了一半以上，从最强基线方法的8.730毫米降至3.390毫米；在HOT3D数据集上，该方法无需微调就能达到4.690毫米的误差水平，仅次于MegaSaM。绝对误差方面，专用系统仍占据优势，因为基于32帧窗口的前馈处理既没有闭环机制也没有全局优化步骤，因此会在整个序列中累积漂移误差。

第二阶段作用于尺度而非形状。若缺少这一阶段，模型在HOT3D数据集上的弧长比仅为0.466

---

<div style="text-align: center;">Table 3. Backbone initialization on ARCTIC [^7], for camera-frame hands and for the camera trajectory. Units follow Table 1; RPE-T is in mm, RPE-R in degrees and the arc-length ratio is best at 1. Best per column in bold.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'></td><td colspan="6">Camera-frame hands</td><td colspan="6">Camera trajectory</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Init.</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>EPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>GO-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CT-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Jitter $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RPE-T mean $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RPE-T med. $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RPE-R mean $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RPE-R med. $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Arc len.</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Random</td><td style='text-align: center; word-wrap: break-word;'>48.045</td><td style='text-align: center; word-wrap: break-word;'>26.869</td><td style='text-align: center; word-wrap: break-word;'>82.356</td><td style='text-align: center; word-wrap: break-word;'>24.562</td><td style='text-align: center; word-wrap: break-word;'>0.198</td><td style='text-align: center; word-wrap: break-word;'>18.758</td><td style='text-align: center; word-wrap: break-word;'>6.130</td><td style='text-align: center; word-wrap: break-word;'>6.280</td><td style='text-align: center; word-wrap: break-word;'>0.846</td><td style='text-align: center; word-wrap: break-word;'>0.850</td><td style='text-align: center; word-wrap: break-word;'>1.201</td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>LingBot-Map [^3]</td><td style='text-align: center; word-wrap: break-word;'>26.527</td><td style='text-align: center; word-wrap: break-word;'>15.961</td><td style='text-align: center; word-wrap: break-word;'>55.038</td><td style='text-align: center; word-wrap: break-word;'>19.332</td><td style='text-align: center; word-wrap: break-word;'>0.069</td><td style='text-align: center; word-wrap: break-word;'>12.959</td><td style='text-align: center; word-wrap: break-word;'>3.390</td><td style='text-align: center; word-wrap: break-word;'>3.370</td><td style='text-align: center; word-wrap: break-word;'>0.256</td><td style='text-align: center; word-wrap: break-word;'>0.251</td><td style='text-align: center; word-wrap: break-word;'>1.412</td><td style='text-align: center; word-wrap: break-word;'></td></tr></table>

<div style="text-align: center;">Table 4. Data mixture for camera-frame hand reconstruction on ARCTIC [^7]; only the source composition changes. EPIC-KITCHENS [^4] and the single-rig in-house corpus appear only within the mixture.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Sources</td><td style='text-align: center; word-wrap: break-word;'>MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>EPE-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>GO-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>CT-p $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>Jitter $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego4D only</td><td style='text-align: center; word-wrap: break-word;'>49.594</td><td style='text-align: center; word-wrap: break-word;'>26.230</td><td style='text-align: center; word-wrap: break-word;'>64.449</td><td style='text-align: center; word-wrap: break-word;'>23.134</td><td style='text-align: center; word-wrap: break-word;'>0.142</td><td style='text-align: center; word-wrap: break-word;'>9.642</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoDex only</td><td style='text-align: center; word-wrap: break-word;'>48.222</td><td style='text-align: center; word-wrap: break-word;'>25.675</td><td style='text-align: center; word-wrap: break-word;'>56.772</td><td style='text-align: center; word-wrap: break-word;'>24.102</td><td style='text-align: center; word-wrap: break-word;'>0.097</td><td style='text-align: center; word-wrap: break-word;'>15.783</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Full mixture</td><td style='text-align: center; word-wrap: break-word;'>26.527</td><td style='text-align: center; word-wrap: break-word;'>15.961</td><td style='text-align: center; word-wrap: break-word;'>55.038</td><td style='text-align: center; word-wrap: break-word;'>19.332</td><td style='text-align: center; word-wrap: break-word;'>0.069</td><td style='text-align: center; word-wrap: break-word;'>12.959</td></tr></table>

在HOT3D数据集上，如此一来恢复出的路径长度还不到真实路径的一半，这正是那些尺度源自单目深度的伪标签的特征。第二阶段将该比例提升至1.094，并将RPE-T从8.750毫米改善为4.690毫米。在ARCTIC数据集上，同样的校正操作却有些过头，导致该比例从0.755升至1.412，使得恢复出的路径长度超过了真实路径，不过RPE-T仍从3.530毫米优化至3.390毫米。因此，第二阶段消除了HOT3D数据集中占主导地位的系统性尺度不足问题，代价是在运动本身已接近实际尺度的基准测试中出现了一定程度的尺度过大现象。

### D. 消融实验

数据混合。表4仅改变数据源构成，并在ARCTIC数据集上评估相机帧中的手部重建效果。在两种单一数据源中，EgoDex[^10]能更精确地重建手部，其MPJPE-p达到48.222毫米，EPE-p为56.772像素，CT-p为0.097米；而Ego4D[^8]仅在手腕方向和平滑性指标上表现更优。混合数据源在六个指标中有五个表现最佳，使MPJPE-p降至26.527毫米，CT-p降至0.069米。由于零样本迁移是我们的目标，因此我们基于这种混合数据训练模型——它涵盖了基准测试中所出现的各种视角、运动和内在特性，而非局限于某一数据源的采集条件。

初始化。表3将LingBot-Map[^3]骨干网络替换为随机初始化，其余设置保持不变。在相机帧手部重建任务中，预训练的骨干网络在每个指标上均表现更优，尤其在EPE-p指标上最为明显，该数值从82.356像素降至55.038像素，CT-p指标也缩减了一半以上。相机轨迹任务的结果同样如此：相对平移误差从6.130毫米降至3.390毫米，相对旋转误差从$0.846^\circ$变为$0.256^\circ$。因此，几何预训练为手部与相机模块提供了所需的对应关系及场景结构基础。

我们在$512 \times 384$和30帧/秒的条件下评估推理效率。MINT仅需一次双向时空处理即可编码每个视频窗口。在单个GPU上，其每帧延迟为72.4毫秒，相比之下，HaWoR[^39]的延迟为105.1毫秒，VITRA[^14]则高达1260.0毫秒。

### E. 推理吞吐量

<div style="text-align: center;">Table 5. Inference efficiency comparison under identical conditions. VITRA [^14] is reproduced for reference.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>Time (ms/fr.) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>fps $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>Speedup $\uparrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>One GPU</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VITRA [^14]</td><td style='text-align: center; word-wrap: break-word;'>1260.0</td><td style='text-align: center; word-wrap: break-word;'>0.8</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HaWoR [^39]</td><td style='text-align: center; word-wrap: break-word;'>105.1</td><td style='text-align: center; word-wrap: break-word;'>9.5</td><td style='text-align: center; word-wrap: break-word;'>12.0 $\times$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MINT</td><td style='text-align: center; word-wrap: break-word;'>72.4</td><td style='text-align: center; word-wrap: break-word;'>13.8</td><td style='text-align: center; word-wrap: break-word;'>17.4 $\times$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Four GPUs</td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td><td style='text-align: center; word-wrap: break-word;'></td></tr><tr><td style='text-align: center; word-wrap: break-word;'>VITRA [^14]</td><td style='text-align: center; word-wrap: break-word;'>283.3</td><td style='text-align: center; word-wrap: break-word;'>3.5</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EGOPIPELINE</td><td style='text-align: center; word-wrap: break-word;'>83.4</td><td style='text-align: center; word-wrap: break-word;'>12.0</td><td style='text-align: center; word-wrap: break-word;'>3.4 $\times$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>MINT</td><td style='text-align: center; word-wrap: break-word;'>22.7</td><td style='text-align: center; word-wrap: break-word;'>44.1</td><td style='text-align: center; word-wrap: break-word;'>12.5 $\times$</td></tr></table>

由于各窗口相互独立，扩展的以自我为中心的记录允许在GPU上并行处理而无需窗口间协调，从而将每帧平均延迟降低至22.7毫秒。尽管EgoPIPELINE将原本串行的流程并行化，但它仍保留固定的阶段间依赖关系，其中最慢的阶段限制了其可达到的吞吐量，因此每帧需要83.4毫秒。相比之下，MINT相较于EgoPIPELINE实现了$3.67\times$的端到端加速效果，相较于我们的VITRA复现版本（需283.3毫秒）则实现了$12.5\times$的加速。

### 六、结论

我们提出了MINT，这是一种统一的前馈模型，能够从以自我为中心的视频中恢复世界坐标系下的相机与双手运动信息。其训练数据中没有任何人工标注的手部标签。MINT基于EgoPIPELINE从公开可用的以自我为中心视频中自动提取的1,021小时运动监督数据进行训练；第二阶段则利用内部小数据集中的设备采集的相机轨迹来校正绝对尺度。最终得到的模型能够迁移到未见过的领域，在相机坐标系下的手部重建和相机轨迹估计任务上均表现出具有竞争力的零样本性能。这些结果表明，从公共视频中自动重构的运动监督数据足以用于学习泛化的以自我为中心的运动重建模型。

a) 局限性与未来工作：MINT仍会受到监督流程中单目重建所带来的尺度漂移的影响，且32帧的训练窗口会导致长时程漂移问题无法被消除。未来的工作将探索更精确、更多样的度量监督方式，以减少尺度误差并改善长距轨迹重建效果。

## 参考文献

[^1]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 7061–7071, 2025.

## [^2]: Yu-Wei Chao, Wei Yang, Yu Xiang, et al. Dexycb: A benchmark for capturing hand grasping of objects. In 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9040–9049, 2021

---

[^3]: Lin-Zhuo Chen, Jian Gao, Yihang Chen, et al. Geometric context transformer for streaming 3d reconstruction. arXiv preprint arXiv:2604.14141, 2026.

[^4]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, et al. Scaling egocentric vision: the dataset. In European conference on computer vision, pages 753–771, 2018.

[^5]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. arXiv preprint arXiv:2407.09646, 2024.

[^6]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J Black. Hmp: Hand motion priors for pose and shape estimation from video. In 2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 6341–6351, 2024.

[^7]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12943–12954, 2023.

[^8]: Kristen Grauman, Andrew Westbury, Eugene Byrne, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 18995–19012, 2022.

[^9]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 19383–19400, 2024.

[^10]: Ryan Hoque, Peide Huang, David Yoon, et al. Egodex: Learning dexterous manipulation from large-scale egocentric video. In International Conference on Learning Representations, pages 4218–4237, 2026.

[^11]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. Egomimic: Scaling imitation learning via egocentric video. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 13226–13233, 2025.

[^12]: Vincent Leroy, Yohann Cabon, and Jérôme Revaud. Grounding image matching in 3d with mast3r. In European conference on computer vision, pages 71–91, 2024.

[^13]: Zhengqi Li, Richard Tucker, Forrester Cole, Qianqian Wang, Linyi Jin, Vickie Ye, Angjoo Kanazawa, Aleksander Holynski, and Noah Snavely. Megasam: Accurate, fast, and robust structure and motion from casual dynamic videos. In 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10486–10496, 2025.

[^14]: Qixiu Li, Yu Deng, Yaobo Liang, et al. Scalable vision-language-action model pretraining for robotic manipulation with real-life human activity videos. arXiv preprint arXiv:2510.21571, 2025.

[^15]: Dixuan Lin, Yuxiang Zhang, Mengcheng Li, Wei Jing, Qi Yan, Qianying Wang, Yebin Liu, and Hongwen Zhang. Omnihands: Towards robust 4d hand mesh recovery via a versatile transformer. arXiv preprint arXiv:2405.20330, 2024.

[^16]: Gyeongsik Moon. Bringing inputs to shared domains for 3D interacting hands recovery in the wild. In 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 17028–17037, 2023.

[^17]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, et al. Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193, 2023.

[^18]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9826–9836, 2024.

[^19]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12242–12254, 2025.

[^20]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3d hand pose estimation in everyday egocentric images. In European Conference on Computer Vision, pages 183–202, 2024.

[^21]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022.

[^22]: Zehong Shen, Huaijin Pi, Yan Xia, Zhi Cen, Sida Peng, Zechen Hu, Hujun Bao, Ruizhen Hu, and Xiaowei Zhou. World-grounded human

通过重力视图坐标实现运动恢复。载于2024年SIGGRAPH Asia会议论文集，第1–11页，2024年。

[^23]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J Black. Wham: Reconstructing world-grounded humans with accurate 3d motion. In 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 2070–2080, 2024.

[^24]: Zachary Teed and Jia Deng. Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras. Advances in neural information processing systems, 34:16558–16569, 2021.

[^25]: Eugene Valassakis and Guillermo Garcia-Hernando. Handdgp: Camera-space hand mesh prediction with differentiable global positioning. In European Conference on Computer Vision, pages 479–496, 2024.

[^26]: Alexander Veicht, Paul-Edouard Sarlin, Philipp Lindenberger, and Marc Pollefeys. Geocalib: Learning single-image calibration with geometric optimization. In European Conference on Computer Vision, pages 1–20, 2024.

[^27]: Shuzhe Wang, Vincent Leroy, Yohann Cabon, Boris Chidlovskii, and Jerome Revaud. Dust3r: Geometric 3d vision made easy. In 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 20697–20709, 2024.

[^28]: Yufu Wang, Ziyun Wang, Lingjie Liu, and Kostas Daniilidis. Tram: Global trajectory and motion of 3d humans from in-the-wild videos. In European Conference on Computer Vision, pages 467–487, 2024.

[^29]: Qianqian Wang, Yifei Zhang, Aleksander Holynski, Alexei A Efros, and Angjoo Kanazawa. Continuous 3d perception model with persistent state. In 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 10510–10522, 2025.

[^30]: Ruicheng Wang, Sicheng Xu, Yue Dong, Yu Deng, Jianfeng Xiang, Zelong Lv, Guangzhong Sun, Xin Tong, and Jiaolong Yang. Moge2: Accurate monocular geometry with metric scale and sharp details. Advances in Neural Information Processing Systems, 38:35928–35959, 2026.

[^31]: Yifan Wang, Jianjun Zhou, Haoyi Zhu, Wenzheng Chang, Yang Zhou, Zizun Li, Junyi Chen, Jiangmiao Pang, Chunhua Shen, and Tong He. $\pi^{3}$: Permutation-Equivariant Visual Geometry Learning. In International Conference on Learning Representations, pages 10481–10497, 2026.

[^32]: Jianyuan Wang, Minghao Chen, Nikita Karaev, Andrea Vedaldi, Christian Rupprecht, and David Novotny. Vggt: Visual geometry grounded transformer. In 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5294–5306, 2025.

[^33]: Yuxi Wang, Chengkai Jin, Yufei Liu, Wenqi Ouyang, Tianyi Wei, Zhiwei Zeng, Siyuan Huang, Zhiqi Shen, and Xingang Pan. The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction. arXiv preprint arXiv:2606.30308, 2026.

[^34]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21222–21232, 2023.

[^35]: Brent Yi, Vickie Ye, Maya Zheng, Yunqi Li, Lea Müller, Georgios Pavlakos, Yi Ma, Jitendra Malik, and Angjoo Kanazawa. Estimating body and hand motion in an ego-sensed world. In 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 7072–7084, 2025.

[^36]: Wei Yin, Chi Zhang, Hao Chen, Zhipeng Cai, Gang Yu, Kaixuan Wang, Xiaozhi Chen, and Chunhua Shen. Metric3d: Towards zero-shot metric 3d prediction from a single image. In 2023 IEEE/CVF International Conference on Computer Vision (ICCV), pages 9009–9019, 2023.

[^37]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera. In 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 27716–27726, 2025.

[^38]: Shuai Yuan, Yantai Yang, Xiaotian Yang, Xupeng Zhang, Zhonghao Zhao, Lingming Zhang, and Zhipeng Zhang. Infinitevggt: Visual geometry grounded transformer for endless streams. arXiv preprint arXiv:2601.02281, 2026.

[^39]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. Hawor: World-space hand motion reconstruction from egocentric videos. In 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) pages 1805–1815 2025

## [^40]: Junyi Zhang, Charles Herrmann, Junhwa Hur, et al. Monst3r: A simple approach for estimating geometry in the presence of motion. In

---

国际学习表征会议论文集，第82863–82886页，2025年。