Figure 1: InfiniHand is a streaming feed-forward framework for accurate and efficient world-space hand estimation, pretrained on approximately 5,000 hours of egocentric video. Project page: > ## 摘要从自中心视频中估计世界空间手部运动，需要在追踪相机自身运动的同时恢复三维关节化手部几何结构。现有方法严重依赖级联的独立手部姿态估计器和SLAM系统，这会导致误差累积、流程复杂且计算开销极大。为解决这些局限，我们提出了InfiniHand——一种端到端的流式前馈框架，它可直接从未经校准的自中心视频中同时估计MANO参数、相机轨迹和手部位置。InfiniHand将持久性时空记忆与以手为中心的视觉特征相融合，在统一架构内显式地将相机运动与局部手部几何结构关联起来。我们分两个渐进阶段训练InfiniHand：首先学习鲁棒的相机空间手部先验，随后扩展至流式世界空间重建任务。为支撑这一过程，我们汇总了来自多个公开数据集、时长约5000小时的自中心数据作为预训练语料库。大量实验表明，在同类基准测试中InfiniHand的性能优于现有最先进基线模型，与ViDiHand相比ARC-TIC PA-p指标降低了21.4%，同时显著减轻了世界空间漂移问题。此外，InfiniHand对真实场景视频具有强大的泛化能力，运行帧率可达11.19 FPS，其处理速度比HaWoR快两倍以上。 --- ## 1 引言自中心视频能够从第一人称视角捕捉多样化的人体运动和复杂的手-物体交互过程，将手部运动还原到共享的世界坐标系下，就能把原始的视觉观测转化为可用于具身学习的可操作几何演示（Hoque等人，2025）。这些演示可通过人-机器人运动迁移来训练世界动作模型（Li等人，2026a），也能为基于检索到的人类示例的条件化机器人模仿提供支持（Papagiannis等人，2025）。然而，无约束的真实场景视频很少配有用于确定物体在物理环境中位置的真实三维手部姿态和相机轨迹数据。填补这一缺口需要一种可扩展的框架，以实现快速、高保真的世界空间手部重建，这也是下游具身学习的关键前提。传统的世界空间手部运动估计流程依赖独立的模型来完成手部定位、MANO（Romero等人，2017）参数预测以及相机轨迹估计。例如HaWoR（Zhang等人，2025）就结合了手部检测与跟踪模块、专门的相机空间手部重建网络，以及用于度量相机运动估计的DROID-SLAM（Teed & Deng，2021）和Metric3D（Yin等人，2023）。协调这些组件会带来巨大的计算与工程开销，同时检测抖动、相机跟踪漂移以及尺度不一致等问题可能会在流程中传递，进而影响世界空间的重建效果。除了这些架构上的限制外，WiLoR（Potamias等人，2024）和HaWoR（Zhang等人，2025）等现有估计器并未在多样化的无约束第一人称视频上接受过充分预训练，这使得它们在面对复杂交互和快速相机运动时泛化能力始终不足。总体而言，这些缺陷阻碍了从自然场景下的第一人称视频中高效准确地重建手部运动。为解决这些局限，我们提出了InfiniHand——一种流式前馈框架，能够在统一架构内同时预测手部位置、MANO（Romero等人，2017）参数以及相机轨迹。该框架基于流式3D基础模型（Chen等人，2026）构建，通过共享的时空表征将全局相机运动与局部手部动作关联起来。具体而言，每来一帧图像时，模型会利用整幅图像的几何上下文先预测手部掩码以实现精准定位；在该掩码的引导下，模型裁剪出局部几何特征，并将其与以手部为中心的外观特征融合，进而回归出MANO参数。与此同时，模型会以流式方式跟踪相机位姿，并辅以轻量级的稀疏光束法调整（BA）来进行快速后优化。为支撑这一框架，我们整合了现有带有MANO或3D关键点标注的公共第一人称数据集，设计了专门的数据处理流程来过滤噪声，并将不同来源的数据转化为统一的高质量格式。借助在该精选数据集上采用的两阶段训练策略，InfiniHand能够实现快速且稳健的世界空间手部运动重建，甚至能无缝适配复杂的自然场景视频序列。我们的主要贡献总结如下： - 我们提出了一种流式前馈框架，将手部定位、MANO参数预测以及相机轨迹估计统一起来，从而实现快速高效的世界空间手部运动重建。 - 我们整合并清洗了现有的公共第一人称数据集，将其转化为标准化、高质量的数据集，并配套设计了专门的两阶段训练方案来有效优化模型。 • 大量实验表明，InfiniHand在世界空间手部运动估计方面达到了最先进的精度，且效率出众；在自然场景视频上的评估进一步证实了其在复杂现实场景中强大的泛化能力。 ## 2 相关工作手部运动重建领域的发展，已从孤立的手部网格恢复演进为对时间交互和轨迹的建模。HaMeR（Pavlakos等人，2024）利用大型Transformer进行单图像估计，而WiLoR（Potamias等人，2024）则在无约束图像中整合了定位与精细网格恢复功能。与此同时，Hamba（Dong --- et al., 2024年提出基于图引导的状态空间建模方法，用于联合建模空间关系；WildHands（Prakash等人，2023年）则专注于以自我为中心的重建任务。尽管这些方法能够提升手部局部估计的精度，却无法同时恢复相机运动与世界空间轨迹。除了单手恢复外，InterWild（Moon，2023年）将单手重建与相对平移估计解耦，以弥合领域间的差异。OmniHands（Lin等人，2024年）利用时空推理来重建交互中的手部；ViDiHand（Wang等人，2026年）则借助视频扩散先验，并结合手部叠加监督机制，以实现时间上连贯的自我中心几何重建。然而，世界空间运动的恢复还需要进一步分离手部运动与相机自身运动。为解决这一问题，当前的方法如HaWoR（Zhang等人，2025年）依赖带有运动填充功能的自我中心SLAM技术；而Dyn-HaMR（Yu等人，2025年）则采用多阶段优化策略，结合相机跟踪与交互手部先验信息。流式3D重建。传统上，从视频中重建场景几何与相机运动依赖于同步定位与建图（SLAM）技术，该技术将视觉跟踪与束调整过程相结合。经典的框架如ORB-SLAM2（Mur-Artal & Tardós，2017年）结合了稀疏特征跟踪与基于关键帧的闭环检测；而DROID-SLAM（Teed & Deng，2021年）则用学习到的递归更新机制与可微稠密束调整取代了手工设计的特征。学习增强型SLAM系统通过引入前馈几何先验进一步优化了这一流程。例如，MASt3R-SLAM（Murai等人，2024年）围绕双视图3D重建模型构建跟踪与全局优化模块；VGGT-SLAM（Maggio等人，2025年）通过前馈预测生成子图，并利用带闭环约束的投影优化进行对齐；M³（Ren等人，2026年）则为多视图基础模型增添了稠密匹配头，以支持单目高斯泼溅SLAM。尽管这些混合式流程受益于学习到的先验知识，但仍需通过显式优化来保证跨视图一致性。相比之下，纯前馈架构无需事后优化，就能在网络内部原生地保持几何上下文。例如，LoGeR（Zhang等人，2026年）通过结合滑动窗口注意力机制与测试时训练记忆模块来处理视频片段，从而既保留细节又确保长距离一致性。类似地，LingBot-Map（Chen等人，2026年）采用了配备锚点上下文、姿态参考窗口以及轨迹记忆的流式上下文变换器，以实现对长序列的增量式重建。 ## 3 方法图2展示了InfiniHand的整体流程：这是一个从自我中心视频中联合估计关节手部运动与相机参数的流式框架。给定输入RGB序列$\mathcal{I} = \{\mathbf{I}_t\}_{t=1}^T$后，模型会预测相机参数$\hat{\mathcal{P}} = \{\hat{P}_t\}_{t=1}^T$，其中$\hat{P}_t = (\hat{\mathbf{K}}_t, \hat{\mathbf{R}}_t, \hat{\mathbf{u}}_t)$表示相机内参以及相机到世界的位姿。我们用$s \in \{\mathbf{L}, \mathbf{R}\}$来索引手部类别，上标h、c和w则分别指代手部、相机和世界坐标系。同时，模型还会估计每只手的关节状态，包括MANO（Romero等人，2017年）姿态$\hat{\Theta}_t^s \in \mathbb{R}^{15 \times 3}$、形状$\hat{\beta}_t^s \in \mathbb{R}^{10}$、全局朝向$\hat{\Phi}_t^{w,s} \in \mathbb{R}^3$以及根部平移量$\hat{t}_t^{w,s} \in \mathbb{R}^3$。模型首先预测手部坐标系下的几何信息，将其转换到相机坐标中，再利用估算出的相机轨迹得到世界空间中的运动轨迹。具体而言，第3.1节详细介绍了数据准备与筛选过程，第3.2节阐述了相机坐标系下的手部定位与重建方法，第3.3节则介绍了联合流式估计以及稀疏几何细化技术。 ### 3.1 数据预处理我们整合了九个公开的手部交互数据集，构建了一个包含约5000小时数据的综合训练语料库：ARCTIC（Fan等人，2023年）、HOT3D（Banerjee等人，2025年）、EgoDex（Hoque等人，2025年）、DexYCB（Chao等人，2021年）、HO3D（Hampali等人，2020年）、H2O3D（Hampali等人，2022年）、EgoVerse（Punamiya等人，2026年）、EgoLive（Li等人，2026b年）以及Xperience-10M（Ropedia，2026年）。视频帧以10帧/秒的速率均匀采样。对于没有显式MANO标注的数据，我们会将MANO模型拟合到提供的3D手部关键点，并将拟合后的参数与采样帧进行时间对齐。为了生成空间监督信号，我们会渲染左右手的MANO网格，得到每只手的分割掩码，进而据此生成紧致的边界框。在统一了手性约定和坐标系之后，每个样本就包含了RGB图像、相机坐标系下的MANO参数和3D关节点、每只手的掩码以及边界框。 --- ![Image](images/9bdcfcbfd5b490ab690c833e15f97dd257d0283e5bc9b7015b005cc4d371730e.jpg)

Figure 2: Overview of InfiniHand. Stage I learns hand localization and MANO reconstruction from geometric and appearance features, transforming hand-frame predictions into camera coordinates. Stage II jointly estimates hands and camera trajectories with streaming memory, followed by sparse bundle adjustment for camera refinement and world-space reconstruction.

对于包含真实相机轨迹的序列，我们会保留相机位姿标注，并将相机坐标系下的手部参数转换到共享的世界坐标系中，从而为手部与相机轨迹的联合重建提供监督信号。对语料库进行标准化处理后我们发现，某些源标注与视觉上的手部状态不一致，这种情况在EgoDex数据集中尤为明显。为了剔除这些噪声标签，我们利用Sapiens 2（Khirodkar等人，2026年）来估计2D手部关键点，并将其与标准化拓扑下标注的MANO关节点的投影2D位置进行对齐。评估前，我们会过滤掉置信度低的检测结果、无效的手部关联结果以及解剖学上不合理的姿态。对于每只手，关节级的像素误差会按边界框范围归一化，再逐帧取平均值，最终用序列中第90百分位的误差来衡量整体精度。因此，任何一只手的误差超过阈值的序列都会被丢弃，而不确定的样本则会被留待人工检查。总体而言，这一清洗过程会剔除大约30%到40%的候选训练数据。最后，我们根据监督信息的可用性将整理好的语料库分为两个阶段：阶段I使用所有有效的相机坐标系下手部标注；阶段II则纳入包含相机轨迹、可用于世界坐标系下关节监督的子集。 ### 3.2 相机坐标系下的手部重建手部定位。我们的手部定位模块利用预训练的LingBot-Map骨干网络（Chen等人，2026年）提取的全图几何特征，来识别左手和右手区域。该模块由密集预测Transformer（DPT）（Ranftl等人，2021年）特征解码器和双通道卷积掩码头组成。我们从预训练的深度头初始化解码器，保留其特征投影、多尺度缩放以及从粗到精的RefineNet（Lin等人，2017年）融合机制，同时将最终的深度预测层替换为随机初始化的掩码头。给定从四个选定层提取的中间骨干网络特征${\mathbf{F}_t^{(\ell)}}_{\ell \in \mathcal{S}}$，该模块会进行计算。 $$ \mathbf{D}_{t}=\mathcal{D}_{\mathrm{D P T}}(\{\mathbf{F}_{t}^{(\ell)}\}_{\ell\in\mathcal{S}}),\qquad[\hat{\mathbf{M}}_{t}^{\mathrm{L}},\hat{\mathbf{M}}_{t}^{\mathrm{R}}]=\sigma(\mathcal{H}_{\mathrm{m a s k}}(\mathbf{D}_{t})), $$ 其中$\mathcal{H}_{mask}$会将解码后的特征$\mathbf{D}_{t}$上采样至输入图像分辨率，而$\sigma(\cdot)$表示逐元素 sigmoid 函数。定位目标函数结合了二元交叉熵损失和Dice损失： $$ \mathcal{L}_{\mathrm{m a s k}}=\lambda_{\mathrm{B C E}}\mathcal{L}_{\mathrm{B C E}}(\hat{\mathbf{M}},\mathbf{M})+\lambda_{\mathrm{D i c e}}\mathcal{L}_{\mathrm{D i c e}}(\hat{\mathbf{M}},\mathbf{M}). $$ 有效性标志会忽略缺失的标注，以避免产生错误的负样本监督信号。随后，经过阈值处理的掩码会被转换为用于手部重建的扩展边界框$b_t^s$。手部重建。对于每个手部框 $b_t^s$，我们提取对齐的几何特征与外观特征。几何适配器 $\mathcal{A}$ 会裁剪主干网络的特征图 $\mathbf{F}_t$ 并将其重新嵌入到补丁网格中。 --- 与此同时，WiLoR编码器（Potamias等人，2024年）会同步处理对应的RGB图像裁剪部分，以捕捉细粒度的视觉细节。两个分支采用相同的裁剪规则，包括用于左手归一化的水平翻转操作。随后，通过 $1 \times 1$ 卷积层对拼接后的双流特征进行融合： $$ \mathbf{G}_{t}^{s}=\mathcal{A}(\mathbf{F}_{t},\mathbf{b}_{t}^{s}),\quad\mathbf{A}_{t}^{s}=\mathcal{E}_{\mathrm{W i L o R}}(\operatorname{C r o p}(\mathbf{I}_{t},\mathbf{b}_{t}^{s})),\quad\mathbf{Z}_{t}^{s}=\operatorname{C o n v}_{1\times1}([\mathbf{G}_{t}^{s};\mathbf{A}_{t}^{s}]). $$ 在融合表示 $\mathbf{Z}_{t}^{s}$ 的驱动下，MANO头部模型会在由虚拟裁剪相机定义的局部坐标系h中回归手部参数。同时，辅助头部会从 $\mathbf{Z}_{t}^{s}$ 中估计2D关键点，以提供空间定位约束。为简洁起见，此处省略了帧索引t和手侧s，预测结果可表示为： $$ (\hat{\mathbf{\Theta}},\hat{\mathbf{\beta}},\hat{\mathbf{\Phi}}^{\mathrm{h}},\hat{\ell}_{\mathrm{z}})=\mathcal{H}_{\mathrm{M A N O}}(\mathbf{Z}),\qquad\hat{\mathbf{p}}=\mathcal{H}_{\mathrm{2D}}(\mathbf{Z}),\qquad\hat{t}_{\mathrm{z}}^{\mathrm{h}}=\exp(\hat{\ell}_{\mathrm{z}}). $$ 消除左手归一化影响后，MANO解码器（Romero等人，2017年）会将预测的姿势、形状和朝向映射为无平移的3D关节 $\vec{\mathbf{J}}^{\mathrm{h}}$。为了恢复手部坐标系内的剩余横向平移 $(\hat{t}_{\mathrm{x}}^{\mathrm{h}}, \hat{t}_{\mathrm{y}}^{\mathrm{h}})$，我们借鉴ViDiHand（Wang等人，2026年）的方法，通过可微最小二乘投影（LSP）将投影得到的3D关节与预测的2D关键点 $\hat{\mathbf{p}}^{\mathrm{pix}}$ 以及根部深度 $\hat{t}_{\mathrm{z}}^{\mathrm{h}}$ 对齐，从而在保持预测深度不变的前提下求解横向平移量： $$ \begin{array}{r l}&{(\hat{t}_{\mathrm{x}}^{\mathrm{h}},\hat{t}_{\mathrm{y}}^{\mathrm{h}})=\arg\underset{a,b}{\mathrm{m i n}}\displaystyle\sum_{j\in\mathcal{V}}\left\|\pi\left(\bar{\mathbf{J}}_{j}^{\mathrm{h}}+[\boldsymbol{a},\boldsymbol{b},\hat{t}_{\mathrm{z}}^{\mathrm{h}}]^{\top};\mathbf{K}^{\mathrm{h}}\right)-\hat{\mathbf{p}}_{j}^{\mathrm{p i x}}\right\|_{2}^{2},}\end{array} $$ 其中 $\mathbf{K}^h$ 是虚拟裁剪相机的内部参数矩阵，$\pi(\cdot; \mathbf{K}^h)$ 表示透视投影，$\hat{\mathbf{p}}_j^{\mathrm{pix}}$ 是裁剪像素坐标系下的预测2D关键点，$\mathcal{V}$ 则代表具有正深度的有效关节。借助恢复出的平移量，我们便能获得完整的手部坐标系下的MANO表示，并将其全局朝向与平移量转换到原始相机坐标系下： $$ \mathrm{R o t}(\hat{\mathbf{\Phi}}^{\mathrm{c}})=\mathbf{R}_{\mathrm{h}\leftarrow\mathrm{c}}^{\top}\mathrm{R o t}(\hat{\mathbf{\Phi}}^{\mathrm{h}}),\qquad\hat{\mathbf{t}}^{\mathrm{c}}=\mathbf{R}_{\mathrm{h}\leftarrow\mathrm{c}}^{\top}\hat{\mathbf{t}}^{\mathrm{h}}. $$ 此处 $\mathbf{R}_{\mathrm{h}\leftarrow\mathrm{c}}$ 负责将坐标从原始相机转换到虚拟手部相机，而 $\mathrm{Rot}(\cdot)$ 则通过罗德里格斯公式将轴角向量转换为旋转矩阵。在训练损失方面，2D关键点头部首先通过均方 $L_1$ 损失 $\mathcal{L}_{\text{2D}}$ 进行监督，该损失是在归一化裁剪坐标下针对有效关节计算的。同时，MANO头部会结合姿势、形状、朝向、平移、3D关节以及重投影监督。全局朝向、平移量和3D关节是在原始相机坐标系c中进行比较的，而局部姿势和形状具有坐标系不变性，重投影则使用对应的图像坐标： $$ \mathcal{L}_{\mathrm{M A N O}}=\lambda_{\mathrm{g}}\mathcal{L}_{\mathrm{o r i e n t}}+\lambda_{\theta}\mathcal{L}_{\mathrm{p o s e}}+\lambda_{\beta}\mathcal{L}_{\mathrm{s h a p e}}+\lambda_{\mathrm{t}}\mathcal{L}_{\mathrm{t r a n s}}+\lambda_{\mathrm{J}}\mathcal{L}_{\mathrm{j o i n t s}}^{\mathrm{c}}+\lambda_{\mathrm{r}}\mathcal{L}_{\mathrm{r e p r o j}}. $$ 在第一阶段，各个头部模型会基于可用的相机空间真值分别进行优化。所有损失项的详细公式详见附录B。 ### 3.3 世界坐标系下的手部重建联合流式训练。在第二阶段，我们将预训练的手部模块与相机姿态头集成，以共同优化定位、2D关键点、MANO以及相机头。训练是在视频片段上进行的，这些片段由四个锚定帧和随后的两个连续16帧窗口组成，从而形成一种 $4 + 16 \times 2$ 时间布局。流式状态会在片段内的相邻窗口间持续存在，而在不同片段之间则会重置。真实标注与预测边界框按 1:1 的比例采样，这样既能让手部重建暴露于现实中的定位噪声中，又能保留来自干净裁剪图像的直接监督。具体而言，这种流式记忆状态 $\mathcal{M}_k = (\mathcal{M}_{\text{anchor}}, \mathcal{W}_k, \mathcal{T}_k)$ 是通过几何上下文注意力（GCA）机制（Chen等人，2026年）来管理的，该机制整合了锚定特征 $\mathcal{M}_{\text{anchor}}$、最近的密集特征窗口 $\mathcal{W}_k$ 以及压缩后的轨迹记忆 $\mathcal{T}_k$。其中，锚定特征建立了共享的参考框架，密集窗口捕捉细粒度的局部对应关系，而轨迹标记则在对应的密集特征被移除后仍能保留历史上下文。正式来说，对于第k个窗口，主干网络会更新其几何特征与记忆状态： $$ \left(\mathbf{F}_{k},\mathcal{M}_{k}\right)=\mathcal{B}_{\mathrm{G C A}}(\mathbf{I}_{k},\mathcal{M}_{k-1}). $$ --- 基于这一更新后的特征表示 $\mathbf{F}_k$，相机与手部模块会解码该窗口内每一帧t的预测结果： $$ \begin{array}{r}{\hat{P}_{t}=\mathcal{H}_{\mathrm{c a m}}(\mathbf{F}_{k})_{t},\quad\hat{\mathbf{M}}_{t}=\mathcal{H}_{\mathrm{l o c}}(\mathbf{F}_{k})_{t},\quad\hat{\mathcal{Y}}_{t}^{s}=\mathcal{H}_{\mathrm{r e c}}(\mathbf{I}_{t},\mathbf{F}_{t},\mathbf{b}_{t}^{s}),}\end{array} $$ 其中 $\hat{P}_{t} = (\hat{\mathbf{K}}_{t}, \hat{\mathbf{R}}_{t}, \hat{\mathbf{u}}_{t})$ 和 $\hat{\mathcal{Y}}_{t}^{s} = (\hat{\mathbf{p}}_{t}^{s}, \hat{\boldsymbol{\Theta}}_{t}^{s}, \hat{\boldsymbol{\beta}}_{t}^{s}, \hat{\mathbf{\Phi}}_{t}^{c,s}, \hat{\mathbf{t}}_{t}^{c,s})$ 分别用于收集相机与手部的预测结果。定位与重建模块遵循第3.2节的说明，包括手部到相机的转换过程。随后，全局方向和平移量会从相机坐标系转换为首个锚定点所在的世界坐标系： $$ \mathrm{R o t}(\hat{\mathbf{\Phi}}_{t}^{\mathrm{w},s})=\hat{\mathbf{R}}_{t}\mathrm{R o t}(\hat{\mathbf{\Phi}}_{t}^{\mathrm{c},s}),\qquad\hat{\mathbf{t}}_{t}^{\mathrm{w},s}=\hat{\mathbf{R}}_{t}\hat{\mathbf{t}}_{t}^{\mathrm{c},s}+\hat{\mathbf{u}}_{t}. $$ 与此同时，局部关节姿态与形状在这种变换下保持不变，从而完成世界空间中的MANO表示。最后，在监督方面，预测值与目标值采用相同的锚点变换以及样本级空间归一化 $\tilde{\mathbf{x}} = \mathbf{x}/\kappa$，其中 $\kappa > 0$ 代表样本级的归一化尺度。在训练损失方面，我们综合了2D关键点、掩码、相机空间MANO、世界空间关节、时序以及相机监督等损失项： $$ \mathcal{L}_{\mathrm{j o i n t}}=\lambda_{\mathrm{c a m}}\mathcal{L}_{\mathrm{c a m e r a}}+\lambda_{\mathrm{w}}\mathcal{L}_{\mathrm{j o i n t s}}^{\mathrm{w}}+\lambda_{\mathrm{t e m p}}\mathcal{L}_{\mathrm{t e m p}}+\mathcal{L}_{\mathrm{M A N O}}+\lambda_{\mathrm{2D}}\mathcal{L}_{\mathrm{2D}}+\mathcal{L}_{\mathrm{m a s k}}. $$ 这里，$\mathcal{L}_{\text{MANO}}$ 保留了第3.2节中定义的相机空间监督项，而 $\mathcal{L}_{\text{joints}}^{\text{w}}$ 则用于约束共享世界坐标系下的重建关节。具体而言，相机损失 $\mathcal{L}_{\text{camera}}$ 结合了绝对姿态与视场监督，以及有效帧对之间的相对运动监督。同时，$\mathcal{L}_{\text{temp}}$ 确保了相机预测、MANO参数、手部掩码以及2D关键点之间的时序一致性。各项损失会根据标注数据的可用性进行条件性评估。更多损失细节详见附录B。稀疏束调整。尽管轨迹记忆能够保留长距离上下文信息，但密集的历史特征仍会在锚定窗口和近期窗口之外被压缩。因此，早期观测中得到的精细几何约束在优化过程中无法被显式利用，从而导致长序列上的残余漂移。为解决这一问题，我们将DROID束调整后端（Teed & Deng, 2021）集成到流式预测框架中，通过强制施加跨帧约束来高效纠正长期漂移。我们并未对整个帧历史进行优化，而是维护一个二元关键帧池，以平衡局部时间连续性与长距离几何约束。通过选择性地保留用于稀疏优化的关键帧，束调整算法能够重新访问过去的观测数据，从而减少累积的相机漂移。经优化后的相机位姿随后会被用来将局部手部预测结果转换到统一的世界坐标系中。具体的实现细节与关键帧池更新规则详见附录C。 ## 4 实验 ### 4.1 实验设置数据集与评价指标。在相机空间评估中，我们遵循ViDiHand（Wang等人，2026年）的做法，采用来自ARCTIC（Fan等人，2023年）的34个测试场景、来自HOT3D（Banerjee等人，2025年）的10个测试场景以及来自HOI4D（Liu等人，2022年）的16个测试场景。此外，我们还在EgoDex（Hoque等人，2025年）的100个测试场景上进行评估，以覆盖更多样化的场景。ARCTIC、HOT3D和EgoDex也支持世界空间评估。我们还在Ego4D（Grauman等人，2022年）的测试视频上对野外重建效果进行了定性评估。在手部检测方面，我们依据手部是否存在来计算帧准确率（FAcc）、召回率和F1分数。在相机空间重建方面，我们采用MP-p、PA-p、EPE-p、GO-p和CT-p等指标，分别用于衡量相对于根节点的3D关节误差、经过Procrustes对齐后的3D关节误差、2D投影误差、全局方向误差以及相机空间下的手腕位置误差。后缀-p表示对未检测到手部的情况设置了惩罚项。在世界空间重建方面，我们采用PA-MPJPE、W-MPJPE和WA-MPJPE来衡量分别经过单手对齐、单帧对齐以及双手共享的单序列对齐后的3D关节误差。详细的指标定义见附录A。基线方法。在相机空间重建方面，我们将其与InterWild（Moon，2023年）、HaMeR（Pavlakos等人，2024年）、Hamba（Dong等人，2024年）以及WildHands（Prakash等人，2023年）进行比较。 ---

Table 1: Camera-space quantitative comparison. Evaluating detection and camera-space hand motion metrics across four benchmarks, InfiniHand consistently yields the lowest PA-p. Bold and $\underline{\text{underlined}}$ denote best and second-best results.

Method	ARCTIC								HOT3D
Method	FAcc $\uparrow$	Recall $\uparrow$	F1 $\uparrow$	MP-p $\downarrow$	PA-p $\downarrow$	EPE-p $\downarrow$	GO-p $\downarrow$	CT-p $\downarrow$	FAcc $\uparrow$	Recall $\uparrow$	F1 $\uparrow$	MP-p $\downarrow$	PA-p $\downarrow$	EPE-p $\downarrow$	GO-p $\downarrow$	CT-p $\downarrow$
InterWild	0.878	0.943	0.959	30.82	15.95	53.89	25.39	0.097	0.669	0.881	0.868	77.17	24.81	71.48	58.50	0.213
HaMeR	0.875	0.943	0.957	29.20	14.60	65.29	24.91	0.095	0.692	0.904	0.883	68.31	21.46	59.08	49.64	0.102
Hamba	0.833	0.912	0.941	31.23	17.17	87.05	27.82	0.110	0.632	0.828	0.853	71.73	29.62	107.63	56.53	0.128
WildHands	0.879	0.946	0.960	25.70	13.94	50.52	22.32	0.058	0.655	0.863	0.844	52.79	28.95	111.44	53.93	0.157
OmniHands	0.866	0.949	0.954	29.67	14.20	51.51	24.58	0.087	0.649	0.895	0.868	63.28	22.68	68.44	49.12	0.133
WiLoR	0.919	0.951	0.974	22.01	11.87	71.53	17.36	0.075	0.827	0.897	0.937	30.97	19.98	72.98	25.75	0.098
Dyn-HaMR	0.842	0.918	0.951	27.90	17.02	85.72	25.95	0.121	0.614	0.811	0.802	74.21	38.20	171.62	43.85	0.571
HaWoR	0.700	0.817	0.895	45.36	26.38	158.06	43.33	0.149	0.348	0.499	0.654	71.40	66.03	327.29	79.35	0.262
ViDiHand	0.997	0.999	0.999	21.67	9.82	12.41	14.64	0.047	0.948	0.974	0.983	21.51	11.38	14.95	15.83	0.040
Ours	0.993	0.996	0.998	17.09	7.72	23.13	12.80	0.044	0.916	0.981	0.971	25.52	11.10	17.02	15.49	0.059
Method	EgoDex								HOI4D
Method	FAcc $\uparrow$	Recall $\uparrow$	F1 $\uparrow$	MP-p $\downarrow$	PA-p $\downarrow$	EPE-p $\downarrow$	GO-p $\downarrow$	CT-p $\downarrow$	FAcc $\uparrow$	Recall $\uparrow$	F1 $\uparrow$	MP-p $\downarrow$	PA-p $\downarrow$	EPE-p $\downarrow$	GO-p $\downarrow$	CT-p $\downarrow$
InterWild	0.937	1.000	0.983	69.34	30.00	153.42	65.83	0.204	0.731	0.922	0.864	53.07	22.91	80.55	41.74	0.228
HaMeR	0.949	0.984	0.985	57.67	16.49	53.62	41.42	0.129	0.731	0.923	0.864	44.48	21.58	79.49	33.56	0.187
Hamba	0.710	0.824	0.896	65.68	31.66	188.48	64.86	0.170	0.710	0.885	0.849	47.16	25.92	115.79	37.39	0.204
WildHands	0.932	0.966	0.979	48.64	17.32	66.15	42.60	0.107	0.730	0.924	0.864	45.62	23.60	82.25	45.65	0.159
OmniHands	0.937	1.000	0.983	49.49	17.56	64.49	43.77	0.125	0.655	0.937	0.834	44.26	18.69	70.66	34.39	0.108
WiLoR	0.887	0.940	0.968	48.29	19.59	91.55	40.02	0.137	0.962	0.966	0.972	33.71	14.90	41.58	25.53	0.115
Dyn-HaMR	0.942	0.971	0.984	41.67	15.12	39.55	30.79	0.083	0.750	0.863	0.845	45.10	29.26	144.64	40.18	0.258
HaWoR	0.838	0.913	0.954	33.39	18.99	96.86	28.90	0.127	0.869	0.864	0.919	47.33	28.85	135.75	43.09	0.139
ViDiHand	0.911	0.950	0.974	42.33	17.22	65.05	33.28	0.303	0.984	0.991	0.990	30.09	13.96	24.46	23.42	0.117
Ours	0.961	0.997	0.995	16.43	7.29	24.08	15.51	0.031	0.989	0.993	0.991	33.64	12.11	22.75	23.00	0.136

Table 2: World-space quantitative comparison. We evaluate world-space hand motion and trajectory metrics across three benchmarks, with InfiniHand achieving the lowest W-MPJPE.

Method	ARCTIC			HOT3D			EgoDex
Method	PA-MPJPE $\downarrow$	W-MPJPE $\downarrow$	WA-MPJPE $\downarrow$	PA-MPJPE $\downarrow$	W-MPJPE $\downarrow$	WA-MPJPE $\downarrow$	PA-MPJPE $\downarrow$	W-MPJPE $\downarrow$	WA-MPJPE $\downarrow$
WiLoR-SLAM	7.23	65.86	46.31	6.46	106.77	45.20	10.25	96.02	40.95
HaWoR	9.03	95.39	45.45	5.86	93.70	35.02	10.36	103.85	35.31
Dyn-HaMR	10.85	114.10	63.60	10.17	296.72	132.08	11.58	78.41	37.11
Ours	7.07	59.21	43.59	5.71	87.37	35.76	4.91	28.77	16.47

我们还将其与OmniHands（Lin等人，2024年）、WiLoR（Potamias等人，2024年）、Dyn-HaMR（Yu等人，2025年）、HaWoR（Zhang等人，2025年）以及ViDiHand（Wang等人，2026年）进行比较。在世界空间重建方面，我们将其与HaWoR、Dyn-HaMR和WiLoR-SLAM进行对比。WiLoR-SLAM利用经Metric3D v2（Hu等人，2024年）缩放的DROID-SLAM（Teed & Deng, 2021）相机位姿，将WiLoR的手部预测结果转换到世界坐标系中。实现细节。阶段I和阶段II分别训练30万步和10万步，全局批处理大小设为64，优化器采用AdamW（Loshchilov & Hutter, 2019），权重衰减系数为0.01。阶段I处理4帧组成的剪辑，其中掩码头与关节头的学习率设为$10^{-4}$，MANO头的学习率设为$5 \times 10^{-5}$。阶段II采用36帧的布局$(4 + 16 \times 2)$，相机头的学习率设为$3 \times 10^{-5}$，所有其他可训练模块的学习率设为$10^{-5}$。所有学习率均采用线性预热与余弦退火策略进行调整，全局梯度范数被限制在1.0以内。全分辨率图像的处理分辨率为$378 \times 518$（$H \times W$），而手部边界框会扩展$1.5 \times$后再调整大小为$256 \times 256$，以供裁剪分支使用。 --- ![Image](images/45cd949be2310a657d927fb70dbfbc64f5c92ea98e404edcadbb48d344eac6bc.jpg)

Figure 3: Camera-space qualitative comparison. InfiniHand recovers both hands without missed detections while producing precise hand motion under severe occlusion and in-the-wild scenes.

![Image](images/6e3a0abf89fd5671d6d61092e2bec74ab7c9f1ed5cb1db796624e71f4883c69a.jpg)

Figure 4: World-space qualitative comparison. Visual results on diverse datasets show that our reconstructed articulation and trajectories achieve the highest fidelity to ground truth.

### 4.2 相机空间结果分析表1和图3展示了模型在领域内和领域外场景下的强大手部重建能力。值得注意的是，InfiniHand在所有四个数据集上的PA-p值均最低：相较于ViDiHand（Wang等人，2026年），其在ARCTIC数据集上的误差从9.82毫米降至7.72毫米（降幅达21.4%），在EgoDex数据集上的误差则从17.22毫米降至7.29毫米（降幅高达57.7%）。从定性结果来看，领域内对比实验显示出精准的手指关节活动表现，即便在手部被严重遮挡的情况下也能可靠地重建手部形态。对于缺乏真实MANO标注的野外序列，InfiniHand能在杂乱背景和特殊视角下保留合理的手部几何结构以及准确的图像对齐效果；而ViDiHand则出现明显性能退化，这凸显了InfiniHand出色的跨数据集泛化能力。 ### 4.3 世界空间结果分析表2和图4证明了InfiniHand在世界空间中的定位及相对运动跟踪方面表现优异。InfiniHand在所有三个数据集上的W-MPJPE值均为最低：相较于WiLoR-SLAM（Potamias等人，2024年；Teed & Deng，2021年），其在ARCTIC数据集上的误差从65.86毫米降至59.21毫米（降幅10.1%）；相较于Dyn-HaMR（Yu等人，2025年），其在EgoDex数据集上的误差更是从78.41毫米骤降至28.77毫米（降幅达63.3%）。更低的WA-MPJPE分数进一步证实：经过序列级对齐后，运动轨迹的保真度依然得以维持。从定性结果来看，InfiniHand能很好地保留手部尺寸、双手间距以及弯曲的运动轨迹，且漂移现象极轻微。具体而言，我们的重建结果避免了空间位移现象（见图4左上角），同时能更忠实地将双手朝向与参考轨迹对齐（右下角）。这些可视化结果证实了模型既能实现准确的相对运动跟踪，又能保证精确的绝对定位。 ---

Table 3: Quantitative ablation study on ARCTIC. Results show the contributions of appearance features, translation recovery, sparse BA, joint training, and hand localization.

Variant	Detection			Camera-space					World-space
Variant	FAcc $\uparrow$	Recall $\uparrow$	F1 $\uparrow$	MP-p $\downarrow$	PA-p $\downarrow$	EPE-p $\downarrow$	GO-p $\downarrow$	CT-p $\downarrow$	PA-MPJPE $\downarrow$	W-MPJPE $\downarrow$	WA-MPJPE $\downarrow$
w/o WiLoR Features	0.993	0.996	0.998	33.31	10.91	32.89	22.08	0.087	7.46	60.36	45.12
w/o LSP	0.993	0.996	0.998	18.63	8.02	26.30	12.97	0.064	7.21	59.57	44.35
w/o BA	0.993	0.996	0.998	17.09	7.72	23.13	12.80	0.044	7.07	80.48	51.20
w/o Stage II	0.985	0.989	0.990	17.29	7.81	23.56	13.01	0.045	7.40	185.76	111.05
w/o Mask Head	0.700	0.817	0.895	33.31	25.50	167.66	36.97	0.143	7.43	60.39	45.26
Full Model	0.993	0.996	0.998	17.09	7.72	23.13	12.80	0.044	7.07	59.21	43.59

### 4.4 效率分析在对比的方法中，InfiniHand的预测吞吐量最高，可达11.19帧/秒。这一数值显著优于现有基线方法，包括WiLoR-SLAM（Potamias等人，2024年；Teed & Deng，2021年）（8.53帧/秒）、HaWoR（Zhang等人，2025年）（5.48帧/秒）以及DynHaMR（Yu等人，2025年）（0.81帧/秒），其运行速度较HaWoR提升了$2.04\times$倍。这种高效性得益于流式特征的复用，以及跨时间窗口的模型执行重叠机制。具体来说，系统中有两个主要工作线程以流水线方式运行：第一个线程利用四锚点上下文处理即将到来的16帧窗口数据，与此同时第二个线程会解码前一个窗口的手部和相机预测结果。这种并行工作流程减少了特征提取和解码之间的空闲等待时间。在全系统运行过程中，当二进制关键帧池的容量阈值被超出时，第三个工作线程会在后台执行稀疏束调整操作，既将周期性优化过程与窗口预测解耦，又不会带来额外的计算负担。 ### 4.5 消融研究我们对全部34个ARCTIC（Fan等人，2023年）测试场景进行了消融实验，结果如表3所示。(1) 移除WiLoR特征后，MP-p值几乎翻倍，从17.09毫米增至33.31毫米，这凸显了以手部为中心的外观特征对精细重建的重要性。(2) 用直接翻译回归替代LSP会导致翻译精度和图像空间对齐效果下降，从而印证了使用投影约束来确定手部位置的正确性。(3) 禁用稀疏BA会使W-MPJPE从59.21毫米升至80.48毫米，而相机空间指标却保持不变，这表明其对全局重建精度的贡献显著。(4) 省略第二阶段后，W-MPJPE从59.21毫米飙升至185.76毫米，WA-MPJPE也从43.59毫米升至111.05毫米；尽管相机空间误差仅有微小变化，这仍强调了联合训练手部与相机模型对世界空间运动估计的重要性。(5) 用HaWoR掩码替换学习到的掩码头会大幅降低检测精度，同时使PA-p从7.72毫米增至25.50毫米，由此可见可靠定位在手部运动重建中的关键作用。 ## 5 局限性虽然InfiniHand能够实现精确的世界空间3D手部重建，但在多个关键技术层面仍有明显的提升空间。在尺度恢复方面，底层的LingBot-Map框架缺乏固有的度量尺度，必须借助辅助的后处理对齐模型，而该模型产生的估算误差必然会传递到预测的手部位置和全局运动轨迹中。在数据覆盖方面，包含复杂、大幅度双手交互以及相机动态变化的高质量第一人称数据集十分稀缺，这限制了该模型在视角快速变化、严重遮挡且手部时隐时现的无约束真实场景中的泛化能力。在监督机制方面，单目重建流程往往会因衍生的单目标注而产生时变尺度漂移，进而形成时间上不一致的训练目标，即便经过全局尺度对齐，也会损害长序列轨迹的精度和时序平滑性。 --- ## 6 结论我们提出了InfiniHand，这是一种用于从第一人称视频中联合估计手部位置、MANO参数和相机轨迹的流式前馈框架。为支撑这一架构，我们将约5,000小时的公开视频整合为一个干净且规模庞大的训练语料库，随后采用两阶段训练方案来提升MANO参数的恢复精度，并实现世界空间手部与相机运动的对齐。通过在领域内基准测试和领域外视频上的广泛评估，证明了该框架具备出色的重建质量和泛化能力，这也验证了扩充多样化第一人称监督数据的重要性。除了精度优势外，在标准时序协议下，该流式设计的推理吞吐量更是达到了HaWoR的两倍以上。这些进展共同推动了第一人称视频3D标注的更快、更可靠实现，从而为灵巧数据增强、人-机器人运动迁移以及操控策略学习等下游应用打开了大门。通过将海量人类视频转化为结构化的3D手部运动监督数据，InfiniHand为具身智能的数据生成提供了一条可扩展的路径。 ## AI使用声明在本研究中，我们借助生成式AI工具来辅助翻译工作。我们并未使用生成式AI工具来设计研究方法和实验、实施研究方法、解释实验结果、提出或完善假设、清洗和重新格式化数据集，也未用其支持定性及主题数据分析或生成合成数据集；此外，提出数学命题、为证明数学命题提供关键要素以及协助撰写证明等内容与本研究无关。我们还利用生成式AI工具对现有文献进行总结与分析，并编辑手稿以提升可读性。我们对所有借助AI完成的工作进行了审查：翻译或润色后的文本均经过逐句人工核对，以确保原意不受损。对于本研究的最终内容——包括借助生成式AI生成的文本、命题或成果——我们承担全部责任。 ## 参考文献 Prithviraj Banerjee、Sindi Shkodrani、Pierre Moulon、Shreyas Hampali、Shangchen Han、Fan Zhang、Linguang Zhang、Jade Fountain、Edward Miller、Selen Basol、Richard Newcombe、Robert Wang、Jakob Julian Engel和Tomas Hodan。HOT3D：基于第一人称多视角视频的3D手部与物体跟踪技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，2025年。 Yu-Wei Chao、Wei Yang、Yu Xiang、Pavlo Molchanov、Ankur Handa、Jonathan Tremblay、Yashraj S. Narang、Karl Van Wyk、Umar Iqbal、Stan Birchfield、Jan Kautz和Dieter Fox。DexYCB：用于捕捉物体抓取动作的基准测试数据集。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，2021年。 Lin-Zhuo Chen、Jian Gao、Shangzhan Zhang、Yihang Chen、Ka Leong Cheng、Yipengjing Sun、Liangxiao Hu、Nan Xue、Xing Zhu、Yujun Shen、Yao Yao和Yinghao Xu。LingBot-Map：用于流式3D重建的几何上下文变换器。arXiv预印本arXiv:2604.14141，2026年。 Haoye Dong、Aviral Chharia、Wenbo Gou、Francisco Vicente Carrasco和Fernando De la Torre。Hamba：基于图引导双扫描Mamba的单视图3D手部重建技术。arXiv预印本arXiv:2407.09646，2024年。 Zicong Fan、Omid Taheri、Dimitrios Tzionas、Muhammed Kocabas、Manuel Kaufmann、Michael J. Black和Otmar Hilliges。ARCTIC：用于灵巧双手与物体交互的数据集。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，2023年。 Kristen Grauman、Andrew Westbury、Eugene Byrne、Zachary Chavis、Antonino Furnari、Rohit Girdar、Jackson Hamburger、Hao Jiang、Miao Liu、Xingyu Liu、Miguel Martin、Tushar Nagarajan、Ilija Radosavovic、Santhosh Kumar Ramakrishnan、Fiona Ryan、Jayant Sharma、Michael Wray、Mengmeng Xu、Eric Zhongcong Xu、Chen Zhao、Siddhant Bansal、Dhruv Batra、Vincent Cartillier、Sean Crane、Tien Do、Morrie Doulaty、Akshay Erapalli、Christoph Feichtenhofer、Adriano --- Fragomeni、付启辰、Abrham Gebreselasie、Cristina Gonzalez、James Hillis、黄旭华、黄一飞、贾文琪、Weslie Khoo、Jachym Kolar、Satwik Kottur、Anurag Kumar、Federico Landini、李超、李阳浩、李振强、Karttikeya Mangalam、Raghava Modhugu、Jonathan Munro、Tullie Murrell、西矢拓海、Will Price、Paola Ruiz Puentes、Merey Ramazanova、Leda Sari、Kiran Somasundaram、Audrey Southerland、须贺佑介、陶瑞杰、武明、王宇辰、吴欣迪、八木拓真、赵子薇、朱云逸、Pablo Arbelaez、David Crandall、Dima Damen、Giovanni Maria Farinella、Christian Fuegen、Bernard Ghanem、Vamsi Krishna Ithapu、C. V. Jawahar、朱汉彪、Kris Kitani、李海洲、Richard Newcombe、Aude Oliva、朴贤洙、James M. Rehg、佐藤洋一、施建波、周明哲、以及Jitendra Malik。Ego4D：基于3000小时自我中心视频的全球场景记录。收录于2022年IEEE/CVF计算机视觉与模式识别会议论文集。 Shreyas Hampali、Mahdi Rad、Markus Oberweger和Vincent Lepetit。HOnnotate：一种用于手部与物体姿态的3D标注方法。收录于2020年IEEE/CVF计算机视觉与模式识别会议论文集。 Shreyas Hampali、Sayan Deb Sarkar、Mahdi Rad和Vincent Lepetit。Keypoint Transformer：解决复杂手部与物体交互中的关节识别问题，实现精准的3D姿态估计。收录于2022年IEEE/CVF计算机视觉与模式识别会议论文集。 Ryan Hoque、Peide Huang、David J. Yoon、Mouli Sivapurapu和张健。EgoDex：从大规模自我中心视频中学习灵巧操作。arXiv预印本arXiv:2505.11709，2025年。胡穆、尹伟、张驰、蔡志鹏、龙晓晓、王凯旋、陈浩、虞刚、沈春华和申少杰。Metric3Dv2：一款通用的单目几何基础模型，可实现零样本度量深度与表面法向估计。arXiv预印本arXiv:2404.15506，2024年。 Rawal Khirodkar、何文、Julieta Martinez、董远、苏兆恩和斋藤俊辅。Sapiens2。arXiv预印本arXiv:2604.21681，2026年。李宝宇、尹新晨、林梦颖、张怡欣和徐丹菲。EgoWAM：利用野外自我中心人类数据构建超越像素的世界动作模型。arXiv预印本arXiv:2607.08436，2026a年。李一航、魏学龙、罗景舟、肖映京、白一博、周光远、邹腾、桂成光、温佳俊、张赫、陈康良、潘星、刘帅燕、王达明、安涛、李佳怡、金世博、张婉婉、王天宇、韦博仁、黄志轩、刘方胜、李若黛、张慧、李安森、龚一诚、曹鹏、梁家明和林亮。EgoLive：一个源自真实人类任务的大规模自我中心数据集。arXiv预印本arXiv:2604.23570，2026b年。林迪轩、张宇翔、李梦成、景伟、严琪、王倩颖、刘烨斌和张宏文。OmniHands：基于通用Transformer的鲁棒4D手部网格恢复方法。arXiv预印本arXiv:2405.20330，2024年。林国生、Anton Milan、沈春华和Ian Reid。RefineNet：用于高分辨率语义分割的多路径细化网络。收录于2017年IEEE计算机视觉与模式识别会议论文集。刘云泽、刘云、蒋车、吕康博、万维康、沈浩、梁博强、付周杰、王赫和易立。HOI4D：一个用于类别级人机交互的4D自我中心数据集。收录于2022年IEEE/CVF计算机视觉与模式识别会议论文集。伊利亚·洛希洛夫和弗兰克·胡特。解耦权重衰减正则化。载于《国际学习表征会议》，2019年。多米尼克·马吉奥、Hyungtae Lim和卢卡·卡尔洛内。VGGT-SLAM：在SL(4)流形上优化的密集RGB SLAM。arXiv预印本arXiv:2505.12549，2025年。 --- Gyeongsik Moon。将输入映射到共享域以实现野外三维交互手部恢复。arXiv预印本arXiv:2303.13652，2023年。劳尔·穆尔-阿塔尔和胡安·D·塔尔多斯。ORB-SLAM2：一种适用于单目、双目及RGB-D摄像头的开源SLAM系统。《IEEE机器人学汇刊》，33(5)：1255–1262页，2017年。 Riku Murai、Eric Dexheimer和Andrew J. Davison。MASt3R-SLAM：基于三维重建先验的实时密集SLAM。arXiv预印本arXiv:2412.12392，2024年。乔治奥斯·帕帕吉安尼斯、诺曼·迪·帕洛、皮耶特罗·维蒂埃洛和爱德华·约翰斯。R+X：从日常人类视频中检索并执行操作。载于《IEEE国际机器人与自动化会议》，2025年。乔治奥斯·帕夫拉科斯、单丹丹、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey和Jitendra Malik。利用Transformer进行三维手部重建。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，2024年。罗兰多斯·亚历山德罗斯·波塔米亚斯、张静玲、邓建康和斯特凡诺斯·扎费里乌。WiLoR：野外环境下端到端三维手部定位与重建。arXiv预印本arXiv:2409.12259，2024年。阿迪蒂亚·普拉卡什、Tu Ruisen、Matthew Chang和Saurabh Gupta。日常自中心图像中的三维手部姿态估计。arXiv预印本arXiv:2312.06583，2023年。 Ryan Punamiya、Simar Kareer、刘泽毅、Josh Citron、Ri-Zhao Qiu、蔡雄义、Alexey Gavryushin、陈佳琪、Davide Liconti、朱立阳、Patcharapong Aphiwetsa、李宝宇、Aniketh Cheluva、Pranav Kuppili、刘阳晨、Dhruv Patel、Aidan Gao、钟惠英、Ryan Co、Renee Zbizika、刘杰、徐晓萌、熊浩宇、陈耕、Sebastiano Oliani、宣文凯、杨晨宇、王曦、James Fort、Richard Newcombe、Josh Gao、Jason Chong、Garrett Matsuda、Aseem Doriwala、Marc Pollefeys、Robert Katzschmann、王晓龙、宋舒然、Judy Hoffman和徐丹飞。EgoVerse：一个来自世界各地的机器人学习用自中心人类数据集。arXiv预印本arXiv:2604.07607，2026年。雷内·兰夫特尔、Alexey Bochkovskiy和弗拉德伦·科尔顿。用于密集预测的视觉Transformer。载于《IEEE/CVF国际计算机视觉会议论文集》，2021年。任可瑞、李广浩、蒋昌健、许颖翔、陆涛、徐林宁、董俊廷、庞江淼、余木林和戴博。M $^{3}$：密集匹配与多视图基础模型在单目高斯泼溅SLAM中的应用。arXiv预印本arXiv:2603.16844，2026年。哈维尔·罗梅罗、Dimitrios Tzionas和迈克尔·J·布莱克。具身手部：手部与身体的联合建模与捕捉。《ACM图形学汇刊》，36(6)：245:1–245:17页，2017年。 Ropedia。Xperience-10M：一个带有结构化三维/四维标注的大规模自中心多模态数据集。Hugging Face数据集，2026年。网址：。 Zachary Teed和邓佳。DROID-SLAM：适用于单目、双目及RGB-D摄像头的深度视觉SLAM。《神经信息处理系统进展》，第34卷，2021年。王宇希、金承凯、刘宇飞、欧阳文奇、魏天一、曾志伟、黄思远、沈志奇和潘星刚。视频扩散模型在手部运动重建中的惊人效果。arXiv预印本arXiv:2606.30308，2026年。韦寅、张驰、陈浩、蔡志鹏、于刚、王凯旋、陈晓志、沈春华。Metric3D：基于单张图像实现零样本度量级3D预测。arXiv预印本arXiv:2307.10984，2023年。余正迪、斯特凡诺斯·扎费里乌、托尔加·比尔达尔。Dyn-HaMR：从动态摄像头恢复4D交互式手部运动。收录于2025年IEEE/CVF计算机视觉与模式识别会议论文集。张景雷、邓建康、马超、罗兰多斯·亚历山德罗斯·波塔米亚斯。HaWoR：从第一人称视频重建世界坐标系下的手部运动。arXiv预印本arXiv:2501.02973，2025年。 --- 张俊毅、查尔斯·赫尔曼、许俊华、孙晨、杨明轩、福雷斯特·科尔、特雷弗·达雷尔、孙德清。LoGeR：基于混合记忆的长上下文几何重建。arXiv预印本arXiv:2603.03269，2026年。 --- 本补充材料提供了额外的技术细节与定性结果，以辅助正文内容。A节定义了检测指标、相机坐标系指标和世界坐标系指标。B节说明了损失函数。C节解释了用于稀疏光束法调整的二进制关键帧池。D节展示了额外的定性对比结果。 ## A 评估指标检测指标。我们采用ViDiHand（Wang等人，2026年）的方法进行预测结果与真实值的关联。投影后的MANO网格框按照IoU降序贪婪匹配，要求手性相同且目标框扩大10%后的IoU大于0.1。匹配为一对一关系。存在存在概率得分的预测结果必须超过0.5；无条件的跟踪器输出被视为阳性结果。未匹配的目标手和预测结果分别计入假阴性（FN）和假阳性（FP）。如果某个目标的21个关节在深度大于0.01米时均没有投影到图像内，则该目标被视为超出画面范围；此类目标及其匹配的预测结果将被排除。设$\mathcal{F}$为至少包含一个目标手的帧数，设$\mathrm{FP}_{t}^{\mathrm{os}}$和$\mathrm{FN}_{t}^{\mathrm{os}}$为排除超出画面范围的目标后的剩余计数。那么 $$ \mathrm{F A c c}=\frac{1}{|\mathcal{F}|}\sum_{t\in\mathcal{F}}\mathbf{1}[\mathrm{F P}_{t}^{\mathrm{o s}}=0\land\mathrm{F N}_{t}^{\mathrm{o s}}=0], $$ $$ Recall=\frac{TP}{TP+FN},\qquad F1=\frac{2TP}{2TP+FP+FN}. $$ 这些计数会在各帧和手侧之间汇总。仅正确识别手的存在并不足够：空间上无法匹配的手会贡献一个检测误差。相机坐标系指标。我们采用ViDiHand（Wang等人，2026年）提出的带检测惩罚的几何指标。设$\hat{\mathbf{J}}_j^c$和$\mathbf{J}_j^c$为以米为单位的预测关节坐标和目标关节坐标，腕部索引分别为$j = 0$和$J = 21$。对于已匹配的手，设定$\hat{\mathbf{Q}}_j = \hat{\mathbf{J}}_j^c - \hat{\mathbf{J}}_0^c$和$\mathbf{Q}_j = \mathbf{J}_j^c - \mathbf{J}_0^c$。基于根节点的误差和经过Procrustes对齐的误差分别为 $$ e_{\mathrm{M P}}=\frac{1}{J}\sum_{j}\|\hat{\mathbf{Q}}_{j}-\mathbf{Q}_{j}\|_{2},\qquad e_{\mathrm{P A}}=\frac{1}{J}\sum_{j}\|A^{*}(\hat{\mathbf{Q}}_{j})-\mathbf{Q}_{j}\|_{2}, $$ 其中$A^{*}$是使该手的所有关节平方距离最小的合适相似变换。设$\hat{\mathbf{R}}_{\text{hand}}$和$\mathbf{R}_{\text{hand}}$分别表示其预测全局旋转和目标全局旋转。方向误差和腕部位置误差为 $$ e_{\mathrm{G O}}=\frac{180}{\pi}\operatorname{a r c c o s}\left(\operatorname{c l a m p}\left(\frac{\operatorname{t r}(\hat{\mathbf{R}}_{\mathrm{h a n d}}^{\top}\mathbf{R}_{\mathrm{h a n d}})-1}{2},-1,1\right)\right), $$ $$ \boldsymbol{e}_{\mathrm{C T}}=\|\hat{\mathbf{J}}_{0}^{\mathrm{c}}-\mathbf{J}_{0}^{\mathrm{c}}\|_{2}. $$ 匹配规则和超出画面范围的排除规则与检测指标一致。对于指标$m \in \{\text{MP}, \text{PA}, \text{GO}, \text{CT}\}$，其惩罚后的平均值为 $$ \begin{array}{r}{E_{m\text{-}p}=\frac{\sum_{i\in\mathcal{H}_{\mathrm{m a t c h e d}}}e_{m}(i)+\sum_{i\in\mathcal{H}_{\mathrm{m i s s e d}}}e_{m}^{\mathrm{m i s s}}(i)}{|\mathcal{H}_{\mathrm{m a t c h e d}}|+|\mathcal{H}_{\mathrm{m i s s e d}}|}.}\end{array} $$ 漏检手的MP和PA均采用未对齐的标准化手部关节误差；GO采用目标旋转与身份旋转的偏差，CT采用目标腕部到相机原点的距离。MP-p和PA-p转换为毫米为单位，GO-p以度为单位，CT-p以米为单位。EPE-p是在画面内的目标关节$\mathcal{U}$上的关节加权像素误差： $$ \mathrm{E P E-p}=\frac{1}{|\mathcal{U}|}\sum_{(i,j)\in\mathcal{U}}\left\{\begin{aligned}&\min\Big(\|\pi_{\mathbf{K}}(\hat{\mathbf{J}}_{i,j}^{\mathrm{c}})-\pi_{\mathbf{K}}(\mathbf{J}_{i,j}^{\mathrm{c}})\|_{2},D_{i}\Big),&i\in\mathcal{H}_{\mathrm{m a t c h e d}},\\ &D_{i},&i\in\mathcal{H}_{\mathrm{m i s s e d}},\\ \end{aligned}\right. $$ 其中$D_{i}=\sqrt{W_{i}^{2}+H_{i}^{2}}$为图像对角线长度。目标关节必须投影到图像内且深度大于0.01米；预测深度在投影时下限设为0.01米。因此检测和几何误差使用相同的已匹配手集合。 --- 世界空间度量。世界空间评估采用相同的几何匹配和21关节排序方式，预测值与目标值均以完整场景的首个摄像头帧为基准表示。对于匹配的手部帧对H，定义如下： $$ E(A)=\frac{1}{J|\mathcal{H}|}\sum_{(t,s)\in\mathcal{H}}\sum_{j}\|A_{t,s}(\hat{\mathbf{J}}_{t,j}^{\mathrm{w},s})-\mathbf{J}_{t,j}^{\mathrm{w},s}\|_{2}. $$ W-MPJPE使用恒等变换。PA-MPJPE为每对手部帧分别拟合一个相似变换。WA-MPJPE则使用一个由双手及完整场景所有帧共享的变换，该变换通过以下方式获得： $$ \left(\alpha^{*},\mathbf{R}^{*},\mathbf{v}^{*}\right)=\arg\min_{\alpha>0,\mathbf{R}\in\mathrm{SO}(3),\mathbf{v}}\sum_{(t,s)\in\mathcal{H}}\sum_{j}\|\alpha\mathbf{R}\hat{\mathbf{J}}_{t,j}^{\mathrm{w},s}+\mathbf{v}-\mathbf{J}_{t,j}^{\mathrm{w},s}\|_{2}^{2}. $$ 这三种误差均以毫米为单位报告，并根据匹配的手部帧权重进行聚合。对齐操作仅用于对应的度量指标；它不会修改W-MPJPE或已保存的预测结果。 ## B 损失函数所有损失均针对有效标注取平均值；若有效集合为空，则贡献值为零。对于下文的掩码、关键点以及MANO项，我们分别给出每个掩码、每个关节或每只手对应的误差，并省略外部的样本平均步骤。坐标级和关节级的归一化因子会明确保留。预测值上会加上帽号标记，未加帽号的量则为目标值。 ### B.1 掩码与2D关键点损失对于一个包含P个像素的有效手部掩码，二元交叉熵和软Dice系数计算如下： $$ \ell_{\mathrm{B C E}}=-\frac{1}{P}\sum_{p=1}^{P}\left[M_{p}\log\hat{M}_{p}+\left(1-M_{p}\right)\log(1-\hat{M}_{p})\right], $$ $$ \ell_{\mathrm{D i c e}}=1-\frac{2\sum_{p}\hat{M}_{p}M_{p}+1}{\sum_{p}\hat{M}_{p}+\sum_{p}M_{p}+1}. $$ 为保证数值稳定性，BCE基于对数几率进行计算，而Dice系数则使用Sigmoid概率。将每项对有效掩码取平均后得到$\mathcal{L}_{\text{mask}} = \lambda_{\text{BCE}} \mathcal{L}_{\text{BCE}} + \lambda_{\text{Dice}} \mathcal{L}_{\text{Dice}}$。关键点头直接在归一化的裁剪坐标上进行监督： $$ \mathcal{L}_{\mathrm{2D}}=\|\hat{\mathbf{p}}-\mathbf{p}\|_{1}. $$ 有效集合排除了缺失、非有限或超出范围的目标关键点。 ### B.2 MANO重建损失设$R(\cdot) = \text{Rot}(\cdot)$用于将轴角向量转换为旋转矩阵，$d_{\text{SO}(3)}$表示下文定义的旋转距离。方位与局部姿态的计算方式为： $$ \begin{array}{r}{\mathcal{L}_{\mathrm{o r i e n t}}=d_{\mathrm{S O}(3)}\Big(R(\hat{\mathbf{\Phi}}^{\mathrm{c}}),R(\mathbf{\Phi}^{\mathrm{c}})\Big),}\end{array} $$ $$ \mathcal{L}_{\mathrm{p o s e}}=\frac{1}{15}\sum_{k=1}^{15}d_{\mathrm{S O}(3)}\Big(R(\hat{\Theta}_{k}),R(\boldsymbol{\Theta}_{k})\Big). $$ 形状与摄像头帧下的MANO平移采用坐标级平方误差计算： $$ \mathcal{L}_{\mathrm{s h a p e}}=\frac{1}{10}\|\hat{\boldsymbol{\beta}}-\boldsymbol{\beta}\|_{2}^{2},\qquad\mathcal{L}_{\mathrm{t r a n s}}=\frac{1}{3}\|\hat{\mathbf{t}}^{\mathrm{c}}-\mathbf{t}^{\mathrm{c}}\|_{2}^{2}. $$ 3D关节与重投影项如下： $$ \mathcal{L}_{\mathrm{j o i n t s}}^{\mathrm{c}}=\frac{1}{3}\|\hat{\mathbf{J}}^{\mathrm{c}}-\mathbf{J}^{\mathrm{c}}\|_{1},\qquad\mathcal{L}_{\mathrm{r e p r o j}}=\|\bar{\pi}_{\mathbf{K}}(\hat{\mathbf{J}}^{\mathrm{c}})-\mathbf{p}^{\mathrm{i m g}}\|_{1}. $$ 此处$\bar{\pi}_{\mathbf{K}}$负责将坐标投影到归一化的图像坐标，$\mathbf{p}^{\mathrm{img}}$为对应的目标值。有效性判断按关节逐一应用；投影与目标值使用匹配的相机内参与图像归一化参数。与$\mathcal{L}_{2\mathrm{D}}$不同，重投影机制是对从MANO解码出的关节进行监督。这六个加权分量构成了第3.2节中定义的$\mathcal{L}_{\mathrm{MANO}}$。 --- ### B.3 世界空间关节与摄像头损失摄像头损失将绝对姿态项与相对姿态项合并为$\mathcal{L}_{\text{camera}} = \alpha_{\text{abs}}\mathcal{L}_{\text{abs-pose}} + \alpha_{\text{rel}}\mathcal{L}_{\text{rel-pose}}$。在应用公式10中的锚点变换，并对预测值与目标值进行同等级的归一化处理后，世界关节项通过鲁棒的元素级平滑$L_{1}$惩罚$\rho_{\epsilon}$来比较预测结果与数据集提供的关节标注（对所有坐标求和）： $$ \mathcal{L}_{\mathrm{j o i n t s}}^{\mathrm{w}}=\frac{1}{N_{\mathrm{J}}}\sum_{t,s,j}m_{t,s}^{\mathrm{J}}\rho_{\epsilon}\left(\hat{\mathbf{\tilde{J}}}_{t,j}^{\mathrm{w},s}-\mathbf{\tilde{J}}_{t,j}^{\mathrm{w},s}\right). $$ 此处，当$\rho_{\epsilon}(r)=r^{2}/(2\epsilon)$时对应$|r|<\epsilon$和$|r|-\epsilon/2$，否则则不然；其中$m_{t,s}^{\mathrm{J}}$表示手部有效性，而$N_{\mathrm{J}}$用于统计有效的关节坐标数量。重要的是，目标数据源自原始的关节标注，而非从真实MANO参数中解码出的关节信息。旋转距离计算如下： $$ d_{\mathrm{S O}(3)}(\hat{\mathbf{R}},\mathbf{R})=\operatorname{a r c c o s}\left[\operatorname{c l a m p}\left(\frac{\operatorname{t r}(\hat{\mathbf{R}}^{\top}\mathbf{R})-1}{2},-1+\epsilon,1-\epsilon\right)\right]. $$ 绝对姿态项用于对锚点归一化后的摄像头平移、四元数以及视场角进行监督。由于q与-q代表同一旋转，我们首先定义符号对齐后的目标值： $$ \mathbf{q}_{t}^{\star}=\left\{\begin{aligned}{}&{{}\mathbf{q}_{t},}&{\langle\hat{\mathbf{q}}_{t},\mathbf{q}_{t}\rangle\geq0,}\\ {}&{{}\mathbf{-q}_{t},}&{{o t h e r w i s e},}\\ \end{aligned}\right. $$ 接着，我们对有效帧计算 $\hat{\mathbf{u}}_t - \tilde{\mathbf{u}}_t$、$\hat{\mathbf{q}}_t - \mathbf{q}_t^*$ 和 $\hat{\mathbf{f}}_t - \mathbf{f}_t$ 的稳健均值，其中 $\mathbf{f}_t$ 包含水平和垂直视场角，而 $\mathbf{q}_t$ 是一个单位四元数。同理，将 $\rho_{\epsilon}$ 逐坐标应用并求和后，九坐标绝对损失为 $$ \mathcal{L}_{\mathrm{a b s-p o s e}}=\frac{1}{9|\mathcal{V}_{\mathrm{c a m}}|}\sum_{t\in\mathcal{V}_{\mathrm{c a m}}}\left[\rho_{\epsilon}(\hat{\tilde{\mathbf{u}}}_{t}-\tilde{\mathbf{u}}_{t})+\rho_{\epsilon}(\hat{\mathbf{q}}_{t}-\mathbf{q}_{t}^{\star})+\rho_{\epsilon}(\hat{\mathbf{f}}_{t}-\mathbf{f}_{t})\right], $$ 其中 $V_{cam}$ 包含具有有效相机标注的帧。为了独立于锚点选择来约束局部相机运动，相对位姿项会考虑位姿参考窗口 $\mathcal{W}_{\text{pose}}$ 内有序的不同有效帧对。设 $\mathbf{C}_t = \begin{bmatrix} \mathbf{R}_t & \mathbf{u}_t \\ \mathbf{0}^\top & 1 \end{bmatrix}$ 表示与 $P_t$ 相关联的齐次相机到世界变换。对于该窗口中的帧 i 和 j，我们定义 $$ \mathbf{C}_{j\leftarrow i}=\mathbf{C}_{j}^{-1}\mathbf{C}_{i}, $$ 并对其进行优化 $$ \mathcal{L}_{\mathrm{r e l-p o s e}}=\frac{1}{N_{\mathrm{p a i r}}}\sum_{\substack{i\neq j\\ i,j\in\mathcal{W}_{\mathrm{n o s e}}}}m_{i}^{\mathrm{c a m}}m_{j}^{\mathrm{c a m}}\left[d_{\mathrm{S O}(3)}(\Delta\hat{\mathbf{R}}_{j i},\Delta\mathbf{R}_{j i})+\lambda_{\mathrm{r e l,u}}\left\|\Delta\hat{\mathbf{u}}_{j i}-\Delta\mathbf{u}_{j i}\right\|_{1}\right]. $$ 此处 $m_t^{\text{cam}}$ 表示相机的有效性，$N_{\text{pair}}$ 统计有效有序对的数量，而 $\Delta \mathbf{R}_{ji}$ 和 $\Delta \mathbf{u}_{ji}$ 分别是 $\mathbf{C}_{j \leftarrow i}$ 的旋转和平移。进入该项计算的相机平移已经由 $\kappa$ 进行了归一化处理，不会再被再次除以缩放因子。 $\mathcal{L}_{\text{joint}}$ 中的每一项仅在其所需的监督信息可用时才会被评估。对于没有对应有效标注的样本，会省略相机和世界联合项。只有当至少存在两个有效位姿时，相对位姿项才会生效。 ## C 用于稀疏束调整的双二进制关键帧池我们维护一个按时间排序的池 $\mathcal{P} = \{(f_i, b_i)\}_{i=1}^n$，其中 $f_i$ 存储一帧及其相关的几何状态，而 $b_i \in \{0,1\}$ 记录该帧在之前的BA选择后是否仍被保留。每个新传入的帧都会附带 $b_i = 0$。当满足 $|\mathcal{P}| > N$ 条件时，我们从最旧的条目开始，每隔 K 个池条目选取一个： $$ \mathcal{S}=\{f_{1+m K}\mid m\geq0,~1+m K\leq|\mathcal{P}|\}. $$ --- DROID-SLAM后端（Teed & Deng, 2021）首先会对选定的相机位姿进行精细化处理。随后我们会切换选定条目的标志位，并移除所有更新后标志位为零的条目： $$ b_{i}^{+}=b_{i}\oplus\mathbf{1}[f_{i}\in\mathcal{S}],\qquad\mathcal{P}^{+}=\{(f_{i},b_{i}^{+})\mid(f_{i},b_{i})\in\mathcal{P},~b_{i}^{+}=1\}, $$ 其中 $\oplus$ 表示二进制异或运算。新选定的帧会从 0 变为 1 并保留在池中；再次被选定的已保留帧会从 1 变为 0，并在参与该次BA更新后被移除。未被选中的已保留帧仍可被使用，而未选中的新帧则会被丢弃。因此，最近的观测数据会密集进入池，而只有经过采样的历史帧会在精细化调用之间留存下来。从最旧的条目开始选择也能确保已保留的帧最终会被重新访问并移除。这种策略使得BA能够在使用近期观测数据的同时复用历史约束，而无需永久保存一套旧的关键帧。精细化后的相机位姿会用于世界空间的手部转换；手部预测器本身仍是前馈式的。插入新帧后会评估触发条件，选择过程遵循池的时间顺序，而非原始视频中的固定步长。精细化处理使用的是选定帧，此时它们的保留标志位尚未更新。因此，被选中用于移除的旧帧仍会对该次BA调用做出贡献。触发阈值 N 控制精细化处理的运行时机，K 则控制采样的稀疏程度；这种保留策略并不会强制要求帧龄呈指数分布。 ## D 额外的定性结果图5提供了在Xperience-10M数据集上额外的相机空间对比结果（Ropedia，2026年）。图6则展示了在ARCTIC（Fan等人，2023年）、HOT3D（Banerjee等人，2025年）以及EgoDex（Hoque等人，2025年）数据集上额外的世界空间对比结果。所选片段展示了在可见性与视角发生变化时的模型表现；数值结论是基于全部评估场景得出的。 ![Image](images/6b8b794a16ff90eae21b5e5f8c467eaef7e0f56c81a26ef695b6af22fa527615.jpg)

Figure 5: Additional in-the-wild camera-space results. Comparisons on Ego4D and Xperience illustrate hand reconstruction under diverse viewpoints, occlusions, and interactions.

![Image](images/d2153efb4a48df3ae6a897782cd534ffe65c6b08196bb1677c2ec8a6df8fe2ea.jpg)

Figure 6: Additional world-space qualitative results. Comparisons on ARCTIC, HOT3D, and EgoDex show reconstructed hand configurations and motion across further sequences.