# HaWoR：基于第一人称视频的世界空间手部运动重建 张景雷 $^{1}$、邓建康 $^{2}$、马超 $^{1*}$、罗兰多斯·亚历山德罗斯·波塔米亚斯 $^{2*}$ $^{1}$上海交通大学，$^{2}$帝国理工学院 {zhangjinglei168, chaoma}@sjtu.edu.cn，{j.deng16, r.potamias}@imperial.ac.uk ![Image](images/a2c2a29673594cf2af168b02823e6f86330e5ea98d4ae76e49dc2bf4d472c2e1.jpg) 世界空间中的手部与相机运动
Figure 1. We propose HaWoR, a world-space 3D hand motion estimation method for egocentric videos. We decouple world-space hand motion estimation by combining camera-frame motions and world-space camera trajectories. HaWoR achieves state-of-the-art performance on both camera pose estimation and hand motion reconstruction, even under challenging cases where hands are out of the view frustum.
## 摘要 尽管3D手部姿态估计技术已取得长足发展，但现有方法主要聚焦于相机坐标系下的单图像3D手部重建，却忽视了手部的世界空间运动。这一局限性使得它们无法直接应用于第一人称视频场景——在该场景中，手部和相机均处于持续运动状态。在本研究中，我们提出了HaWoR，一种基于第一人称视频、在全局坐标系下实现高精度手部运动重建的方法。我们采用任务解耦策略：先在相机空间中重建手部运动，再估算相机在全局坐标系中的轨迹。为了实现精确的相机轨迹估算，我们提出了一种自适应第一人称SLAM框架，该框架弥补了传统SLAM方法的不足，能够在复杂的相机动态环境下保持稳健的性能。为确保即使手部移出视野范围时仍能得到可靠的手部运动轨迹，我们设计了一种新颖的运动补全网络—— 该网络能够有效补全序列中缺失的帧。通过大量的定量与定性评估，我们证明在不同第一人称基准数据集上，HaWoR在手部运动重建和全局坐标系下的相机轨迹估算方面均达到了最先进的性能。代码和模型可在获取。 ### 1. 引言 从单目视频中恢复精细的3D手部运动估计受到了广泛关注，因为其在增强/虚拟现实（AR/VR）和人类行为分析等各类应用中发挥着关键作用 [^3] [^5] [^31] [^50]。尽管基于单目图像和视频的3D手部姿态估计技术已取得进展[14, 22, 23, 28–30]，但现有方法主要侧重于相机坐标系下的重建，往往忽略了手部在全局空间中的轨迹。忽略相机运动限制了手部重建方法准确解读人类动作的能力，这对深化对人类行为的理解构成了重大阻碍。 --- 准确解读人类动作对推进对人类行为的理解构成了重大挑战。 在动态环境中，估算手部在世界坐标系中的运动并捕捉其全局运动轨迹并非易事。这种情况在以自我为中心的场景中尤为明显——此时手部和摄像头都在运动，这会使得手部运动的尺度估算变得复杂，进而导致所得到的运动轨迹无法反映世界坐标系下的真实运动。由于频繁遮挡、手部快速运动以及手部与周围环境之间的动态交互作用，要找到以自我为中心的视频与手部三维世界坐标之间的直接映射关系极具挑战性 [^4]。尤其需要注意的是，与人类运动恢复相比，手部运动重建面临两大难题：其一，以自我为中心视角下手部轨迹的尺度本身就比第三人称视角更为复杂；其二，在此类场景中，手部经常超出视野范围或遭到严重遮挡，使得运动估算格外困难。虽然人类运动估算可以借助运动先验来辅助，但受手部位移与关节活动的复杂性，加之大规模手部动作捕捉数据集的匮乏，建立手部运动的先验也并非易事。 早期的世界空间人体网格恢复方法依赖多视角摄像头设置与视觉里程计系统，这类方法往往难以在受控采集环境之外实现通用化 [^26] [^40]。尽管同步定位与地图构建（SLAM）方法 [^36] 在捕捉具有动态摄像头运动的非结构化环境方面取得了显著进展，但在处理涉及复杂人体运动的动态场景时仍面临挑战。为解决这一问题，一些方法通过采用复杂的优化方案，将人体运动与估算出的SLAM摄像头轨迹对齐，从而实现世界坐标系下的重建 [^43] [^46]。为了减轻这种高成本的优化过程带来的负担，后续研究尝试采用摄像头空间内的运动恢复方法，直接预测摄像头到世界的变换关系 [^33] [^41]。 由于在世界坐标系下精确重建三维手部运动极具挑战性，我们决定将这一问题拆解为两个更简单的任务：相机空间中的三维手部运动重建，以及世界空间中的相机轨迹估计。针对第一个任务，我们训练了一个高保真度的基于Transformer的三维手部运动重建模型，以便有效捕捉相机空间中的手部运动。然而，从以自我为中心的视频中重建三维手部运动面临巨大挑战，尤其是当手部在相机画面中不可见或存在严重遮挡时。为解决这一问题，我们在所提出的三维手部运动重建框架中引入了一种新颖的运动填补模块，用于估算缺失和被遮挡的手部动作。为了在世界坐标系下重建相机轨迹，我们采用了一种混合方法：利用单目DROID-SLAM [^36] 估算出的相机轨迹，再通过度量基础模型 [^44] 将其转换到世界空间中。不过，直接采用DROID-SLAM方法及度量网络估算的世界尺度来调整相机轨迹，会导致生成的相机轨迹无法准确反映环境的真实尺度。对此，我们提出了一种自适应版本的DROID-SLAM算法，该算法在束调整过程中排除手部区域，从而能够从以自我为中心的视频中得出精确且稳健的相机轨迹。同样，我们也提出了一种度量空间的归一化方法，以实现准确的世界尺度。 综上所述，在本文中，我们提出了HaWoR——一种从单个自然场景视频中估计世界坐标系下三维手部运动的鲁棒方法。具体而言： - 据我们所知，这是我们首次提出在世界坐标系下进行三维手部运动估计的方法。与以往专注于相机空间中三维手部姿态估计的方法不同，我们将三维人体手部建模在全局空间中，这标志着向真实世界三维手部运动重建迈出的重要一步。 - 所提出的三维手部运动重建方法采用了一种新颖的填补网络，即便在视频存在帧丢失或严重遮挡的情况下，也能捕捉到高保真度的手部运动。 - 最后，我们提出了一种专为以自我为中心的视频设计的鲁棒单次拍摄相机轨迹估计流程，其与基于贪婪优化的方法相比，性能达到了业界领先水平。 ### 2. 相关工作 3D手部姿态估计。手部姿态估计已经过十多年的广泛研究，早期方法利用深度相机来重建3D手部[^13] [^25] [^35]。在Boukhayma等人的开创性工作中[^8]，作者提出了首个单图像3D手部重建方法，该方法经过训练能够估计MANO模型的手部参数[^32]。此后有几种方法相继出现[^8]，它们要么回归MANO参数[^2] [^47]，要么直接预测3D手部顶点[^20] [^22] [^23]。最近，数据和模型规模的重要性得到了广泛强调，人们引入了大规模Transformer模型以提升重建质量[^21] [^49]。尤其是Pavlakos等人[^28]证明，利用预训练的大规模视觉Transformer（ViT）并扩大数据规模能够有效提升性能。Potamias等人[^30]则引入了一种细化机制，逐步变形所估计的手部姿态，从而得出具有精确图像对齐效果的最先进的3D手部姿态估计结果。 --- ![Image](images/abdedb28e8acddb97f80f11759381c5c2f91126bd456b70979d21d65ff222915.jpg)
Figure 2. Overview of our method. Given an egocentric video V with a set of detected hands from an off-the-shelf detector [^30], we utilize a large-scale transformer-based module with two levels of data-driven motion priors to reconstruct the 3D hand motions in the camera frame. To reconstruct hand movements beyond the view frustum, we introduce a novel hand motion infiller network designed to complete the missing frames in the hand motion sequence. We estimate world-space camera trajectories using an adaptive egocentric SLAM module that is accompanied by a foundation metric model [^44] to accurately align the SLAM reconstructions to the world-coordinates.
3D人体与相机重建。最初，世界坐标系下的人体和相机轨迹估计是通过多相机设置[^15]或额外的可穿戴设备（如IMU [^40]或电磁传感器[^16]）来实现的。GLAMR [^46]提出了首个从动态相机的单目视频中估计全局人体轨迹的方法，该方法利用全局轨迹回归器从局部身体运动推断出整体人体轨迹。有几种方法[^19] [^43]提出通过共同优化SLAM相机轨迹和人体运动来解耦相机与人体运动，并利用运动先验来约束优化过程。与之不同的是，WHAM [^33]提出训练一个回归网络，该网络能够根据输入视频和相机估计值直接预测全局人体轨迹。最近，一些研究[^41] [^48]将SLAM估计结果与度量深度网络相结合，以进一步提升相机轨迹的度量尺度。然而，这些方法主要针对第三人称全身运动设计，其所面临的挑战与以手为中心的运动中遇到的挑战截然不同。我们提出了一种高保真度的世界空间3D手部运动估计方法，以有效应对这些挑战。 ### 3. 方法 给定以手为中心的视频$\mathbf{V} \in \mathbb{R}^{T \times H \times W \times 3}$，我们的目标是准确重建手部i的完整3D运动，该运动用MANO[^32]姿态$\{\Theta_t^i \in \mathbb{R}^{15 \times 3}\}_{t=0}^T$和形状参数$\{\beta_t^i \in \mathbb{R}^{10}\}_{t=0}^T$来表示，同时还包括在世界坐标系中表达的全局朝向$\{\Phi_t^i \in \mathbb{R}^{3}\}_{t=0}^T$和根部平移$\{\Gamma_t^i \in \mathbb{R}^{3}\}_{t=0}^T$。所提出的方法由三个主要模块组成：i) 手部运动估计网络$\mathcal{M}$，用于在相机帧中重建稳健的手部运动；ii) 相机轨迹估计模块，用于有效预测世界坐标系下的相机姿态；iii) 运动填充网络$\mathcal{F}$，用于恢复不可见和被遮挡的手部，并增强重建出的3D手部运动的时间连贯性。所提出框架的概览如图2所示。 #### 3.1. 手部运动估计 从以自我为中心的视频中预测手部运动面临诸多挑战，主要原因是严重的遮挡、运动模糊和透视畸变现象普遍存在。尽管单图像手部姿态估计技术已取得进展[^28] [^30]，但直接将这些方法应用于手部运动估计时仍面临三大关键挑战，这些挑战限制了准确且稳健的重建效果。首先，由于这类方法基于单张图像训练，缺乏时间连贯性，因此应用于视频重建时会产生令人不适的抖动现象。其次，以自我为中心的视频中的手部往往因视野受限而出现边界截断问题，导致手部可见部分不完整，进而严重削弱手部姿态估计框架的性能。第三，手部姿态估计方法中缺乏运动先验信息，再加上 --- 以自我为中心的视频中存在的严重遮挡和运动模糊现象，会进一步降低重建出的手部运动的真实感。为了有效应对上述挑战，我们提出了一种手部运动估计网络$\mathcal{M}$，该网络通过学习时空运动先验，对最先进的单图像手部姿态估计方法进行扩展[^30]。 具体而言，给定输入视频$\mathbf{V} \in \mathbb{R}^{T \times H \times W \times 3}$后，我们首先利用多手检测[^30]与跟踪[^1]方法来获取每只手i的边界框序列。我们利用最先进的3D手部重建方法WiLoR[^30]中预训练的ViT骨干网络，为视频的每一帧t提取鲁棒的图像对齐特征$\mathbf{f}_t^i$。为了缓解手部被截断的问题并增强所提取的图像对齐特征的时间连贯性，我们引入了时序图像注意力模块（IAM），该模块利用时间信息来更新特征标记$\hat{\mathbf{f}}_t^i$。通过时序自注意力机制，相邻帧间的外观特征得以融合，从而增强了边界区域骨干特征的鲁棒性。按照[^30]的描述，我们利用额外的标记来回归MANO姿态$\widetilde{\Theta}_t^i$、形状参数$\widetilde{\beta}_t^i$，以及手部朝向$\widetilde{\Phi}_t^{c_t,i}$和相机空间中的手部平移量$\widetilde{\Gamma}_t^{c_t,i}$。 不过，尽管IAM层显著提升了被截断和遮挡区域的图像特征质量，但ViT骨干网络提取的特征仍会受到固有外观和背景元素的干扰，无法捕捉到富有表现力的手部运动线索。为解决这一问题，我们引入了额外的姿态注意力模块（PAM），该模块直接将时序自注意力机制应用于MANO[^32]姿态参数上。实际上，PAM能够学习手部运动先验，从而约束3D重建结果并提升运动的时间连贯性。 损失函数。为了训练手部运动估计模块$\mathcal{M}$，我们采用了一组损失函数，包括3D和2D手部关节损失，以及对MANO参数的直接监督。总体损失函数可表示为： $$ \begin{aligned}\mathcal{L}_{\mathcal{M}}&=\sum_{t=1}^{T}(\lambda_{1}\mathcal{L}_{\mathrm{3D}}^{t}+\lambda_{2}\mathcal{L}_{\mathrm{2D}}^{t}+\lambda_{3}\mathcal{L}_{\mathrm{MANO}}^{t}),\\\mathcal{L}_{\mathrm{3D}}^{t}&=||\mathbf{J}_{\mathrm{3D}}^{t}-\widetilde{\mathbf{J}}_{\mathrm{3D}}^{t}||_{1},\\\mathcal{L}_{\mathrm{2D}}^{t}&=||\mathbf{J}_{\mathrm{2D}}^{t}-\widetilde{\mathbf{J}}_{\mathrm{2D}}^{t}||_{1},\\\mathcal{L}_{\mathrm{MANO}}^{t}&=||\Theta_{t}-\widetilde{\Theta}_{t}||_{2}^{2}+||\beta_{t}-\widetilde{\beta}_{t}||_{2}^{2},\end{aligned} $$ 其中，每个$\lambda_i$都是用于平衡各损失项影响的权重因子，$\mathbf{J}_{2D}$和$\mathbf{J}_{3D}$分别代表2D和3D关节。 #### 3.2. 相机轨迹估计 从以自我为中心的视频中估计相机在世界坐标系中的运动，可以被视为一个相机定位问题。然而，尽管SLAM方法在解决相机定位问题方面取得了成功，但有两个主要挑战阻碍了它们直接应用于以自我为中心的手部视频：首先，在以自我为中心的视频中，手部占据了视野的很大一部分，这会严重影响结构从运动方法中的特征匹配步骤，从而导致不精确的相机运动估计；其次，SLAM方法估计的相机平移量是基于任意比例的，无法反映现实世界中的实际平移量。为了应对上述挑战，我们提出了一种混合方法，该方法结合了针对以自我为中心视频定制的自适应SLAM方法和基础度量深度模型，以实现鲁棒的相机位姿估计。自适应以自我为中心SLAM。尽管SLAM方法取得了进展，例如DROID-SLAM [^36]，其在应对细微动态物体方面表现出较强的鲁棒性，但在以自我为中心的视角下，大幅度的手部运动仍会严重损害SLAM方法的重建精度。遵循[^41]的思路，我们采用双重掩码策略，将手部运动从重建的相机轨迹中排除。具体而言，我们将重建的3D手部运动投影到图像空间中，从而定义出手部掩码$\mathbf{M}_{t}$。随后，我们在输入图像以及DROID-SLAM的预测置信图中对手部区域进行掩码处理[^36]。 $$ \hat{I}_{t}=\left(1-\mathbf{M}_{t}\right)\cdot I_{t},\hat{w}_{t}=\left(1-\mathbf{M}_{t}\right)\cdot w_{t}, $$ 其中$I_{t}$是时间戳t处的输入图像，$w_{t}$是DROID-SLAM的置信图。这一步骤将动态手部区域从DROID-SLAM的特征提取和密集束调整步骤中剔除，从而使相机轨迹估计对动态手部具有更强的鲁棒性。具体来说，对置信图$w_{t}$进行掩码处理，能够有效排除对应坐标在重投影误差计算中的贡献，确保只有背景像素才能在密集束调整（DBA）过程中参与相机运动估计，进而提升对手部运动的抗干扰能力。 度量尺度估计。由于单目SLAM方法缺乏绝对深度信息，在没有固定世界尺度参考的情况下，它们只能估计到任意比例因子的相机轨迹。因此，SLAM方法只能估计以任意单位表示的相对深度$d_t$，这些深度并不对应固定的尺度。为了重建以真实世界坐标为单位的高保真相机平移尺度$\alpha$，我们提出了一种鲁棒的尺度估计方法，该方法将度量网络与动态采样机制相结合。具体而言，我们利用Metric3D [^44]，这是一种在大规模数据集上训练的基础模型，能够从单张图像中可靠地预测度量尺度深度，确保其对野外数据的泛化能力。对于DROID SLAM的每个关键帧，我们使用Metric3D [^44]来预测以米为单位的场景深度$D_t$。此外，鉴于当前的度量网络在距离相机过近或过远的区域内精度较低—— --- 因此我们提出了一种动态采样策略，以有效提升尺度估计的鲁棒性。具体而言，我们会对手部区域以及距离相机过近或过远的点进行掩码处理，将缩放因子的估计范围限制在介于两者之间的、位于手部区域外的可靠点集内。通过优化以自我为中心的训练数据集上的尺度精度，我们得出了最优的最小-最大深度区间先验。在获得手部掩码和距离阈值后，自适应采样模块（AdaSM）会选取满足以下条件的点集$S_{t}$： $$ S_{t}=\{p\mid p\notin\mathbf{M}_{t},\mathbf{D}_{\min}<\mathbf{D}_{t}(p)<\mathbf{D}_{\max}\}. $$ 根据[^41]，我们通过在采样集上优化SLAM与Metric3D深度估计之间的对齐来估算最终尺度$\alpha$，具体过程如下： $$ E(\alpha)=\sum_{p\in S_{t}}\mathcal{L}_{\mathrm{G M}}(\mathbf{D}_{t}(p)-\alpha\cdot\mathbf{d}_{t}(p)), $$ 其中$\mathcal{L}_{\mathrm{GM}}$为German-McClure损失函数[^6]。该方法通过重点关注深度预测更可靠的区域来优化尺度$\alpha$的估算，从而减轻移动手部或极端深度值等异常值的影响，最终实现高精度且稳健的尺度估算。 #### 3.3. 手部运动填补器 由于自我中心视频的视野有限，手部常常位于可见画面之外，导致手部运动的三维重建出现扭曲和不完整。为解决这一问题，我们提出了一种新颖的手部运动补全网络 $\mathcal{F}$，专门用于补全画面外的手部并重建完整的三维手部运动序列。具体而言，给定第 i 只手的不完整 T 帧 MANO 参数序列 $\{\widetilde{\Theta}_{t}^{i}, \widetilde{\beta}_{t}^{i}, \widetilde{\Phi}_{t}^{c_{t}, i}, \widetilde{\Gamma}_{t}^{c_{t}, i}\}$（由手部运动估计网络在每个相机帧 $c_{t}$ 中预测得到，缺失帧设为零），运动补全网络会预测出一个完整的运动 $\{\widehat{\Theta}_{t}^{i}, \widehat{\beta}_{t}^{i}, \widehat{\Phi}_{t}^{i}, \widehat{\Gamma}_{t}^{i}\}$，从而准确填补缺失帧。 规范空间变换。作为第一步，我们将输入序列从相机空间转换到规范空间，这一操作可将手部运动与动态相机解耦，并将序列起始状态对齐为零平移和零旋转。该操作能够标准化输入序列，便于训练。具体来说，我们首先计算相机到规范的变换$T^{c_i}2cano,i = [R^{c_i2cano,i}|t^{c_i2cano,i}]$，使第一帧的手部旋转和平移归零。随后，手部旋转和平移被转换到规范空间中： $$ \begin{align*}\Phi_{t}^{cano,i}&=R^{c_{t}2cano,i}\times\Phi_{t}^{c_{t},i},\\\Gamma_{t}^{cano,i}&=R^{c_{t}2cano,i}\times\Gamma_{t}^{c_{t},i}+t^{c_{t}2cano,i}.\end{align*} $$ 填补器网络。预测缺失帧的手部姿态可视为一种运动插值任务。为此，我们遵循[^17]的思路，采用Transformer编码器架构构建运动填补器网络，用于预测缺失的姿态标记。具体来说，我们首先将输入的MANO序列投影为D维潜向量，再将其送入堆叠的多头自注意力层。由于Transformer编码器无法显式捕捉运动的自回归特性，我们加入位置嵌入[^39]来对每帧的时间信息进行编码。输出标记会被传入一个简单的全连接解码器，以回归规范空间中的MANO序列。最后，我们通过计算规范到世界的变换$T^{cano2w,i} = [R^{cano2w,i}|t^{cano2w,i}].$，将MANO序列转换到世界空间。 训练。为了训练运动填补器网络，我们使用了HOT3D数据集[^4]，该数据集提供了手部的Egocentric视角和第三人称视角，使我们能够轻松识别并标注每个视频中手部超出Egocentric相机视场范围的帧。为了扩充训练数据，我们采样额外的视频序列，随机掩码部分帧段，同时保留起始帧和结束帧作为填补器网络的上下文。为简化训练过程，我们使用姿态插值方案来初始化缺失帧的MANO参数：对于给定的运动序列，平移和形状参数采用线性插值，而全局旋转和姿态参数则采用球面线性插值（SLERP）。这能够减轻填补器网络的工作负担，实现更稳健的重建。 损失函数。我们采用多种损失函数的组合来训练运动填充网络，以对物体的平移和朝向以及手部姿态和形状进行约束。总体损失函数定义如下： $$ \begin{aligned}\mathcal{L}_{\mathcal{F}}&=\sum_{t=1}^{T}(\gamma_{1}\mathcal{L}_{\Gamma}^{t}+\gamma_{2}\mathcal{L}_{\Phi}^{t}+\gamma_{3}\mathcal{L}_{\Theta}^{t}+\gamma_{4}\mathcal{L}_{\beta}^{t}),\\\mathcal{L}_{\Gamma}^{t}&=||\Gamma_{t}-\hat{\Gamma}_{t}||_{1},\mathcal{L}_{\Phi}^{t}=||\Phi_{t}-\hat{\Phi}_{t}||_{1},\\\mathcal{L}_{\Theta}^{t}&=||\Theta_{t}-\hat{\Theta}_{t}||_{1},\mathcal{L}_{\beta}^{t}=||\beta_{t}-\hat{\beta}_{t}||_{1},\end{aligned} $$ 其中每个$\gamma_{i}$都是权重因子，用于平衡各损失项的影响。 ### 4. 实验 数据集。为了评估HaWoR与基线模型在相机坐标系下手部运动重建的性能，我们使用了DexYCB [^9]数据集，该数据集包含由多台固定相机拍摄的手部与物体交互视频，其中存在严重遮挡的情况。为了评估重建后的世界坐标系下的相机与手部轨迹以及填充结果，我们采用了 --- HOT3D数据集 [^4]，该数据集包含由动态相机拍摄的以人眼为中心的视频，同时提供了真实的相机轨迹以及世界坐标系下的MANO标注。 评估指标。为了评估相机坐标系下的3D手部姿态，我们使用Procrustes对齐的平均关节位置误差（PA-MPJPE）以及正确定位的关键点的曲线下面积（AUC）。遵循[^43]中的方法，我们采用世界MPJPE（W-MPJPE）和世界对齐MPJPE（WA-MPJPE）来评估世界坐标系下的手部估计效果。此外，我们通过根节点平移误差（RTE）来衡量整个轨迹的误差，并通过计算加速度误差（Accel）来评估运动的平滑度。Frechet Inception距离（FID）用于衡量运动填充的质量。为了量化相机轨迹的质量，我们计算平均轨迹误差（ATE），该误差会将真实轨迹与采用估计尺度的ATS-S进行尺度对齐，具体如[^41]中所述。 #### 4.1. 相机坐标系下的3D手部运动 要实现精准的世界坐标系下手部运动重建，首先必须在相机坐标系下获得鲁棒且高精度的手部运动估计。由于以人眼为中心的视频常常存在多种遮挡情况，我们遵循[^12]中的方法，使用DexYCB数据集，该数据集针对视频中的遮挡帧提供了明确的标注。具体而言，在表1中，我们比较了HaWoR与基于图像及视频的方法在不同遮挡比例下的相机坐标系3D手部运动重建效果。可以看出，HaWoR在不同遮挡率下均表现出稳定的性能。相比之下，作为单图像和视频3D手部姿态估计领域的最先进方法，WiLoR [^30]和Deformer [^12]在遮挡率较高的视频中性能会大幅下降。值得注意的是，在75%至100%的高遮挡率条件下，HaWoR的性能提升比最先进方法更为显著（即WiLoR [^30]的误差为5.68，而HaWoR仅为5.07）。 #### 4.2. 世界坐标系下的3D手部运动 在本节中，我们从定量和定性两个维度评估HaWoR在世界空间中的手部动作重建性能。基线方法：据我们所知，HaWoR是目前首个致力于解决世界空间手部动作重建问题的框架，因此我们参照基于世界坐标系的人体动作估计相关文献[^33] [^43] [^46]，实现了一系列强大的基线方法。具体而言，我们采用了目前性能最优的手部姿态估计方法，即HaMeR [^28]、WiLoR [^30]和HandDGP [^38]，再结合DROID-SLAM [^36]，来还原世界空间中的手部与相机运动。此外，我们还实现了一种基于优化的方法，该方法借鉴了SLAHMR [^43]的思路，通过结合DROID来实现相关功能。
MethodsAll50%-75%75%-100%
MPJPEAUCMPJPEAUCMPJPEAUC
image-basedSpurr et al. [^34]6.8386.48.0084.010.6578.8
MeshGraphormer [^23]6.4187.27.2285.67.7684.5
SemiHandObj [^24]6.3387.47.1785.78.9682.1
HandOccNet [^27]5.8088.46.4387.27.3785.3
WiLoR [^30]5.0190.05.4289.25.6888.7
temporal$S^{2}$HAND(V) [^37]7.2785.57.7184.67.8784.3
VIBE [^18]6.4387.16.8486.47.0685.8
TCMR [^10]6.2887.56.5886.86.9586.1
Deformer [^12]5.2289.65.7088.66.3487.3
Proposed4.7690.55.0389.95.0789.9
Table 1. Quantitative camera-frame comparison of state-of-the-art hand pose estimation methods on the DexYCB test dataset. We compare PA-MPJPE and AUC results, especially the split under large occlusion proportion (50%-75% and 75%-100%), which highlights our robustness in challenging visibility conditions.
MethodsATE $\downarrow$ATE-S $\downarrow$
AllShortMedLongAll
DROID [^36]3.80----
DROID + ZoeDepth [^7]3.8025.0339.3975.9543.58
DROID + DepthAnyV2 [^42]3.8018.1425.5043.6027.49
DROID + Metric3DV2 [^44]3.8014.2821.5629.1021.07
Proposed w/o Scale3.36----
Proposed w. ZoeDepth [^7]3.3611.9125.3436.0523.67
Proposed w. DepthAnyV2 [^42]3.3614.6320.4925.5419.85
Proposed w/o AdaSM3.3614.0322.3827.4920.97
Proposed3.369.3115.8619.2614.61
Table 2. Evaluation of camera estimation with aligned scale (ATE) and estimated scale (ATE-S). We also report the split results of short (< 5m), medium (3m–5m) and long (> 5m) displacement. ATE and ATE-S is in mm.
借助强大的手部运动先验（HMP）[^11]来使手部姿态估计结果与相机轨迹对齐。此外，我们将所提出的世界坐标系下的相机轨迹与不同的度量深度估计方法进行比较，这些方法包括ZoeDepth [^7]、DepthAnythingV2 [^42]以及Metric3DV2 [^44]。为了便于理解各个网络组件的贡献，我们将评估分为两步进行：先评估全局相机轨迹，再评估世界坐标系下重建的手部运动。 全局相机轨迹。在表2中，我们评估了所提出的自适应以自我为中心的SLAM方法与那些简单地将DROID-SLAM [^36] 与度量网络相结合的基线方法在相机轨迹估计方面的表现。 显然，尽管直接应用 --- ![Image](images/536c1be0c6e955618139e3d3dc4ff126e9177a3ac15c7ea5870b43b2c3c917fe.jpg)
Figure 3. Visualization of right-hand estimated trajectories on challenging cases of HOT3D. The first example depicts someone picking up a kettle, turning around, and pouring water. The second example depicts the subject placing a tin on the table and then picking up another. The third video depicts the subject using a mouse keyboard and then reaching for a cup to drink water. In contrast to the baseline methods, HaWoR achieves robust hand trajectories, especially in challenging scenarios with large hand movements and truncated hands.
MethodPA-MPJPEW-MPJPEWA-MPJPERTEAccel
HaMeR-SLAM [^28]9.39156.0343.374.7719.25
HandDGP-SLAM [^38]17.88154.3042.933.1820.17
WiLoR-SLAM [^30]6.00151.6739.492.998.02
HMP-SLAM [^11]10.51119.4139.462.795.50
Proposed4.7933.2011.270.785.41
Table 3. Quantitative evaluation in world-space coordinates on HOT3D dataset.
将度量模型应用于 SLAM 估计的相机轨迹可能足以进行第三人称身体运动重建 [^33] [^43] [^45] [^46]，但在以自我为中心的场景中精确重建相机轨迹方面则显得不足，这些场景的特点是存在显著的遮挡且手部占据画面的大部分。相比之下，所提出的方法通过在 SLAM 光束法平差步骤中提供准确的视觉线索，有效缓解了此问题，从而在以自我为中心的场景中促进了重建性能。同样值得注意的是，在估计实际世界尺度估计（ATE-S）时，轨迹误差会进一步加剧。HaWoR 中提出的自适应 SLAM 的效果可以在图 4 中得到进一步验证，其中相机轨迹与真实相机运动相匹配，解决了 DROID-SLAM 方法在以自我为中心的视图中的局限性。 世界坐标系下的手部运动估计。在表3中，我们报告了HaWoR与基线方法在世界坐标系下手部运动重建的性能表现。无论是在相机坐标系下（PA-MPJPE）还是世界空间下（W-MPJPE），HaWoR的性能都显著优于基于回归和优化方法的基线模型。此外，如RTE指标所示，HaWoR生成的运动重建结果更加稳定、鲁棒，且不受遮挡影响。与基线方法相比，HaWoR的加速度误差也显著降低，这一结果验证了运动轨迹的平滑性。 --- ![Image](images/276180ce6dcad829b558385666061783cc502eb768329dc596bab363b1774a59.jpg)
Figure 4. Camera global trajectory. The proposed adaptive SLAM approach demonstrates precise camera trajectory estimation while recovering accurate real-world scale, outperforming DROID-SLAM, which struggles with both trajectory accuracy and scale consistency.
![Image](images/bd2fefbb94dd4cc2ce800efa9421f5825ab8031f254158c8432ad3a583e53b1b.jpg)
Figure 5. Hand global trajectory for the right hand on HOT3D. Compared to HMP-SLAM, HaWoR produces accurate trajectories even for complex and long-range hand movements.
跨帧重建运动的平滑性。 所提出的手部运动估计精度可在图3和图5中进一步验证。在这两幅图中，我们对比了通过HaWoR以及一种利用手部运动先验来引导运动的基于优化的方法（HMP-SLAM）所估算出的手部轨迹。即便在基线方法无法处理的复杂运动场景下，HaWoR仍能生成与真实轨迹高度吻合的精确手部轨迹。需要特别指出的是，除了在相机轨迹估计方面表现更优外，HaWoR每帧仅需40毫秒的单次前向传播时间，相比需要每帧160毫秒处理时间的基于优化的HMP-SLAM方法，其推理耗时减少了75%。 #### 4.3. 消融实验 我们开展了消融实验，以评估框架中关键组件的影响。具体而言，我们最初
MethodPA-MPJPEW-MPJPEWA-MPJPERTEAccel
w/o Pretrained ViT7.5986.8019.461.269.09
w/o IAM & PAM5.0744.6013.850.938.42
w/o PAM4.8036.3212.400.886.03
Proposed4.7933.2011.270.785.41
(a) Hand motion components. Here is the ablation results without IAM (Image Attention Module), PAM (Pose Attention Module) or pretrained ViT.
MethodFIDPA-MPJPEW-MPJPEWA-MPJPERTE
Last Pose1.527.83116.7978.7813.04
LERP1.426.3375.0149.169.39
Proposed0.576.2266.2537.227.41
(b) Motion Infiller. We experiment on the invisible sequences of HOT3D [^4] validation dataset.
Table 4. Ablations study on the key modules of our method.
报告了构成所提出的手部运动估计网络的图像和运动先验所产生的影响。如表4(a)所示，IAM和PAM模块均对HaWoR的性能有所贡献，提升了重建结果的鲁棒性。此外，我们还评估了运动填充网络的作用及其在HOT3D [^4]数据集上的泛化性能。LERP采用帧线性插值方式，其中根节点的平移和形状采用线性插值，关节旋转则采用球面线性插值。我们也将该方法与复制最后一个可见姿态的方法进行了比较。从表4(b)可以看出，所提出的运动填充网络的表现明显优于简单的运动补全方法。 ### 5. 结论与局限性 在这项工作中，我们提出了HaWoR——一种在世界空间中实现高保真3D手部运动重建的方法。HaWoR基于强大的基于相机帧的Transformer手部运动重建模块，以及用于估计并填补缺失帧间运动数据的稳健填充网络。为了将相机帧中的手部运动对齐到世界坐标系下，我们提出了一种自适应以自我为中心的SLAM模块，该模块能够在具有挑战性且存在遮挡的以自我为中心视角下实现全局相机轨迹估计。通过大量的实验结果，我们证明HaWoR的性能优于以往的方法，在不同基准数据集上均达到了最先进的水平。不过，尽管HaWoR相比以往方法大幅提升了手部运动重建速度，但其运行时间仍远未达到实时要求。未来，我们可以探索利用基础模型直接估计世界空间中的相机轨迹，从而向实时世界帧手部运动估计迈进一步。 --- 致谢：本研究部分得到了国家自然科学基金（62322113、62376156）以及上海市重大科技项目（2021SHZDZX0102）的支持。 ## 参考文献 [^1]: Nir Aharon, Roy Orfaig, and Ben-Zion Bobrovsky. Botsort: Robust associations multi-pedestrian tracking. arXiv preprint arXiv:2206.14651, 2022. 4 [^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1067–1076, 2019. 2 [^3]: Vasileios Baltatzis, Rolandos Alexandros Potamias, Evangelos Ververas, Guanxiong Sun, Jiankang Deng, and Stefanos Zafeiriou. Neural sign actors: A diffusion model for 3d sign language production from text. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1985–1995, 2024. [^4]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, et al. Introducing hot3d: An egocentric dataset for 3d hand and object tracking. arXiv preprint arXiv:2406.09598, 2024. 2, 5, 6, 8 [^5]: Siddhant Bansal, Michael Wray, and Dima Damen. Hoi-ref: Hand-object interaction referral in egocentric vision. arXiv preprint arXiv:2404.09933, 2024. 1 [^6]: Jonathan T Barron. A general and adaptive robust loss function. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 4331–4339, 2019. 5 [^7]: Shariq Farooq Bhat, Reiner Birkl, Diana Wofk, Peter Wonka, and Matthias Müller. Zoedepth: Zero-shot transfer by combining relative and metric depth. arXiv preprint arXiv:2302.12288, 2023. 6 [^8]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 2 [^9]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 5 [^10]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. Beyond static features for temporally consistent 3d human pose and shape from a video. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1964–1973, 2021. 6 [^11]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J Black. Hmp: Hand motion priors for pose and shape estimation from video. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 6353–6363, 2024. 6, 7 [^12]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 23600–23611, 2023. 6 [^13]: Liuhao Ge, Hui Liang, Junsong Yuan, and Daniel Thalmann. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3593–3601, 2016. 2 [^14]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11090–11100, 2022. 1 [^15]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. Panoptic studio: A massively multiview system for social motion capture. In Proceedings of the IEEE international conference on computer vision, pages 3334–3342, 2015. 3 [^16]: Manuel Kaufmann, Jie Song, Chen Guo, Kaiyue Shen, Tianjian Jiang, Chengcheng Tang, Juan José Zárate, and Otmar Hilliges. Emdb: The electromagnetic database of global 3d human pose and shape in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14632–14643, 2023. 3 [^17]: Jihoon Kim, Taehyun Byun, Seungyoun Shin, Jungdam Won, and Sungjoon Choi. Conditional motion in betweening. Pattern Recognition, 132:108894, 2022. 5 [^18]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black. Vibe: Video inference for human body pose and shape estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5253–5263, 2020. 6 [^19]: Muhammed Kocabas, Ye Yuan, Pavlo Molchanov, Yunrong Guo, Michael J Black, Otmar Hilliges, Jan Kautz, and Umar Iqbal. Pace: Human and camera motion estimation from in-the-wild videos. In 2024 International Conference on 3D Vision (3DV), pages 397–408. IEEE, 2024. 3 [^20]: Dominik Kulon, Haoyang Wang, Riza Alp Güler, Michael M. Bronstein, and Stefanos Zafeiriou. Single image 3d hand reconstruction with mesh convolutions. In Proceedings of the British Machine Vision Conference (BMVC), 2019. 2 [^21]: Han Li, Bowen Shi, Wenrui Dai, Hongwei Zheng, Botao Wang, Yu Sun, Min Guo, Chenglin Li, Junni Zou, and Hongkai Xiong. Pose-oriented transformer with uncertainty-guided refinement for 2d-to-3d human pose estimation. In Proceedings of the AAAI conference on artificial intelligence, pages 1296–1304, 2023. 2 [^22]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1954–1963, 2021. 1, 2 ## [^23]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international --- 计算机视觉会议，第12939–12948页，2021年。1, 2, 6 [^24]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021. 6 [^25]: Iason Oikonomidis, Nikolaos Kyriazis, Antonis A Argyros, et al. Efficient model-based 3d tracking of hand articulations using kinect. In BmVC, page 3, 2011. 2 [^26]: Hyun Soo Park, Takaaki Shiratori, Iain Matthews, and Yaser Sheikh. 3d trajectory reconstruction under perspective projection. International Journal of Computer Vision, 115:115–135, 2015. [^27]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusionrobust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1496–1505, 2022. 6 [^28]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 1, 2, 3, 6, 7 [^29]: Rolandos Alexandros Potamias, Stylianos Ploumpis, Stylianos Moschoglou, Vasileios Triantafyllou, and Stefanos Zafeiriou. Handy: Towards a high fidelity 3d hand shape and appearance model. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4670–4680, 2023. [^30]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. arXiv preprint arXiv:2409.12259, 2024. 1, 2, 3, 4, 6, 7 [^31]: Jing Qi, Li Ma, Zhenchao Cui, and Yushu Yu. Computer vision-based hand gesture recognition for human-robot interaction: a review. Complex & Intelligent Systems, 10(1): 1581–1606, 2024. 1 [^32]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: modeling and capturing hands and bodies together. ACM Transactions on Graphics (TOG), 36(6):1–17, 2017. 2, 3, 4 [^33]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J Black. Wham: Reconstructing world-grounded humans with accurate 3d motion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2070–2080, 2024. 2, 3, 6, 7 [^34]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European conference on computer vision, pages 211–228. Springer, 2020. 6 [^35]: Andrea Tagliasacchi, Matthias Schröder, Anastasia Tkach, Sofien Bouaziz, Mario Botsch, and Mark Pauly. Robust articulated-icp for real-time hand tracking. In Computer graphics forum, pages 101–114. Wiley Online Library, 2015. [^36]: Zachary Teed and Jia Deng. Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras. Advances in neural information processing systems, 34:16558–16569, 2021. 2,4,6 [^37]: Zhigang Tu, Zhisheng Huang, Yujin Chen, Di Kang, Linchao Bao, Bisheng Yang, and Junsong Yuan. Consistent 3d hand reconstruction in video via self-supervised learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(8):9469–9485, 2023. 6 [^38]: Eugene Valassakis and Guillermo Garcia-Hernando. Hand-dgp: Camera-space hand mesh prediction with differentiable global positioning. In European Conference on Computer Vision, pages 479–496. Springer, 2025. 6,7 [^39]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017. 5 [^40]: Timo Von Marcard, Roberto Henschel, Michael J Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In Proceedings of the European conference on computer vision (ECCV), pages 601–617, 2018. 2, 3 [^41]: Yufu Wang, Ziyun Wang, Lingjie Liu, and Kostas Daniilidis. Tram: Global trajectory and motion of 3d humans from in-the-wild videos. In European Conference on Computer Vision, pages 467–487. Springer, 2025. 2, 3, 4, 5, 6 [^42]: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, and Hengshuang Zhao. Depth anything: Unleashing the power of large-scale unlabeled data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10371–10381, 2024. 6 [^43]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 21222–21232, 2023. 2, 3, 6, 7 [^44]: Wei Yin, Chi Zhang, Hao Chen, Zhipeng Cai, Gang Yu, Kaixuan Wang, Xiaozhi Chen, and Chunhua Shen. Metric3d: Towards zero-shot metric 3d prediction from a single image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9043–9053, 2023. 2, 3, 4, 6 [^45]: Wanqi Yin, Zhongang Cai, Ruisi Wang, Fanzhou Wang, Chen Wei, Haiyi Mei, Weiye Xiao, Zhitao Yang, Qingping Sun, Atsushi Yamashita, et al. Whac: World-grounded humans and cameras. In European Conference on Computer Vision, pages 20–37. Springer, 2025. 7 [^46]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. Glamr: Global occlusion-aware human mesh recovery with dynamic cameras. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11038–11049, 2022. 2, 3, 6, 7 [^47]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 2 ## [^48]: Yizhou Zhao, Tuanfeng Yang Wang, Bhiksha Raj, Min Xu, Jimei Yang, and Chun-Hao Paul Huang. Synergistic global --- 基于视频的空间相机与人体重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1216–1226页，2024年。3 [^49]: Hongwei Zheng, Han Li, Wenrui Dai, Ziyang Zheng, Chenglin Li, Junni Zou, and Hongkai Xiong. Hipart: Hierarchical pose autoregressive transformer for occluded 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2025. [^50]: Ronglai Zuo, Rolandos Alexandros Potamias, Evangelos Ververas, Jiankang Deng, and Stefanos Zafeiriou. Signs as tokens: An autoregressive multilingual sign language generator. arXiv preprint arXiv:2411.17799, 2024. 1