# Dyn-HaMR：从动态摄像头恢复四维交互手部运动 Zhengdi Yu、Stefanos Zafeiriou、Tolga Birdal，帝国理工学院 ## 输入视频 ![Image](images/f2d5aac75dc6844baf0ba7fb676bc37bb8c26ba6dc9f5ab1c0fb85b382492cb6.jpg)
Figure 1. Dyn-HaMR as a remedy for the motion entanglement in the wild. The green and red arrows represent the direction of the hand motion. Dyn-HaMR (Ours) can disentangle the camera and object poses to recover the 4D global hand motion in the real world whilst state-of-the-art 3D hand reconstruction methods like HaMeR $^{[37]}$, IntagHand $^{[25]}$ and ACR $^{[51]}$ fail to do so since they cannot disentangle the sources of motion.
## 摘要 据我们所知，我们提出的Dyn-HaMR是首个能够从野外动态摄像机拍摄的单目视频中重建4D全局手部运动的方法。从单目视频中重建精确的3D手部网格对于理解人类行为至关重要，在增强现实和虚拟现实（AR/VR）领域有着重要应用。然而，现有的单目手部重建方法通常依赖于弱透视相机模型，该模型仅在有限的相机视锥范围内模拟手部运动。因此，这些方法难以恢复完整的3D全局轨迹，且常常会产生噪声较大或错误的深度估计结果，尤其是在视频由动态或移动摄像机拍摄时——这种情况在以自我为中心的场景中十分常见。我们的Dyn-HaMR采用多阶段、多目标优化流程，其中考虑了以下因素：(i) 同时定位与地图构建（SLAM），以稳健地估计相机的相对运动；(ii) 用于生成式填充并优化交互动态的互动手部先验，确保在出现（自身）遮挡时能合理恢复手部形态；(iii) 通过结合最先进的手部追踪方法来实现分层初始化。 我们的Dyn-HaMR包含多阶段、多目标优化流程，该流程综合考虑了以下方面：(i) 同时定位与地图构建（SLAM），用以可靠地估计相机的相对运动；(ii) 用于生成式填充并优化交互动态的互动手部先验，确保在出现（自身）遮挡时能合理恢复手部形态；(iii) 通过结合最先进的手部追踪方法实现分层初始化。通过在野外及室内数据集上进行的广泛评估，我们发现该方法在4D全局网格重建方面显著优于现有最先进的方法。这为利用移动摄像机的单目视频进行手部运动重建树立了新标杆。我们的项目页面位于。 ### 1. 引言 在我们日益数字化的世界中，捕捉和解读人体运动对于推进人机交互（HCI）以及增强现实和虚拟现实（AR/VR）的沉浸式体验至关重要。许多此类应用都依赖单个现成的、安装在身上的摄像头来捕捉手部运动，通常涉及双手之间的复杂交互。然而，当身体移动时，摄像头也会随之移动（例如第一人称视角），从而形成了手部运动与摄像头运动的复杂混合。这种动态场景带来了一个根本性挑战：将感兴趣的手部运动与摄像头自身的运动分离开来——而在没有辅助跟踪的情况下，这项任务往往难以完成。 --- 将摄像头安装好以捕捉手部动作，通常涉及两只手之间的复杂交互。然而，当身体移动时，摄像头也会随之移动（例如以身体为中心），从而形成了手部动作与摄像头运动交织在一起的复杂情况。这种动态设置带来了一个根本性难题：如何将感兴趣的手部动作与摄像头自身的运动区分开来——而在没有辅助跟踪的情况下，这项任务往往难以完成。 目前大多数单目手部重建方法[^2] [^4] [^19] [^23] [^25] [^32] [^33] [^51] [^54] [^55] [^57]均采用弱透视相机模型，在相机坐标系或根节点相关坐标系下捕捉手部动作[^32] [^33]。不过，这些方法忽略了摄像头的运动，仅依赖二维线索，难以解决深度模糊问题，最终无法恢复准确的全局手部轨迹。 此外，手部交互还会带来额外的障碍，包括频繁的遮挡、截断以及漏检现象。以往的研究要么只考虑单手运动的简单场景 [^2] [^4] [^55] [^57]，要么专注于交互中的手部，却未专门恢复其全局运动轨迹 [^23] [^25] [^32] [^51] [^54]。即便使用静态摄像头，由于缺乏强交互先验，现有方法也无法在遮挡或截断情况下真实地重建两只手的运动。尽管已取得显著进展，但至今尚无任何方法能在动态摄像头和复杂手部交互带来的挑战性条件下，解决完整的4D手部重建问题。同时，目前也没有公开的数据集能提供足够的时间信息，以支持4D全局交互的学习。 在这项工作中，我们提出了Dyn-HaMR：一种用于在动态摄像头捕捉的复杂现实场景中重建4D手部运动轨迹的新型多阶段优化框架。以输入的RGB视频为起点，Dyn-HaMR利用基于现成方法（如MediaPipe [^30]、ViTPose [^48]、ACR [^51]和HaMeR [^37]）构建的稳健双手跟踪系统来分层初始化运动状态。随后，我们使用SLAM系统 [^46] [^47] 来估计相机的相对运动。我们的多目标优化机制确保3D形状投影与2D观测结果一致，同时能够处理遮挡和漏检问题，并借助受 [^8] 启发的、结合生物力学约束的学习到的生成式手部运动先验来保证轨迹的合理性。我们还考虑了手部与相机位移中的尺度因素，从而提升深度推理能力。 值得注意的是，如图1所示，我们的方法无需精确的三维场景重建，因此能够适配自然场景下的视频数据。我们通过在动态的自然场景手部交互视频以及H2O [^21]、EgoDexter [^35]、FPHA [^10]、HOI4D [^29]和InterHand2.6M [^33]等标准基准测试集上进行的大量实验，验证了该方法的有效性。我们的主要贡献包括： • 首次提出一种基于优化的方法，能够分离并重建两只手的全局4D姿态与形状，以及相机轨迹。 - 利用结合生物力学约束的数据驱动型手部运动先验来指导优化过程，从而恢复真实且复杂的手部交互。 • 在具有挑战性的自然场景视频及基准测试集上开展全面实验，结果表明该方法在4D全局运动恢复方面的性能较现有技术有显著提升。 我们的补充材料提供了使用网络来源的图像和视频在动态场景下进行的进一步定性分析，凸显了该方法的鲁棒性。论文发表后，我们将公开发布相关实现代码。 ### 2. 相关工作 单目条件下的双手重建。近年来，双手（双腕）的姿态与形状估计技术取得了快速进展[^23] [^25] [^32] [^37] [^40] [^51]。其中，[^37]提升了单手姿态估计的性能。Li等人[^25]开发了一种基于GCN的网格回归网络，该网络利用金字塔特征并学习双手之间的隐性注意力机制。Moon等人[^32]提出了一种策略，通过弥合多摄像头数据集与自然场景数据集之间的域差异，来提高自然场景下手部重建的精度。Ren等人[^40]采用变分自编码器（VAE）作为双手交互重建的先验。Yu等人[^51]借助二维高斯热图和跨手注意力机制，提出了一种用于双手重建的单阶段流水线。SignAvatars[^52]采用多阶段优化流水线来重建三维手语演员模型。不过，所有这些方法都存在深度模糊问题，且由于相机与手部姿态的耦合，重建结果中的抖动现象也会加剧。此外，对弱透视相机模型的依赖，本质上限制了它们在动态场景中的有效表现。相比之下，我们提出的基于优化的方法能够从移动相机拍摄的复杂场景中重建双手的四维全局运动，同时还能利用学习到的手部运动先验更精确地建模它们之间的交互。 四维运动先验。计算机动画领域已经研究出许多运动模型，这些模型大多应用于人体运动场景[^5] [^18] [^20] [^26] [^28] [^42] [^45]，包括近期的循环模型和自回归模型[^12] [^14] [^17] [^27] [^49]。这类模型通常侧重于少数角色及周期性运动的可视化保真度。有些研究尝试生成更通用的运动与身体形态[^1] [^6] [^38] [^56]，但仅局限于短期未来预测范畴。HuMoR[^39]提出了一种可用于测试时优化的自回归形状先验。其他方法则追踪手部表面三维点上的完整手部运动[^7]。InterHandGen[^24]提出了一种生成模型，将其作为双手在有无物体参与时的交互先验。Fourier --- ![Image](images/c7e44d51bffc7b5f5b788d8a79b19c83003d42ae96e1ba253e70136f4210148e.jpg)
Figure 2. Overview of our method. We design a three-stage optimization pipeline to recover the 4D global hand motion from in-the-wild videos even with dynamic cameras. Our method can disentangle hand and camera motion as well as modelling complex hand interactions.
HandFlow[^22]设计了一种用于三维手部形状的时空模型，该模型采用三维手部占据场，并沿时间轴设置考虑关节特性的查询流。HMP[^8]近期利用神经运动场[^15]，通过训练最新的Arctic[^9]数据集来捕捉手部运动的合理空间。我们利用它们预训练的模型，为恢复出的运动赋予合理性。 ### 3. Dyn-HAMR 我们考虑一个包含T帧的输入视频$\mathcal{V} = \{\mathbf{I}_1, \cdots, \mathbf{I}_T\}$，其中有两个可能相互交互的手部，它们会进行任意的6D相机运动。我们的目标是恢复两只手在世界坐标系中的全局轨迹。如图2所示，我们设计了一个三阶段的优化流程，该流程的灵感来源于近期在动态人体运动感知领域的研究成果[^43] [^50]。第一阶段（第3.1节）利用最先进的双手交互姿态估计方法[^37] [^48] [^51]，来初始化相机坐标系中每只手的逐帧状态。与人体不同，从手部图像中提取的运动序列常常因为自遮挡和快速运动导致的模糊而不完整。作为补救措施，我们利用最新的手部运动先验知识[^8]来进行生成式运动填补，以弥补漏检的部分。第二阶段（第3.2节）的目标是估算从世界坐标系到相机坐标系的变换，同时优化世界坐标系中的全局运动。为此，我们利用最先进的SLAM系统来计算相机的相对运动。为了区分相机运动和手部运动对全局手部运动的各自贡献，我们还会优化全局（世界）缩放因子。第三阶段（第3.3节）再次利用已学得的手部运动先验，这次是为了进一步约束手部的位移，并在穿透约束和生物力学约束下细化复杂的手部交互。 手部运动的表示方式：我们将全局运动轨迹表示为一系列手部状态$\mathbf{Q}^h = \{\boldsymbol{q}_t^h\}_{t=1}^T$。在给定时间t，我们通过MANO模型[^41]将手部姿态和形状参数化，即$\boldsymbol{q}_t^h = \{\boldsymbol{\theta}_t^h, \boldsymbol{\beta}_t^h, \boldsymbol{\phi}_t^h, \boldsymbol{\tau}_t^h\}$，其中$\boldsymbol{\theta}_t^h \in \mathbb{R}^{3 \times 15}$表示形式为$15$的手部关节的局部姿态，$\boldsymbol{\beta}_t^h \in \mathbb{R}^{10}$是形状系数，而$(\boldsymbol{\phi}_t^h, \boldsymbol{\tau}_t^h)$则表示以轴角形式参数化的根部朝向所对应的全局腕部姿态$\boldsymbol{\phi}_t^h \in \mathbb{R}^3$，以及平移量$\boldsymbol{\tau}_t^h \in \mathbb{R}^3$。$h \in [l, r]$用于确定手的左右属性。我们假设在整个序列中手的身份和形状保持不变$i.e., \boldsymbol{\beta}^h := \boldsymbol{\beta}_t^h \forall t$。我们还用$\boldsymbol{q}_t^h$和$\mathbf{q}_t^h$分别指代相机坐标系和世界坐标系中的姿态；类似地，${}^{c}\mathbf{Q}^h$和${}^{w}\mathbf{Q}^h$分别表示相机坐标系和世界坐标系中的轨迹。在给定时间t，通过MANO参数$\boldsymbol{q}_t^h$可以利用可微函数恢复手部网格顶点$\mathbf{V} \in \mathbb{R}^{3 \times 778}$和关节$\mathbf{J} \in \mathbb{R}^{3 \times 21}$： $$ \mathbf{V}_{t}^{h}=W(H(\mathbf{J}_{t}^{h},\boldsymbol{\beta}^{h}),P(\boldsymbol{\beta}^{h}),\mathbf{S})+\boldsymbol{\tau}_{t}^{h}\mathbf{1}_{778} $$ $$ \mathbf{J}_{t}^{h}=\mathbf{L}\mathbf{V}_{t}^{h}, $$ 其中$W(\cdot)$是蒙皮函数，H是参数化的手部模板形状，$\mathbf{1}_{778} \in \mathbb{R}^{1 \times 778}$是一个元素均为1的行向量。P返回静止姿态下的手部关节位置，$\mathbf{S}$表示蒙皮权重，$\mathbf{L}$则是一个预训练的线性回归器。 手部运动先验。我们的框架利用手部运动的先验信息，既用于运动填补，也用于确保重建序列的合理性。遗憾的是，由于快速手部运动和全局平移带来的挑战，对手部建立先验模型十分困难。我们采用了唯一可用的手部先验——HMP [^8]，它基于神经运动场（NeMF）[^15]。NeMF通过将根节点方向从局部运动中分离出来，将运动表示为时间域内的运动学姿态连续向量场：$D : (t, \mathbf{z}^h) \to (J_t^h, (\phi_t^h, \tau_t^h))$，其中$\mathbf{z}^h$为潜码。为了采样新的运动，采用变分框架，其中非自回归解码器D将采样的潜码映射为由时间步t控制的时空序列。 --- #### 3.1. 手部追踪与分层初始化 我们通过高效的双手追踪系统来初始化每帧的运动状态$q_t^h$。为此，我们采用了分层初始化方案，融合了最先进的双手交互重建方法[^30] [^37] [^48] [^51]。具体而言，我们首先基于ViTPose [^48]微调2D手部姿态估计模型，并利用它来获取每只手对应的边界框序列。随后，我们对每个裁剪后的图像块应用[^30] [^37] [^51]，以提取相机坐标系中每只手的每帧运动状态$q_t^h$。 运动填补与时间一致性。上述单帧双手交互重建方法天然缺乏时间连贯性。此外，由于手部交互过程中频繁发生遮挡，可能导致轨迹$^cQ^h$出现检测遗漏而变得不完整。我们借助手部运动先验[^8]作为生成式、平滑的运动补全器来解决这两个问题。具体来说，对于两只手，我们优化HMP中的潜码$z^h$，使其适配有检测结果的帧。该优化器的初始化采用姿态空间中的规范插值方式。我们根据这一运动序列计算出平均形状参数$\beta^h$，最终得到相机坐标系下的初始4D手部轨迹$^cQ^h$。 我们还通过结合ViTPose [^48]和MediaPipe [^30]以及[^37]的重投影结果来初始化2D观测数据，随后将其输入置信度引导滤波器。为了填补缺失的2D关键点检测，我们将来自$^c\mathbf{J}_t^h$的3D关键点$^c\mathbf{q}_t^h$通过弱透视相机参数重投影到对应的2D图像平面上，即$\hat{\mathbf{J}}_t^h \in \mathbb{R}^{3 \times 21}$。这样我们就得到了插值后的2D关键点$\{\hat{\mathbf{J}}_t^h\}_{t=0}^T$。对于时间步t处的第i个关节，$\hat{\mathbf{J}}_t^h \in \mathbb{R}^{2 \times 21}$和$\mathbf{J}_t^h \in \mathbb{R}^{3 \times 21}$分别对应$\mathbf{x} = (x_i, y_i, z_i)$和$\mathbf{p} = (\hat{x}_i, \hat{y}_i)$，重投影公式定义如下： $$ \begin{array}{r}{\hat{x}_{i}=s x_{i}+\tau_{x}\qquad\mathrm{a n d}\qquad\hat{y}_{i}=s y_{i}+\tau_{y},}\end{array} $$ 其中s、$\tau_{x}$、$\tau_{y}$分别是x轴和y轴的缩放因子与平移量（即由手部姿态估计模型估算出的弱透视相机参数）。 #### 3.2. 4D全局运动优化 现在我们来解释如何恢复交互手部在真实世界中的运动轨迹。给定相机坐标系下的轨迹$^c\mathbf{Q}$（参见第3.1节），我们的核心思路是利用先进的数据驱动型SLAM系统DPVO [^47]来计算相机的相对运动，并在每个时间步t估算从相机坐标系到世界坐标系的变换$\mathbf{C}_t = \{\mathbf{R}_t, \boldsymbol{\tau}^c_t\}$。随后，手部运动$^c\mathbf{Q}^h$与相机运动的合成结果，即$^w\mathbf{q}_t^h = \mathbf{C}_t \odot^c\mathbf{q}_t^h$，便揭示了全局运动情况。不过，相机在世界中的运动尺度本身具有不确定性，而手部运动则自然受到合理性约束。因此，我们优化了世界尺度因子$\omega$，以显式建模相机位移与手部位移之间的相对尺度关系，这一做法受到了[^50]的启发。 优化变量。在优化过程中，我们将初始化的2D关键点序列$\{\hat{J}_t^h\}$、相机坐标系下的3D运动状态序列$^c\mathbf{Q}^h$，以及由SLAM系统估算的世界到相机的变换$\{\mathbf{R}_t, \boldsymbol{\tau}^c_t\}_{t=0}^T$作为输入，随后提出一种全局优化流程，联合优化全局轨迹、方向以及双手和相机的外部参数$\mathbf{C}_t$，使其与2D观测结果相匹配。具体而言，我们首先按如下方式初始化世界坐标系下的全局轨迹$^w\mathbf{Q}$： $$ \mathbf{w}\phi_{t}^{h}=\mathbf{R}_{t}^{-1.c}\phi_{t}^{h}, $$ $$ \mathbf{w}_{\mathbf{\tau}_{t}^{h}}=\mathbf{R}_{t}^{-1}.\mathbf{\epsilon}_{\mathbf{\tau}_{t}^{h}}-\mathbf{\omega}\mathbf{R}_{t}^{-1}.\mathbf{\epsilon}_{\mathbf{\tau}_{t}^{c}}, $$ 同时$w\theta_t^h = c\theta_t^h = \theta_t^h$和$w\beta_t^h = c\beta_t^h = \beta^h$保持不变。初始的世界-相机尺度因子被设定为$\omega = 1$。借助初始化的运动状态$w q_t^h$，便可提取出每个时间步的3D网格关节点$w J_t^h$，具体过程如下，其中$\mathbf{1}_{21} \in \mathbb{R}^{1 \times 21}$是一个元素全为1的行向量： $$ ^{\mathrm{w}}\mathbf{J}_{t}^{h}=\mathbf{L}\cdot W(H(\mathbf{J}_{t}^{h},\boldsymbol{\beta}^{h}),P(\boldsymbol{\beta}^{h}),\mathbf{S})+\mathbf{^{\mathrm{w}}}\boldsymbol{\tau}_{t}^{h}\mathbf{1}_{21}. $$ 优化方案。我们通过最小化下述损失函数来恢复世界坐标系下的轨迹： $$ \begin{aligned}E_{I}(^{\mathrm{w}}\boldsymbol{q}^{h},\omega,\mathbf{R}_{t},\boldsymbol{\tau}^{\mathbf{c}}_{t})=&\lambda_{\mathrm{2d}}\mathcal{L}_{\mathrm{2d}}+\lambda_{\mathrm{s}}\mathcal{L}_{\mathrm{smooth}}+\lambda_{\mathrm{cam}}\mathcal{L}_{\mathrm{cam}}\\&+\lambda_{J}\mathcal{L}_{J}+\lambda_{\beta}\mathcal{L}_{\beta}.\end{aligned}\tag{7} $$ 第一项用于使$^w\mathbf{Q}^h$的重投影结果与初始2D观测值$\{\hat{\mathbf{j}}_t^h\}$对齐： $$ \mathcal{L}_{\mathrm{2d}}=\sum_{t=0}^{T}\sum_{h\in\{l,r\}}\rho\left(\mathbf{C}_{t}^{h}\left(\tilde{\mathbf{J}}_{t}^{h}-\hat{\mathbf{J}}_{t}^{h}\right)\right). $$ 此处，$\tilde{\mathbf{J}}_t^h = \Pi(\mathbf{J}_t^h, \mathbf{R}_t, \omega, \boldsymbol{\tau}^c_t, \mathbf{K})$和$\Pi$表示采用相机内参$\mathbf{K} \in \mathbb{R}^{3 \times 3}$的透视相机投影。$\mathbf{C}_t^h$是根据关节可见性得到的掩码，$\tilde{\mathbf{j}}_t^h$则是从当前3D关键点$\mathbf{w}_t^h$重投影得到的2D关键点。$\rho(\cdot)$是German-McClure鲁棒函数[^11]。 实践中，我们最小化方程(7)时，首先通过最小化方程(8)来优化世界坐标系下的根部方向$\{\phi_t^h\}_{t=0}^T$和平移量$\{\tau_t^h\}_{t=0}^T$，迭代20步；随后再迭代60步来更新手部局部姿态、形状、尺度因子$\omega$以及相机外部参数$\{\mathbf{R}_t, \boldsymbol{\tau}_t^c\}_{t=0}^T$。本质上，双手的运动会进一步约束相机尺度因子$\omega$，从而提升复杂手部交互视频的处理效果。不过，重投影损失缺乏约束条件，可能会导致不合理的姿态。为此，我们利用自然特性…… --- ![Image](images/ec412fccd7f1e345e3e81f4d4bbae69acd20b9c5453695cf145faffc686c054f.jpg) 时间信息，并引入针对手部和相机运动的正则化项，以防止出现不合理的姿态以及由深度模糊引起的抖动轨迹： $$ \mathcal{L}_{\mathrm{s m o o t h}}=\sum_{t=0}^{T}\sum_{h\in\{l,r\}}\|\mathbf{^{w}J}_{t+1}^{h}-\mathbf{^{w}J}_{t}^{h}\|^{2}+d_{\boldsymbol{\theta}}(\boldsymbol{\theta}_{t+1}^{h},\boldsymbol{\theta}_{t}^{h})^{2} $$
Figure 3. Effectiveness of interaction optimization module. Our penetration loss helps with separating hand meshes while the biomechanical constraints prevent implausible configurations that are not explained away by HMP.
$$ \mathcal{L}_{\mathrm{c a m}}=\sum_{t=0}^{T}d_{\mathbf{R}}(\mathbf{R}_{t+1},\mathbf{R}_{t})^{2}+\sum_{t=0}^{T}\|\boldsymbol{\tau}^{\mathbf{c}}_{t+1}-\boldsymbol{\tau}^{\mathbf{c}}_{t}\|^{2}, $$ 其中旋转项d通过计算测地距离得到。之后，为了获得合理的正则化项以减少抖动姿态，我们采用了标准的姿态$\mathcal{L}_{\mathcal{J}} = \sum_{t=0}^{T} \sum_{h \in \{l, r\}} \|J_t^h\|^2$和形状先验$\mathcal{L}_{\mathcal{B}}(\beta^h) = \sum_{h \in \{l, r\}} \|\beta^h\|^2$项[^41]。 #### 3.3. 交互运动先验优化 在第一阶段和第二阶段的优化之后，我们获得了世界坐标系下的全局手部运动数据。在第三阶段，我们引入了交互式手部运动先验优化模块，以便更好地建模手部之间的相互作用。此外，该模块会约束手部的位移使其符合物理合理性，从而借助训练有素的缩放因子 $\omega$ 来确定相机运动对手部运动的贡献。 优化变量。针对带有运动先验的潜在优化过程 [^8]，我们省略了解码后的全局方向信息，因为与身体姿态相比，全局方向本身的约束性更弱且相关性更低。具体来说，我们从预训练的编码器中初始化潜码 $\mathbf{z}^h$。我们的目标是在优化过程中对潜码 $\mathbf{z}^h$、全局运动状态 $\mathbf{w}^{\mathbf{Q}^h}$ 以及缩放因子 $\omega$ 进行优化。同样，我们在最初的200个步骤中仅优化根部方向 $\{\phi_t^h\}_{t=0}^T$ 和平移量 $\{\pi_t^h\}_{t=0}^T$；在接下来的200个步骤中，再将 $\mathbf{z}^h$ 与手部局部姿态及相机参数一同纳入优化变量。通过最小化下述组合目标函数，我们就能得到最终符合物理合理性的交互式手部运动结果： $$ \begin{aligned}E_{II}(^{\mathrm{w}}\boldsymbol{q}^{h},\omega,\mathbf{R}_{t},\boldsymbol{\tau}^{\mathbf{c}}_{t})=&\mathcal{L}_{\mathrm{prior}}+\mathcal{L}_{\mathrm{pen}}+\mathcal{L}_{\mathrm{bio}}\tag{9}\\&+\lambda_{\mathrm{2d}}\mathcal{L}_{\mathrm{2d}}+\lambda_{s}\mathcal{L}_{\mathrm{smooth}}\\&+\lambda_{\mathrm{cam}}\mathcal{L}_{\mathrm{cam}}+\lambda_{J}\mathcal{L}_{J}+\lambda_{\beta}\mathcal{L}_{\beta}.\end{aligned} $$ 现在我们来逐一定义各个子目标。 先验损失（$\mathcal{L}_{prior}$）。我们定义 $\mathcal{L}_{prior} = \lambda_{\mathbf{z}}\mathcal{L}_{\mathbf{z}} + \lambda_{\phi}\mathcal{L}_{\phi} + \lambda_{\tau}\mathcal{L}_{\tau}$，其中 $\mathcal{L}_{\mathbf{z}}$ 通过惩罚每只手的负对数似然值，来确保运动符合手部运动先验的规律： $$ \mathcal{L}_{\mathbf{z}}=\sum_{h\in\{l,r\}}\sum_{t=0}^{T}-\log\mathcal{N}(\mathbf{z}^{h};\boldsymbol{\mu}^{h}(\{\mathbf{J}_{t}^{h}\}),\sigma^{h}(\{\mathbf{J}_{t}^{h}\})). $$ 另外两个项则通过对全局方向 $\Phi^h$ 和平移量 $\mathbf{w}_{\mathcal{T}}$ 施加全局一致性约束，来确保轨迹尽可能平稳无抖动： $$ \mathcal{L}_{\phi}=\sum_{t=0}^{T}d_{\phi}(\mathrm{^{w}}\phi_{t},\mathrm{^{w}}\hat{\phi}_{t})\mathrm{~a n d~}\mathcal{L}_{\tau}=\sum_{t=0}^{T}\|\mathrm{^{w}}\tau_{t}^{h}-\mathrm{^{w}}\hat{\tau}_{t}^{h}\|^{2}. $$ 生物力学损失（$\mathcal{L}_{\text{bio}}$）。虽然手部先验有助于修正某些不符合物理规律的运动配置，但为了进一步提升运动质量，仍有必要对手部姿态施加显式的约束。因此，我们在目标函数中进一步加入了生物力学约束 [^44]，它包含三个项：$\mathcal{L}_{\text{bio}} = \lambda_{ja} \mathcal{L}_{\text{ja}} + \lambda_{bl} \mathcal{L}_{\text{bl}} + \lambda_{palm} \mathcal{L}_{\text{palm}}$。为简化起见，此处暂不区分左右手。对于第 $i^{\text{th}}$ 根手指骨，每个项的定义如下： $$ \mathcal{L}_{\mathrm{j a}}=\sum_{i}d_{\alpha,H}(\boldsymbol{\alpha}_{1:T}^{i},\mathbf{H}^{i}), $$ $$ \mathcal{L}_{\mathrm{b l}}=\sum_{i}\mathcal{I}(\|\mathbf{b}_{1:T}^{i}\|_{2};b_{\min}^{i},b_{\max}^{i}), $$ $$ \begin{aligned}\mathcal{L}_{\mathrm{palm}}=&\sum_{i}\mathcal{I}(\|\mathbf{c}^{i}_{1:T}\|_{2};c^{i}_{\min},c^{i}_{\max})\\&+\sum_{i}\mathcal{I}(\|\mathbf{d}^{i}_{1:T}\|_{2};d^{i}_{\min},d^{i}_{\max}),\end{aligned} $$ 其中，$\mathcal{L}_{\mathrm{bl}}$ 用于约束骨骼长度，$\mathcal{L}_{\mathrm{palm}}$ 用于掌心区域的优化，$\mathcal{L}_{\mathrm{ja}}$ 则用于关节角度先验的约束。$\mathcal{L}_{\mathrm{ja}}$ 通过用点集 $\boldsymbol{\alpha}_{1:T}^{i} = (\boldsymbol{\alpha}_{1:T}^{f}, \boldsymbol{\alpha}_{1:T}^{a})$ 在 $(\boldsymbol{\alpha}_{1:T}^{f}, \boldsymbol{\alpha}_{1:T}^{a})$ 平面上拟合凸包，来约束第i根手指骨的关节角序列 $\mathbf{H}^{i}$，其目标是最小化两者之间的距离 $d_{\alpha,H}$。$\mathcal{I}$ 是用于惩罚异常值的区间损失，而 $b_{i}$ 则是第i根骨骼的长度。最后，$\mathcal{L}_{\mathrm{palm}}$ 会惩罚曲率范围 $(\epsilon_{\min}^{i}, \epsilon_{\max}^{i})$ 和角度距离范围 $(d_{\min}^{i}, d_{\max}^{i})$ 内的异常值，从而对掌部的4根根部骨骼施加约束。 穿透损失（$L_{pen}$）。本节的最后一项损失旨在通过引入相互穿透惩罚机制，在复杂的手部交互场景下提升重建质量。 --- 该机制能显式约束手部网格之间的接触关系，避免不必要的相互穿透现象： $$ \begin{aligned}\mathcal{L}_{\mathrm{pen}}=\sum_{t=0}^{T}\left(\sum_{\mathbf{v}_{t}^{r}\in\mathbf{V}_{t}^{r}}\min_{\mathbf{v}_{t}^{l}\in\mathbf{V}_{t}^{l}}\|\mathbf{v}_{t}^{l}-\mathbf{v}_{t}^{r}\|^{2}\right.\\ \left.+\sum_{\mathbf{v}_{t}^{l}\in\mathbf{V}_{t}^{l}}\min_{\mathbf{v}_{t}^{r}\in\mathbf{V}_{t}^{r}}\|\mathbf{v}_{t}^{l}-\mathbf{v}_{t}^{r}\|^{2}\right).\end{aligned} $$ 其中，$\mathbf{V}_{t}^{l}$ 和 $\mathbf{V}_{t}^{r}$ 分别是预测得到的左手和右手的交叠顶点。 ### 4. 实验评估 我们通过多种指标在各类数据集上对所提出的方法进行定性和定量评估。补充材料中还提供了额外的表格、可视化结果以及视频演示。在展示结果之前，我们首先会介绍该方法的实现细节、所用指标、数据集及基线模型。 实现细节。我们使用PyTorch框架来实现该方法[^36]。在三阶段优化过程中，我们采用L-BFGS算法，学习率为$lr = 1$。各阶段使用的超参数如下： • 第二阶段：$\lambda_{2d}=0.001$、$\lambda_{smooth}=10$、$\lambda_{cam}=100$（相机位移）以及$\lambda_{\theta}=0.04$、$\lambda_{\beta}=0.05$。 • 第三阶段：$\lambda_{z}=200$、$\lambda_{\phi}=2$、$\lambda_{\gamma}=10$、$\lambda_{pen}=10$、$\lambda_{\beta}=0.05$、$\lambda_{ja}=1$、$\lambda_{palm}=1$、$\lambda_{bl}=1$。 对于基线模型[^8]、[^25]、[^37]、[^51]，我们严格遵循其原始实现方式。 评估指标。为了全面评估我们流程的性能，我们从两个方面进行评估：(i) 局部姿态与形状评估，以及(ii) 全局运动重建评估。 - 局部姿态与形状评估：我们报告均方根关节误差（MPJPE）、平均顶点位置误差（MPVPE）以及加速度误差（Acc Err），这些数值均在$mm/s^{2}$单位下测量，用于评估重建手部运动的平滑度。 • 全局运动评估：我们依据[^43]、[^50]、[^53]的方法，量化由于相机运动随时间累积产生的误差。我们将序列划分为128帧的片段，分别利用前两帧（G-MPJPE）或整个片段（GA-MPJPE）与真实值对齐，误差以毫米为单位衡量。 关于实现和评估的更多细节，请参阅我们的补充材料。 数据集。用于评估3D交互手部的数据通常由静态相机采集，例如InterHand2.6M [^33]和Re:InterHand [^34]。为了评估动态相机运动下的性能，我们使用了以下以自我为中心的双手-物体交互运动数据集： • H2O [^21]是一个多视角数据集，记录了两只手操纵物体的场景，包含4名受试者执行的36种动作，分布在8个场景中。该数据集提供了双手的MANO模型和3D姿态标注，以及物体姿态信息。在本研究中，我们仅关注自我中心视角。 • HOI4D [^29]是一个大规模的自我中心数据集，包含9名受试者与16类共800个不同物体互动的4000个视频序列。HOI4D提供了丰富的标注信息，包括全景分割、运动分割、3D手部姿态、物体姿态以及手部动作。 • FPHA [^10]是一个自我中心、动态的RGB-D手部数据集，记录了手部与3D物体交互的运动过程，其姿态由磁传感器标记。 • EgoDexter [^35]是一个用于手部跟踪评估的RGB-D数据集，包含4种具有挑战性的遮挡和杂乱场景，3D关节标注是根据手动标注的2D关节信息生成的。 - InterHand2.6M [^33]是首个公开可用的、包含多视角静态摄像头拍摄的3D网格标注的交互式手部数据集。在基于视频的实验中，我们采用了该数据集中包含人类与机器标注（H+M）的30帧/秒版本的交互式手部（IH）子集。 • Ego-Exo4D [^13]是一个大规模多视角数据集，包含多模态标注，能够同时捕捉自我视角与多个外部视角的视频。我们在手部自我姿态基准测试子集中对该数据集进行了评估。 • HOT3D [^3]是一个以第一人称视角拍摄的数据集，通过两台头戴式设备记录同步的多视角图像流，可提供手部与物体的精确3D姿态和形状信息。 其中，由于HOT3D和Ego-Ego4D数据集的测试集标注（获取全局运动真值所需）目前尚未公开，我们采用了这两个数据集的验证集。对于其他使用的数据集，我们按照官方划分方式进行实验。 基线方法。我们将所提方法与ACR [^51]、IntagHand [^25]以及HaMeR [^37]等最先进的单目手部重建与全局手部运动估计方法进行对比。我们基于[^37]初始化我们的模型（Dyn-HaMR），以获得表格中的结果。 #### 4.1. 实验结果 现在我们将展示在多视角静态摄像头下的双手运动估计任务，以及动态场景中的局部与全局运动估计任务的实验结果。我们还提供了针对不同阶段与组件的消融实验结果。 基于静态摄像头的运动估计。我们首先利用30帧/秒的InterHand2.6M [^33]数据集，在传统的静态摄像头场景下评估所提方法。表1展示了采用各方法官方配置进行公平比较时，我们的结果与所有对比方法的表现。尽管所提方法旨在动态摄像头场景下表现优异，但即便在静态场景下，它仍能达到最先进的性能水平。 --- ![Image](images/8a81dbb4a2a0845b1f6d925fa6a7de78a63b21271d4e91a1ec5c42b576e0c03c.jpg)
Figure 4. Qualitative comparison with state-of-the-art method HaMeR [^37]. It can be seen that our method recovers significantly more plausible global hand motion. first row is from H2O dataset [^21], while the second row is from HOI4D dataset [^29].
Table 1. Quantitative evaluation results for InterHand2.6M [^34] 30 fps dataset. We compare our method with the state-of-the-art hand reconstruction methods on local hand poses.
MethodMPJPE $\downarrow$MPVPE $\downarrow$Acc Err $\downarrow$
InterWild [^31]12.3513.456.68
DIR [^40]9.099.438.92
ACR [^51]8.759.013.99
IntagHand [^25]9.269.714.41
HaMeR [^37]9.8410.135.13
Ours (w/o III)8.989.254.72
Ours (Dyn-HaMR)7.948.152.76
在静态场景下，所提方法在所有报告指标上均持续优于现有方法。这尤其体现了第三阶段的有效性：通过引入运动先验约束、生物力学约束以及穿透约束，显著提升了手部交互的合理性，有效缓解了早期优化阶段重投影过程中的深度歧义问题。图5展示了我们高质量的双手网格重建结果及其合理的交互效果。更多定性结果，包括野外视频中的结果，可在补充材料中查看。 局部运动估计。我们通过测量相对于根节点的关节重建误差——即局部运动，来评估手部细节的重建质量。表2和表3的结果显示，在H2O和HOI4D数据集上，Dyn-HaMR在双手重建方面均优于[^25]、[^37]、[^51]等最先进方法，我们始终能获得最低的MPJPE值。我们还通过加速度误差（Acc Err）来评估运动帧间平滑度与真实性。与现有方法相比，我们的方法得到的Acc Err显著更低，反映出更好的时间一致性以及更平滑的手部姿态轨迹过渡。包括FPHA数据集 [^10] 在内的进一步评估结果也包含在补充材料中。 全局运动估计。表2和表3（以及我们的补充材料）展示了在给定指标下，利用以自我为中心的动态相机视图的官方测试集，我们在恢复局部和全局4D运动方面的定量结果。可以看出，我们的Dyn-HaMR在G-MPJPE和GA-MPJPE方面大幅优于所有现有最先进方法 [^25] [^37] [^51]。 图4展示了与现有最先进方法的定性比较，结果显示在生成逼真且合理的运动轨迹方面有了显著改进，尤其是在双手相互遮挡情况下的深度推理能力更强。我们的方法能够更好地恢复实际的全局轨迹，同时兼顾双手与移动相机的运动；而其他方法则存在深度模糊问题，且对相机姿态和位移不敏感。手部与相机运动的相互干扰还会进一步恶化尺度估计，导致运动轨迹不合理。此外，表4和表5展示了在具有挑战性的双手物体交互场景下的结果，我们进一步将该方法与经典的HaMeR + DPVO进行了比较，从而证明了我们优化策略的有效性。我们在补充材料中提供了更多关于运动重建的定性结果。 --- ![Image](images/517353cbb5da8aa1d75af2045bd89fb97c80a64877c6411f28b79eaf431bf670.jpg)
Figure 5. Qualitative evaluation on InterHand2.6M [^33]. In each row, we show the mesh overlay and detailed reconstruction from different views.
Table 2. Quantitative evaluation results for H2O [^21] dataset. Our method demonstrates significant improvements over state-of-the-art approaches in recovering both local and global 4D hand motion, with additional gains achieved incorporating Stage III.
MethodG-MPJPE $\downarrow$GA-MPJPE $\downarrow$MPJPE $\downarrow$Acc Err $\downarrow$
ACR [^51]113.688.546.814.3
IntagHand [^25]105.581.545.613.5
HaMeR [^37]96.975.732.99.21
Ours (w/o III)51.941.224.99.5
Ours (Dyn-HaMR)45.634.222.54.2
Table 3. Quantitative evaluation results for HOI4D [^29] dataset. We compare our method with the state-of-the-art hand reconstruction methods [^25] [^37] [^51].
MethodG-MPJPE $\downarrow$GA-MPJPE $\downarrow$MPJPE $\downarrow$Acc Err $\downarrow$
ACR [^51]251.1153.536.412.5
IntagHand [^25]291.3145.640.914.1
HaMeR [^37]201.6129.727.611.6
Ours (w/o III)69.248.523.710.9
Ours (Dyn-HaMR)58.545.619.54.1
相关结果在HOI4D、FPHA和EgoDexter数据集上的表现详见补充材料。我们的补充视频展示了动态相机拍摄到的真实场景中的手部交互画面。 消融研究。为了全面评估Dyn-HaMR的有效性，我们对流程设计进行了进一步的消融研究，分析了各个组件的贡献。具体而言，我们重点考察了以下关键组件的有效性：(i) $\mathcal{L}_{bio}$，(ii) $\mathcal{L}_{pen}$，(iii)第三阶段中的交互手部运动先验模块，以及(iv)生成式填充技术——我们用简单的插值方法替换了生成式填充模块。从表2和第4.1节可以看出，引入第三阶段能够显著提升性能，因为它为最终阶段的优化提供了学习到的运动先验信息，从而生成更合理、更平滑的4D轨迹。此外，如图3所示，加入$\mathcal{L}_{bio}$和$\mathcal{L}_{pen}$能够显著改善运动质量，使其更加合理且逼真。
Table 4. Quantitative evaluation Results on Ego-Exo4D [^13] dataset. We only report the positional error metrics as the GT annotation is too discrete to extract a meaningful acc.
MethodJerk $\downarrow$PA-MPJPE $\downarrow$G-MPJPE $\downarrow$
ACR245.1219.45291.34
IntagHand175.6524.32275.89
HaMeR195.4515.87267.75
HaMeR + DPVO200.4515.87213.75
Ours (Dyn-HaMR)5.2614.3453.89
Table 5. Qualitative results on HOT3D [^3] dataset. We compare our method with the canonical HaMeR + DPVO baseline.
MethodJerk $\downarrow$PA-MPJPE $\downarrow$G-MPJPE $\downarrow$Acc Err $\downarrow$
ACR153.4516.41159.3416.45
IntagHand171.2421.75165.4215.12
HaMeR189.6210.43155.9813.78
HaMeR + DPVO195.7710.43129.4512.78
Ours (Dyn-HaMR)4.188.8742.364.95
Table 6. Ablation of pipeline components on H2O [^21] dataset. It shows the impact of removing different components from the pipeline on various performance metrics.
MethodG-MPJPE $\downarrow$GA-MPJPE $\downarrow$MPJPE $\downarrow$Acc Err $\downarrow$
Stage I84.572.525.68.8
Stage I+II51.941.224.99.5
w/o bio. const.49.643.124.54.3
w/o pen. const.46.334.723.64.1
w/o gen. infill.48.937.824.15.6
Ours (Dyn-HaMR)45.634.222.54.2
### 5. 结论 据我们所知，我们提出的Dyn-HaMR是首个能够可靠地从由移动动态相机拍摄的包含复杂场景的自然视频中，恢复两只交互手部4D全局运动的数据驱动方法。Dyn-HaMR通过结合先进的SLAM系统以及所提出的交互手部先验来实现这一目标。我们的方法采用多目标优化流程，在该流程中我们估算相对相机运动，并通过将重建结果与2D观测对齐来解决运动相互干扰及深度模糊问题。我们还引入了可学习的世界尺度因子，以区分局部手部运动与相机运动对全局手部运动的贡献。我们的交互先验能够在填补缺失检测的同时确保手部轨迹的合理性，这一点已通过大量实验得到了验证。 局限性与未来工作。虽然Dyn-HaMR在有限时间范围内能够取得良好效果，但将其扩展到具有生成式外推能力的长序列仍有待探索。开发基于回归的方法可能是处理长序列的可行方向之一。我们还将致力于改进手部先验，扩展[^16]的功能，并纳入物体交互机制。 --- ## 致谢 T. Birdal和S. Zafeiriou感谢工程与物理科学研究委员会[资助编号EP/X011364/1]的支持。T. Birdal还得到了UKRI未来领导者奖学金[资助编号MR/Y018818/1]以及皇家学会研究基金RG/R1/241402的资助。 ## 参考文献 [^1]: Emre Aksan, Manuel Kaufmann, and Otmar Hilliges. Structured prediction helps 3d human motion modelling. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 7144–7153, 2019. 2 [^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for rgb-based dense 3d hand pose estimation via neural rendering. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1067–1076, 2019. 2 [^3]: P. Banerjee, S. Shkodrani, P. Moulon, S. Hampali, S. Han, F. Zhang, L. Zhang, J. Fountain, E. Miller, S. Basol, R. Newcombe, R. Wang, J. Engel, and T. Hodan. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. arXiv preprint arXiv:2411.19167, 2024. 6, 8 [^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10843–10852, 2019. 2 [^5]: Matthew Brand and Aaron Hertzmann. Style machines. In ACM SIGGRAPH, pages 183–192, 2000. 2 [^6]: Enric Corona, Albert Pumarola, Guillem Alenya, and Francesc Moreno-Noguer. Context-aware human motion prediction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. 2 [^7]: Guillaume Dewaele, Frédéric Devernay, and Radu Horaud. Hand motion from 3d point trajectories and a smooth surface model. In Computer Vision-ECCV 2004: 8th European Conference on Computer Vision, Prague, Czech Republic, May 11-14, 2004. Proceedings, Part I 8, pages 495–507. Springer, 2004. 2 [^8]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J. Black. Hmp: Hand motion priors for pose and shape estimation from video. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2024. 2, 3, 4, 5, 6 [^9]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 3 [^10]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of Computer Vision and Pattern Recognition (CVPR), 2018. 2, 6, 7 [^11]: Stuart Geman. Statistical methods for tomographic image restoration. Bull. Internat. Statist. Inst., 52:5–21, 1987. 4 [^12]: Saeed Ghorbani, Calden Wloka, Ali Etemad, Marcus A Brubaker, and Nikolaus F Troje. Probabilistic character motion synthesis using a hierarchical deep latent variable model. In Computer Graphics Forum. Wiley Online Library, 2020. 2 [^13]: K. Grauman, A. Westbury, L. Torresani, K. Kitani, J. Malik, T. Afouras, K. Ashutosh, V. Baiyya, S. Bansal, B. Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 19383–19400, 2024. 6, 8 [^14]: Ikhsanul Habibie, Daniel Holden, Jonathan Schwarz, Joe Yearsley, and Taku Komura. A recurrent variational autoencoder for human motion synthesis. In 28th British Machine Vision Conference, 2017. 2 [^15]: Chengan He, Jun Saito, James Zachary, Holly Rushmeier, and Yi Zhou. Nemf: Neural motion fields for kinematic animation. Advances in Neural Information Processing Systems, 35:4244–4256, 2022. 3 [^16]: Yannan He, Garvita Tiwari, Tolga Birdal, Jan Eric Lenssen, and Gerard Pons-Moll. Nrdf: Neural riemannian distance fields for learning articulated pose priors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1661–1671, 2024. 8 [^17]: Gustav Eje Henter, Simon Alexanderson, and Jonas Beskow. Moglow: Probabilistic and controllable motion synthesis using normalising flows. ACM Transactions on Graphics (TOG), 39(6):1–14, 2020. 2 [^18]: Daniel Holden, Taku Komura, and Jun Saito. Phase-functioned neural networks for character control. ACM Transactions on Graphics (TOG), 36(4):1–13, 2017. 2 [^19]: Changlong Jiang, Yang Xiao, Cunlin Wu, Mingyang Zhang, Jinghong Zheng, Zhiguo Cao, and Joey Tianyi Zhou. A2j-transformer: Anchor-to-joint transformer network for 3d interacting hand pose estimation from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 8846–8855, 2023. 2 [^20]: Lucas Kovar, Michael Gleicher, and Frédéric Pighin. Motion graphs. In ACM Transactions on Graphics 21(3), Proc. SIGGRAPH, pages 473–482, 2002. [^21]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 10138–10148, 2021. 2, 6, 7, 8 [^22]: Jihyun Lee, Junbong Jang, Donghwan Kim, Minhyuk Sung, and Tae-Kyun Kim. Fourierhandflow: Neural 4d hand representation using fourier query flow. In NeurIPS, 2023. 3 [^23]: Jihyun Lee, Minhyuk Sung, Honggyu Choi, and Tae-Kyun Kim. Im2hands: Learning attentive implicit representation of interacting two-hand shapes. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 2 ## [^24]: Jihyun Lee, Shunsuke Saito, Giljoo Nam, Minhyuk Sung, and Tae-Kyun Kim. Interhandgen: Two-hand interaction generation via cascaded reverse diffusion. In CVPR, 2024 --- [^25]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), 2022. 1, 2, 6, 7, 8 [^26]: Yan Li, Tianshu Wang, and Heung-Yeung Shum. Motion texture: A two-level statistical model for character motion synthesis. In ACM Transactions on Graphics 21(3), Proc. SIGGRAPH, pages 465–472, 2002. 2 [^27]: Hung Yu Ling, Fabio Zinno, George Cheng, and Michiel van de Panne. Character controllers using motion vaes. In ACM Transactions on Graphics (Proceedings of ACM SIGGRAPH). ACM, 2020. 2 [^28]: C. Karen Liu, Aaron Hertzmann, and Zoran Popović. Learning physics-based motion style with nonlinear inverse optimization. ACM Trans. Graph, 2005. 2 [^29]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21013–21022, 2022. 2, 6, 7, 8 [^30]: Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, et al. Mediapipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172, 2019. 2, 4 [^31]: Gyeongsik Moon. Bringing inputs to shared domains for 3d interacting hands recovery in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17028–17037, 2023. 7 [^32]: Gyeongsik Moon. Bringing inputs to shared domains for 3D interacting hands recovery in the wild. In CVPR, 2023. 2 [^33]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision (ECCV), 2020. 2, 6, 8 [^34]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffalini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mize Mallorie, Philippe Bree, Tomas Simon, Bo Peng, Shubham Garg, Kevyn McPhail, and Takaaki Shiratori. A dataset of relighted 3D interacting hands. In NeurIPS Track on Datasets and Benchmarks, 2023. 6, 7 [^35]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In Proceedings of International Conference on Computer Vision (ICCV), 2017. 2, 6 [^36]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. PyTorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, 2019. 6 [^37]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of IEEE/CVF计算机视觉与模式识别会议论文集，第9826–9836页，2024年。1、2、3、4、6、7、8 [^38]: Dario Pavllo, Christoph Feichtenhofer, Michael Auli, and David Grangier. Modeling human motion with quaternion-based neural networks. International Journal of Computer Vision, pages 1–18, 2019. 2 [^39]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J. Guibas. Humor: 3d human motion model for robust pose estimation. In International Conference on Computer Vision (ICCV), 2021. 2 [^40]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023. 2, 7 [^41]: Javier Romero, Dimitris Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6), 2017. 3, 5 [^42]: Charles Rose, Michael F. Cohen, and Bobby Bodenheimer. Verbs and adverbs: Multidimensional motion interpolation. IEEE Computer Graphics and Applications, 18(5):32–40, 1998. 2 [^43]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J Black. Wham: Reconstructing world-grounded humans with accurate 3d motion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 2070–2080, 2024. 3, 6 [^44]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European conference on computer vision, pages 211–228. Springer, 2020. 5 [^45]: Sebastian Starke, He Zhang, Taku Komura, and Jun Saito. Neural state machine for character-scene interactions. ACM Trans. Graph., 38(6):209–1, 2019. 2 [^46]: Zachary Teed and Jia Deng. Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras. Advances in neural information processing systems, 34, 2021. 2 [^47]: Zachary Teed, Lahav Lipson, and Jia Deng. Deep patch visual odometry. Advances in Neural Information Processing Systems, 36, 2024. 2, 4 [^48]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitipose: Simple vision transformer baselines for human pose estimation. Advances in Neural Information Processing Systems, 35:38571–38584, 2022. 2, 3, 4 [^49]: Dongseok Yang, Doyeon Kim, and Sung-Hee Lee. LoBST: Real-time Lower-body Pose Prediction from Sparse Upperbody Tracking Signals. Computer Graphics Forum, 2021. 2 [^50]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 3, 4, 6 ## [^51]: Zhengdi Yu, Shaoli Huang, Fang Chen, Toby P. Breckon, and Jue Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. 1, 2, 3, 4, 6, 7, 8 --- [^52]: Zhengdi Yu, Shaoli Huang, Yongkang Cheng, and Tolga Birdal. Signavatars: A large-scale 3d sign language holistic motion dataset and benchmark. In European Conference on Computer Vision, pages 1–19. Springer, 2024. 2 [^53]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. Glamr: Global occlusion-aware human mesh recovery with dynamic cameras. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11038–11049, 2022. 6 [^54]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3d pose and shape reconstruction from single color image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021. 2 [^55]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2354–2364, 2019. 2 [^56]: Yan Zhang, Michael J Black, and Siyu Tang. We are more than our joints: Predicting how 3d bodies move. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3372–3382, 2021. 2 [^57]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5346–5355, 2020. 2