# 从单目视频预测4D手部轨迹叶宇飞$^{1}$ 冯瑶$^{2}$ 奥米德·塔赫里$^{2}$ 冯海文$^{2}$ 舒巴姆·图尔西亚尼$^{1*}$ 迈克尔·J·布莱克$^{2*}$ $^{1}$卡内基梅隆大学 $^{2}$马克斯·普朗克智能系统研究所 ![Image](images/84c4924011ce2b008d93d008b0e6f128aab6df06fcf712dd7950edb8c4edf69f.jpg)

Figure 1. Given a monocular video depicting hand motion, HaPTIC reconstructs both Hand Pose (Pose Recon.) and 4D hand Trajectory in consistent global Coordinate (last 3 columns). The existing method produces convincing reprojection but its 4D trajectory is not plausible (side view). In contrast, our method can generate faithful 4D trajectories. The opaque hand shows reconstruction of the last frame while semi-transparent hands visualize reconstructions from previous frames. Red curves visualize root trajectories.

## 摘要我们提出了HaPTIC方法，能够从单目视频中推断出连贯的4D手部轨迹。当前基于视频的手部姿态重建方法主要侧重于利用相邻帧来提升逐帧的3D姿态精度，而非研究空间中一致的4D手部轨迹。尽管这类方法利用了额外的时序线索，但由于标注视频数据的稀缺，其性能通常不如基于图像的方法。为解决这些问题，我们重新利用最先进的基于图像的Transformer模型，使其能够接收多帧输入并直接预测连贯的轨迹。我们引入了两种轻量级的注意力层：用于融合时序信息的跨视图自注意力层，以及用于引入更大空间上下文的全局交叉注意力层。我们的方法所推断出的4D手部轨迹与真实值十分相似，同时还能保持良好的2D投影对齐效果。我们将该方法应用于以自我为中心的视频和以他人为中心的视频。在全局轨迹精度方面，该方法显著优于现有方法，而在单图像姿态估计任务中的表现也与最先进的方法相当。 ### 1. 引言请看图1所示的视频帧。人们不仅能推断出每一帧中手部的关节活动情况（3D姿态），还能理解帧与帧之间、空间中的手部运动规律。例如，在图1的下半部分，我们能看出手部朝抽屉方向伸展，随后又沿几乎相同的路径收回。推断4D手部轨迹（3D空间 --- 加上时间）的能力对许多下游任务而言至关重要，比如全局场景中的手物交互推理[^47]、AR/VR应用[^54]，以及机器人领域的模仿学习[^1] [^68]。遗憾的是，尽管在能推断逐帧3D姿态的手部姿态估计领域取得了令人瞩目的进展，但现有方法仍难以将手部连贯地映射到全局3D空间中。在这项工作中，我们提出了一种系统，能够从单目视频中推断出连贯的4D手部轨迹和姿态。虽然目前尚无专门针对4D手部轨迹预测的研究，但常规做法通常是先预测每帧的3D手部姿态，将其“提升”到世界坐标系下，随后再进行测试时的优化 [^12] [^27] [^51]。实际中常用的提升方法是弱透视到全透视变换（Weak2Full）[^53] [^58]，该方法会根据相机内参和预测出的尺度，将预测的手部定位在特定距离处（见第3.1节）。然而我们发现，这种操作会在4D运动中引入较大误差，即便经过后处理优化也难以纠正。另一种提升方法利用估计的深度信息 [^2] [^67]，但由于手部会被物体、场景或其他手部遮挡，由此生成的轨迹并不准确。还有一种思路是将问题视为更整体的4D全身姿态估计任务，再将手部定义为相对于身体的位置 [^61] [^76]。遗憾的是，这种方法要求全身大部分可见，而专注于手部操作及第一人称视角的视频通常无法满足这一条件。相比之下，我们将该问题转化为基于视频的4D推理问题，并利用隐式的数据驱动先验。给定视频序列作为输入，我们输出 wrist 位于全局坐标系下的MANO [^57] 手部参数。与人工设计的提升方法不同，我们的方法能更好地捕捉关于手部运动的先验信息，且无需依赖显式的全身估计。据我们所知，这是首个能够直接从单目视频中估计出一致的4D手部轨迹的前馈方法。不过，当前面临的问题是缺乏包含视频与全局坐标系下3D手部标注的训练数据。虽然存在少量此类数据，但其数量远少于基于图像的训练数据，多样性也较差。为解决这一局限，我们的核心思路是充分利用单图像数据，包括模型与训练数据两方面。随后我们再引入视频训练数据，这样一来所需的训练数据量就比单独用视频训练4D推理模型时要少得多。具体而言，我们重新利用最先进的基于图像的手部姿态估计器 [^53]，通过加入两类轻量级注意力层来实现视频推理功能（见图2）：第一类是跨视图自注意力层，可跨越多个帧以利用时间线索；第二类是全球上下文交叉注意力层，可查看原始帧（输入手部图像即从中裁剪而来），从而获得更大的场景视野。从设计上看，该网络既支持视频输入也支持图像输入——当输入为图像时，跨视图注意力会退化为对自身的关注。这使我们能够在训练批次中同时混入小规模的视频数据和大规模的图像数据。通过这种方式，我们的新模型HaPTIC既保留了单图像方法的鲁棒性与泛化能力，又补充了来自视频的时间信息。我们在以物体为中心和以自我为中心的视频上评估了HaPTIC。我们分析了现有主流方法的缺陷，包括它们何时以及为何会失效。在全局轨迹精度方面，HaPTIC的表现显著优于其他所有候选方法。它还能为测试时的优化提供更好的初始化条件。我们对所提出的方法进行了详细的消融实验，以分析各项设计选择的作用。当HaPTIC用作基于图像的姿态估计器时，我们发现它在每帧手部姿态的2D对齐方面甚至优于最先进的基于图像的方法。最后，我们通过展示更多定性结果，证明了该模型对自然场景视频和图像的泛化能力。我们的模型将公开发布，以便更广泛地应用和进一步研究。 ### 2. 相关工作基于图像的手部姿态估计。已有大量研究致力于从图像输入中估计手部姿态，典型方法可分为基于模板的方法[^58] [^80]和无模板方法[^38] [^41] [^42] [^48] [^66] [^81]。这两类方法都受益于各类大规模标注数据[^32] [^49] [^53] [^71] [^83]以及基础骨干网络[^11] [^23] [^28]。虽然这些方法在单张图像帧上的表现十分出色，但它们的预测结果均位于手部的标准局部坐标系中。这些预测结果虽可重新投影到各视频帧上，却无法形成空间中连贯的4D轨迹。不过我们认为，这些模型能为基于视频的手部估计奠定坚实基础。具体而言，我们的工作是基于最先进的图像模型HaMeR[^53]展开的，该模型是在大规模数据集上训练的大型Transformer，用于预测3D手部模型（MANO[^57]）的参数。基于视频的手部姿态估计。3D空间中的手部跟踪有着悠久的发展历史，也是众多应用的核心。为了获得最可靠的跟踪效果，相关方法往往依赖惯性测量单元、磁传感器或专用硬件等额外传感器[^5] [^13] [^18] [^70]。多摄像头视频系统也能提供伪真值[^14] [^36] [^49] [^69]。尽管近期有方法能从单目视频中重建手部运动[^27] [^44] [^45] [^51] [^75]，但这些方法基于使用学习到的先验知识进行测试时优化，耗时较长；处理几秒钟的视频片段可能需要几分钟到几小时时间。目前也有少数前馈式的基于视频的方法[^14] [^16] [^35] [^40] [^72]，但由于缺乏标注的视频训练数据，它们的鲁棒性和通用性不如单图像方法。 --- ![Image](images/b0caf5e576d6009e87bc842f22a17a141c27a593c4f8220236604162e6cdb351.jpg)

Figure 2. Overall pipeline (left): HaPTIC extends image-based model HaMeR. HaPTIC takes in M frames at a time and passes them through image towers that share weights. Each image tower outputs MANO parameters in local coordinate, and trajectory parameters d, $u_{xy}$ that directly places the predicted local hand to global 4D trajectory. Inside one image tower (right): The image tower is based on transformer decoder. For each block, we add a cross-view self-attention layer (Cross-view SA) to fuse temporal information from other frames and a cross-attention (Global CA) to features of the original frames. Orange indicates new components introduced by ours compared to HaMeR.

更重要的是，这类方法侧重于提升局部姿态估计精度，并未解决全局轨迹估计的问题。我们的方法是首个能从单目视频中重建全局轨迹的前馈式方法。 4D全身重建。近年来，全局空间中的4D全身轨迹估计受到了广泛关注，其方法要么采用前馈预测[^37] [^52] [^61] [^65] [^78] [^79]，要么通过全局优化[^19] [^20] [^64] [^74]来将人体运动与相机运动解耦[^59]，并利用学习到的人体运动先验[^55]。这些方法有可能通过将手部姿态明确绑定到手腕上，从而将手定位到全局坐标系中。不过，这要求全身大部分可见，而在专注于手部操作的视频以及第一人称视角视频中往往并非如此。HaPTIC并未利用全身姿态作为显式的全局上下文，而是通过全局空间交叉注意力来提供场景和人体的隐式上下文。我们证明，即便全身可见，我们的方法在该类别中也优于最先进的方法[^61]。将基于图像的模型适配到视频任务。受生成式AI理念的启发，我们通过轻量级适配，将预训练的单图像模型[^10] [^34] [^56]升级到其他模态。通过多帧分层训练[^29]、时空分解[^63]、视频噪声先验[^21]，以及结合3D卷积块的时间注意力机制[^3] [^4]，可将基于图像的模型升级为视频生成模型。同样，通过引入多视图一致性或几何引导的注意力机制，也可将图像模型扩展到3D生成领域[^17] [^30] [^46] [^60]。在我们的工作中，我们将预训练的单图像手部估计器重新用于接收多帧输入。重要的是，这使我们能够在视频和图像数据集上同时进行训练。 ### 3. 方法给定包含检测到的手部边界框的单目视频$\{I_t, B_t\}_{t=1}^T$，HaPTIC能以前馈方式推断出手部关节及其在相机坐标系中的3D位置。我们首先回顾初步的参数化手部模型MANO，并分析为何那种提升性能的常规方法并不可取（第3.1节）。接着我们介绍简单却有效的手部轨迹参数化方法（第3.2节）。最后，我们描述用于预测手部轨迹的网络架构，并解释相关设计选择——这些选择旨在解决视频训练数据有限的问题（第3.3节和3.4节）。 #### 3.1. preliminaries：MANO与Weak2Full 与以往的研究类似[^16] [^53] [^58]，我们采用参数化手部模型MANO[^57]。MANO接收一个48维的姿态参数向量$\boldsymbol{\theta}$（包括手指关节活动和手腕方向），以及一个10维的形状参数向量$\boldsymbol{\beta}$，最终输出手部网格表面$\mathcal{M}^l(\boldsymbol{\theta}, \boldsymbol{\beta})$和手部关节$\boldsymbol{J}^l(\boldsymbol{\theta}, \boldsymbol{\beta})$。上标l表示局部MANO坐标系中的坐标。弱透视到全透视。为了将预测的（局部）手部网格叠加到输入图像裁剪区域上，以往的研究还会预测一个弱透视相机，该相机通过缩放和平移xy分量来投影三维点$X_{x,y}^i = sX_{x,y}^i + u_{x,y}$，其中上标i表示图像坐标系中的坐标。需要注意的是，虽然这样能实现二维图像对齐，但弱透视相机并不能给出相机空间中的三维位置$X^c$。为了获取三维位置，广泛采用的方法是使用弱透视到全透视变换（Weak2Full）[^22] [^27] [^33] [^39] [^53] [^58]。它基于一个假设 --- ![Image](images/ded765ee4e14d03504bfcc94f04e3abcd9d75b5bf3be688de2d557fd69173147.jpg)

Figure 3. Toy example of Weak2Full transformation: The predicted scale s of both yellow and red hands are only 6% off the blue hand. Their reprojections appear similar yet the 3D position induced by Weak2Full varies a lot with large focal length.

焦距f作为输入，将手部置于相应距离，使得变换后的手部的重投影结果大致符合在该预设透视相机下的预测尺度$X^{c} = X^{l} + (u_{x}, u_{y}, f/s)$。弱透视到全透视变换存在什么问题？仔细观察Z轴上的偏移量$f/s$，在Weak2Full过程中我们发现，预测尺度s的误差会影响三维位置（视频中为四维轨迹）。如图3所示，当焦距较大时，预测尺度的误差对轨迹的影响更为明显。此外，即便尺度最优，不同的焦距估计值也会在三维空间中产生不同的运动效果。 #### 3.2. 四维手部轨迹的参数化与用尺度和焦距来参数化手部轨迹的Weak2Full变换（即Weak2Full($\{u_{x,t}, u_{y,t}, s_t, f_t\}_{t=1}^T$)）不同，我们主张直接在度量空间中表示手部轨迹，这其实是最自然的运动参数化方式。具体来说，我们只需预测相对于第一帧的深度变化：$\mathbf{X}^c = \mathbf{X}^l + (u_x, u_y, \Delta d + d_1)$。$d_1$是从第一帧估算出的偏移量，既可以来自第一帧上的Weak2Full变换结果，也可以来自深度预测值。我们预测的是度量深度变化，而非绝对度量深度，因为深度存在歧义——很难判断手部是距离相机5米还是5.5米，但更容易推断出手部在两帧之间移动了5厘米。我们训练一个网络来直接从视频输入中预测这些参数$\Delta d_t, u_{x,y,t}$以及$\theta_t$。 #### 3.3. 将基于图像的模型改造用于视频处理从头训练一个通用的视频模型需要大量数据。由于缺乏带三维标注的视频数据，我们选择扩展最先进的基于图像的手部姿态模型（HaMeR），并设计网络架构以充分利用现有模型。随后我们微调其权重，将其改造为视频模型。多帧孪生网络。HaPTIC和HaMeR一样，也是基于Transformer的模型。我们修改网络，使其一次接收M个裁剪图像及其完整帧（图2左侧），而非仅处理单张图像中的手部裁剪区域。每个帧以孪生网络的方式进行处理（共享权重）。该网络是在HaMeR基础上改进的，加入了两种轻量级的适配层来融合各帧之间的信息。除了原有的用于输出MANO参数$\theta$、$\beta$和弱透视相机参数s$u_{x,y}$的预测头外，我们还新增了一个预测头来预测度量深度变化，从而将局部手部信息提升为全局手部轨迹。轻量级适配层。每一帧（及裁剪图像）首先会被送入ViT主干网络，随后再经过Transformer解码器处理。如图2右侧所示，在Transformer解码器的每个模块中，我们会在原有的全局交叉注意力层之后插入一个跨视图自注意力层和全局交叉注意力层。跨视图自注意力层能够融合来自其他帧的时间信息，我们还会在该层中加入帧号的位置编码。由于仅使用手部裁剪图像会丢失全局信息，因此全局交叉注意力层会通过关注整帧的ViT特征来获取更大范围的上下文信息。整个架构仅增加了4%的新参数。我们将新注意力层的初始输出设为零，以确保训练开始时新层不会破坏预训练好的结构。推广至图像重建任务。虽然HaPTIC是为视频重建设计的，但它无需任何修改就能自然地处理单张图像输入。在这种情况下，跨视图自注意力层仅关注自身帧的信息。通过简单的reshape操作即可实现图像模式下的推理。 #### 3.4. 利用穿插的视频和图像数据进行学习我们认为，只需用有限的视频数据配合多样化的图像数据集进行训练，就能提升视频模型的泛化能力。在每个训练批次中，一半的样本来自视频数据集并以视频模式训练，另一半则来自图像数据集并以图像推理模式训练。损失函数。我们借鉴图像参数化手部姿态估计的最佳实践，采用4D（视频）、3D和2D损失函数的组合来对模型进行监督训练。我们用全局坐标下的真实关节位置对长度为M的预测手部轨迹进行全局空间监督：$\mathcal{L}_{4D} = \sum_{t=1}^{M} \|J_t^c - \hat{J}_t^c\|_1$。需要注意的是，这种全局监督看似要求苛刻，但实际上大多数多视角采集数据集中都存在全局坐标信息。我们会根据初始帧中的根关节来对齐关节轨迹。其余损失函数遵循基于图像的手部姿态重建的训练方案。我们直接在3D空间的局部坐标系中对手部姿态进行监督，包括MANO参数与3D手部关节的一致性：$\mathcal{L}_{\mathrm{3D}} = \|\mathbf{J}^l - \mathbf{L}\|$。 ---

Local Pose	Uplift	ARCTIC-EXO			DexYCB			ARCTIC-EGO
Local Pose	Uplift	GA-MPJPE	FA-MPJPE	ACC-NORM	GA-MPJPE	FA-MPJPE	ACC-NORM	GA-MPJPE	FA-MPJPE	ACC-NORM
HaMeR $\dagger$	Weak2Full	7.88	21.79	81.19	3.28	12.66	14.39	2.91	5.53	11.95
HaMeR $\dagger$	Weak2Full	5.53	13.29	30.09	1.93	9.78	4.42	3.48	9.23	9.62
HaMeR $\dagger$	Weak2Full-GT	6.05	15.13	36.59	1.84	9.48	4.27	1.84	3.66	4.39
HaMeR $\dagger$	ZoeDepth	3.28	10.09	1.83	4.93	20.51	1.32	2.95	5.60	1.57
HaMeR $\dagger$	WHAM	4.79	14.41	2.43	-	-	-	-	-	-
HaPTIC $\dagger$ (Ours)		2.07	5.18	2.02	1.61	6.58	1.82	2.27	4.31	1.58
HaPTIC (Ours)		1.88	4.49	1.48	1.80	5.80	1.70	2.39	4.49	1.34

Table 1. Comparison with baselines. We compare our method with different uplifting baselines on two allocentric datasets (ARCTIC-EXO and DexYCB) and one egocentric dataset (ARCTIC-EGO). We report trajectory errors in GA-MPJPE, FA-MPJPE, and ACC-NORM. † denotes dataset-specific finetuned models on top of the publicly released HaMeR on the same amount of training data under the same training schedule. Among them, dark yellow marks the best results and light yellow marks the 2nd best ones. HaPTIC in the last row trains on a combination of datasets with a longer schedule (see Effect of Scaling paragraph).

$\hat{J}^l\|_{1}+\|\pmb{\theta}-\hat{\pmb{\theta}}\|_{2}^2+\|\beta-\hat{\beta}\|_{2}^2$。我们还通过2D关键点重投影损失对网络进行监督：$\mathcal{L}_{2D}=\|\dot{j}-\hat{j}\|_{1}$。最后，仅靠2D关键点一致性可能会导致不真实的3D姿态。为了使生成的手部形态更逼真，我们参考先前的研究采用了对抗性损失[^22] [^53]：$\mathcal{L}_{adv}=(D(\pmb{\theta},\pmb{\beta})-1)^2$。 ### 4. 实验我们首先在第4.1节中，在两个以物体为中心的数据集[^6] [^14]以及一个以人为中心的数据集[^14]上评估我们的模型。我们在统一的训练计划和训练数据条件下，将其与其他前馈模型和实时优化方法进行比较。接着，我们结合5个视频数据集和10个图像数据集训练模型并扩大其规模，在第4.2节中评估该统一模型在4D轨迹和3D姿态方面的性能。第4.3节中我们分析了网络设计的影响。第4.4节及补充视频中还展示了来自视频和图像的野外场景的定性结果。训练数据与设置。我们首先比较了在受控条件下于DexYCB或ARCTIC-EXO/EGO上微调的针对特定数据集的模型（我们的模型与基线模型），并在各自的数据集划分上进行测试。 - DexYCB [^6]是一个由多台校准相机拍摄的以物体为中心的视频数据集。该数据集记录了人类在杂乱的桌面上操作刚性物体的场景。每个序列时长2-3秒。我们采用标准的s0划分方式。 • ARCTIC [^14]提供了双手动操作关节物体的以物体为中心（-EXO）和头戴式（-EGO）视角数据。每个序列时长为$\sim$30秒。我们在官方的按受试者划分的测试集上进行评估。 • 图像数据组合：我们的辅助图像数据集与HaMeR训练集相同，包含10个数据集 [^6] [^15] [^24] [^32] [^36] [^49] [^62] [^71] [^82] [^83]。 • 视频数据组合：我们的通用模型是在总共5个视频数据集上训练的。这其中包括辅助图像数据集中带有3D世界坐标标注的4个数据集 [^6] [^24] [^36] [^49]，以及ARCTIC数据集。前四个数据集均为以物体为中心的视角，而只有ARCTIC数据集还包含以人为中心的视角。我们将模型的窗口大小设为8，即M = 8。训练期间，我们将帧率提升至6 fps以适应不同的手部运动速度。测试时，我们使用滑动窗口处理长视频，窗口间有1帧的重叠。更多实现细节见附录。基线方法。虽然已有大量研究致力于估计逐帧（局部）手部姿态，但尚无能以前馈方式重建4D手部轨迹的直接基线方法。因此，我们通过与常用方法和可能的替代方案进行对比，来将局部姿态升级为4D姿态。所有基线方法的局部手部姿态均来自同一先进的图像基手部姿态估计器 [^53]，因为局部姿态并非本文的研究重点。为了公平比较，我们分别在各数据集上对已发布的HaMeR模型进行微调，采用相同的训练计划，记为$\dagger$。 • 我们首先与最常用的升级方法Weak2Full进行比较，该方法使用未知的相机内参，我们将其设为图像的对角线长度 [^39] [^61]。我们也评估了使用真实内参的Weak2Full（Weak2Full-GT）。 - 利用单目深度估计器计算得到的度量深度也可用于升级局部手部姿态。我们使用ZoeDepth [^2]来预测像素级的度量深度图，并求解最优的3D偏移量，使其与局部手部姿态预测出的手部表面对齐。 • WHAM [^61]可估计全局坐标系下的身体姿态，但不包含手部姿态。我们利用WHAM估计出的手腕方向和位置来升级所估计的局部手部关节姿态。由于WHAM要求大部分身体可见，因此该方法仅适用于ARCTIC-EXO数据集。评估指标。我们使用全身姿态估计中的指标 [^61] [^77] [^79] 来评估4D姿态轨迹。与逐帧对齐姿态不同，GA-MPJPE会在计算平均关节位置误差（MPJPE）之前，先将一个序列内所有帧的手部关节进行全局对齐。FA-MPJPE仅对整个手部姿态轨迹进行对齐…… --- ![Image](images/573477556f5d37b13698624c28651ae3546b53ce8bc01afa1c871d82ec01888f.jpg)

Figure 4. Qualitative comparison. We compare our approach qualitatively with other feed-forward baselines on all of three datasets. We show the first, middle, and last frames of an input video. We visualize hand root trajectory as red curves and five poses along time in a global coordinate viewed from the side. Poses from previous frames are visualized with transparency while the last frame reconstructions are opaque. We only visualize the right hand for clarity but all methods can reconstruct both the left and right hand. We encourage readers to see results in videos on our website.

在第一帧中保持姿势。ACC-NORM会计算每个关节相对于真实值的加速度误差。前两项指标用于全局评估轨迹质量，而ACC-NORM则侧重于相邻帧间的局部轨迹。评估详情请参阅附录。 #### 4.1. 4D轨迹重建我们在表1中报告了三个数据集上的定量比较结果，并在图4中可视化了这些结果。虽然在每个数据集上对通用HaMeR模型进行微调能提升其自身性能，但Weak2Full变换会在全局空间中产生明显的抖动现象。即便给定了真实的相机内参，这种情况依然会发生。我们的结果表明，Weak2Full生成的轨迹对相机内参极为敏感；当焦距较大时（如ARCTIC-EXO数据集），误差会更加显著。只有在经过微调且使用真实内参的以自我为中心的场景下，Weak2Full在轨迹全局对齐方面（GA/FA-MPJPE）的表现才较为理想。这是因为以自我为中心的相机焦距较小，且当手部距离相机较近时，通过尺度信息估算手部距离较为合理；一旦内参偏离真实值，由Weak2Full生成的轨迹质量便会下降。借助度量深度预测得到的轨迹更为平滑（加速度误差更低）。不过，在DexYCB中场景更为杂乱，或是ARCTIC-EGO中涉及手物交互时，该方法在存在遮挡的情况下表现不佳。

	GA-MPJPE	FA-MPJPE	ACC-NORM	PA-MPJPE
Weak2Full-GT + Opt.	4.38	10.90	1.14	0.54
ZoeDepth + Opt.	3.75	9.16	0.92	0.68
HaPTIC (Ours) + Opt.	2.28	5.69	0.90	0.51

Table 2. Comparison with test-time optimization. We compare trajectories after optimization when they are initialized from different baselines on the ARCTIC-EXO dataset.

只有当人体在画面中清晰可见时，基于WHAM的全球人体姿态估计方法才有效，因此该方法无法应用于DexYCB数据集或以自我为中心的视频。在ARCTIC-EXO数据集上，该方法表现依然欠佳，因为该方法是为预测人体的根部轨迹而非远端肢体的轨迹而优化的。相比之下，虽然HaPTIC在2D对齐方面的表现同样出色（见图1、图6及附录），但图4显示我们的全局轨迹与真实值的一致性更高。从定量数据来看，在所有数据集上，HaPTIC的各项指标均位列前两名。缩放的影响。当在五个视频数据集的组合上进行训练时，HaPTIC在以物体为中心的场景中的表现甚至优于针对特定数据集训练的模型（HaPTIC †），在以自我为中心的数据集上表现也相当。更多样化的数据能提升模型在同类测试集上的性能，这一观察结果与基于图像的姿态估计研究结论一致[^22] [^53] [^58]。由于除ARCTIC数据集外，所有视频数据集[^6] [^24] [^36] [^49]均为第三人称视角，我们推测模型若能获得更多以自我为中心的数据，性能可能会进一步提升。 --- ![Image](images/e86f13a732e83c1b9e0111a99685ee2313fe420da651cb47ee01cb93389744a2.jpg)

Figure 5. Qualitative comparison of optimization: We compare results before and after optimization with trajectories initialized from baselines and HaPTIC. The optimized trajectories are smoother but optimization struggles to correct global error.

#### 4.2. 基于图像的估计测试时优化。能否通过测试时优化来改善前馈方法产生的抖动轨迹呢？我们针对预测轨迹进行了1000次迭代优化，优化目标包括：1）与真实2D关键点的重投影误差；2）加速度；3）与原始预测结果的差异。表2和图5表明，虽然可以令预测轨迹更平滑，但要修正全局运动则困难得多。相比之下，HaPTIC学习到的运动先验能为测试时优化提供更好的初始化条件。PA-MPJPE指的是逐帧的Procrustes对齐姿态误差。虽然HaPTIC是为从视频中预测4D手部轨迹而设计的，但在没有视频输入时，它也能推广到从单张图像预测3D手部姿态。表3报告了在HInt [^53]基准测试上不同阈值下的PCK值。这些属于分布外数据集。HaPTIC对单张图像的手部预测效果优于HaMeR及其他基线模型，在遮挡子数据集上的差距甚至更为显著（详见附录）。这可能是因为全局CA层经过训练能够捕捉整帧上下文以推断手部姿态，即便手部被遮挡或模糊，也能给出合理的估计。我们还在附录中报告了其在其他基于图像的基准测试[^24]上的3D手部姿态性能。 #### 4.3. 消融实验在表4中，我们通过比较在ARCTIC-EXO数据集中基于一种中心视角进行训练和测试的模型变体，来分析我们的设计选择所产生的效果。当我们仅使用没有辅助图像数据集的视频数据集进行训练时，模型在测试集上的泛化能力较差——

Method	New Days			VISOR
Method	@0.05	@0.1	@0.15	@0.05	@0.1	@0.15
FrankMocap [^58]	16.1	41.4	60.2	16.8	45.6	66.2
METRO [^42]	14.7	38.8	57.3	16.8	45.4	65.7
MeshGraphormer [^41]	16.8	42.0	59.7	19.1	48.5	67.4
HandOccNet (param)[^50]	9.1	28.4	47.8	8.1	27.7	49.3
HandOccNet (no param) [^50]	13.7	39.1	59.3	12.4	38.7	61.8
HaMeR [^53]	48.0	78.0	88.8	43.0	76.9	89.3
HaPTIC (Ours)	48.6	79.0	89.9	46.8	79.5	90.9

Table 3. Evaluation of single image pose. We report PCK at different thresholds on benchmark HInt. We compare HaPTIC with multiple image-based hand pose estimation baselines.

	GA-MPJPE	FA-MPJPE	ACC-NORM	PA-MPJPE
No Image Data	2.34	5.52	1.68	0.55
No Cross-View SA	2.82	6.63	1.41	0.65
No Global CA	2.25	5.12	1.62	0.54
Flip Order	2.20	5.23	1.62	0.53
Full Model	1.83	4.27	1.59	0.54

Table 4. Ablation studies. We compare our full model with variants that do not mix training batch with image data, do not have one of the attention layers, or have attention layers with flipped order on one view of ARCTIC-EXO.

这很可能是因为视频训练数据的多样性不足。如果不使用跨视角注意力机制（No Cross-View SA），全局轨迹的表现最差，因为它无法融合相邻帧的信息。如果不考虑全局帧（No Global CA），轨迹会不够平滑（ACC-NORM值更高），这可能是因为原始帧的变化幅度小于序列中的手部裁剪区域，从而能稳定预测结果。我们还尝试调换Transformer解码器中两层注意力的顺序，发现当前的设计能生成最优的全局轨迹。 #### 4.4. 真实场景结果最后，我们在图6中展示了更多定性结果，包括来自真实场景视频（上方）和单张图像（下方）的预测结果。HaPTIC能够处理不同大小的手部和不同的相机视角。它能应对快速的手部动作，比如击鼓（第5行），同时还能正确预测保持静止的持物手（第2行）。重建结果也涵盖了像拂刷这样具有挑战性的周期性动作（第4行）。在图1的下半部分，重建出的手部轨迹理想地呈现出来回直线运动。图像重建结果显示出良好的2D手部姿态对齐效果，即便手部被严重截断也是如此。我们建议读者查看附录中的视频。 ### 5. 结论在这项工作中，我们提出了HaPTIC，这是首个用于预测全局坐标下4D手部轨迹的前馈方法。 --- ![Image](images/055be879f834737591df9804d4251a601ed0955a0a6e3b06b84923c7ed9fcb1f.jpg)

Figure 6. Qualitative Results. We show more qualitative results of our general model HaPTIC. Upper: Given videos from various datasets or from the Internet, we show reconstructed hand pose and trajectory from the original image view and from two side views. Lower: Given single images from the HInt dataset or the Internet, we show reconstructed poses from the original image view and side views.

为解决视频训练数据有限的问题，我们调整了一个高质量的图像基模型，为其加入新型注意力层，并在视频及辅助图像数据集上对其进行训练。这种调整简单却有效，包括两种类型的注意力机制和额外的预测头。尽管我们取得了业界领先的结果，但该方法仍依赖于可靠的2D手部跟踪系统。一个有趣的研究方向是同时进行跟踪与重建。另一个可能的方向是在世界坐标系而非相机坐标系中推断手部轨迹。我们希望HaPTIC能成为手部与物体交互、机器人技术以及AR/VR等下游任务的有用工具。 --- 致谢。作者感谢Georgios Pavlakos、单丹丹和Soyong Shin在对比HaMeR和WHAM等基线模型时提供的帮助。Yufei感谢Shashank Tripathi、Markos Diomataris和Sai Kumar Dwivedi的有益讨论。部分工作是在Yufei于马克斯·普朗克研究所实习期间完成的。我们还要感谢高瑞涵和王圣宇对本文的校对。 MJB披露自己曾收到来自Adobe、Intel、Nvidia、Meta/Facebook和Amazon的研究资助。MJB在Amazon和Meshcapade GmbH拥有经济利益。虽然MJB是Meshcapade的联合创始人和首席科学家，但他在本项目中的研究完全是在马克斯·普朗克学会进行，且经费也由该机构提供。Yufei的博士研究部分得到了Google的资助。 ## 参考文献 [^1]: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, and Shubham Tulsiani. Towards generalizable zero-shot manipulation via translating human interaction plans. In ICRA, 2024. 2 [^2]: Shariq Farooq Bhat, Reiner Birkl, Diana Wofk, Peter Wonka, and Matthias Müller. Zoedepth: Zero-shot transfer by combining relative and metric depth. arXiv preprint arXiv:2302.12288, 2023. 2, 5 [^3]: A. Blattmann, Tim Dockhorn, Sumith Kulal, Daniel Mendelevitch, Maciej Kilian, and Dominik Lorenz. Stable video diffusion: Scaling latent video diffusion models to large datasets. ArXiv, 2023. 3 [^4]: A. Blattmann, Robin Rombach, Huan Ling, Tim Dockhorn, Seung Wook Kim, Sanja Fidler, and Karsten Kreis. Align your latents: High-resolution video synthesis with latent diffusion models. CVPR, 2023. 3 [^5]: Manuel Caeiro-Rodríguez, Iván Otero-González, Fernando A Mikic-Fonte, and Martín Llamas-Nistal. A systematic review of commercial smart gloves: Current status and applications. Sensors, 2021. 2 [^6]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 5, 6 [^7]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In ICCV, 2021. 1 [^8]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In CVPR, 2022. 1 [^9]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In ECCV, 2020. [^10]: Ming Ding, Wendi Zheng, Wenyi Hong, and Jie Tang. Cogview2：通过分层Transformer实现更快更好的文本生成图像。NeurIPS，2022年。第3页。 [^11]: Alexey Dosovitskiy. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. ICLR, 2020. 2 [^12]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J Black. HMP: Hand motion priors for pose and shape estimation from video. In WACV, 2024. 2 [^13]: Jakob Engel, Kiran Somasundaram, Michael Goesele, Albert Sun, Alexander Gamino, Andrew Turner, Arjang Talatof, Arnie Yuan, Bilal Souti, Brighid Meredith, et al. Project Aria: A new tool for egocentric multi-modal AI research. arXiv preprint arXiv:2308.13561, 2023. 2 [^14]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In CVPR, 2023. 2, 5 [^15]: Hao-Shu Fang, Jiefeng Li, Hongyang Tang, Chao Xu, Haoyi Zhu, Yuliang Xiu, Yong-Lu Li, and Cewu Lu. Alphapose: Whole-body regional multi-person pose estimation and tracking in real-time. TPAMI, 2022. 5 [^16]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In ICCV, 2023. 2, 3 [^17]: Ruiqi Gao, Aleksander Holynski, Philipp Henzler, Arthur Brussee, Ricardo Martin-Brualla, Pratul P. Srinivasan, Jonathan T. Barron, and Ben Poole. Cat3d: Create anything in 3D with multi-view diffusion models. NeurIPS, 2024. 3 [^18]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, 2018. 2 [^19]: Erik Gartner, Mykhaylo Andriluka, Hongyi Xu, and Cristian Sminchisescu. Trajectory optimization for physics-based reconstruction of 3D human pose from monocular video. In CVPR, 2022. 3 [^20]: Erik Gartner, Mykhaylo Andriluka, Hongyi Xu, and Cristian Sminchisescu. Pace: Physics-based animation and control of expressive 3D characters. In CVPR, 2022. 3 [^21]: Songwei Ge, Seungjun Nah, Guilin Liu, Tyler Poon, Andrew Tao, Bryan Catanzaro, David Jacobs, Jia-Bin Huang, Ming-Yu Liu, and Yogesh Balaji. Preserve your own correlation: A noise prior for video diffusion models. ICCV, 2023. 3 [^22]: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, and Jitendra Malik. Humans in 4D: Reconstructing and tracking humans with transformers. In ICCV, 2023. 3, 5, 6 [^23]: Albert Gu and Tri Dao. Mamba: Linear-time sequence modeling with selective state spaces. COLM, 2024. 2 [^24]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3D annotation of hand and object poses. In CVPR, 2020. 5, 6, 7, 1 ## [^25]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In CVPR, 2022. 1 --- [^26]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. 1 [^27]: Yana Hasson, G”ul Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from RGB videos. In 3DV, 2021. 2, 3 [^28]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 2 [^29]: Wenyi Hong, Ming Ding, Wendi Zheng, Xinghan Liu, and Jie Tang. Cogvideo: Large-scale pretraining for text-to-video generation via transformers. ICLR, 2022. 3 [^30]: Hanzhe Hu, Zhizhuo Zhou, Varun Jampani, and Shubham Tulsiani. MVD-Fusion: Single-view 3D via depth-consistent multi-view generation. In CVPR, 2024. 3 [^31]: Zheheng Jiang, Hossein Rahmani, Sue Black, and Bryan M Williams. A probabilistic attention model with occlusion-aware texture regression for 3d hand reconstruction from a single rgb image. In CVPR, 2023. 1 [^32]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In ECCV, 2020. 2, 5 [^33]: Angjoo Kanazawa, Jason Y Zhang, Panna Felsen, and Jitendra Malik. Learning 3D human dynamics from video. In CVPR, 2019. 3 [^34]: Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of StyleGAN. In CVPR, 2020. 3 [^35]: Leyla Khaleghi, Alireza Sepas-Moghaddam, Josh Marshall, and Ali Etemad. Multiview video-based 3-d hand pose estimation. TAI, 2021. 2 [^36]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 2, 5, 6 [^37]: Jiefeng Li, Siyuan Bian, Chao Xu, Gang Liu, Gang Yu, and Cewu Lu. D&d: Learning human dynamics from dynamic camera. In ECCV, 2022. 3 [^38]: Mengcheng Li, Hongwen Zhang, Yuxiang Zhang, Ruizhi Shao, Tao Yu, and Yebin Liu. Hhmr: Holistic hand mesh recovery by enhancing the multimodal controllability of graph diffusion models. In CVPR, 2024. 2 [^39]: Zhihao Li, Jianzhuang Liu, Zhensong Zhang, Songcen Xu, and Youliang Yan. Cliff: Carrying location information in full frames into human pose and shape estimation. In ECCV, 2022. 3,5 [^40]: Dixuan Lin, Yuxiang Zhang, Mengcheng Li, Yebin Liu, Wei Jing, Qi Yan, Qianying Wang, and Hongwen Zhang. Omni-hands: Towards robust 4d hand mesh recovery via a versatile transformer. arXiv preprint arXiv:2405.20330, 2024. 2 [^41]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In ICCV, 2021. 2, 7, 1 [^42]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 2, 7, 1 [^43]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In CVPR, 2021. 1 [^44]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In CVPR, 2021. 2 [^45]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In CVPR, 2022. 2 [^46]: Yuan Liu, Chu-Hsing Lin, Zijiao Zeng, Xiaoxiao Long, Lingjie Liu, Taku Komura, and Wenping Wang. Sync-dreamer: Generating multiview-consistent images from a single-view image. ICLR, 2023. 3 [^47]: Jian Ma and Dima Damen. Hand-object interaction reasoning. In AVSS, 2022. 2 [^48]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-pixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In ECCV, 2020. 2, 1 [^49]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3D interacting hand pose estimation from a single rgb image. In ECCV, 2020. 2, 5, 6 [^50]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. HandOccNet: Occlusion-robust 3D hand mesh estimation network. In CVPR, 2022. 7, 1 [^51]: Austin Patel, Andrew Wang, Ilija Radosavovic, and Jitendra Malik. Learning to imitate object interactions from internet videos. arXiv preprint arXiv:2211.13225, 2022. 2 [^52]: Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Human mesh recovery from multiple shots. In CVPR, 2022. 3 [^53]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 2, 3, 5, 6, 7, 1 [^54]: Siyou Pei, Alexander Chen, Jaewook Lee, and Yang Zhang. Hand interfaces: Using hands to imitate objects in ar/vr for expressive interactions. In CHI, 2022. 2 [^55]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J Guibas. Humor: 3D human motion model for robust pose estimation. In PICCV, 2021. 3 [^56]: Robin Rombach, A. Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. CVPR, 2022. 3 [^57]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. In TOG, 2017. 2, 3 [^58]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3D whole-body pose estimation system via regression and integration. In ICCVW, 2021. 2, 3, 6, 7, 1 [^59]: Johannes L Schönberger and Jan-Michael Frahm. Structure-from-motion revisited. In CVPR, 2016. 3 [^60]: Yichun Shi, Peng Wang, Jianglong Ye, Mai Long, Kejie Li, and X. Yang. Mydream: Multi-view diffusion for 3D generation. ICLR, 2023. 3 ### [^61]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J. Black. WHAM: Reconstructing world-grounded humans with accurate 3D motion. In CVPR, 2024. 2, 3, 5, 1 --- [^62]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. 5 [^63]: Uriel Singer, Adam Polyak, Thomas Hayes, Xiaoyue Yin, Jie An, Songyang Zhang, Qiyuan Hu, Harry Yang, Oron Ashual, Oran Gafni, Devi Parikh, Sonal Gupta, and Yaniv Taigman. Make-a-video: Text-to-video generation without text-video data. ICLR, 2022. 3 [^64]: Yu Sun, Qian Bao, Wu Liu, Yili Fu, Tao Mei, and Michael J Black. Monocular, one-stage, regression of multiple 3D people. In PICCV, 2021. 3 [^65]: Yu Sun, Wu Liu, Qian Bao, Yili Fu, Tao Mei, and Michael J Black. Trace: Monocular global human trajectory estimation in the wild. In CVPR, 2023. 3 [^66]: Xiao Tang, Tianyu Wang, and Chi-Wing Fu. Towards accurate alignment in real-time 3D hand-mesh reconstruction. In ICCV, 2021. 2 [^67]: Vadim Tschernezki, Ahmad Darkhalil, Zhifan Zhu, David Fouhey, Iro Laina, Diane Larlus, Dima Damen, and Andrea Vedaldi. Epic Fields: Marrying 3D geometry and video understanding. NeurIPS, 2024. 2 [^68]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and C Karen Liu. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. RSS, 2024. 2 [^69]: Ruocheng Wang, Pei Xu, Haochen Shi, Elizabeth Schumann, and C Karen Liu. F\"urelise: Capturing and physically synthesizing hand motions of piano performance. SIGGRAPH Asia, 2024. 2 [^70]: Robert Y Wang and Jovan Popović. Real-time hand-tracking with a color glove. TOG, 2009. 2 [^71]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In CVPR, 2019. 2, 5 [^72]: John Yang, Hyung Jin Chang, Seungeui Lee, and Nojun Kwak. Seqhand: RGB-sequence-based 3D hand pose and shape estimation. In ECCV, 2020. 2 [^73]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. Artiboost: Boosting articulated 3d hand-object pose estimation via online exploration and synthesis. In CVPR, 2022. 1 [^74]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In CVPR, 2023. 3 [^75]: Yufei Ye, Abhinav Gupta, Kris Kitani, and Shubham Tulsiani. G-HOP: Generative hand-object prior for interaction reconstruction and grasp synthesis. In CVPR, 2024. 2 [^76]: Brent Yi, Vickie Ye, Maya Zheng, Lea M'uller, Georgios Pavlakos, Yi Ma, Jitendra Malik, and Angjoo Kanazawa. Estimating body and hand motion in an ego-sensed world. arXiv preprint arXiv:2410.03665, 2024. 2 [^77]: Paper Authors Your. Slahmr: Simultaneous localization and human mesh recovery. In CVPR, 2023. 5, 1 [^78]: Ri Yu, Hwangpil Park, and Jehee Lee. Human dynamics from monocular video with dynamic camera movements. TOG, 2021. 3 [^79]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz. Glamr: Global occlusion-aware human mesh recovery with dynamic cameras. In CVPR, 2022. 3, 5 [^80]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In ICCV, 2019. 2 [^81]: Zhishan Zhou, Zhi Lv, Minqiang Zou, Yao Tang, Jiajun Liang, et al. A simple baseline for efficient hand mesh reconstruction. In CVPR, 2024. 2 [^82]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single rgb images. In ICCV, 2017. 5 #### [^83]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In PICCV, 2019. 2, 5 --- #### 从单目视频预测4D手部轨迹补充材料

Method		New Days			VISOR
		@0.05	@0.1	@0.15	@0.05	@0.1	@0.15
All Joints	FrankMocap[^58]	16.1	41.4	60.2	16.8	45.6	66.2
	METRO[^42]	14.7	38.8	57.3	16.8	45.4	65.7
	Mesh Graphormer [^41]	16.8	42.0	59.7	19.1	48.5	67.4
	HandOccNet (param) [^50]	9.1	28.4	47.8	8.1	27.7	49.3
	HandOccNet (no param) [^50]	13.7	39.1	59.3	12.4	38.7	61.8
	HaMeR [^53]	48.0	78.0	88.8	43.0	76.9	89.3
	HaPTIC (Ours)	48.6	79.0	89.9	46.8	79.5	90.9
Visible Joints	FrankMocap	20.1	49.2	67.6	20.4	52.3	71.6
	METRO	19.2	47.6	66.0	19.7	51.9	72.0
	Mesh Graphormer	22.3	51.6	68.8	23.6	56.4	74.7
	HandOccNet (param)	10.2	31.4	51.2	8.5	27.9	49.8
	HandOccNet (no param)	15.7	43.4	64.0	13.1	39.9	63.2
	HaMeR	60.8	87.9	94.4	56.6	88.0	94.7
	HaPTIC (Ours)	60.6	88.5	95.0	60.7	89.3	95.5
Occluded Joints	FrankMocap	9.2	28.0	46.9	11.0	33.0	55.0
	METRO	7.0	23.6	42.4	10.2	32.4	53.9
	Mesh Graphormer	7.9	25.7	44.3	10.9	33.3	54.1
	HandOccNet (param)	7.2	23.5	42.4	7.4	26.1	46.7
	HandOccNet (no param)	9.8	31.2	50.8	9.9	33.7	55.4
	HaMeR	27.2	60.8	78.9	25.9	60.8	80.7
	HaPTIC (Ours)	29.4	62.2	80.4	29.7	64.6	83.1

Table 5. Evaluation of single image pose. We report PCK at different thresholds on benchmark HInt [^53]. We compare HaPTIC with multiple image-based hand pose estimation baselines.

在补充材料中，我们提供了主论文中提到的额外定量比较结果（见章节A）。我们还详细说明了网络实现和评估指标的相关细节（见章节B）。最后，我们在补充视频中展示了更多的对比结果。 ### A. 基于图像的手部姿态估计如4.2节所述，我们报告了HaPTIC通用模型与其他基于图像的基线模型之间的定量比较结果。表6展示了3D姿态评估结果，表5则给出了它们的2D投影结果。在更具外观多样性的HInt基准测试中，HaPTIC在所有数据划分上均优于其他基线模型，尤其是在遮挡情况下的优势更为明显。这可能是因为我们的全局空间注意力机制能够对遮挡情况下的原始帧提供更多上下文信息。在HO3D 3D手部姿态基准测试中，HaPTIC的表现与最佳模型相差不到1%，位居第二。它略逊于HaMeR，可能是因为HO3D数据集在视频数据集组合中的采样量较少。不过，HaPTIC预测出的4D轨迹更加逼真。

Method	AUC $\uparrow$	PA-MPJPE	$\downarrow$ AUC $\uparrow$	PA-MPVPE	$\downarrow$ F@5 $\uparrow$	F@15 $\uparrow$
Liu et al. [^43]	0.803	9.9	0.810	9.5	0.528	0.956
HandOccNet [^50]	0.819	9.1	0.819	8.8	0.564	0.963
I2UV-HandNet [^7]	0.804	9.9	0.799	10.1	0.500	0.943
Hampali et al. [^24]	0.788	10.7	0.790	10.6	0.506	0.942
Hasson et al. [^26]	0.780	11.2	0.777	11.1	0.464	0.939
ArtiBoost [^73]	0.773	11.4	0.782	11.4	0.488	0.944
Pose2Mesh [^9]	0.754	12.5	0.749	12.7	0.441	0.909
I2L-MeshNet [^48]	0.775	11.2	0.722	13.9	0.409	0.932
METRO [^42]	0.792	10.4	0.779	11.1	0.484	0.946
MobRecon [^8]	-	9.2	-	9.4	0.538	0.957
Keypoint Trans [^25]	0.786	10.8	-	-	-	-
AMVUR [^31]	0.835	8.3	0.836	8.2	0.608	0.965
HaMeR [^53]	0.846	7.7	0.841	7.9	0.635	0.980
HaPTIC (Ours)	0.842	8.0	0.839	8.1	0.628	0.980

Table 6. Evaluation of single image pose. We report quality of 3D hand pose on benchmark HO3D. We compare HaPTIC with multiple image-based hand pose estimation baselines.

#### B. 实现细节网络实现细节：我们采用AdamW优化器，学习率为$1e-4$。我们在八张H100显卡上训练，批量大小为16（其中8用于视频，8用于图像），共迭代1000000次。我们使用与HaMeR相同的权重来混合不同图像数据集。用于混合视频数据集的（未归一化）采样权重分别为：0.25（ARCTIC-EGO）、0.15（ARCTIC-EXO）、0.05（DexYCB）、0.05（H2O）、0.05（HO3D）、0.15（InterHand2.6M）。在测试时优化阶段，我们采用学习率为$1e^{-3}$的AdamW优化器，对每个序列优化1000次。优化目标包括基于真实2D关键点的2D投影损失、预测的3D和2D关键点的加速度损失，以及与初始预测结果的距离损失。评估指标：为了计算GA/FA-MPJPE，我们通过寻找选定关键点之间的仿射变换（等距缩放、旋转和平移）来将预测轨迹与真实轨迹对齐。在GA-MPJPE中，选定的关键点是所有帧中的所有关节；而在FA-MPJPE中，则是第一帧中的所有关节。在ARCTIC数据集中，每个视频时长约为30秒。遵循关于全局坐标下全身重建的文献[^61] [^77]，我们在计算全局轨迹指标前，会将较长的序列裁剪为长度相同的短片段（60帧）。 #### C. 视频中的更多结果我们在补充视频中提供了更多结果，包括与其他模型的对比（图4）、优化前后的对比（图5），以及更多的定性分析结果。 --- HaPTIC的结果（图1和图6）。