# 利用视觉Transformer估计相机空间中的精确手部姿态任凯文 $^{*}$ 蒋一然 $^{*}$ 计算技术研究所，中国科学院中国科学院大学中国北京叶永敬计算技术研究所，中国科学院中国北京夏世宏 $^{†}$ 计算技术研究所，中国科学院中国科学院大学中国北京 ![Image](images/7e970841e4537ec0376f2975c053494104b3218dc35082812a1199589cdcf785.jpg) 局部手部姿态估计 ![Image](images/7331bbf85bacd8a024b63f7b748cb4f710c16acdef147fbc37d47833644457e1.jpg) ![Image](images/b50be19b302b024345cb24048f227f4ec043dab08cab8ad1de458095f67d197d.jpg) ![Image](images/61316540474d51a7721a0667ce9a2f03d2ef7d609bed5a663287012a277c90ea.jpg) ![Image](images/201fbc36db04e2ff95bfffccc92bfda467cac89568d2b81b2933d639e6bcd0d1.jpg) 相机空间手部姿态估计 (a) 任务示意图 ![Image](images/01023c39cffa0916a0eec96992653c7af394aa8d4ce002927b5b5273244870fd.jpg) 不同的局部姿态，与相机的距离相同 ![Image](images/2996f059c7b3a65b587858190e2d513387118996c5d4666611aaf74e455d3842.jpg) (ii) 相机空间中的不同局部姿态 ![Image](images/7fa9d4cecb8f4283e14b6c61d18669ba96798712242aa0050ef8770c52d3bbef.jpg) (iv) 高度相似的局部投影 (b) 二维透视投影中手腕位置与局部姿态的耦合关系

Figure 1: Iask illustration and challenges. (a) compares local versus camera-space pose estimation, where local estimation predicts joint-relative articulation while camera-space estimation recovers under camera's coordinate. (b) demonstrates the perspective coupling effect. The perspective projection can distorts the projection of same local pose as (i) and (iii). It can also compensate for difference in local pose and yield the same projection results as in (ii) and (iv).

## 摘要基于单目RGB图像的手部姿态估计已成为计算机视觉领域的关键研究方向。局部手部姿态估计方法预测的是相对于手腕的手部姿态，而全局手部姿态估计还需要确定手腕在相机坐标系中的位置。然而，这种相机空间的姿态估计面临两大根本性挑战：(1) 单目环境下的深度模糊问题；(2) 透视投影中手部局部姿态与全局手腕位置的耦合效应。这种耦合效应表现为投影结果由手部局部姿态、手腕位置和相机内参共同决定。为克服这些挑战，我们的框架提出了两项关键创新：用于提取手部深度信息的变换同构监督机制，以及用于解决局部姿态与手腕位置耦合问题的透视信息嵌入模块，二者均集成到主流的编码器-解码器架构中。此外，我们提出了一种新颖的帧率感知多数据集训练策略，用于实现序列化的姿态优化。我们的完整集成方案在HO3D数据集上相较于现有最先进方法，在CS-MJE指标上最多可取得37.1%的性能优势。项目页面：。 ## CCS概念 • 以人为中心的计算 → 交互技术；计算方法 → 活动识别与理解；动作捕捉。 ## 关键词 --- ## ACM参考格式任凯文、蒋一然、叶永敬、夏世宏。2026年。利用视觉Transformer估计相机空间中的精确手部姿态。收录于第34届ACM国际多媒体会议（MM '26）论文集，2026年11月10日至14日于巴西里约热内卢举行。ACM出版社，美国纽约，共20页。 ## 1 引言基于单目RGB图像的手部姿态估计在虚拟现实/增强现实系统以及人机交互应用中发挥着关键作用，它能够在不借助额外传感器的情况下实现与虚拟物体的无缝交互。如图1(a)所示，局部手部姿态估计方法旨在回归相对于手腕的手部姿态，而相机坐标系下的手部姿态估计则需要同时确定手腕关节在相机坐标中的位置。由于相机坐标系下的手部姿态估计能够提供更全面的手部信息，因此成为我们研究的主要方向。相机坐标系下的手部姿态估计面临两大挑战。首先，单目视图中存在固有的深度歧义问题：不同距离、不同大小的物体会产生相同的投影，这是手部姿态估计中的常见局限。局部手部姿态估计方法试图通过引入先验信息[^27] [^29]来估算准确的手部尺寸。然而，预测相机坐标系下的手部姿态不仅需要精确估计手部尺寸，还需要基于该尺寸估计结果进行深度推断[^10] [^12]。这对模型感知深度的能力提出了更高要求。第二个挑战是透视投影下手腕位置与局部手部姿态之间无法消除的耦合现象，我们将其称为“透视耦合效应”。如图1(b)所示，正交投影不存在透视效应，因此投影结果中局部姿态与根关节位置的影响是相互独立的。相应地，根关节的x、y坐标以及局部朝向可以直接从图像中推导出来，如(i)和(ii)所示。相比之下，透视投影会使根位置与局部姿态相互纠缠，二者共同决定了投影中的二维手部朝向。这种耦合关系导致仅从图像中无法判断各因素的相对贡献，从而增加了姿态估计的难度。图(iv)展示了一个极端例子：三种不同的局部姿态与根关节位置组合产生了完全相同的二维手部投影。因此，在相机坐标系下的姿态估计中透视效应不可或缺。要实现准确的恢复，就必须显式建模相机内参与透视几何关系。现有大多数方法[5, 21–23, 33]要么完全忽略了这一要求，要么依赖虚拟内参假设；即便后者通常也仅将此类假设用于辅助二维投影损失计算，从而在相机坐标系下的估计中引入系统性误差。完整的理论分析请参阅附录。为应对上述挑战，模型必须：(1) 灵敏地利用手部先验信息从手部图像中提取深度信息；(2) 精准感知手部投影的透视信息。针对第一项要求，受[^26]的启发，我们提出了变换同构监督机制（TIS），通过在潜空间中运用“旋转”与“缩放”操作来对齐尺度与深度信息，进而提升对二者的感知能力。 ![Image](images/2e0c24beeb8cca63260e5366497db5f2361f5981bb59af6968b04e7308478c41.jpg)

Figure 2: The illustration of our intuitive baseline. The cropping image (#1) is treated as if it is taken by pointing camera directly to the hand (#2). Then the predicted dummy pose is rotated to match the actual position of the cropping, giving prediction of actual pose.

为了构建骨干网络。针对第二个需求，我们引入了视角信息嵌入（PIE）机制，通过用视角向量修饰图像潜在补丁，使模型具备感知视角信息的能力。PIE的重要性通过我们精心设计的基线模型得到了验证（见图2）：该模型基于图1(b,iv)中的观察结果，先预测一个规范的虚拟姿态，再应用特定视角的变换以匹配输入图像的视角。此外，我们提出了帧率感知的多数据集训练方法，利用具有不同采集配置的多数据集来训练模型，从而提升训练数据的适应性和姿态估计精度。总之，我们的贡献可总结如下： (2) 变换同构监督（TIS）：一种训练组件，用于提升模型对深度信息的感知能力，并消除深度歧义。 (1) 形式化了视角耦合效应的概念，并通过定性可视化和理论分析阐述了其对手部姿态估计的影响。 (3) 视角信息嵌入（PIE）：该机制帮助模型感知视角信息，并在潜在空间中建模视角与手部姿态的耦合关系。 (4) 帧率感知的多数据集训练（MDT）：该机制支持在帧率不同的数据集上进行联合训练，从而提升姿态估计网络的性能。通过整合TIS和PIE机制，我们实现了精确的相机空间手部姿态估计，在HO3D数据集上的性能较现有最先进方法提升了7.8% [^12]。若再加入帧率感知的多数据集训练机制，性能提升幅度更是达到约37.1%。 ## 2 相关工作 ### 2.1 局部手部姿态估计近年来，研究人员致力于手部姿态估计研究，尤其是从单目RGB图像或序列中预测局部手部姿态[4, 8, 14, 17–19, 21, 22, 25, 29, 32, 34, 35, 39]。在各种架构中，基于Transformer的模型因其高精度和鲁棒性而表现优于其他架构 $^{[22,24]}$。 --- 相比之下，CNN [^7] [^17] [^40] 或图卷积神经网络 [^6] 等架构的表现则稍逊一筹。事实证明，缩放律在该领域仍然大致适用 [^11]。为解决手部姿态估计固有的遮挡、自遮挡和运动模糊等难题，研究人员也提出了专门的设计：H2ONet [^33] 通过双分支编码器学习手与物体交互的遮挡信息；Deformer [^5] 提出动态融合Transformer用于时序姿态建模，以应对运动模糊问题；HaMeR [^22] 通过将视觉Transformer与大规模数据相结合，在局部手部姿态估计中取得了令人瞩目的精度和鲁棒性。在此基础上，WiLoR [^23] 借助新颖的图像对齐多尺度采样技术以及包含200万张以上自然场景图像的数据集，进一步推进了多手定位与估计的发展。 ### 2.2 相机空间中的手部姿态估计尽管已有大量采用不同架构的研究旨在解决该领域的挑战，但鲜有研究能解决相机空间中手部的全局定位问题，这为我们的工作留下了广阔的空间。相机空间与全局手部姿态估计已成为前沿研究的热点。这一独特任务旨在估计手部的姿态，包括其相对于相机的位置。近期的研究[^36] [^37]将局部手部姿态估计方法[^22] [^24]与基于SLAM的相机跟踪技术相结合，从而实现在世界坐标系下的连续手部姿态跟踪。我们将这类方法归类为全局手部姿态估计。针对基于相机坐标的估计方法，近期的研究通过新范式来解决这一难题。Huang等人[^10]提出了神经投票场（Neural Voting Field, NVF）技术，该技术将2D特征投影到3D体素中，以预测关节层面的投票偏好，进而在相机坐标下定位手部关节。这种投影机制借助体素表示和重投影方式规避了耦合问题。然而，受体素限制，他们的方法只能预测关节位置而非旋转角度，这限制了其应用范围。Valassakis等人[^12]提出的HandDGP算法则建立了可微分的PnP求解方案以实现可导的2D-3D映射。他们的PnP算法在学习型方法中实现了“从局部到相机空间”的估计。不过，他们忽略了透视耦合效应，导致精度较我们的方法有所降低，如表1中的实验结果所示。 ### 2.3 手部姿态估计的表征学习部分研究采用表征学习来优化姿态估计方法。表征学习的目标是学习对下游任务有益的表征，从而提升训练和推理性能。根据[^28]的分类，表征学习包含两种范式：基于MIM的方法通过重建图像来学习表征[^9]；而基于对比学习的方法则利用正负样本对，通过损失函数驱动表征学习[^2]。大多数用于手部姿态估计的表征学习框架都采用基于对比学习的方法。例如，SiMHand[^13]通过2D姿态检测器识别出姿态相似的图像来构建正样本对，以增强对纹理/光照因素的鲁棒性。我们认为这本质上是从2D姿态估计器中进行的知识蒸馏。PeCLR[^29]对SimCLR[^3]框架进行了改进，引入几何变换作用于特征图。该方法直接将图像空间中的几何逆变换应用于2D特征图，从而在潜空间中直接约束强几何先验。我们对将直观约束直接注入潜空间的做法表示担忧。同样，[^26]也认为这种方法还有改进空间。受此启发，我们提出了变换同构监督（Transformation-Isomorphic Supervision, TIS）方法，通过参数化映射学习跨越图像域与3D域、且与几何变换同构的姿态丰富表征。 ## 3 方法 ### 3.1 我们的流程概述空间训练阶段与时间训练阶段的流程如图3所示。在空间训练阶段，我们采用现成的手部检测器从输入图像中获取手部边界框$I \in \mathbb{I}$。随后，我们利用Swin[^15]骨干网络$E : \mathbb{I} \to \mathbb{R}^{N \times d}$将裁剪后的手部区域编码为潜 patches$\{P_i \in \mathbb{R}^{d}\}_{i=1}^N$。视角信息嵌入机制利用手部边界框信息和相机内参，将潜在特征块优化为$\{P'_i\}_{i=1}^N$，这些特征块如今已包含相机空间中的姿态信息。随后，$\{P'_i\}_{i=1}^N$会被空间模块（见图4）处理，以提取用于姿态特征的$Q_P, Q_T, Q_S \in \mathbb{R}^d$。最后，姿态解码器$D: \mathbb{R}^{3 \times d} \to \mathbb{R}^{(16 \times 3) + 10 + 3}$会将这些特征解码为全局手部姿态$(\theta, \beta, t)$，分别用于关节旋转、形状以及手腕平移的监督。除了对$\theta, \beta$和t进行监督外，我们还引入了一种全新的变换同构监督（TIS）机制。具体来说，我们首先对$s_{latent}$应用可学习的“缩放-旋转”变换$\{P'_i\}_{i=1}^N$，再利用同一个姿态解码器将其解码为姿态$(\theta', \beta', t')$参数。随后，$(\theta', \beta', t')$会在3D空间中经历逆变换，并同样针对真实值进行监督。在时间训练阶段，如图3(ii)所示，我们会冻结主干网络与空间模块，仅训练新加入的时间模块——该模块被插入在空间模块之后。时间模块以每帧的姿态特征$\{Q_P^i\}_{i=1}^{t}$、$\{Q_T^i\}_{i=1}^{t}$和$\{Q_S^i\}_{i=1}^{t}$作为输入，通过时间信息融合生成最后一帧的优化后姿态特征，即$Q_P^t$、$Q_T^t$和$Q_S^t$。这些融合后的特征随后会利用上一阶段空间训练中所用的姿态解码器，解码为姿态参数。 ### 3.2 视角信息嵌入图1展示了手腕位置与局部手部姿态之间的耦合效应：手部的投影是手部姿态与视角信息的结合体。因此，我们需要一个组件来建模这种耦合过程的机制。我们非正式地将3D手部姿态记为X，视角信息记为K，2D手部投影记为Y。投影过程可表示为$Y = \Pi(X, K)$，其中$\Pi$代表透视投影算子。若想精确恢复3D姿态X，在不纳入K的情况下，2D手部投影Y本身存在歧义。恢复过程可表示为$X = \Pi^{-1}(Y, K)$，其中的符号$\Pi^{-1}$表示基于K的手部姿态估计恢复过程。K的含义不言自明，但Y中包含的信息 --- ![Image](images/d667a16ecd5ec8415a2756efee0e2e9b6088fbcf9214616cf11bd94373c2c2d3.jpg)

Figure 3: Method illustration. (i) In single-frame training, an off-the-shelf detector localizes the hand, then Perspective Information Embedding (PIE) enhances latent feature with camera intrinsic and detection boxes. The spatial module extracts pose features, which are mapped to pose parameter by the Pose Decoder. Transformation Isomorphism Supervision (TIS) transforms patches and compares decoded poses with GT, imposing depth information into latent space. (ii) Temporal Module is added after the spatial module to exploit the temporal cues. We design the zero-init linear layer for training efficiency. The TIS mechanism is omitted in temporal training stage.

![Image](images/d5a002477546ec9e06155c4ebfa69e6af10ed930d938e8b9913f22c23b5fde13.jpg)

Figure 4: The spatial module extracts pose information from latent patches with query token $Q_P^+, Q_T^+, Q_S^+$. The latent patches $P'_1, \cdots, P'_N$ are discarded at the final layer.

不仅仅是手部图像裁剪信息，它还包括图像上裁剪区域的位置，这一位置可由手部检测框的位置来描述。 PIE机制旨在将这一条件融入图像裁剪的潜在特征$\{p_i\}_{i=1}^N$中。给定手部的方形裁剪框，我们在裁剪区域内均匀采样$P \times Q$个点，记为$\{p_{ij} \in \mathbb{R}^2\}_{ij}^{P \times Q}$，其中$p_{ij}$是每个采样点的像素坐标。对于每个采样点，我们利用内参将其像素坐标$p_{ij}$归一化回$u_{ij}$： $$ u_{i j}=K^{-1}\big[p_{i j},1\big]^{\top}\in\mathbb{R}^{3}, $$ 其中$K \in \mathbb{R}^{3 \times 3}$为内参矩阵。从归一化投影平面上的第ij个采样点到原点的方向向量记为$\tilde{u}_{ij} = -u_{ij}/\|u_{ij}\|_2$。我们忽略z坐标，将所有$\tilde{u}_{ij}$拼接起来便得到透视图。 $$ F_{\mathrm{p e r s p}}=\mathrm{c a t}((\tilde{u}_{11})_{x y},\cdots,(\tilde{u}_{P Q})_{x y})\in\mathbb{R}^{P Q\times2}. $$ 如图3(i)所示，透视信息嵌入器将透视映射$F_{persp}$编码为透视嵌入向量$v_{persp} = \text{PIE}(F_{persp}) \in \mathbb{R}^d$，其中d是骨干网络图像块的特征维度。随后，向量$v_{persp}$会被加到每个潜在图像块$\{P_i\}_{i=1}^N$上，从而将透视信息融入局部图像特征中。我们希望这一过程能够模拟隐空间中手腕位置与局部姿态的耦合关系，为相机空间中手部在xy平面的姿态提供线索。关于PIE的详细架构，请参阅附录。 ### 3.3 变换同构监督变换同构监督（TIS）源于对透视投影系统的一个基本几何洞察。该洞察指出：二维空间中的缩放-旋转变换与三维姿态空间中的对应变换之间存在一一对应关系。具体而言，若对二维投影结果施加某种变换，便可对其三维位置施加相应的变换，使得新的二维结果仍与新三维位置的投影保持一致，如图5所示。这些缩放-旋转变换的形式化定义详见附录。 --- 利用视觉Transformer估计相机空间中的精确手部姿态 ![Image](images/d75e33b08837b17777d0748157627caf039d38c394f7c3fabc4d5479c860d84d.jpg)

(a) origin pose and projection

![Image](images/eb243566516cb02317a9599ca300527c77de8390dcfa6a32c65c8c32ebd3b1bf.jpg)

(b) transformed pose and projection

Figure 5: An example of transformation isomorphism. The projection relation holds after applying isomorphic transformations in pose space and image space respectively.

这种现象源于手部几何特性的内在本质以及透视投影原理。这两者的相互作用在二维和三维空间间建立了深度变化的一致关系。设姿态估计网络f根据图像I预测手部姿态$\theta, \beta, t$，其公式表示为$(\theta, \beta, t) = f(I)$。如图5所示，当对图像施加缩放-旋转变换$sr_{2d}(\cdot)$时，得到的姿态也会相应改变。这一过程可表述为$sr_{\mathrm{pose}}(\theta, \beta, t) = f(sr_{2d}(I))$，其中下标分别表示三维姿态空间和二维空间。我们注意到$sr(\cdot)$会贯穿整个网络：$f \circ sr_{2d} = sr_{\mathrm{pose}} \circ f$。换句话说，二维和三维姿态空间中的缩放-旋转变换是一一对应的。[^26]将这种关系称为变换同构。这种关系有望捕捉到深度信息，从而缓解z坐标定位的挑战。我们自然会猜想：图像空间与姿态空间之间的这种同构关系是否能扩展到隐空间。在我们的流程中，估计过程被表述为$(\theta,\beta,t)=D(E(I))$。通过引入变换$sr_{latent}(\cdot)$来建模隐空间中的“缩放与旋转”变换，此时变换同构关系便变为$^{1}$。 $$ s r_{\mathrm{p o s e}}(\theta,\beta,t)=D(s r_{\mathrm{l a t e n t}}(E(I)))=D(E(s r_{2\mathrm{d}}(I))). $$ 通过施加这一约束，TIS促使隐空间保留与图像空间和姿态空间结构相似的关系，进而有助于深度信息的嵌入。 TIS的机制如图6所示。我们采用参数化网络$sr_{latent} : \mathbb{R}^{Nd+2} \to \mathbb{R}^{Nd}$来通过随机的$\{P'_i\}_{i=1}^N$和$s \sim \mathcal{U}$对潜在图像块$\alpha \sim \mathcal{U}$进行“缩放”和“旋转”。共享解码器D会将潜在图像块解析为姿态$\theta'$、手腕平移量$t'$以及形状$\beta'$。根据公式(3)中的变换同构关系，我们期望$sr_{pose}(\theta', \beta', t'; -\alpha, 1/s) = (\theta, \beta, t)$。我们将TIS的目标函数构造为关于E、D和$sr_{latent}$的正则化项： $$ \begin{array}{r}{\mathcal{L}_{\mathrm{T I S}}=\mathbb{E}_{I,s r}\left[\left\|\mathbf{g t}-\big(s r_{\mathrm{p o s e}}\big)^{-1}\big(D(s r_{\mathrm{l a t e n t}}(E(I)))\big)\right\|\right],}\end{array} $$ 其中$(sr_{\mathrm{pose}})^{-1}(\cdot)$表示$sr_{\mathrm{pose}}(\cdot)$的逆变换，其系数为1/s且包含$-\alpha$。我们的消融实验证明了TIS的积极效果。与[^26]不同，我们用于监督的变换同构关系建立在隐空间与姿态空间之间，而[^26]则是利用图像空间与隐空间之间的关系来进行监督。 ![Image](images/e773315a4a7c0e3c9316a9899ef10d540710b8bcb5885a598c67091c24f514de.jpg)

Figure 6: Illustration of Transformation Isomorphism Supervision. A parameterized network $sr_{latent}$ takes random rotation and scaling parameters $\alpha$, s as input to transform the latent patches, and for the pose decoded from the transformed latent patches, it applies inverse 3D rotation and scaling transformations with $\alpha$, s, then compares the results with the truth.

### 3.4 帧率感知的多数据集训练大规模标注数据和时序信息融合对于准确的全局手部姿态估计至关重要。引入多个公开数据集可以解决第一个问题，但也会引发第二个问题：不同数据集间的采集配置存在差异，尤其是帧率方面。我们提出了帧率感知的多数据集训练方法（简称MDT），该方法能够在时序训练场景中支持不同的帧率。如图3(ii)所示，给定一系列图像$\{I_i\}^t$及其对应的时间戳$\{\tau_i\}^t$，空间模块会提取出局部姿态$\{Q_P^i\}^t$、根位置$\{Q_T^i\}^t$和形状$\{Q_S^i\}^t$的特征序列。随后，我们将基于RoPE[^30]的时间索引旋转位置编码（Ti-RoPE）应用于这些序列。每个序列的最后一个标记$Q_P^t$、$Q_T^t$、$Q_S^t$被用作查询向量，以聚合来自各自序列的信息： X可以是P、T和S。 $$ \begin{align*}\{\hat{Q}^{i}_{\mathsf{X}}\}^{t}&=\mathrm{Time-Indexed-RoPE}\left(\{Q^{i}_{\mathsf{X}}\}^{t},\{\tau_{i}\}^{t}\right),\\\tilde{Q}^{t}_{\mathsf{X}}&=\hat{Q}^{t}_{\mathsf{X}}+\mathrm{TM}_{\mathsf{X}}\left(\mathsf{q}=\hat{Q}^{t}_{\mathsf{X}},\mathsf{v}\&\mathsf{k}=\{\hat{Q}^{i}_{\mathsf{X}}\}^{t}\right),\end{align*} $$ 其中$\tilde{Q}_{X}^{t}$是跨时间的姿态、手腕平移和形状的融合标记，而$TM_{P}$、$TM_{T}$、$TM_{S}$则是用于局部姿态、手腕平移和形状特征标记的时序模块分支。每个分支都由多层交叉注意力模块组成。我们的TI-RoPE是旋转位置编码[^31]的一种变体，它通过将显式时间间隔纳入位置编码来处理非规则采样的时间序列。在原始的RoPE机制中，嵌入向量的旋转角度$\theta$仅由标记的索引i决定。而在我们提出的TI-RoPE中，我们用每个标记位置对应的时间戳$\tau_i$来替代这一参数，从而使编码对帧率变化敏感。为了提升训练效率和准确性，我们参照ControlNet[^38]的做法，将时序模块的最后一个线性层初始化为零。这一操作迫使时序模块的输出在训练初期为零。 --- ![Image](images/07e1469018e039b01afd1c936a9eb390c517987983ea33ddceaf88df5200a965.jpg)

Figure 7: We present qualitative results on the HO3D [^7] datasets. Ground truth meshes are shown in green, and our predictions are in red. All predictions are rendered in camera space with entirely estimated 3D hand pose (predicted local pose parameter $\theta$, $\beta$ and wrist position t relative to camera). No ground-truth wrist position or wrist alignment is introduced.

从而让模型行为与不包含时序模块时的流程保持一致。 ### 3.5 损失函数空间训练的损失函数定义如下： $$ \mathcal{L}=\mathcal{L}_{\mathrm{j o i n t}}+\mathcal{L}_{\mathrm{v e r t}}+\mathcal{L}_{\mathrm{b e t a}}+\mathcal{L}_{\mathrm{T I S}}, $$ 其中$\mathcal{L}_{\text{joint}}$和$\mathcal{L}_{\text{vert}}$分别是3D关节和网格顶点的预测值与真实值之间的L2损失，$\mathcal{L}_{\text{beta}}$是预测的形状参数与真实值之间的L1损失。时序训练的损失函数定义为： $$ \mathcal{L}=\sum_{t=1}^{T}\mathcal{L}_{\mathrm{j o i n t}}^{t}+\mathcal{L}_{\mathrm{v e r t}}^{t}+\mathcal{L}_{\mathrm{b e t a}}^{t}, $$ ## 4 实验其中t代表时间索引。 ### 4.1 实现细节我们采用“base”规模的Swin-Transformer [^15]作为视觉骨干网络。输入图像的尺寸被固定为$256 \times 256$，由此生成$\{P_1, \cdots, P_{64}\} \in \mathbb{R}^{64 \times 768}$大小的图像块。在$L = 6$个空间模块中，均采用了标准的自注意力模块，其头数和隐藏层维度与骨干网络的配置保持一致。关于空间模块的详细架构可参见图4。透视信息嵌入模块是一个由3层MLP构成的网络。$s_{latent}$则由2层标准自注意力层组成。对于时间模块，我们分别针对姿态、形状和平移三个维度设置了三个独立的分支，每个分支包含2层交叉注意力层。在空间训练阶段，时间模块会被省略，我们仅更新骨干网络、空间模块、透视嵌入模块以及同构变换$s_{latent}$。我们将在此阶段训练的模型命名为“Spatial (X)”，其中‘X’代表所使用的数据集。在时间训练阶段，仅插入并更新时间模块，此阶段的模型被命名为“Temporal (X)”。而“MDT”设置指的是在时间阶段利用所有列出的数据集训练的模型。训练时我们采用AdamW优化器[^16]，学习率设为$\sqrt{bs/44} \times 10^{-4}$，梯度裁剪阈值设为5.0，批量大小用bs表示。更多训练细节读者可参阅附录。 ### 4.2 数据集与评价指标 DexYCB.[^1]是一个大规模的RGB-D数据集，记录了来自多视角拍摄的582K帧图像中多样的自然手-物交互场景，这些图像标注了精确的3D手部姿态和指尖关键点。由于时间训练要求序列内的时间戳必须连续，因此我们在训练/测试划分时采用了S1协议。 HO3D.[^7]是一个专注于真实手-物交互的RGB-D数据集，包含了超过103K帧由人类操作产生的图像，这些图像中存在严重的相互遮挡现象，且每帧都标注了精确的3D手部姿态及对应的物体姿态。 InterHand2.6M.[^20]是一个用于3D手部姿态估计的大规模RGB数据集，其特色在于对双手交互场景的广泛覆盖。该数据集包含来自多视角相机拍摄的超过260万帧标注图像，为单手及双手交互场景提供了精确的3D关节标注。 CS-MJE、RS-MJE、RTE、PA-MJE。参照Huang等人[^10]提出的评价指标，我们报告相机空间中平均关节误差（CS-MJE）、根节点对齐后的关节误差（RS-MJE，RS代表Root-Space）以及相机空间中手腕平移误差（RTE），用以评估模型的性能。除此之外，我们还报告经过Procrustes分析对齐后的平均关节误差，即PA-MJE。 ### 4.3 定性结果我们的定性结果展示在图7中。我们从多个视角对比了模型预测的姿态（红色）与真实值（绿色）。从结果中观察到的显著网格重叠现象，验证了模型在相机空间中能够准确估计手部姿态，包括根关节定位。值得注意的是，图7展示的是未经处理的网络原始预测结果。 --- ![Image](images/3f501f9e6e5f36e10d6e1b10ba03e7f9e31f809f6e4c16bfea2156fd6e21510a.jpg) ![Image](images/f8ed941133d1853659d7de8791e83586d0318d3d26012fbccc73adaa61b89389.jpg)

Figure 8: Wrist joint distribution of DexYCB and HO3D. The poses in the DexYCB dataset significantly surpass those in HO3D in terms of both quantity and range, resulting in greater difficulty for global pose estimation.

Table 1: Our metrics reported on HO3D. Our model outperforms the SOTA work in the same field [^12] by 7.8%, 11.7% and 37.1% when training on single frame, multiple frames and multiple datasets respectively. When compared with SOTA work of local hand pose estimation [^22], our model still exhibits overall superiority.

Method	CS-MJE $\downarrow$	RS-MJE $\downarrow$	PA-MJE $\downarrow$	RTE $\downarrow$
NVF (relative) [^10]	-	23.2	21.8	-
HandDGP[^12]	50.3	-	-	-
HaMeR (ViT-H) [^22] + PnP	33.8	19.1	7.2	36.0
HaMeR (ViT-B) [^22] + PnP	55.6	35.8	11.1	48.5
Spatial (HO3D)	46.4	26.3	10.6	44.3
Temporal (HO3D)	44.4	25.9	10.6	41.9
Spatial (HO3D+DexYCB)	43.0	23.4	9.4	39.7
Temporal (HO3D+DexYCB)	36.8	23.8	9.3	33.8
MDT	31.7	17.9	8.1	31.4

与局部姿态相关的工作[^5] [^22] [^23] [^33]的可视化结果不同，我们的结果并未使用真实根节点或根关节对齐。更多定性结果以及根节点对齐的影响分析详见补充材料。 ### 4.4 定量结果 HO3D上的定量结果。表1报告了在HO3D上的性能[^7]。需要注意的是，NVF仅利用局部姿态监督进行训练，而相机空间估计则需要额外的根关节定位（高自由度）。这种方法论上的差异使得直接比较并不公平；因此，NVF的结果仅出于参考完整性目的而被列入。相比之下，HandDGP[^12]针对的是同样的相机空间任务。所提出的方法在所有配置下均显著优于HandDGP（例如，CS-MJE降低了7.8%），显示出更出色的相机空间估计能力。为了进一步验证该方法相对于当前局部姿态估计最先进技术的有效性，我们将其与HaMeR$^{[22]}$进行了比较。HaMeR利用了大量数据和庞大的参数规模（ViT-H）。由于HaMeR预测的是局部坐标下的姿态，我们采用透视点（PnP）后处理技术将预测结果转换到相机空间，以便进行公平评估。尽管我们的模型和数据规模无法与HaMeR相提并论，

Table 2: Our metrics reported on DexYCB. The evaluation metrics on DexYCB are consistently lower than those on HO3D, primarily due to its broader pose distribution and frequent motion blur in captured images.

Method	CS-MJE $\downarrow$	RS-MJE $\downarrow$	PA-MJE $\downarrow$	RTE $\downarrow$
Spatial (DexYCB)	50.1	19.4	6.9	49.5
Temporal (DexYCB)	45.5	18.0	6.9	44.2
MDT	43.7	15.5	6.4	42.7

但我们仍开展了实验，以展示该方法在相机空间姿态估计中对手部几何形状的建模能力。在后续分析中，我们将HaMeR与MDT设置进行了对比。如表1所示，所提出的方法在CS-MJE、RS-MJE和RTE指标上均表现更优，仅PA-MJE略高。这一差异源于处理透视畸变时的根本性不同：所提出的方法显式编码了相机内参和透视效应，从而能够分离在透视投影下耦合的全局位置与局部姿态。这带来了更准确的相机空间定位（较低的CS-MJE和RTE）以及更精细的局部姿态估计（较低的RS-MJE）。 PA-MJE的相对劣势源于该度量指标本身的局限性，而非估计质量问题。PA-MJE会对预测结果与真实值进行Procrustes对齐，以此补偿由透视耦合引起的局部姿态误差。因此，HaMeR得益于这种基于对齐的误差抵消机制，而我们的方法由于已通过显式内参考虑了透视效应，便无法获得这种人为优势。为了区分架构贡献与模型容量效应，我们训练了HaMeR的ViT-B变体（与我们所用骨干网络规模相当）。在此配置下，所有指标均出现显著下降，这表明HaMeR的有效性更多依赖于对数据分布的精准拟合，而非对手部几何形状的恰当建模。此外，不同训练数据规模下的结果均显示出随着数据量增加而带来的稳定性能提升，这证明了所提出方法的可扩展性。 DexYCB上的定量结果。据我们所知，我们是首个报告DexYCB数据集上相机空间手部姿态估计性能的研究$^{[1]}$。与HO3D数据集相比，DexYCB数据集涵盖了更广泛的手部运动范围，形成了更宽泛的空间分布（图8），其中更难处理的极端情况会遭受更严重的透视畸变。我们在DexYCB上的指标列于表2中。由于姿态分布更为复杂（如图8所示），在该数据集上的姿态估计任务更具挑战性。不过，该数据集上并未观察到显著的精度下降。 ### 4.5 与我们提出的观测基线进行比较我们提出了一个基线模型，该模型受图1(b,ii)的启发，通过局部手部姿态来估计相机空间中的手部姿态。如图片所示，距离相机相同且手掌朝向相机的不同手部，其投影几乎一致。在裁剪图像上训练的局部手部姿态估计网络，会隐含地假设一种规范的、以手为中心的观察视角。 ---

Table 3: Comparison with our proposed baseline on HO3D. The “observ.” denotes the our proposed observation and “Spatial (HO3D) w/o TIS” denotes our method without TIS. The table shows the importance of PIE.

Method	CS-MJE $\downarrow$	RS-MJE $\downarrow$	PA-MJE $\downarrow$	RTE $\downarrow$
observ.	49.1	25.1	10.5	46.4
Spatial (HO3D) w/o TIS	46.6	25.6	10.4	45.1
Spatial (HO3D)	46.4	26.3	10.6	44.3

Table 4: Errors in x, y and z coordinate for all joints and root joints (with subscript r). Evaluated on HO3D.

Method	x	$x_{r}$	y	$y_{r}$	z	$z_{r}$
observ.	14.87	15.37	13.57	13.26	40.28	37.78
PIE	16.94	15.07	13.05	11.48	39.97	37.01
PIE+TIS	15.03	14.81	13.91	13.65	36.83	35.58

Table 5: Ablation result of TIS mechanism. Adding TIS in the first training stage reduces CS-MJE and RTE.

Method	Dataset	CS-MJE $\downarrow$	PA-MJE $\downarrow$	RTE $\downarrow$
w/o TIS	DexYCB	51.8	6.9	51.5
w/ TIS	DexYCB	50.1	6.9	49.5
w/o TIS	HO3D	50.1	10.7	45.1
w/ TIS	HO3D	46.4	10.6	44.3

因此，预测出的3D姿态是用规范坐标系来表示的。如图2所示，我们研究了将相应的旋转应用于将该局部姿态映射回相机空间，是否足以得到准确的手部姿态。基于这一观察，我们在HO3D数据集上训练模型并报告相关指标，将其标记为“observ”。我们提出的方法标记为“PIE+TIS”。结果可见于表3和表4。所提出的基线模型在相机空间估计精度上有所退化，这证明了嵌入透视信息机制的重要性。表4中“observ.”与“PIE”的对比表明，PIE提升了xy平面上的姿态估计精度。“PIE”与“TIS+PIE”的对比则证明，TIS对于z轴上的精确定位至关重要。尽管TIS对xy平面精度有负面影响，但深度估计（z轴）的提升弥补了这一不足，从而改善了本任务更关注的CS-MJE指标（表3）。 ### 4.6 消融研究关于TIS的消融研究。TIS通过提升主干网络的深度敏感性来增强模型性能。我们对TIS机制进行了消融研究。如表5所示，从空间训练中移除TIS机制后，DexYCB和HO3D数据集上的全局手部姿态估计位置误差分别增加了3.2%和7.4%。这表明，通过引入对应于2D和3D空间的潜在变换，我们能够强化主干网络用于

Table 6: Ablation result of PIE mechanism. We evaluate the metrics on HO3D.

Method	CS-MJE $\downarrow$	RS-MJE $\downarrow$	PA-MJE $\downarrow$	RTE $\downarrow$
addquery	48.7	27.2	10.7	47.1
sparse	46.5	26.8	10.7	44.4
addpatch	46.4	26.3	10.6	44.3

Table 7: Ablation study of zero initialization mechanism in framerate-aware multi-dataset training. The comparison exhibits positive effect of our proposed method.

Method	CS-MJE $\downarrow$	RS-MJE $\downarrow$	PA-MJE $\downarrow$	RTE $\downarrow$
random	47.9	26.4	10.7	43.8
zero	44.8	25.8	10.6	42.4

深度信息的提取能力。虽然TIS机制提升了全局定位能力，但它并未对局部手部姿态估计产生负面影响，使得PA-MJE性能几乎保持不变。关于PIE机制的消融研究。我们对PIE机制的实现进行了消融分析。在我们提出的PIE机制中，我们将透视嵌入向量$v_{persp}$与图像块序列$\{P_i\}_{i}^N$通过求和方式结合，记为“addpatch”。在消融实验中，我们将$v_{persp}$加到姿态查询令牌$Q_p^+$、$Q_r^+$、$Q_s^+$上，记为“addquery”。我们还对PIE输入构建方式进行了消融分析。最初，我们利用密集的透视方向图$F_{persp}$来表示透视信息；我们探索了使用四个角点的归一化坐标来嵌入透视信息，记为“sparse”。这些消融实验在HO3D上的指标如表6所示。表格显示，“addpatch”的表现最佳，这表明将密集的透视信息与图像特征相结合能够提升相机空间的定位精度。关于零初始化的消融研究。时间模块中最后一个线性层的零初始化，使得整个流程在时间训练初期表现得如同没有时间模块一样——因为时间模块的输出被归零，因此对来自空间模块的姿态、形状和平移令牌没有任何影响。如表7所示，这种方式相比随机初始化能提升性能。这证明了为训练和推理提供各阶段间的平滑过渡至关重要。 ## 5 结论我们提出了一种用于相机空间中精确手部姿态估计的新方法。该方法通过提供相对于相机的姿态，能够提升现有交互设备的性能。所提出的TIS、PIE和MDT机制通过消融研究证明了其有效性，在局部及相机空间姿态估计任务中均优于当前最先进的方法。关于如何有效利用畸变信息和时间线索的进一步研究正在进行中。 --- ## 致谢本研究得到了中国科学院计算技术研究所创新基金（项目编号：E561010）和国家重点研发计划（项目编号：2022YFB3303202）的支持。 ## 参考文献 [^1]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. 2021. DexYCB: A Benchmark for Capturing Hand Grasping of Objects. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). [^2]: Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. 2020. A Simple Framework for Contrastive Learning of Visual Representations. In Proceedings of the 37th International Conference on Machine Learning (Proceedings of Machine Learning Research, Vol. 119), Hal Daumé III and Aarti Singh (Eds.). PMLR, 1597–1607. [^3]: Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. 2020. A Simple Framework for Contrastive Learning of Visual Representations. arXiv preprint arXiv:2002.05709 (2020). [^4]: MMPose Contributors. 2020. OpenMMLab Pose Estimation Toolbox and Benchmark. . [^5]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M. Kitani. 2023. Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 23600–23611. [^6]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 2019. 3D Hand Shape and Pose Estimation from a Single RGB Image. In CVPR. [^7]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. 2020. HOnnotate: A Method for 3D Annotation of Hand and Object Poses. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). [^8]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. 2022. Keypoint Transformer: Solving Joint Identification in Challenging Hands and Object Interactions for Accurate 3D Pose Estimation. In IEEE Computer Vision and Pattern Recognition Conference. [^9]: Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, and Ross Girshick. 2021. Masked Autoencoders Are Scalable Vision Learners. arXiv:2111.06377 (2021). [^10]: Lin Huang, Chung-Ching Lin, Kevin Lin, Lin Liang, Lijuan Wang, Junsong Yuan, and Zicheng Liu. 2023. Neural Voting Field for Camera-Space 3D Hand Pose Estimation. In 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, Vancouver, BC, Canada, 8969–8978. doi:10.1109/CVPR52729.2023.00866 [^11]: Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. 2020. Scaling Laws for Neural Language Models. arXiv:2001.08361 [cs.LG] [^12]: Ales Leonardis, Elisa Ricci, Stefan Roth, Olga Russakovsky, Torsten Sattler, and Gül Varol (Eds.). 2025. Computer Vision – ECCV 2024: 18th European Conference, Milan, Italy, September 29–October 4, 2024, Proceedings, Part XXXVIII. Lecture Notes in Computer Science, Vol. 15096. Springer Nature Switzerland, Cham. doi:10.1007/978-3-031-72920-1 [^13]: Nie Lin, Takehiko Ohkawa, Yifei Huang, Mingfang Zhang, Minjie Cai, Ming Li, Ryosuke Furuta, and Yoichi Sato. 2025. SiMHand: Mining Similar Hands for Large-Scale 3D Hand Pose Pre-training. In The Thirteenth International Conference on Learning Representations. [^14]: Nie Lin, Takehiko Ohkawa, Mingfang Zhang, Yifei Huang, Ryosuke Furuta, and Yoichi Sato. 2024. Pre-Training for 3D Hand Pose Estimation with Contrastive Learning on Large-Scale Hand Images in the Wild. arXiv:2409.09714 [cs]. [^15]: Ze Liu, Han Hu, Yutong Lin, Zhuliang Yao, Zhenda Xie, Yixuan Wei, Jia Ning, Yue Cao, Zheng Zhang, Li Dong, Furu Wei, and Baining Guo. 2022. Swin Transformer V2: Scaling Up Capacity and Resolution. In International Conference on Computer Vision and Pattern Recognition (CVPR). [^16]: Ilya Loshchilov and Frank Hutter. 2019. Decoupled Weight Decay Regularization. arXiv:1711.05101 [cs.LG] [^17]: Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, Wan-Teh Chang, Wei Hua, Manfred Georg, and Matthias Grundmann. 2019. MediaPipe: A Framework for Building Perception Pipelines. ArXiv abs/1906.08172 (2019). [^18]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 2022. 3D Interacting Hand Pose Estimation by Hand De-occlusion 以及移除。载于《计算机视觉——ECCV 2022：第17届欧洲会议论文集，以色列特拉维夫，2022年10月23–27日》，第六部分（以色列特拉维夫）。施普林格-维拉格出版社，柏林、海德堡，第380–397页。doi:10.1007/978-3-031-20068-7_22 [^19]: Gyeongsik Moon. 2023. Bringing Inputs to Shared Domains for 3D Interacting Hands Recovery in the Wild. arXiv:2303.13652 [cs]. [^20]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. 2020. InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image. In European Conference on Computer Vision (ECCV). [^21]: Yeonguk Oh, JoonKyu Park, Jaeha Kim, Gyeongsik Moon, and Kyoung Mu Lee. 2023. Recovering 3D Hand Mesh Sequence from a Single Blurry Image: A New Dataset and Temporal Unfolding. arXiv:2303.15417 [cs.CV] [^22]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. 2024. Reconstructing Hands in 3D with Transformers. In 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 9826–9836. doi:10.1109/CVPR52733.2024.00938 [^23]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. 2024. WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild. arXiv:2409.12259 [cs.CV] [^24]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. 2025. WiLoR: End-to-end 3D Hand Localization and Reconstruction in the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR). 12242–12254. [^25]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 2024. 3D Hand Pose Estimation in Everyday Egocentric Images. In European Conference on Computer Vision (ECCV). [^26]: Kaiwen Ren, Lei Hu, Zhiheng Zhang, Yongjing Ye, and Shihong Xia. 2025. Learning Transformation-Isomorphic Latent Space for Accurate Hand Pose Estimation. In Pacific Graphics Conference Papers, Posters, and Demos, Marc Christie, Ping-Hsuan Han, Shih-Syun Lin, Nico Pietroni, Teseo Schneider, Hsin-Ruey Tsai, Yu-Shuen Wang, and Eugene Zhang (Eds.). The Eurographics Association. doi:10.2312/pg.20251270 [^27]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. 2017. Embodied Hands: Modeling and Capturing Hands and Bodies Together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia) 36, 6 (Nov. 2017). [^28]: Devansh Singh, Aboli Marathe, Sidharth Roy, Rahee Walambe, and Ketan Kotecha. 2024. Explainable rotation-invariant self-supervised representation learning. MethodsX 13 (Dec. 2024), 102959. doi:10.1016/j.mex.2024.102959 [^29]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. 2022. PeCLR: Self-Supervised 3D Hand Pose Estimation from monocular RGB via Equivariant Contrastive Learning. arXiv:2106.05953 [cs]. [^30]: Jianlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, and Yunfeng Liu. 2024. RoFormer: Enhanced transformer with Rotary Position Embedding. Neurocomput. 568, C (Feb. 2024), 12 pages. doi:10.1016/j.neucom.2023.127063 [^31]: Jianlin Su, Yu Lu, Shengfeng Pan, Bo Wen, and Yunfeng Liu. 2021. RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864 [cs.CL] [^32]: Zhigang Tu, Zhisheng Huang, Yujin Chen, Di Kang, Linchao Bao, Bisheng Yang, and Junsong Yuan. 2023. Consistent 3D Hand Reconstruction in Video via Self-Supervised Learning. IEEE Trans. Pattern Anal. Mach. Intell. 45, 8 (Aug. 2023), 9469–9485. doi:10.1109/TPAMI.2023.3247907 [^33]: Hao Xu, Tianyu Wang, Xiao Tang, and Chi-Wing Fu. 2023. H2ONet: Hand-Occlusion-and-Orientation-Aware Network for Real-Time 3D Hand Mesh Reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 17048–17058. [^34]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. 2022. ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation. In Advances in Neural Information Processing Systems. [^35]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. 2022. ViTPose+: Vision Transformer Foundation Model for Generic Body Pose Estimation. arXiv preprint arXiv:2212.04246 (2022). [^36]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. 2024. Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera. In arXiv preprint arXiv:2412.12861. [^37]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. 2025. HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos. arXiv preprint arXiv:2501.02973 (2025). [^38]: Lvmin Zhang, Anyi Rao, and Maneesh Agrawala. 2023. Adding Conditional Control to Text-to-Image Diffusion Models. [^39]: Zhuoran Zhao, Linlin Yang, Pengzhan Sun, Pan Hui, and Angela Yao. 2025. Analyzing the Synthetic-to-Real Domain Gap in 3D Hand Pose Estimation. In Proceedings of the Computer Vision and Pattern Recognition Conference (CVPR). 12255–12265. ## [^40]: Zhishan Zhou, Shihao. Zhou, Zhi Lv, Minqiang Zou, Yao Tang, and Jiajun Liang. 2024. A Simple Baseline for Efficient Hand Mesh Reconstruction --- 这是论文《基于视觉变换器的相机空间精确手部姿态估计》的附录/补充材料页面。 ### 透视信息嵌入我们在主论文的第3.2节详细介绍了透视信息嵌入（PIE）模块。此处我们将提供更多实现细节。如前所述，PIE模块旨在建模透视投影过程及相机内参的影响。 ### A.1 基于相机光线的透视信息编码给定图像中手部的感兴趣区域$\mathcal{B} = (x_1, y_1, x_2, y_2)$以及相机内参$K \in \mathbb{R}^{3 \times 3}$，我们在边界框内采样一组密集的点来表示透视信息。具体而言，我们在边界框$N = P \times Q$内均匀采样$\mathcal{B}$个点，记为$\{p_{ij} \in \mathbb{R}^2\}_{ij}^N$，如图9所示。 ![Image](images/df5db7e252b098effc0d2def6df66c9fab596e78f4c4f11eb6f8a8265e3b1837.jpg)

ROI box Sample point

Figure 9: Sampling of Perspective Information Embedding (PIE) module.

随后，利用相机内参K将这些采样点投影到归一化相机空间。这一过程将像素坐标从图像空间归一化为相机空间，其公式如下： $$ u_{i j}=K^{-1}\cdot[p_{i j};1],u_{i j}\in\mathbb{R}^{3}. $$ $u_{ij}$是点$p_{ij}$的归一化相机坐标，可视为从相机中心经过像素$p_{ij}$的光线与Z=1的归一化图像平面的交点。为表述清晰，此处采用了齐次坐标，这与主论文中的表述有所不同。为了模拟透视投影过程，我们从$u_{ij}$向相机中心发射光线，并用归一化的方向向量表示每条光线： $$ \hat{u}_{i j}=\frac{-u_{i j}}{\|u_{i j}\|_{2}}. $$ 由于我们已经将$\hat{u}_{ij}$的范数约束为1，为简便起见省略了坐标的最后一个元素。每个简化后的方向向量$(\hat{u}_{ij})_{xy}$会被拼接进$F_{persp}$中，作为透视信息： $$ F_{\mathrm{p e r s p}}=\mathrm{c a t}((\hat{u}_{11})_{x y},\cdots,(\hat{u}_{P Q})_{x y})\in\mathbb{R}^{N\times2}. $$ 随后，将 $F_{\text{persp}}$ 展平为 $\mathbb{R}^{2N}$，并通过透视嵌入器（即一个多层感知机）以获取透视嵌入向量 $v_{\text{persp}} = \text{PIE}(F_{\text{persp}}) \in \mathbb{R}^d$。我们认为该向量包含了输入图像中手部相关区域的透视信息，这有助于缓解透视投影下局部与全局姿态之间的耦合问题。 ## A.2 通过相机内参进行焦距归一化 PIE 明确通过相机标定来将图像点 $p = [u, v, 1]^{\top}$ 映射为其归一化的相机坐标： $$ q=K^{-1}p=\left[\left(u-c_{x}\right)/f_{x}\quad\left(v-c_{y}\right)/f_{y}\quad1\right]^{\top}. $$ 考虑由具有内参矩阵 K 和 $K'$ 的相机观测到的同一条视射线。其图像坐标分别满足 $p = Kq$ 和 $p' = K'q$，因此 $$ K^{-1}p=K^{\prime-1}p^{\prime}=q. $$ 例如，如果焦距以及从主点算起的相应图像位移均按 $\lambda$ 的比例缩放，那么 $f_{x}^{\prime}=\lambda f_{x}$ 和 $u^{\prime}-c_{x}^{\prime}=\lambda(u-c_{x})$，从而得到 $$ \frac{u^{\prime}-c_{x}^{\prime}}{f_{x}^{\prime}}=\frac{u-c_{x}}{f_{x}}. $$ 垂直坐标也遵循同样的关系。因此，当图像投影与所提供的相机内参保持一致时，PIE 会将采样的像素表示为相同的归一化相机射线，并显式考虑焦距差异。所以，在相机内参校准正确的前提下，PIE 通过将图像点编码为归一化相机射线来处理焦距变化问题。 ## B 尺度-旋转变换的说明尺度-旋转变换在图像空间和三维空间中具有同构性，我们将在此分别详细说明其在各空间中的定义。在图像空间中，尺度-旋转变换定义为：(i) 首先以中心点为中心，用缩放因子 s 对图像坐标进行缩放；然后 (ii) 用旋转矩阵 $R_2(\alpha) \in SO(2)$ 绕同一中心对缩放后的坐标进行旋转。正式来说，给定图像中的一个像素坐标 $p \in \mathbb{R}^2$，变换后的像素坐标 $p'$ 的计算公式为： $$ p^{\prime}=R_{2}(\alpha)\cdot(p-c)\cdot s+c, $$ 其中 $c \in \mathbb{R}^2$ 是变换中心。在三维空间中，尺度-旋转变换定义为：(i) 通过乘以 $1/s$ 来平移 z 轴；然后 (ii) 用旋转矩阵 $R_z(\alpha) \in SO(3)$ 绕 z 轴对缩放后的坐标进行旋转。正式来说，给定一个三维坐标 $P \in \mathbb{R}^3$，变换后的三维坐标 $P'$ 的计算公式为： $$ P^{\prime}=R_{z}(\alpha)\cdot P_{s},\quad P_{s}=\begin{bmatrix}P_{x}\\ P_{y}\\ P_{z}/s\end{bmatrix}. $$ 对于任意三维点 P，其在内参 $(f_x, f_y, c_x, c_y)$ 下的二维投影记为像素坐标 p。在图像空间和三维空间中应用上述尺度-旋转变换后，变换后的三维点 $P'$ 会被投影为变换后的像素坐标 $p'$。这一性质体现了尺度-旋转变换在图像空间和三维空间中的同构性。按照此处采用的常规图像空间旋转方式，我们考虑 $f_x = f_y = f$ 的情况，并让变换中心与相机主点重合，即 $c = [c_x, c_y]^\top$。以下是简要证明： --- 给定一个三维点 P 及其投影 p： $$ p_{x}=f_{x}\frac{P_{x}}{P_{z}}+c_{x},\quad p_{y}=f_{y}\frac{P_{y}}{P_{z}}+c_{y}. $$ 在三维空间中应用尺度-旋转变换后，我们有： $$ P^{\prime}=R_{z}(\alpha)\cdot\begin{bmatrix}P_{x}\\ P_{y}\\ P_{z}/s\end{bmatrix}=R_{z}(\alpha)\cdot P_{s}. $$ $P'$ 的投影计算如下： $$ p_{x}^{\prime}=f_{x}\frac{\left(R_{z}(\alpha)\cdot P_{s}\right)_{x}}{\left(R_{z}(\alpha)\cdot P_{s}\right)_{z}}+c_{x},\quad p_{y}^{\prime}=f_{y}\frac{\left(R_{z}(\alpha)\cdot P_{s}\right)_{y}}{\left(R_{z}(\alpha)\cdot P_{s}\right)_{z}}+c_{y}. $$ 另一方面，在图像空间中应用尺度-旋转变换，我们有： $$ p^{\prime}=R_{2}(\alpha)\cdot(p-c)\cdot s+c. $$ 记 $R_{2}(\alpha) = [R_{ij}]$，并将 p 代入上述方程，可得： $$ \begin{aligned}p_{x}^{\prime}=&\boldsymbol{R}_{11}\left(f_{x}\frac{P_{x}}{P_{z}}+c_{x}-c_{x}\right)\boldsymbol{s}\\&+\boldsymbol{R}_{12}\left(f_{y}\frac{P_{y}}{P_{z}}+c_{y}-c_{y}\right)\boldsymbol{s}+c_{x},\end{aligned} $$ $$ \begin{aligned}\boldsymbol{p}_{y}^{\prime}=&\boldsymbol{R}_{21}\left(f_{x}\frac{P_{x}}{P_{z}}+c_{x}-c_{x}\right)\boldsymbol{s}\\&+R_{22}\left(f_{y}\frac{P_{y}}{P_{z}}+c_{y}-c_{y}\right)\boldsymbol{s}+c_{y}.\end{aligned} $$ 在不失一般性的前提下，我们在此列出关于$p'_x$的推导过程。利用$f_x = f_y = f$，x坐标可简化为： $$ \begin{aligned}p_{x}^{\prime}&=R_{11}(f\frac{P_{x}}{P_{z}})s+R_{12}(f\frac{P_{y}}{P_{z}})s+c_{x}\\&=f\frac{R_{11}P_{x}s+R_{12}P_{y}s}{P_{z}}+c_{x}\\&=f\frac{(R_{z}(\alpha)\cdot P_{s})_{x}}{(R_{z}(\alpha)\cdot P_{s})_{z}}+c_{x}\\&=f\frac{P_{x}^{\prime}}{P_{z}^{\prime}}+c_{x}.\\ \end{aligned} $$ 关于$p'_{y}$的推导过程类似。由此我们证明了缩放旋转变换在图像空间与3D空间中具有同构性。具体而言，由于输入到$sr_{pose}$的数据包含关节旋转$\theta$、形状参数$\beta$以及根关节平移量t，因此我们将3D空间的缩放旋转操作定义为：对根关节的方向和位移进行旋转，并对根关节的位移执行z轴方向的缩放。分步示例：假设$P = [20, 10, 500]^\top$毫米、$f_x = f_y = 600$像素、$c = [320, 240]^\top$像素、$s = 1.2$以及$\alpha = 30^\circ$。如图10所示，相机空间路径会先将深度从500毫米缩放到500/1.2 = 416.7毫米，再将坐标(20, 10)旋转为约(12.3, 18.7)像素；投影后得到的坐标为$p' = [337.7, 266.9]^\top$像素。在图像空间路径中，原始投影坐标$p = [344, 252]^\top$像素被居中调整为$p - c = [24, 12]^\top$像素，再缩放为$[28.8, 14.4]^\top$像素，旋转为$[17.7, 26.9]^\top$像素，最后通过平移量c还原，最终得到相同的$p'$。 TIS利用这种对应关系，在训练过程中对学习到的潜在变换进行正则化。 ![Image](images/00caaa7e531b802c2f60ca8a6daec9766af9ae06d55a9f684da41c2e17b0aff2.jpg)

Figure 10: Scale-rotation correspondence in camera and image spaces.

![Image](images/6c2d0a99e155418f51ba6cf92c430244b4511fd4fcdcd04b1f0b1f55683a4a48.jpg)

Figure 11: Images from FreiHAND dataset.

## C FreiHAND数据集结果说明 FreiHAND是一个大规模的单图像3D手部姿态与形状估计基准数据集。它包含超过13万张训练帧，每张帧都提供了精确的3D手部关节标注（21个关键点）以及MANO形状参数。该数据集采用多视角绿幕拍摄方式采集，便于进行背景增强并支持稳健的训练。它已成为评估基于单RGB图像的三维手部重建效果的标准基准。如图11所示，我们发现FreiHAND数据集中的图像已经过归一化处理。归一化的方法是通过透视变换重新投影图像，使相机光轴与手部边界框的中心对齐，同时将图像大小调整为$224 \times 224$。经过这一变换后，生成的图像类似于长焦镜头拍摄的效果，透视畸变更小，更接近于正交投影。此外，在长焦场景下，估计相机内参更为困难——因为物体距离的变化仅会导致投影尺寸的细微改变。这种效应再加上拍摄时的相机抖动和散焦等因素，往往会加剧深度感知的错误。对于机器学习模型而言，这意味着它极易过度拟合数据集的特定特征，从而无法准确估计相机空间中的3D手部姿态。我们在FreiHAND数据集上训练模型，并绘制了每个训练轮次测试集的CS-MJE、RTE、RS-MJE和PA-MJE指标，结果如图12所示。我们观察到反映局部手部姿态估计的指标（RS-MJE和PA-MJE）有所下降并最终收敛于 ---

Table 8: PnP post-processing results on the HO3D. GT replaces HaMeR-predicted 2D correspondences with ground-truth 2D joints. All errors are in millimeters.

Method	CS-MJE $\downarrow$	RS-MJE $\downarrow$	PA-MJE $\downarrow$	RTE $\downarrow$
HaMeR-H + Root-PnP	44.15	14.50	7.17	44.19
HaMeR-H + Full-PnP	33.83	19.11	7.17	36.00
HaMeR-H + Full-PnP + GT	27.55	11.33	7.17	26.68
HaMeR-B + Root-PnP	63.52	35.37	11.06	56.77
HaMeR-B + Full-PnP	55.60	35.84	11.06	48.51
HaMeR-B + Full-PnP + GT	53.37	16.74	11.06	51.14

训练期间误差处于合理水平。然而，相机空间手部姿态估计指标（CS-MJE和RTE）却持续维持在较高的误差水平。通过比较可以发现，这种误差的主要根源在于根关节定位问题，因为RTE指标始终居高不下。相反，图13显示训练集上的CS-MJE确实有所下降，最终低于30毫米。这种与测试集性能的差异表明模型在全局姿态估计任务上出现了过拟合现象，这也验证了我们的理论。 ![Image](images/9ce2ca31dc2fab42d2e9801904b68bb574201492b4cc5f512fae48d5505525f9.jpg)

Figure 12: Per-epoch metrics on test set of FreiHAND.

![Image](images/e7f874f0293d1d6763bc329523e9b7495e04ef6911733ef5dcfd37fd264c8ace.jpg)

Figure 13: Per-step CS-MJE during the training.

### D 额外的定量评估 ### D.1 PnP误差分析我们分析了在HO3D评估集上将HaMeR预测结果转换到相机空间时所采用的PnP后处理过程。Root-PnP仅通过估计全局平移量$(t_{\kappa}, t_{y}, t_{z})$来恢复相机空间的根部位置，同时保留HaMeR预测的全局朝向以及基于MANO模型得出的手部尺度。该平移量是通过最小化所有21个关节对应点的2D重投影误差得到的。相比之下，Full-PnP则会同时估计全局旋转和平移量。这两种变体均使用HaMeR预测的2D对应点、HO3D的相机内参以及基于真实标注得到的手部边界框。如表8所示，HaMeR-H Root-PnP对应的CS-MJE为44.15毫米，RTE为44.19毫米，而其手腕对齐后的RS-MJE则为14.50毫米。这一差异表明其在相机空间的误差主要由全局放置偏差导致。Full-PnP将CS-MJE降低至33.83毫米，但RS-MJE却上升至19.11毫米，这说明根据预测的2D关节点来调整旋转方向虽然能改善全局放置效果，却会损害以根部为参照的朝向精度。在这两种变体下，HaMeR-B的精度仍然较低。用真实标注的2D关节点替换预测的2D对应点后，两种骨干网络的RS-MJE均显著降低，这证实了2D关键点误差是剩余误差的重要来源，但并非唯一来源。 ![Image](images/96dbfd533e8aeef74477a64dd3532ad6aa4c6357bbb2e36d9e4a0983daec11f8.jpg)

Figure 14: Per-joint camera-space PnP errors. W denotes the wrist; T, I, M, R, and P denote the five fingers; levels 1–4 run from the palm-side joint to the fingertip.

![Image](images/a53bdc68b913257c5895e71322e1d24a358684d767ec0aa40265b0d463558bc9.jpg)

Figure 15: Per-joint root-relative PnP errors.

--- 图15中的各关节结果显示出一致的空间规律。在Root-PnP模式下，对于HaMeR-H而言，五个手指上以根部为参照的平均误差从第1节段的9.36毫米增加到指尖处的21.36毫米；而对于HaMeR-B，这一数值则从25.94毫米增至48.02毫米。由此可见，仅通过平移拟合无法消除沿运动链累积的误差。 ### D.2 鲁棒性分析边界框扰动分析。我们在HO3D评估集上分别评估了中心偏移和尺度变化带来的影响。对于中心扰动，我们将边界框尺度固定为1，并相对于框大小移动其中心位置。“随机”模式为每个样本选取均匀分布的方向，“径向”模式遵循从相机主点到原始框中心的方向，而“切向”模式则垂直于径向方向。与干净的CS-MJE值46.36毫米相比，2.5%和5%的偏移仅会导致轻微的性能下降；而当偏移达到20%时，径向、随机和切向偏移对应的CS-MJE分别达到48.95毫米、50.92毫米和54.19毫米。对于尺度扰动，我们保持中心位置不变，将尺度在0.8到1.2之间变化。当尺度为1.0时CS-MJE最低，而在尺度为0.8和1.2时，CS-MJE分别达到47.55毫米和47.47毫米，这表明当尺度偏离原始值时，性能会出现适度且大致对称的下降。 ![Image](images/c87f5c610923c50bf902459618354f7ced9e76e1d63bf765b2ce75ae90fda6b7.jpg)

Figure 16: Bounding-box center robustness on HO3D.

![Image](images/159cd3a829f5f17ba07b81575323e8e4dd9254ba4470493747113c3a36bb97ec.jpg)

Figure 17: Bounding-box scale robustness on HO3D.

校准误差敏感性。我们保持图像裁剪区域固定，仅扰动输入给PIE的相机内参。焦距误差在$\pm5\%$范围内时，CS-MJE的变化小于1%；而当焦距缩放比例为0.8和1.2时，CS-MJE分别增至48.08毫米和49.07毫米。主点偏移5%会使CS-MJE介于48.71毫米到50.88毫米之间，具体数值取决于偏移方向。因此，校准误差会增大相机坐标系下的关节误差和手腕平移误差，且扰动越大，误差程度越严重。 ![Image](images/888729482944d9ed773c18b1a0462f35f79daa8b0f68274a0d1e6547d079cf8b.jpg)

Figure 18: Focal-length robustness on HO3D.

![Image](images/c2bf0c907c305b2d3ad537d62493c4adcd9e8c1daa36c7aad36660b79e0dad73.jpg)

Figure 19: Principal-point robustness on HO3D.

## D.3 关于DexYCB的额外消融实验我们还在DexYCB数据集上对主要组件进行了评估，结果汇总于表9中。与观测基线相比，PIE将RS-MJE从18.9毫米降至18.2毫米，PA-MJE从7.2毫米降至7.0毫米，从而提升了局部姿态精度。加入TIS后，CS-MJE从51.8毫米降至50.1毫米，RTE从51.5毫米降至49.5毫米；不过RS-MJE却从18.2毫米增至19.4毫米。因此，DexYCB的结果既证实了TIS在相机坐标系下的优势，也揭示了其在根节点相关姿态精度上的权衡。 ---

Table 9: DexYCB ablation results (mm).

Method	CS-MJE $\downarrow$	RS-MJE $\downarrow$	PA-MJE $\downarrow$	RTE $\downarrow$
observ.	51.3	18.9	7.2	50.8
PIE	51.8	18.2	7.0	51.5
PIE + TIS	50.1	19.4	6.9	49.5

## E 训练细节

Table 10: Details of spatial training phase for DexYCB and HO3D.

Property	Value
epoch	30
batch size	32
learning rate	$10^{-4}$
optimizer	AdamW
learning rate scheduler	constant

Table 11: Details of temporal training phase.

Dataset	Property	Value
HO3D	epoch	30
	batch size	36
	learning rate	$10^{-4}$
	frame length	7
	optimizer	AdamW
	learning rate scheduler	constant
DexYCB	epoch	10
	batch size	32
	learning rate	$10^{-4}$
	frame length	7
	optimizer	AdamW
	learning rate scheduler	constant
MDT	epoch	1
	batch size	45
	learning rate	$10^{-4}$
	frame length	7
	optimizer	AdamW
	learning rate scheduler	constant

### F 定性结果 ### F.1 更多案例请参阅图22。 ### F.2 根节点对齐案例图20和图21展示了DexYCB与HO3D数据集上两种可视化流程的差异。“预测根节点”列中，我们在相机坐标系下直接渲染预测姿态（红色）和真实姿态（绿色），不对预测的手腕位置做任何修改；而在局部姿态案例中，手腕位置会被手动调整为真实手腕位置，如“GT对齐根节点”列所示。直接利用估计的根关节位置进行渲染对姿态估计精度提出了更高要求，因为模型必须在广阔的自由空间中准确定位手部根关节，才能生成足够精确的渲染结果。相比之下，根关节对齐操作完全消除了这种高自由度带来的难题，使模型能够专注于局部精度。即便面临此类挑战，我们的模型在某些场景下仍能实现比对齐后更高的预对齐精度。这是因为当根关节估计足够精确时，透视耦合效应会变得尤为明显。我们的模型追求的是相机坐标系下的整体姿态估计精度（CS-MJE），而根关节对齐会无意中增加远端关节的误差累积。这一特性使得模型能够对更常参与交互的关节（如指尖）实现更精确的估计。DexYCB数据集中各关节的定量结果见于表12和表13，分别对应图20中的第1行和第2行；HO3D数据集中各关节的定量结果见于表14和表15，分别对应图21中的第1行和第2行。 ## F.3 失败案例失败案例展示于图23中。 ### G 透视投影与透视耦合效应的雅可比分析 ### G.1 针孔相机模型针孔相机模型描述了三维空间点$P_{\text{cam}} = [X, Y, Z]^\top$到二维图像点$p = [u, v]^\top$的投影过程。该模型由相机内参矩阵$K \in \mathbb{R}^{3 \times 3}$表征： $$ K=\begin{bmatrix}f_{x}&0&c_{x}\\ 0&f_{y}&c_{y}\\ 0&0&1\end{bmatrix}, $$ 其中，$f_x$、$f_y$ 分别是 x、y 方向的焦距（以像素为单位），而 $c_x$、$c_y$ 则是主点坐标（图像中心）。投影过程如下： $$ p=\begin{bmatrix}u\\ v\end{bmatrix}=\pi(P_{cam})=\begin{bmatrix}f_{x}\frac{X}{Z}+c_{x}\\ f_{y}\frac{Y}{Z}+c_{y}\end{bmatrix}. $$ 投影方程（式23）揭示了透视投影的基本特性：深度 Z 出现在分母中，从而导致近大远小的效果——离相机越近的物体在图像中显得越大。 ### G.2 像素坐标的完整雅可比矩阵为了全面描述透视耦合效应，我们计算像素坐标 $p_i = [u_i, v_i]^\top$ 关于六维向量 $[J_{\mathrm{rel},i}^\top, t^\top]^\top$ 的雅可比矩阵。该矩阵完整地描述了局部姿态变化 $J_{\mathrm{rel},i}$ 与根关节位置变化 t 对投影的综合影响。 --- ![Image](images/242de8cb2780823168164516e03177dc9e87b153a91407197eec80d693408ff7.jpg)

Figure 20: DexYCB dataset. Qualitative and quantitative results for alignment choices. The “Predicted” use the wrist position predicted by our model and “GT-Aligned” use the ground-truth wrist position extracted from the annotations.

Figure 21: HO3D dataset. Qualitative and quantitative results for alignment choices. The “Predicted” use the wrist position predicted by our model and “GT-Aligned” use the ground-truth wrist position extracted from the annotations.

考虑相机空间中的第 i 个关节点。该关节点的坐标由局部姿态 $J_{rel,i}$ 和全局平移 t 共同决定： $$ J_{\mathrm{c a m},i}=J_{\mathrm{r e l},i}+t, $$ 其投影结果为 $p_i = \pi(J_{\mathrm{cam},i}) = [u_i, v_i]^\top$，其中： $$ u_{i}=f_{x}\frac{X_{i}}{Z_{i}}+c_{x},\quad v_{i}=f_{y}\frac{Y_{i}}{Z_{i}}+c_{y}, $$ $$ \mathrm{a n d}X_{i}=J_{\mathrm{r e l},i,x}+t_{x},Y_{i}=J_{\mathrm{r e l},i,y}+t_{y},Z_{i}=J_{\mathrm{r e l},i,z}+t_{z}. $$ 计算像素坐标关于 $[J_{\mathrm{rel},i}^{\top}, t^{\top}]^{\top}$ 的偏导数，即可得到完整的 $2 \times 6$ 雅可比矩阵： $$ \frac{\partial p_{i}}{\partial[J_{\mathrm{r e l},i}^{\top},t^{\top}]^{\top}}=\left[\begin{matrix}{\frac{f_{x}}{Z_{i}}}&{0}&{-\frac{f_{x}X_{i}}{Z_{i}^{2}}}&{\frac{f_{x}}{Z_{i}}}&{0}&{-\frac{f_{x}X_{i}}{Z_{i}^{2}}}\\ {0}&{\frac{f_{y}}{Z_{i}}}&{-\frac{f_{y}Y_{i}}{Z_{i}^{2}}}&{0}&{\frac{f_{y}}{Z_{i}}}&{-\frac{f_{y}Y_{i}}{Z_{i}^{2}}}\\ \end{matrix}\right]. $$ 雅可比矩阵具有一个重要特性：关于$J_{rel,i}$和t的对应分量具有相同的偏导数，即$\partial u_i / \partial J_{rel,i,x} = \partial u_i / \partial t_x$、$\partial u_i / \partial J_{rel,i,z} = \partial u_i / \partial t_z$等。这种对称性源于相机坐标的加法结构——局部姿态$J_{cam,i} = J_{rel,i} + t$的变化与根关节平移变化对相机坐标的贡献完全相同，因此对投影坐标$p_i$的影响也一致。 ### G.3 基于雅可比矩阵的深度歧义分析基于完整的雅可比矩阵，本节从矩阵对称性的角度分析了相机空间手部姿态估计中深度歧义的具体表现。深度歧义是单目视觉固有的难题：无法从单个视图中唯一确定物体的绝对深度。 --- 考虑空间点 $P_{\mathrm{cam}} = [X, Y, Z]^{\top}$ 及其沿视线方向的缩放版本 $P_{\mathrm{cam}}^{\prime} = \lambda P_{\mathrm{cam}} = [\lambda X, \lambda Y, \lambda Z]^{\top}$，其中 $\lambda > 0$。根据投影方程（式23）： $$ p=\pi(P_{\mathrm{c a m}})=\begin{bmatrix}f_{x}\frac{X}{Z}+c_{x}\\ f_{y}\frac{Y}{Z}+c_{y}\end{bmatrix}=\pi(P_{\mathrm{c a m}}^{\prime})=p^{\prime}. $$ 因此，$P_{cam}$ 和 $P'_{cam}$ 在图像中会产生完全相同的投影 p，以至于无法从单张图像中判断物体是位于深度 Z 还是 $\lambda Z$。从雅可比矩阵的角度来看，深度歧义在方程 eq. (26) 中表现为加法结构的对称性。完整的 $2 \times 6$ 雅可比矩阵表明，在投影变化率方面，局部姿态 $J_{rel,i}$ 与全局平移 t 之间具有完全对称性。这种对称性源于相机坐标 $J_{cam,i} = J_{rel,i} + t$ 的可加性：$J_{rel,i}$ 和 t 对 $J_{cam,i}$ 的贡献完全等价，因此它们对投影的影响也完全等价。这意味着，从数学上讲，无法从单目图像中区分“局部尺度变化”和“根关节平移变化”——二者对投影变化率产生的影响完全相同。这种对称性直接导致了深度估计的不适定性：同样的投影变化$\Delta p_i$可能由局部姿态变化$\Delta J_{rel,i}$引起，也可能由根关节平移变化$\Delta t$引起，甚至是两者的任意组合所致。雅可比矩阵中非零的非对角元素$\partial u_i / \partial t_z$和$\partial v_i / \partial t_z$进一步表明，深度估计误差会“渗透”到图像平面上的u、v坐标估计中，反之亦然。 ### G.4 透视信息丢失与耦合效应分析基于对完整雅可比矩阵的分析，本节探讨了裁剪操作引发的透视信息丢失问题，以及其与透视耦合效应的相互作用。在实际应用中，手部姿态估计通常先通过检测器获取手部边界框，随后对边界框内的区域进行裁剪和缩放，再将其作为网络的输入。这一预处理步骤虽然简化了输入，却引入了透视信息丢失的问题。在原始图像中，手部的位置和尺寸包含了丰富的透视几何信息——手部离相机越远，图像尺寸越小，投影过程越接近正交投影。从信息论的角度来看，裁剪减少了用于深度估计的信息量。在原始图像中，手部位置$(u_{0}, v_{0})$和尺寸$s_{0}$为深度$t_{z}$提供了重要线索：根据透视投影原理，尺寸$s_{0} \propto 1/t_{z}$。裁剪后，这些线索被部分移除，从而增加了深度估计的不确定性。裁剪导致的透视信息丢失加剧了透视耦合效应。在丢失原始位置信息后，网络只能从裁剪后的图像内容中推断全局位置，而必须依赖图像内容中的间接线索，这些线索往往模糊且不可靠。从雅可比矩阵的角度来看，裁剪引发的透视信息丢失与矩阵的以下特性密切相关： (1) 局部姿态与全局位置的混合影响：矩阵元素同时依赖于局部姿态$J_{\text{rel},i}$和全局平移t。例如，$\partial u_i / \partial t_z = -f_x X_i / Z_i^2$既包含局部姿态分量$J_{\text{rel},i,x}$，也包含全局平移分量$t_x$。这意味着投影变化同时受到局部姿态和根关节位置的影响，且两者对图像平面的影响无法分离。 (2) 深度方向上的强非线性耦合：深度变化$t_{z}$不仅通过$Z_{i}$的分母效应影响投影（近处物体看起来更大），还会通过与局部坐标$J_{\mathrm{rel},i,x}$、$J_{\mathrm{rel},i,y}$的乘积项产生交叉耦合。当手部姿态($J_{\mathrm{rel},i}$)发生变化时，相同的深度变化$t_{z}$会产生不同的投影偏移。 (3) 平移方向独立性的局限性：水平平移$t_{x}$仅影响u坐标，垂直平移$t_{y}$仅影响v坐标（矩阵的对角元素），但这种独立性是局部的，因为$t_{x}, t_{y}$会通过改变$X_{i}, Y_{i}$间接影响深度导数项。裁剪操作丢失了原始图像中的位置信息，使得网络难以利用这种有限独立性来推断平移分量。雅可比矩阵中非零的非对角线元素 $\partial u_i/\partial t_z$ 和 $\partial v_i/\partial t_z$ 表明，深度估计误差会“渗透”到图像平面上的u、v坐标估计中，反之亦然。这种耦合关系使得从单目图像直接估计相机空间位姿成为一个不适定问题：同样的投影变化 $\Delta p_i$ 可能由多种不同的 $(J_{\text{rel},i}, t)$ 组合所导致。 ---

Table 12: Per-joint error change before and after root alignment on case of row #1 of Fig. 20. Negative $\Delta$ means the error decreases after alignment.

Joint	Before	After	$\Delta$ (After - Before)
Wrist	24.0174	0.0000	-24.0174
Thumb_1	15.9811	8.7894	-7.1917
Thumb_2	13.5497	12.0409	-1.5088
Thumb_3	12.5836	13.5603	0.9767
Thumb_4	15.4669	14.2594	-1.2074
Index_1	9.3494	20.2602	10.9108
Index_2	8.5350	20.6546	12.1196
Index_3	7.8767	19.4604	11.5837
Index_4	8.9758	19.0349	10.0591
Middle_1	9.5127	18.7216	9.2088
Middle_2	5.8279	22.4163	16.5884
Middle_3	2.7855	25.2093	22.4238
Middle_4	6.7389	29.1953	22.4564
Ring_1	11.7361	13.2491	1.5130
Ring_2	7.3535	17.4583	10.1048
Ring_3	4.3867	21.7554	17.3686
Ring_4	9.7153	27.1253	17.4100
Pinky_1	15.2682	9.6775	-5.5907
Pinky_2	13.6472	13.1983	-0.4490
Pinky_3	14.1184	19.5819	5.4635
Pinky_4	23.4038	30.9909	7.5871

Table 13: Per-joint error change before and after root alignment on case of row #2 of Fig. 20. Negative $\Delta$ means the error decreases after alignment.

Joint	Before	After	$\Delta$ (After - Before)
Wrist	20.9428	0.0000	-20.9428
Thumb_1	18.9970	1.9609	-17.0360
Thumb_2	15.5668	5.4748	-10.0920
Thumb_3	10.6571	10.4247	-0.2324
Thumb_4	7.8074	15.1095	7.3021
Index_1	10.1454	11.4248	1.2794
Index_2	8.6302	20.2237	11.5934
Index_3	10.9266	22.7617	11.8351
Index_4	10.5297	21.4762	10.9464
Middle_1	10.5208	12.7205	2.1997
Middle_2	11.5187	15.0806	3.5619
Middle_3	11.4452	14.9854	3.5403
Middle_4	10.7450	13.7460	3.0009
Ring_1	12.6135	11.9443	-0.6692
Ring_2	11.9614	11.3974	-0.5640
Ring_3	9.8892	11.2968	1.4076
Ring_4	11.6317	16.0329	4.4013
Pinky_1	14.5713	11.5837	-2.9876
Pinky_2	12.3349	12.6961	0.3613
Pinky_3	7.6028	14.3917	6.7889
Pinky_4	3.4800	18.7052	15.2252

---

Table 14: Per-joint error change before and after root alignment on case of row #1 of Fig. 21. Negative $\Delta$ means the error decreases after alignment.

Joint	Before	After	$\Delta$ (After - Before)
Wrist	19.4289	0.0000	-19.4289
Thumb_1	22.7313	4.1163	-18.6150
Thumb_2	17.3230	4.0984	-13.2246
Thumb_3	12.3879	7.0410	-5.3469
Thumb_4	12.5547	16.0392	3.4845
Index_1	12.2225	9.3668	-2.8557
Index_2	5.3559	21.1668	15.8109
Index_3	17.7139	32.0996	14.3857
Index_4	43.3812	57.7669	14.3857
Middle_1	8.0081	12.1308	4.1227
Middle_2	8.1967	15.0336	6.8368
Middle_3	11.5712	19.4476	7.8763
Middle_4	15.8597	23.5558	7.6961
Ring_1	7.3039	12.1250	4.8211
Ring_2	6.5721	17.1794	10.6073
Ring_3	10.6023	21.6348	11.0325
Ring_4	11.6765	22.7090	11.0325
Pinky_1	9.2459	15.0597	5.8139
Pinky_2	17.6427	23.6320	5.9894
Pinky_3	23.3074	29.2968	5.9894
Pinky_4	29.5787	35.5681	5.9894

Table 15: Per-joint error change before and after root alignment on case of row #2 of Fig. 21. Negative $\Delta$ means the error decreases after alignment.

Joint	Before	After	$\Delta$ (After - Before)
Wrist	8.4425	0.0000	-8.4425
Thumb_1	10.2311	3.5969	-6.6342
Thumb_2	4.4493	8.8392	4.3899
Thumb_3	21.4771	29.1681	7.6910
Thumb_4	46.5958	54.2868	7.6910
Index_1	21.6013	13.1588	-8.4425
Index_2	36.6657	28.2232	-8.4425
Index_3	38.3033	29.8608	-8.4425
Index_4	36.8067	28.3642	-8.4425
Middle_1	13.1708	4.7395	-8.4313
Middle_2	8.4589	6.5191	-1.9398
Middle_3	5.3740	12.8966	7.5227
Middle_4	22.6355	30.3265	7.6910
Ring_1	3.9240	5.6899	1.7659
Ring_2	1.6087	8.9511	7.3424
Ring_3	7.0678	14.7588	7.6910
Ring_4	18.9014	26.5924	7.6910
Pinky_1	3.9506	9.6210	5.6703
Pinky_2	5.8738	9.6193	3.7455
Pinky_3	10.7508	12.5462	1.7953
Pinky_4	12.6621	19.2628	6.6007

--- ![Image](images/f204b15020a2edd562044e0ca69c4eff2de4720b71c26202abf81fe1d31206d4.jpg)

Figure 22: Qualitative results on DexYCB and InterHand2.6M.

--- ![Image](images/8efb2615e6595a60ffd13c7783c98381849dbf7d51bbecd4cafc835c889fd986.jpg)

Figure 23: Failure cases of DexYCB and InterHand2.6M.