# ScaleHP：基于尺度中介的耦合误差优化方法，用于度量空间手部姿态估计 景瑞涛 $^{1,3,4,*}\dagger$、陈星宇 $^{2*}$、李宏扬 $^{4,5}$、蒋青 $^{4,5}$、施宇凯 $^{1,4}$、张雷 $^{3,4,5}$ $^{1}$清华大学 $^{2}$中关村研究院 $^{3}$Visincept $^{4}$国际数字经济研究院（IDEA研究院）$^{5}$华南理工大学 ## 摘要 本文提出ScaleHP这一统一框架，通过显式表示每个实例的度量尺度，来解决校准后的相机空间手部姿态估计中的耦合误差问题。在常见的“根部相对于全局坐标系”范式下，相机空间的精度取决于相对几何关系、根部定位以及二者与尺度相关的组合方式。ScaleHP将尺度视为这些要素之间的共享接口，而非单独对它们进行优化。其具备度量感知能力的2D-3DTransformer解码器引入了专门的尺度标记，该标记可与稀疏且语义索引明确的2D/3D关节查询进行信息交换，从而实现全局度量推理与局部关节几何的相互优化。随后，一个无需参数的校准模块会利用预测出的单位尺度关节、度量尺度以及已知的相机内参来恢复根部平移量。ScaleHP在FreiHand数据集上的CS-MPJPE指标达到了最先进水平（35.8毫米）；按照特定基准测试的训练协议，它在FreiHand、Dex YCB和HO3Dv3数据集上的PA-MPJPE指标也达到了最先进水平（分别为5.0/4.6/5.9毫米）。结果表明，全局度量定位精度的提升同时伴随着局部关节活动精度的改善。消融实验进一步证实，尺度与姿态的交互能够同时提升相机空间精度和相对深度几何的准确性。 ## 1 引言 手部姿态估计（HPE）是交互、操控和远程操作领域的基础感知技术。在虚拟现实/增强现实场景中，手部位置必须与周围场景保持一致；在具身人工智能和机器人远程操作场景中，控制器不仅需要获取手部的关节活动信息，还需要知道手部的物理位置和尺寸（Karim等人，2025年；Nostadt等人，2020年；Toet等人，2020年）。这类应用需求推动了度量相机空间手部姿态的发展——输出结果必须同时保留手部的关节配置信息，以及其在校准后的相机坐标系中的绝对位置和尺寸。 为了获取相机空间中的姿态，常见的做法是先预测相对于根节点的手部几何结构，再将其定位到全局位置。Writing $\mathbf{Q}^{\mathrm{cam}} = s(\mathbf{J}^{\mathrm{rel}} + \mathbf{t}^{\mathrm{norm}})$指出了三个相互关联的误差来源：(a) $\mathbf{J}^{\mathrm{rel}}$中相对于根节点的几何结构，(b) $\mathbf{t}^{\mathrm{norm}}$中的根节点定位问题，以及(c)当度量尺度s乘以复合项时产生的级联误差。现有方法通过不同的折衷方案来处理这些误差。CMR（Chen等人，2021a）最明确地采用了这种两步法：它先预测相对于根节点的几何结构，再将根节点与图像证据对齐，从而使定位过程与生成几何结构的表示方式解耦。HandOS（Chen等人，2025）将2D/3D查询和位移变量整合到一个阶段式解码器中，但并未将位移作为独立监督的度量距离因子来组织；仅靠投影无法确定绝对的度量尺度。HandDGP（Valassakis和Garcia-Hernando，2024）通过可微的全局定位重新连接了各个阶段，但其分析结果显示全局定位与相对几何精度之间存在权衡。NVF（Huang等人，2023）则采用密集的相机视锥体投票机制来绕过这种分解，使用了一种截然不同的基于采样的公式。总体而言，大多数现有系统主要致力于减少误差来源(a)，即相对于根节点的几何结构。误差来源(b)通常被交由学习得到的位移参数或外部深度线索来处理，而这些仍会与焦距和相机距离相互纠缠。误差来源(c)是最容易导致相机空间偏差的因素，它要么被隐含处理，要么只能以牺牲前两个误差来源为代价才能得到改善。在度量深度预测领域也存在类似的矛盾：ScaleDepth（Zhu等人，2026）和MoGe-2（Wang等人，2025）刻意将全局度量量与局部几何结构分开，其设计清楚地表明这两种预测结果可能会相互冲突。这就引出了我们研究的核心问题：能否同时优化这三个误差来源，使全局度量推理与局部手部几何结构相互促进而非相互制约呢？ 我们认为，缺失的环节就是一个显式的实例尺度。在经过校准的透视投影下，相同的2D投影可能源自不同大小的手部与不同深度的组合。如果没有显式的尺度变量，现有的相机空间建模方法——包括基于MANO的参数化流程及其他关节或网格回归模型——往往会在全局定位过程中错误估计度量尺度，或者在恢复的根节点位移中错误地补偿这一误差。缺乏单独监督的尺度参数 --- ![Image](images/1ec634072ec0b8a9eeac2d8d4dcfa1e2d128a705e784d0f460dfd58240355e60.jpg)
Figure 1: ScaleHP places metric scale at the center of calibrated camera-space hand pose estimation. Unlike prior approaches that leave scale implicit, supply it externally, or decouple it from pose learning, ScaleHP predicts per-instance metric scale jointly with unit-scale root-relative geometry and uses analytically recovered normalized translation to reconstruct the hand in camera space.
这种表征方式使得这种耦合关系难以被诊断出来。相比之下，度量深度方法会从图像级表征中估算密集的场景几何结构与全局尺度。手部姿态并不一定需要密集的场景表征：单个手部姿态可以通过稀疏的、具有语义索引且受几何约束的2D布局以及相对于根节点的3D关节来描述。这些表征无需依赖密集的点云图或外部的单目深度分支就能提供尺度依据。因此，尺度自然成为了局部关节运动与全局相机空间坐标之间的桥梁，同时它也是在度量监督下学习得到的统计先验，而非认为单目投影能唯一确定手部尺寸。 基于这一见解，我们提出了ScaleHP——一个用于校准度量空间手部姿态估计的统一框架（见图2）。其具备度量感知能力的二维-三维Transformer解码器引入了一个手部特定的尺度标记，该标记会与稀疏的二维/三维关节查询进行信息交换。关节查询提供了局部的尺度依据，而尺度监督则作用于后续的关节查询层，而非仅作为事后校准手段。解码器利用冻结的检测器特征来预测二维关节、以根节点为参照的单位尺度三维关节，以及实例度量尺度。借助这些输出结果和已知的相机内参，一个无需参数的最小二乘模块便能还原归一化的根节点平移量，并合成处于相机度量空间的关节坐标。如此一来，ScaleHP无需依赖密集的场景深度预测或迭代配准过程，就能协调好(a)、(b)以及它们间依赖尺度的交互关系(c)。 本研究的贡献如下： - 基于尺度的相机空间建模方法。我们将相对几何关系、根节点定位及其尺度依赖的组合视为导致相机空间误差的三大相互关联的源头，同时确定实例度量尺度是手部局部结构与全局坐标之间的接口。 - 查询耦合型ScaleHP。我们提出了一种用于度量空间手部姿态估计的统一框架，其中的尺度标记会与稀疏的语义二维/三维关节查询相互作用，从而实现全局尺度监督与局部关节几何的相互优化。通过联合优化学习得到的相对几何参数与尺度因子，并在已知相机内参的条件下完成校准定位以解决根节点定位问题，ScaleHP便能在单一流程中协调这三类误差源。 - 在度量精度和相对精度方面均达到业界领先水平。ScaleHP所得到的FreiHand CS-MPJPE数值为35.8毫米，位居榜首。在特定基准测试的训练协议下，它在FreiHand、DexYCB和HO3Dv3数据集上的PA-MPJPE分别达到5.0毫米、4.6毫米和5.9毫米，同样位列业界前茅，这一结果证明全局定位精度与局部关节活动精度能够同步提升。 ## 2 相关工作 相机空间手部姿态估计。相机空间手部姿态估计除了要还原关节活动外，还需确定物体的绝对位置和物理尺度。Iqbal等人（Iqbal等，2018）利用给定的或平均骨骼长度来还原归一化姿态。CMR及相关基于配准的系统会依据二维证据和根节点相关的几何关系来还原全局位置（Chen等，2021a，2022；Park等，2022；Xu等，2023；Wang等，2023），但这类方法中的度量尺度仍隐含在几何关系和平移过程中。NVF（Huang等，2023）则会对相机视锥内的密集投票进行监督。HandDGP（Valassakis和Garcia-Hernando，2024）使全局定位具备可微性，但报告指出其与根节点相关精度的平衡存在问题；而HandOS（Chen等，2025）虽能同时解码几何关系与平移信息，却未给出独立受监督的度量标尺。WiLoR可提升手部定位精度，其他系统则会利用前臂或交互上下文信息来辅助定位（Potamias等，2025；Millerdurai等，2026；Hasson等，2020；Spurr等，2020）。这些方法虽然推进了全局定位技术，但并未提供明确的实例尺度表示，使得度量监督无法与手部相对几何关系协同作用。因此，对齐姿态带来的增益并不一定能降低绝对误差。 --- 误差：合理的投影结果可能对应不同的手部尺寸-深度组合，且隐式的度量变量会在训练过程中相互补偿。 基于根坐标的HPE方法。参数化方法、热图方法和无模型方法分别用于回归MANO参数、离散化2.5D/3D坐标，或直接回归关节和顶点位置（Romero、Tzionas和Black 2017b；Baek、Kim和Kim 2019；Hasson等人2019；Boukhayma、Bem和Torr 2019；Iqbal等人2018；Moon和Lee 2020；Moon等人2020；Chen等人2022；Ge等人2019；Kulon等人2020）。Transformer和基于检测器的系统则引入了全局上下文和结构化的查询机制（Lin、Wang和Liu 2021b,a；Pavlakos等人2024；Dong等人2024；Shi等人2022；Yang等人2023；Sun等人2024）；而专门设计的算法则旨在解决效率、形变和遮挡等问题（Yoshiyasu 2023；Zhou等人2024；Saleem等人2025；Lu、Gou和Li 2024；Ren等人2025）。这些方法虽然能实现较高的对齐精度，但对齐过程会消除平移和共同尺度信息；因此无法检验当这些几何结构被组合到度量相机空间中时，其局部几何形状是否仍保持准确。 度量尺度学习。密集的度量预测会将单一的全局尺度参数与每个局部深度或点图元素相关联。ScaleDepth（Zhu等人，2026）明确将场景尺度查询与归一化的相对深度区间查询分开，这样密集的相对分支就能在不受跨场景深度范围变化影响的情况下建模结构。MoGe2（Wang等人，2025）得出了类似结论：其纠缠式的度量点图基线效果并不理想，而将源自全局CLS的尺度信息与仿射不变的点图解耦后，能更好地保留相对几何关系。其他度量深度方法则采用自适应区间、标准相机射线或尺度感知的密集表示方式（Bhat、Alhashim和Wonka 2021；Li等人2024；Yin等人2023；Guizilini等人2023；Song等人2025）。这些研究共同揭示的启示并非仅仅是尺度可以被预测，而是将全局尺度融入高维局部表示时，可能会导致度量目标和相对目标之间产生冲突：全局尺度决定了度量的范围，但将其与密集的局部元素纠缠在一起却可能扭曲它们之间的相对几何关系。手部姿态提供了一个更紧凑的接口，因为其几何结构允许采用稀疏且语义上索引明确的关节表示。ScaleHP正是利用了这一特性，它将尺度和单位尺度的关节标记区分开来，同时允许它们相互作用，从而能够联合优化全局度量推理和局部几何学习。 ## 3 方法 ### 3.1 为何尺度至关重要 表1对比了相机空间方法中度量尺度的表示与暴露方式。我们利用尺度反馈来调整姿态，以体现度量/全局监督对姿态特征的影响。以往的方法要么将尺度作为外部输入提供，要么将其分散到高维的几何和平移表示中。 设真实的相机空间姿态为 $\mathbf{Q} = s(\mathbf{J} + \mathbf{t})$，其中 $\mathbf{J}$ 表示单位尺度的根坐标相关几何结构，$\mathbf{t}$ 表示归一化的根坐标平移量。结合 $\hat{s} = s + \Delta s$、$\hat{\mathbf{J}} = \mathbf{J} + \Delta\mathbf{J}$ 和 $\hat{\mathbf{t}} = \mathbf{t} + \Delta\mathbf{t}$，可得到精确的误差表达式： $$ \begin{aligned}\hat{\mathbf{Q}}-\mathbf{Q}=&\underbrace{s\Delta\mathbf{J}}_{(a)relative~geometry}+\underbrace{s\Delta\mathbf{t}}_{(b)root~localization}\\&+\underbrace{\Delta s(\mathbf{J}+\mathbf{t})+\Delta s(\Delta\mathbf{J}+\Delta\mathbf{t})}_{(c)scale-mediated~coupling}.\end{aligned} $$ 由于 $\|\mathbf{t}\| \gg \|\mathbf{J}\|$ 存在于相机空间中，因此 $\|\Delta s(\mathbf{J} + \mathbf{t})\| \approx |\Delta s|\|\mathbf{t}\|:$：即便微小的尺度误差也可能导致较大的深度偏移。此外，最后一项将全局尺度与局部几何结构及根坐标定位联系在一起。这便促使我们将s设为单独受监督的实例变量，而非将其隐含在密集的姿态或平移表示中。 显式尺度预测。我们将每个关节度量表示为$\mathbf{Q}^{cam} = s(\mathbf{J}^{rel} + \mathbf{t}^{norm})$，其中$\mathbf{J}^{rel}$是相对于根节点且为单位尺度的数值。在已知相机内参的情况下，透视对应关系可以恢复出$\mathbf{t}^{norm}$，但无法确定尺度s：因为手部与平移的缩放不会改变投影结果。因此，s是通过度量监督学习得到的，它仍是一种数据驱动的单目先验。 设$\mathbf{J}^{M*}$表示以度量相机坐标表示的J个真实关节标注，r用于索引根节点。网络并不会直接回归$\mathbf{J}^{M*}$。相反，它会接收由这些标注产生的两个目标：投影后的像素关节$\mathbf{J}^{2D*}$以及单位尺度的、相对于根节点的关节$\mathbf{J}^{3D*}$。受它们稳定的长轴解剖结构启发（Varu等人，2015年；Rastogi、Nagesh和Yoganarasimha，2008年；Manning，2002年），令$\{l_i\}_{i=0}^{N-1}$表示$\mathbf{J}^{M*}$中食指、中指和无名指（IMR）的度量骨骼长度。我们定义： $$ \begin{align*}s^{*}&=\frac{1}{N}\sum_{i=0}^{N-1}l_{i},\\\mathbf{J}^{2D*}&=\pi(\mathbf{J}^{M*},\mathbf{K}_{cam}),\\\mathbf{J}^{3D*}&=\frac{\mathbf{J}^{M*}-\mathbf{J}_{r}^{M*}}{s^{*}}.\end{align*} $$ 因此，该架构会输出$\mathbf{J}^{2D} \to \mathbf{J}^{2D*}$、$\mathbf{J}^{3D} \to \mathbf{J}^{3D*}$和$s \to s^*$；解析模块会将它们重新组合到度量相机空间中。虽然此目标主要针对IMR手指，但它并不排除来自其他手指的尺度信息；消融研究和补充材料提供了更多细节。尺度标记会聚合关节布局、单位尺度几何特征以及图像外观信息，从而使度量监督能够在校准定位之前影响姿态特征。 ### 3.2 架构 概述。图2总结了ScaleHP的结构，它包括一个冻结的DETR风格检测器、一个联合训练的度量感知2D-3D解码器，以及一个无需参数的解析模块。尺度标记会与手部相关的2D语义查询及3D几何查询共同更新，并与图像特征进行交叉注意力交互。解码器会预测实例度量标尺以及单位尺度的姿态，之后解析模块会在已知相机内参的条件下求解归一化的平移参数。整个系统只需一次推理即可完成，无需迭代配准。 ---
MethodMetric-scale sourceScale feedback to posePose representation
Iqbal et al.supplied/mean bone lengthpost-hoc2.5D joint heatmaps
CMRimplicit in root-relative geometrypost-hocsemantic feature aggregation
NVFdirect/test referencedirect camera-spacedense frustum voting field
HandDGPimplicit in root-relative geometrydifferentiable (trade-off)image-to-geometry regression
HandOSimplicit in geometry and translationone-way pose-to-translation2D-joint and 3D-vertex queries
EgoForcehand-arm shape/contextjoint camera-spacehand-arm parameter features
ScaleHPpredicted instance scalarbidirectional scale-posesparse joint and scale tokens
Table 1: Metric-scale handling in representative camera-space HPE. “Scale feedback to pose” summarizes how metric/global objectives communicate with pose features. The final column lists the intermediate pose representation, in which NVF’s voting field is dense.
![Image](images/927c1528359b4f1506b50a41dcb9c8076bbffbdfffb0b3f04d74857ef9ed018e.jpg)
Figure 2: Overview of ScaleHP. A frozen detector supplies image and instance features. The jointly trained decoder predicts 2D joints, unit-scale root-relative 3D joints, and a per-instance metric scale through interacting joint and scale tokens. A parameter-free calibrated solver then recovers normalized translation and composes metric camera-space joints.
类DETR的检测器。采用冻结的Grounding DINO（Liu等人，2024年），并结合手部提示，融合视觉与文本特征，通过可变形解码（Zhu等人，2021年）迭代更新内容查询及2D参考点： $$ \mathbf{F}_{e}=\mathcal{E}(\mathcal{B}_{v}(\mathbf{I}),\mathcal{B}_{t}(“hand”).) $$ $$ (\mathbf{F}_{{G D}},\mathbf{Q},\mathbf{R},\mathbf{B},\mathbf{C})=\mathcal{D}_{{d e t}}(\mathbf{F}_{e}). $$ 此处$\mathbf{F}_{GD}$包含多尺度特征，而$(\mathbf{Q}, \mathbf{R}, \mathbf{B}, \mathbf{C})$则是实例查询、参考点、边界框及置信度。经过分数过滤和非极大值抑制后，保留的集合为$\{(\tilde{\mathbf{Q}}_k, \tilde{\mathbf{R}}_k, \tilde{\mathbf{B}}_k)\}_{k=1}^K$。手部解码器会处理所有K个实例；完整的接口说明见补充材料。 度量2D-3D解码器。每个保留的实例会通过可学习的嵌入$J = 21$扩展为$\mathbf{E}_{J}$个语义索引的2D和3D关节查询；手部级别的尺度标记$\mathbf{q}^{s}$则从同一实例上下文中初始化。下文我们省略实例索引k，因为相同的解码器会独立应用于每个保留的手部实例： $$ \mathbf{Q}_{0}^{2D}=\mathbf{Q}_{0}^{3D}=\tilde{\mathbf{Q}}+\mathbf{E}_{J},\qquad\mathbf{q}_{0}^{s}=\tilde{\mathbf{Q}}. $$ 在第l层，尺度标记与两个关节流通过全局自注意力机制交换信息： $$ (\mathbf{q}_{l}^{s\prime},\mathbf{Q}_{l}^{2D},\mathbf{Q}_{l}^{3D})=\mathrm{S A}_{l}(\mathbf{q}_{l-1}^{s},\mathbf{Q}_{l-1}^{2D},\mathbf{Q}_{l-1}^{3D}). $$ 这种交互是双向的：尺度标记会聚合所有关节布局及归一化结构，而每个关节也会关注受尺度监督的上下文。因此，重复的层级会在预测前对两个方向的信息进行细化。 随后，每个流会在其参考点周围采样多尺度的外观特征： $$ \begin{aligned}\mathbf{q}_{l}^{s}&=\operatorname{Def}\operatorname{Attn}_{l}^{s}(\mathbf{q}_{l}^{s\prime},\mathbf{F}_{GD},\mathbf{R}_{l-1}^{s}),\\\mathbf{Q}_{l}^{d}&=\operatorname{Def}\operatorname{Attn}_{l}^{d}(\mathbf{Q}_{l}^{d},\mathbf{F}_{GD},\mathbf{R}_{l-1}^{d}),\\\mathbf{R}_{l}^{d}&=\mathbf{R}_{l-1}^{d}+\operatorname{FFN}_{R}^{d}(\mathbf{Q}_{l}^{d}),\end{aligned} $$ 对于$d \in \{2D, 3D\}$而言，尺度参考点使用$\mathbf{R}_l^s = \mathbf{R}_{l-1}^s + \mathrm{FFN}_R^s(\mathbf{q}_l^s)$。可变形注意力会添加局部外观及占据证据，而参考点的细化则遵循不断演化的估计值。最后， $$ \begin{aligned}\mathbf{J}^{2D}=\mathrm{FFN}_{2D}(\mathbf{Q}_{L}^{2D}),\quad&\mathbf{J}^{3D}=\mathrm{FFN}_{3D}(\mathbf{Q}_{L}^{3D}).\\ s=\mathrm{FFN}_{s}(\mathbf{q}_{L}^{s}).\end{aligned} $$ 分别预测像素坐标、单位尺度根节点相对关节以及由公式2所约束的度量标量。 转换为真实度量空间。无需训练的分析求解器接收$\mathbf{J}^{2D}$、$\mathbf{J}^{3D}$、s以及已知的内参。设p为根关节，让$\mathbf{A}$对$[u_j - u_p, v_j - v_p]^\top$进行堆叠以得到$j \neq p$。透视投影给出了对应的右侧表达式。 $$ \mathbf{b}=\left[\begin{matrix}{f_{x}x_{j}-(u_{j}-c_{x})z_{j},}\\ {f_{y}y_{j}-(v_{j}-c_{y})z_{j}}\\ \end{matrix}\right]_{j\neq p}^{\top}. $$ 归一化后的平移量在无需缩放的情况下可表示为： $$ t_{z}^{n o r m}=\mathbf{A}^{\dagger}\mathbf{b}, $$ $$ t_{x}^{n o r m}=\frac{u_{p}-c_{x}}{f_{x}}t_{z}^{n o r m},\qquad t_{y}^{n o r m}=\frac{v_{p}-c_{y}}{f_{y}}t_{z}^{n o r m}. $$ --- 随后，$\mathbf{Q}^{cam} = s(\mathbf{J}^{3D} + \mathbf{t}^{norm})$即可生成度量预测结果，无需经过学习的平移回归或迭代配准过程。补充材料给出了完整的投影推导过程。 ### 3.3 损失函数 ScaleHP与二维监督、单位尺度三维监督、缩放监督以及投影监督共同优化。对于标记为(*)的Ground Truth，直接项如下： $$ \begin{align*}\mathcal{L}^{2D}&=\|\mathbf{J}^{2D}-\mathbf{J}^{2D*}\|_{1},\\\mathcal{L}^{3D}&=\|\mathbf{J}^{3D}-\mathbf{J}^{3D*}\|_{1},\\\mathcal{L}^{s}&=(s-s^{*})^{2}.\end{align*} $$ 此外，还对二维关节施加额外的OKS损失。遵循Chen等人（2025）的方法，可微求解器$\hat{t}^{norm} = \mathrm{LS}(\mathbf{J}^{2D}, \mathbf{J}^{3D}, \mathbf{K}_{cam})$提供弱重投影监督： $$ \begin{aligned}\hat{\mathbf{J}}^{proj}&=\pi(\mathbf{J}^{3D}+\hat{\mathbf{t}}^{norm},\mathbf{K}_{cam}),\\\mathcal{L}_{2D}^{proj}&=\left\|\hat{\mathbf{J}}^{proj}-\mathbf{J}^{2D*}\right\|_{1},\\\mathcal{L}_{OKS}^{proj}&=1-OKS(\hat{\mathbf{J}}^{proj},\mathbf{J}^{2D*}).\end{aligned} $$ ## 4 实验 该求解器无需单独的相机空间坐标Ground Truth损失；联合学习指的是尺度/姿态表示与重投影，而非通过每个组件实现完整的相机空间监督。 实验设置。我们评估了FreiHand（Zimmermann等人，2019年）、DexYCB（Chao等人，2021年）和HO3Dv3（Hampali等人，2020年）；HInt、COCO-WholeBody、CompHand、H2O3D和OneHand10K仅在合并数据协议中出现。冻结的Grounding DINO 1.5模型可处理长边为1280像素的全尺寸图像。我们在八张A100 GPU上训练45个周期，使用Adam优化器，批量大小为16，初始学习率为$10^{-4}$，并采用余弦衰减策略。CS-MPJPE表示未对齐的相机空间误差，R-MPJPE将预测结果与Ground Truth的根节点对齐，PA-MPJPE则应用相似性Procrustes对齐，这些均遵循既定的相机空间和对齐姿态协议（Huang等人，2023年；Valassakis和Garcia-Hernando，2024年；Millerdurai等人，2026年）。训练细节详见补充材料。 ### 4.1 主要结果 CS-MPJPE是主要评价指标，因为它既不涉及对齐操作，也不进行事后尺度校正。我们将评估分为数据集内的FreiHand对比和跨数据集迁移测试。表2报告了基于原始FreiHand协议的结果；表3则将训练好的FreiHand模型应用于DexYCB和HO3Dv3，因为基线方法并未提供针对这些目标数据集训练的兼容检查点。 在FreiHand数据集上，ScaleHP将CS-MPJPE从最佳记录的42.4毫米降低至35.8毫米（降幅15.6%），同时与最佳的PA-MPJPE值5.0毫米持平。表3中的DexYCB和HO3Dv3属于迁移测试，并非针对目标数据集的重新训练。CMR和Hand-DGP缺乏独立的尺度输出，因此它们的对应行采用了外部测试集最优的数据集标量；这一设定是必要的
MethodCS-MPJPE $\downarrow$PA-MPJPE $\downarrow$
CMR-PG48.86.9
HandDGP46.37.4
MobRecon50.25.7
NVF42.4-
METRO-6.7
MaskHand-5.5
Hamba-5.7
HandOS-5.0
ScaleHP35.85.0
Table 2: FreiHand comparison under the protocols reported by the respective methods (mm). CS-MPJPE measures unaligned camera-space accuracy; PA-MPJPE applies Procrustes alignment. NVF's reported 42.4 mm uses the benchmark reference-bone scale (47.2 mm without it). ScaleHP uses RGB and known intrinsic without test-time ground-truth scale.
MethodDexYCB $\downarrow$HO3Dv3 $\downarrow$
CMR + oracle global scale183.2152.3
HandDGP + oracle global scale222.1132.6
ScaleHP136.350.7
Table 3: Cross-dataset CS-MPJPE using FreiHand-trained checkpoints (mm). The oracle global scale is a test-set-optimal dataset-level rescaling introduced only to give CMR and HandDGP, which do not expose an instance scale, a favorable transfer calibration. ScaleHP uses neither target-dataset training nor test-time ground-truth scale.
以避免在从FreiHand迁移时因数据集级别的尺度不匹配而对它们进行不公平的惩罚。即便有这种有利的校准，ScaleHP在DexYCB上的CS-MPJPE仍比最强的现有基线降低25.6%，在HO3Dv3上更是降低了61.8%。下方的数据集内分析进一步区分了三种误差来源。 定性结果。图3展示了四个带有度量Ground Truth的FreiHand样本。度量空间和俯视图分别揭示了绝对位置与深度偏移情况。与HandDGP和CMR相比，ScaleHP更贴近Ground Truth，尤其是在全局深度方面；更多视图详见补充材料。 图4展示了在遮挡、物体交互和视角变化条件下的四组真实场景。尽管这些图像不在训练基准范围内，但ScaleHP仍能生成一致的度量重建结果，表明其对无约束的、数据集外的图像具有强大的泛化能力。 ### 4.2 三种误差源的缓解 在本小节中，我们将证明ScaleHP能够联合优化三种相互关联的误差源：相对几何关系、根节点定位以及它们通过尺度产生的耦合效应。所有诊断分析均采用一致的检查点协议。对于每个数据集，CS-MPJPE、对齐后的MPJPE、轴向误差以及尺度误差均基于同一数据集对应的ScaleHP检查点所产生的预测结果计算得出。这些指标与表3中所采用的跨数据集协议有所不同；同一数据集内不会选取来自不同检查点的对齐后指标或相机空间指标。 --- ![Image](images/422790e252e8151ec196f0d7bcab3c16813855522875454bd78d1c14521708b4.jpg)
Figure 3: Main FreiHand camera-space comparisons on four samples. Yellow: GT; blue: ScaleHP; green: HandDGP; red: CMR. The metric space and top views show that ScaleHP remains closest to GT in absolute translation.
这些指标与表3中所采用的跨数据集协议有所不同；同一数据集内不会选取来自不同检查点的对齐后指标或相机空间指标。 相对几何关系（a）。表4验证了在消除全局因素后，绝对度量推理是否会影响关节运动的准确性。ScaleHP取得了最佳的FreiHand PA-MPJPE数值（5.0毫米），将DexYCB的R-MPJPE和PA-MPJPE分别降低至10.3毫米和4.6毫米，并将HO3Dv3的PA-MPJPE降低至5.9毫米。因此，表2和表3中呈现的相机空间性能提升并非以牺牲根节点相关的几何关系为代价。由于Procrustes对齐会消除平移、旋转和共同尺度的影响，这些结果反映的是关节几何的真实情况，而非单纯的度量组成优化。因此，这一结果与CS-MPJPE互为补充：尺度感知学习改善了后续被映射到相机空间的局部表示，而不仅仅是修正其最终的全局度量。
MethodFreiHandDexYCBHO3Dv3
PA-MPJPE$\downarrow$ R-MPJPE$\downarrow$ PA-MPJPE$\downarrow$ PA-MPJPE$\downarrow$ PA-MPJPE
CMR-PG6.9----
I2L-MeshNet7.4----
HandDGP7.4----
MobRecon5.714.26.4--
METRO6.715.27.0--
HandOccNet-14.05.8--
H2ONet-14.05.7--
Deformer-13.65.2--
Zhou et al.-12.45.5--
TI-Net-16.84.9--
MaskHand5.511.75.07.0-
Hamba5.7--6.9-
HandOS5.0-5.26.8-
ScaleHP5.010.34.65.9-
Table 4: Aligned/root-relative accuracy (mm). PA-MPJPE applies Procrustes alignment; R-MPJPE root-aligns translation only.
SettingPA-MPJPE $\downarrow$X error $\downarrow$Y error $\downarrow$Z error $\downarrow$
No scale-token5.62.32.43.5
ScaleHP5.02.22.23.0
Table 5: Scale-token regularization on FreiHand (mm). The first setting omits scale-token interaction; its global metric composition uses a fixed dataset scalar. The X/Y/Z columns are root-relative axis errors from the same prediction dump as PA-MPJPE.
表5中的可控分析揭示了尺度标记如何改善几何关系。移除该标记后，所有相对误差分量都会恶化，其中深度轴的变化最为显著：Z轴误差增加了0.5毫米，而X轴和Y轴的误差仅分别增加0.1毫米和0.2毫米。由于PA-MPJPE会消除全局度量基准，这一结果无法用更好的最终缩放来解释。它表明尺度监督在二维到三维映射过程中起到了正则化作用，从而减少了误差源（a）中的相对深度分量。这种各向异性的改进在透视投影下尤为重要：相对深度误差正是度量合成过程中最容易与归一化根节点深度相混淆的分量。 全局定位（b）。由于 $\|t\|\gg\|J\|$，根节点深度误差在投影结果上可能看似准确，但实际上仍隐藏于视觉之中。图3固定了图像信息，通过度量视图/顶视图揭示了这一误差：所有四种输入图像都能产生合理的平面叠加效果，但绿色的HandDGP和红色的CMR预测结果仍存在明显的根节点深度偏移。而蓝色的ScaleHP预测结果及其关节集合在相机深度方向上最接近黄色的真实值。因此，这些视图能够诊断出误差源（b），而这种误差无法仅凭投影结果推断出来；CS-MPJPE则用于衡量它与误差源（a）及（c）的综合影响。 --- ![Image](images/f3e60f558a7efffea27716cb18743288d1625788806ce9d330befddaab68dbe6.jpg)
Figure 4: Qualitative Results of ScaleHP on In-the-Wild Images. Each panel shows input, box and pose, metric 3D, and top view from left to right. ScaleHP remains consistent under hand–object and hand–hand interaction, viewpoint changes, and occlusion; no metric ground truth is available.
Training schedulePA-MPJPE $\downarrow$CS-MPJPE $\downarrow$Scale $L_1$ error $(10^{-3} \text{ m}) \downarrow$
Delayed introduction5.239.52.06
Joint5.035.81.94
Table 6: Scale-token introduction on FreiHand (mm). Delayed introduction first pre-trains without the token, then fine-tunes the entire interactive decoder after inserting it; all token-to-token attention is enabled. Joint training includes the token from initialization.
尺度介导的耦合（c）。前述结果已经证明，尺度标记对局部几何关系和全局定位均有益处。表6则检验了这种益处是否依赖于在姿态表示学习过程中尺度的参与。 这两种调度方式都能在微调期间确保对模型的充分关注，并更新所有解码器参数；唯一区别在于尺度参数引入的时间点不同。联合训练使PA-MPJPE降低了0.2毫米，CS-MPJPE降低了3.7毫米，尺度误差则减少了5.8%。相对姿态、相机空间姿态和尺度之间的一致性表明，早期的尺度-姿态协同适应是减少误差源（c）的一种机制。尤其是，这种相机空间上的性能提升并非以牺牲姿态对齐为代价，这与推动第3.1节论述的相对姿态与全局姿态之间的权衡情况截然不同。从定性结果中可以直接看出ScaleHP在全局定位方面的改进效果；更详细的定量比较数据详见补充材料。 ### 4.3 消融实验 尺度与标记词的耦合关系。表7分离出了实例尺度的影响与有利的数据集级校准作用。即便无标记词模型获得了理想的全局尺度参数，其在FreiHand、DexYCB和HO3Dv3数据集上的CS-MPJPE仍分别高出8.5毫米、10.2毫米和8.6毫米。固定的标量虽然能修正数据集层面的平均尺度偏差，却无法反映与手部相对几何结构及归一化根部平移相叠加的尺度变化。因此这一结果直接
SettingFreiHand CS-MPJPEDexYCB CS-MPJPEHO3Dv3 CS-MPJPE
No token + oracle scale44.340.242.0
ScaleHP35.830.033.4
Table 7: Per-instance scale-token coupling (mm). Each dataset uses its own checkpoint; the no-token setting receives an oracle dataset-level global scale.
证明了在尺度介导项中引入逐实例尺度参数的必要性。由于全局标量需针对每个目标测试集单独选取，这对无标记词基线而言属于刻意设定的有利校准条件，并非实际部署场景；因此剩余的差距源于实例级而非数据集级的尺度变化。 IMR尺度目标。预测得到的尺度$L_1$误差在FreiHand、DexYCB和HO3Dv3数据集上分别为1.94米、0.56米和$1.02 \times 10^{-3}$米。IMR的受试者间与受试者内F比率（6.17对比2.95）高于拇指/小指目标，且与全手尺寸的排序一致性也更强（0.982对比0.868），这印证了其能够提供更稳定的标量监督效果。换句话说，IMR保留了受试者间的尺寸差异，同时抑制了因单个短骨导致的噪声较大的表征问题。 背景干预实验。在白色背景下的FreiHand评估中，CS-MPJPE从35.85毫米上升至37.22毫米（增幅3.8%，处于5%以内）。结合尺度标记词与$\mathbf{J}^{2D}$、$\mathbf{J}^{3D}$的交互作用可知，该模型依赖的是手部特有的特征而非整幅图像的场景线索。相关的分布情况及局限性详见补充材料；此次干预并不能证明模型具有严格的背景不变性。 ## 5 结论 我们提出了ScaleHP，这是一个用于校准度量空间手部姿态估计的统一框架。其核心贡献在于引入了显式的逐实例度量尺度，将单位尺度的局部几何结构与全局定位相衔接。专门的尺度 --- 标记词会与2D/3D关节查询交互，而无需额外参数的校准求解器便能恢复归一化的平移信息。ScaleHP在FreiHand数据集的相机空间精度以及FreiHand、DexYCB和HO3Dv3数据集的PA-MPJPE指标上均达到了最先进水平，证明了全局定位与局部关节运动可同步优化。其迁移实验结果表明，无需针对目标数据集进行训练，也无需依赖理想的尺度参数；消融实验则支持了基于实例条件的尺度-姿态联合学习机制。 --- ## 详细架构说明 ### A.1 类DETR检测器 ScaleHP采用基于Transformer的冻结检测器，根据文本提示定位手部。我们选用Grounding DINO（Liu等人，2024年）作为代表性实现（实验中为Grounding DINO 1.5），不过该框架也兼容能够提供多模态特征和基于查询的定位功能的DETR类或开放词汇检测器。给定一张RGB图像I以及通用提示词“hand”，编码器$\mathcal{E}$会将视觉和文本骨干网络的输出进行融合： $$ \mathbf{F}_{e}=\mathcal{E}(\operatorname{Backbone}_{v}(\mathbf{I}),\operatorname{Backbone}_{t}(“hand”).). $$ Transformer解码器$\mathcal{D}$会迭代式地优化内容查询$\mathbf{Q}_i$及其二维参考点$\mathbf{R}_i$。可变形注意力机制（Zhu等人，2021年）允许每个查询在其参考点周围采样编码后的多尺度特征，从而捕捉手部的局部上下文信息： $$ \begin{array}{r}{({\bf Q}_{i+1},{\bf R}_{i+1})=\mathcal{D}_{i}({\bf Q}_{i},{\bf R}_{i},{\bf F}_{e}).}\end{array} $$ 这一过程会生成多尺度的图像特征$\mathbf{F}_{GD}$；经过优化的Q编码了手部的整体语义信息，而$\mathbf{R}$则承载了空间位置信息。检测头$\mathcal{H}$会将其映射为边界框$\mathbf{B}$和置信度分数$\mathbf{C}$： $$ \mathbf{(B,C)}=\mathcal{H}(\mathbf{Q},\mathbf{R}). $$ 最终得到的检测器表示为 $$ \left\{\mathbf{F}_{G D},\mathbf{Q},\mathbf{R},\mathbf{B},\mathbf{C}\right\}. $$ 该表示会被传递给Metric 2D-3D解码器。经过分数过滤和非极大值抑制后，假设剩余K个手部实例，用$\{(\mathbf{Q}_k, \mathbf{R}_k, \mathbf{B}_k)\}_{k=1}^K$表示。每个手部都有对应的检测器查询和参考点，同一个手部解码器会并行处理所有这K个保留下来的实例。因此ScaleHP无需更改解码器结构就能处理多个手部实例。由于检测器保持冻结状态，尺度、姿态和投影损失仅用于优化手部解码器。整幅图像会被调整大小，使最长边达到1280像素，且无需外部提供的手部裁剪图像。 ### A.2 Metric 2D-3D解码器 实例扩展。对于每个保留下来的手部，可学习的关节嵌入$E_J$会将实例查询扩展为两组语义索引化的$J = 21$标记。尺度标记共享相同的实例上下文，但拥有独立的流： $$ \mathbf{Q}_{0}^{2D}=\mathbf{Q}_{0}^{3D}=\tilde{\mathbf{Q}}+\mathbf{E}_{J},\qquad\mathbf{q}_{0}^{s}=\tilde{\mathbf{Q}}. $$ 其中，2D标记代表图像中的关节位置，3D标记代表对应的单位尺度根节点相对关节位置，单个尺度标记则代表手部级别的度量标尺。初始的空间参考信息继承自对应的检测器实例，随后由各流分别进行优化。 尺度与关节的相互交互。设$\mathbf{Q}_l^J = [\mathbf{Q}_l^{2D}; \mathbf{Q}_l^{3D}]$用于收集这两组关节流。在交互层l处，尺度流和关节流会被拼接起来，且不施加方向性注意力掩码： $$ \mathbf{X}_{l-1}=[\mathbf{q}_{l-1}^{s};\mathbf{Q}_{l-1}^{J}],\qquad[\bar{\mathbf{q}}_{l}^{s};\bar{\mathbf{Q}}_{l}^{J}]=\mathrm{S A}_{l}(\mathbf{X}_{l-1}). $$ 因此，尺度标记的输出会聚合来自命名后的2D和3D关节的键和值，而每个关节的输出则包含来自尺度标记的加权贡献。前者使得尺度估计能够利用关节布局和归一化的骨骼结构；后者则让受尺度监督的上下文信息可用于姿态特征提取。由于这些结果状态会被传入下一层，反复的交互能够实现相互优化，而非仅在预测头处进行一次拼接。 图像交互与空间优化。自注意力机制之后是针对各流的 deformable 交叉注意力机制： $$ \begin{align*}\mathbf{Q}_{l}^{d}&=Def\mathrm{Attn}_{l}^{d}(\bar{\mathbf{Q}}_{l}^{d},\mathbf{F}_{GD},\mathbf{R}_{l-1}^{d}),\\\mathbf{R}_{l}^{d}&=\mathbf{R}_{l-1}^{d}+\mathrm{FFN}_{R}^{d}(\mathbf{Q}_{l}^{d}),\qquad d\in\{s,2D,3D\}.\end{align*} $$ 其中$\mathbf{Q}_l^s \equiv \mathbf{q}_l^s$。如此一来，尺度标记便能将骨骼证据、多尺度的手部外观以及图像占用信息结合起来，而2D/3D标记则会在其不断演化的参考点附近采样局部证据。最后一层有三个独立的解码头，用于输出 $$ \begin{aligned}\mathbf{J}^{2D}=\mathrm{FFN}_{2D}(\mathbf{Q}_{L}^{2D}),\quad&\mathbf{J}^{3D}=\mathrm{FFN}_{3D}(\mathbf{Q}_{L}^{3D}),\\s=\mathrm{FFN}_{s}(\mathbf{q}_{L}^{s}).\end{aligned} $$ 它们由像素关节 $\mathbf{J}^{2D*}$、单位尺度关节 $\mathbf{J}^{3D*}$ 以及源自同一度量标注 $s^*$ 的IMR尺度 $\mathbf{J}^{M*}$ 进行监督。下面的解析传递过程会利用这三个输出结果以及已知的内参；该过程不使用可学习的翻译头或迭代配准机制。 ## B 解析度量传递的推导 一旦预测出全局尺度s，就可以根据透视约束恢复归一化的根部平移量。设关节j的预测像素坐标为 $(u_j, v_j)$，单位尺度下的根部相对坐标为 $(x_j, y_j, z_j)$。我们首先推导x轴的关系： $$ \frac{u_{j}-c_{x}}{f_{x}}=\frac{x_{j}+t_{x}^{norm}}{z_{j}+t_{z}^{norm}}. $$ 将等式两边同乘分母可得 $$ (u_{j}-c_{x})(z_{j}+t_{z}^{n o r m})=f_{x}(x_{j}+t_{x}^{n o r m}). $$ 令p为 $+1$ $\infty$相对于根部的坐标 $c\circ$ d s $$ (u_{p}-c_{x})t_{z}^{n o r m}=f_{x}t_{x}^{n o r m}. $$ 将方程24代回展开后的投影式中可得 $$ (u_{j}-c_{x})(z_{j}+t_{z}^{norm})=f_{x}\left(x_{j}+\frac{u_{p}-c_{x}}{f_{x}}t_{z}^{norm}\right) $$ 将所有包含 $t_{z}^{norm}$ 的项整理到左边可得 $$ (u_{j}-u_{p})t_{z}^{n o r m}-f_{x}x_{j}=-(u_{j}-c_{x})z_{j}. $$ 沿y轴采用相同的步骤可得 $$ (v_{j}-v_{p})t_{z}^{n o r m}-f_{y}y_{j}=-(v_{j}-c_{y})z_{j}. $$ --- 将每个非根部关节对应的两个方程联立，便形成超定线性系统 $$ \underbrace{\left[\begin{matrix}{\vdots}\\ {u_{j}-u_{p}}\\ {v_{j}-v_{p}}\\ {\vdots}\\ \end{matrix}\right]}_{\mathbf{A}}t_{z}^{{n o r m}}=\underbrace{\left[\begin{matrix}{\vdots}\\ {f_{x}x_{j}-(u_{j}-c_{x})z_{j}}\\ {f_{y}y_{j}-(v_{j}-c_{y})z_{j}}\\ {\vdots}\\ \end{matrix}\right]}_{\mathbf{b}}. $$ 我们通过最小二乘法求解 $t_z^{norm} = A^\dagger b$，再根据根部投影结果恢复另外两个分量： $$ t_{x}^{n o r m}=\frac{u_{p}-c_{x}}{f_{x}}t_{z}^{n o r m},\qquad t_{y}^{n o r m}=\frac{v_{p}-c_{y}}{f_{y}}t_{z}^{n o r m}. $$ $$ \mathbf{Q}^{c a m}=s(\mathbf{J}^{r e l}+\mathbf{t}^{n o r m}),\qquad\mathbf{t}^{M}=s\mathbf{t}^{n o r m}. $$ 由于投影过程中公共尺度会被抵消，该系统能估计出归一化的平移量。预测出的尺度会将根部相对姿态及其平移量转换为度量相机坐标： ## C 数据集、训练及可复现性细节 数据集。我们在以下三个主要基准测试集上评估本方法的性能，这些测试集提供了标准化的3D手部姿态估计流程： FreiHand（Zimmermann等人，2019年）：这是广泛认可的3D手部姿态及MANO（Romero、Tzionas和Black，2017a）拟合基准测试集，包含130,240张训练图像和3,960张测试图像。我们遵循（Chen等人，2021a；Huang等人，2023年）中的评估协议，利用提供的3D关节标注进行监督和定量评估。 DexYCB（Chao等人，2021年）：这是一个大规模的3D手部姿态估计与手物交互基准测试集。它包含429,616个训练样本和78,768个测试样本，涵盖了人类手部与20种YCB物体交互的同步RGB-D序列。该数据集为手部关节和物体姿态提供了精确的3D标注，是评估模型在存在严重遮挡的复杂现实抓取场景中的表现的理想平台。 HO3Dv3（Hampali等人，2020年）：作为HO3D数据集的改进版本，它具有更高的标注精度和更大的规模，包含83,325张训练图像和20,137张测试图像。该数据集记录了现实世界中的3D手物交互情况，由于被操纵物体造成的严重遮挡，对算法提出了巨大挑战。 优化过程。冻结的Grounding DINO 1.5检测器会在将图像长边缩放至1280像素后处理整幅图像。手部解码器使用Adam优化器训练45个周期，总批量大小为16，初始学习率为 $10^{-4}$，训练过程使用八块NVIDIA A100-80GB GPU。记录下来的配置采用随机种子21，从第7周期到第45周期采用余弦退火调度策略，最小学习率为 $5 \times 10^{-6}$。该解码器包含六个交互式损失层，每只手有21个关节，共有四个图像特征层级。前两层仅处理2D信息；从第2层开始引入尺度、投影和3D监督机制。
MethodFreiHandDexYCBHO3Dv3
Ours1.940.561.02
Table 8: Per-instance scale prediction error across datasets $(L_{1}$ distance, $10^{-3}$ meters $.
训练目标。让 $\ell \in \{0, \ldots, 5\}$ 对六个解码器输出进行索引。完整启用的目标及其配置的权重如下： $$ \begin{aligned}\mathcal{L}=\sum_{\ell=0}^{5}\left(10\mathcal{L}_{1,\ell}^{2D}+4\mathcal{L}_{\mathrm{OKS},\ell}^{2D}\right)\\+\sum_{\ell=2}^{5}\left(20\mathcal{L}_{\mathrm{MSE},\ell}^{s}+10\mathcal{L}_{1,\ell}^{\mathrm{proj}}+4\mathcal{L}_{\mathrm{OKS},\ell}^{\mathrm{proj}}\right)\\+10\mathcal{L}_{1,\ell}^{3D}+5\mathcal{L}_{\ell}^{\mathrm{edge}}\right)\end{aligned} $$ 因此，共享的 $L_{1}$、OKS、相对边缘以及 scale-MSE 权重分别为 10.0、4.0、5.0 和 20.0。投影项会复用相同的 $L_{1}$/OKS 权重。 ## D 度量尺度预测的准确性 为了将学习到的实例级度量指标与姿态和位移分开评估，我们报告了其在三个数据集上相对于标注生成的目标的平均 $L_{1}$ 误差。表 8 显示误差低于 $2 \times 10^{-3}$ 米。这一结果反映了对监督尺度目标的分布内预测能力。 ## E 相机空间评估协议 相机空间对比依赖于测试时提供的信息。ScaleHP 使用 RGB 图像和已知的相机内参，但无需真实的手部尺度信息。主论文中 42.4 毫米的 NVF 结果是基于 FreiHand 的参考骨骼尺度得出的；若不使用该尺度，NVF 的结果则为 47.2 毫米。对于 CMR 和 HandDGP，“+GS”表示针对测试集优化的数据集级缩放，应用于根节点相关的几何结构和位移。这种理想校准仅用于跨数据集对照实验。 主论文中的检查点映射。主论文表 2 评估了在 FreiHand 上训练的 FrieiHand 检查点。主论文表 3 直接将同一检查点应用于 DexYCB 和 HO3Dv3，无需针对目标数据集进行微调。主论文表 4 中，每个数据集列使用的是在该数据集上训练的检查点。主论文表 5 和 6 包含了基于 FreiHand 训练的消融实验结果，而主论文表 7 的各列则使用了对应数据集专用的检查点。补充材料中的根部定位、白色背景以及 FreiHand 定性结果均使用了 FreiHand 检查点；尺度-标记交互作用的消融实验则使用了分别在三个数据集上训练的对应检查点。所有报告数值均为单检查点估计值，且均基于每种设置下的同一预测结果计算得出。 ## F 全局根部定位误差 为了验证联合优化是否能有效减少误差源 (b)，我们将预测的手腕-根部位置与 ---
MethodRoot L2 $\downarrow$$|\Delta X| \downarrow$$|\Delta Y| \downarrow$$|\Delta Z| \downarrow$
CMR50.145.344.9648.59
HandDGP46.195.334.3444.65
ScaleHP35.744.343.7334.36
Table 9: FreiHand root-localization errors (mm). The best CMR-PG result in the paper is 48.8 mm CS-MPJPE, but its ResNet50 weights were not released; the CMR row therefore uses the public CMR-SG checkpoint.
FreiHand 相机坐标系下的真实值进行对比。表 9 报告了平均欧几里得根部距离以及三个相机轴上的平均绝对误差。对于 CMR，所报告的 48.8 毫米结果属于采用未公开的 ResNet50 骨干网络的 CMR-PG；因此我们的可复现评估使用了公开的 CMR-SG ResNet18 检查点、其原生的 $224 \times 224$ 输入、0.2 的尺度参数，以及作者提供的 UV/置信度/轮廓配准方法。HandDGP 则使用其公开的 FreiHand 检查点、修正后的 $224 \times 224$ 输入、1000 的标准焦距、112 的主点坐标以及 0.2 的原生手部尺度；在此设置下，复现出的结果为 46.35 毫米，与论文中报道的 46.3 毫米基本一致。 如表 9 所示，与 HandDGP 相比，ScaleHP 将平均根部误差降低了 10.45 毫米；与复现的 CMR 模型相比，则降低了 14.40 毫米。相应的深度误差分别减少了 10.29 毫米和 14.23 毫米，而横向轴的误差变化小于 1.4 毫米。由此可见，性能提升主要体现在相机深度定位方面，证明联合尺度-姿态优化确实直接抑制了误差源 (b) 中的主要成分。 ## G 尺度-标记-关节交互作用 表10展示了在保持检测器、数据、目标和优化调度不变的情况下，度量尺度表示如何与关节查询进行交互。采用全局尺度控制时，无需进行逐实例尺度预测，而是使用针对测试集优化的数据集级标量。在独立分支变体中，经过筛选的实例查询直接通过带有尺度监督的MLP映射到s，无需尺度-关节注意力机制。两种单向变体采用了自注意力掩码：要么尺度标记可以关注关节查询但关节无法反向关注，要么关节可以关注尺度但尺度无法反向关注。所提出的模型则允许两个方向的交互。
SettingFreiHand $\downarrow$DexYCB $\downarrow$HO3Dv3 $\downarrow$
Oracle global scale44.340.242.0
Independent branch42.937.840.5
Scale sees joints only40.435.338.0
Joints see scale only40.235.437.6
Bidirectional interaction35.830.033.4
表10：通过CS-MPJPE（毫米）衡量的尺度标记交互消融实验结果。数值越低越好。每个数据集均使用其对应的数据集内检查点。 两种单向交互方式均优于独立的尺度分支，但都达不到相互注意力的效果。如表10所示，与每种数据集中表现较好的单向结果相比，双向交换可使CS-MPJPE降低4.4至5.4毫米。这种一致的提升表明两个方向解决了互补性问题：关节几何信息有助于改善尺度估计，而尺度上下文则能优化关节表示。因此，实现最佳相机空间精度的关键在于相互交互，而非仅仅增加一个尺度分支。 ## H Aligned-Pose对比 表11评估了剔除全局因素后的关节几何精度。ScaleHP在FreiHand Procrustes对齐误差方面与最优结果持平，且在DexYCB和HO3Dv3上的误差均为所列数值中最低。这些结果表明，相机空间的精度提升并非以牺牲根部相对手部几何结构为代价。 ---
MethodFreiHandDexYCBHO3Dv3
CS-MPJPE $\downarrow$PA-MPJPE $\downarrow$R-MPJPE $\downarrow$PA-MPJPE $\downarrow$PA-MPJPE $\downarrow$
ObMan (Hasson et al. 2019)85.213.3---
MANO CNN (Zimmermann et al. 2019)71.311.0---
CMR-PG (Chen et al. 2021a)48.86.9---
I2L-MeshNet (Moon and Lee 2020)60.37.4---
HandDGP (Valassakis and Garcia-Hernando 2024)46.37.4---
MobRecon (Chen et al. 2022)50.25.714.26.4-
METRO (Lin, Wang, and Liu 2021a)-6.715.27.0-
HandOccNet (Park et al. 2022)--14.05.8-
H2ONet (Xu et al. 2023)--14.05.7-
Deformer (Yoshiyasu 2023)--13.65.2-
Zhou et al. (Zhou et al. 2024)--12.45.5-
TI-Net (Ren et al. 2025)--16.84.9-
MaskHand (Saleem et al. 2025)-5.511.75.07.0
$S^{2}HAND$ (Chen et al. 2021b)-11.8--11.5
ArtiBoost (Li et al. 2021)--12.8-10.8
HandGCAT (Wang et al. 2023)----9.1
AMVUR (Jiang et al. 2023)-6.2--8.7
SPMHand (Lu, Gou, and Li 2024)----8.6
Hamba (Dong et al. 2024)-5.7--6.9
HandOS (Chen et al. 2025)-5.0-5.26.8
ScaleHP35.85.010.34.65.9
Table 11: State-of-the-art comparison on FreiHand, DexYCB, and HO3Dv3 (mm).
## I 白色背景干预实验 为了验证尺度预测是否依赖于场景背景，我们将所有FreiHand测试图像的背景替换为白色，同时保留前景中的手部像素及其图像坐标，如图5所示。随后我们在全部3,960对样本上重新运行完整的检测器-解码器流程。 ![Image](images/6b4d70463bfb90cc7049127a4725fc3d3d00bdaede94f55414cdecd31052cbfc.jpg)
Figure 5: White-background intervention examples. Foreground hand pixels and their image coordinates are retained, while all other pixels are set to white; images are shown without cropping.
表12显示，移除所有背景内容后，相机空间误差仅变化1.370毫米（3.8%），而配对样本的中位变化仅为0.113毫米。即便上游检测框和2D关节位置也发生变化，这一微小变动依然存在。结合保留的尺度相关性可知，尺度标记主要由前景中的手部外观和关节几何结构驱动，而非背景场景线索。
StatisticValue
Original CS-MPJPE35.854 mm
White-background CS-MPJPE37.225 mm
Mean paired change+1.370 mm
Median paired change+0.113 mm
Scale Pearson / Spearman0.622 / 0.595
Mean detection-box IoU0.840
Mean 2D-keypoint displacement4.343 px
Table 12: Full-pipeline white-background intervention on FreiHand.
## J 额外的FreiHand定性结果 图6和图7展示了全部16组额外的FreiHand实验结果。每行分别显示了输入图像、度量相机空间重建结果以及正面、侧面和顶视图。 --- ![Image](images/ef41d6538087a3d59319300d115cfd8aa7bb3c36e35290af89707d50f63c36c0.jpg)
Figure 6: Additional FreiHand results (1/2). Yellow: GT; blue: ScaleHP; green: HandDGP; red: CMR. Best viewed zoomed in.
--- ![Image](images/e760297db9009815632920abdca92eaf4f33c39f9f0fd4688de0ebdcb0498975.jpg)
Figure 7: Additional FreiHand results (2/2). Yellow: GT; blue: ScaleHP; green: HandDGP; red: CMR. Best viewed zoomed in.
--- ## K 更多ScaleHP定性结果 图8和图9展示了ScaleHP在八张开放域图像上的输出结果。这些示例涵盖了遮挡、运动模糊、光照变化以及交互模式等情形。
Ex.1
Ex.2
Ex.3
Ex.4
![Image](images/f110584826109302b07552b98b96401ff5e2f048874ea883c2c977fac9ca01b9.jpg)
Figure 8: ScaleHP results on four in-the-wild examples (1/2). Best viewed zoomed in.
---
Ex.5
Ex.6
Ex.7
![Image](images/4c56d638c623b22d32089c7048b2a0099c6288a3c3cd987850e2192e9d5aab4e.jpg)
Figure 9: ScaleHP results on four in-the-wild examples (2/2). Best viewed zoomed in.
--- ## L 局限性与未来工作 局限性。由于训练数据集主要包含成人手部数据，对于婴儿、幼儿以及训练期间手部尺寸分布未被充分覆盖的人群，度量空间精度可能会有所下降。此外，ScaleHP假设相机内参已知，因此焦距或主点误差可能会传导至恢复的平移参数中。 未来工作。我们计划纳入涵盖更广泛年龄和人口统计特征的训练数据，评估其对相机校准扰动的鲁棒性，并引入时间约束来扩展逐帧方法，以实现稳定的视频跟踪。 ## 参考文献 Baek, S.; Kim, K. I.; 和 Kim, T. 2019. 通过神经渲染技术提升基于RGB的密集3D手部姿态估计性能。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第1067–1076页。IEEE出版社。 Bhat, S. F.; Alhashim, I.; 和 Wonka, P. 2021. Adabins：利用自适应区间进行深度估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第4009–4018页。 Boukhayma, A.; Bem, R. d.; 和 Torr, P. H. 2019. 从野外图像中恢复3D手部形状和姿态。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10843–10852页。 Chao, Y.-W.; Yang, W.; Xiang, Y.; Molchanov, P.; Handa, A.; Tremblay, J.; Narang, Y. S.; Van Wyk, K.; Iqbal, U.; Birchfield, S. 等. 2021. Dexycb：一个用于捕捉物体抓取动作的基准测试。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9044–9053页。 Chen, X.; Liu, Y.; Dong, Y.; Zhang, X.; Ma, C.; Xiong, Y.; Zhang, Y.; 和 Guo, X. 2022. MobRecon：基于单目图像的移动端友好型手部网格重建。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第20512–20522页。IEEE出版社。 Chen, X.; Liu, Y.; Ma, C.; Chang, J.; Wang, H.; Chen, T.; Guo, X.; Wan, P.; 和 Zheng, W. 2021a. 通过语义聚合与自适应2D-1D配准实现相机坐标系下的手部网格恢复。载于IEEE/CVF计算机视觉与模式识别会议论文集，第13274–13283页。 Chen, X.; Song, Z.; Jiang, X.; Hu, Y.; Yu, J.; 和 Zhang, L. 2025. HandOS：单阶段3D手部重建。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第17304–17314页。IEEE出版社。 Chen, Y.; Tu, Z.; Kang, D.; Bao, L.; Zhang, Y.; Zhe, X.; Chen, R.; 和 Yuan, J. 2021b. 基于模型的三维手部重建：自监督学习方法。载于2021年IEEE/CVF计算机视觉与模式识别会议（CVPR），第10446–10455页。 Dong, H.; Chharia, A.; Gou, W.; Carrasco, F. V.; 和 la Torre, F. D. 2024. Hamba：基于图引导双扫描Mamba的单视图3D手部重建。载于神经信息处理系统大会（NeurIPS）论文集。 Ge, L.; Ren, Z.; Li, Y.; Xue, Z.; Wang, Y.; Cai, J.; 和 Yuan, J. 2019. 从单张RGB图像中估计3D手部形状和姿态。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10833–10842页。 Guizilini, V.; Vasiljevic, I.; Chen, D.; Ambrus, R.; 和 Gaidon, A. 2023. 迈向零样本尺度感知的单目深度估计。载于IEEE/CVF国际计算机视觉会议论文集，第9233–9243页。 Hampali, S.; Rad, M.; Oberweger, M.; 和 Lepetit, V. 2020. HOnnotate：一种用于标注手部与物体姿态的3D方法。载于IEEE/CVF计算机视觉与模式识别会议（CVPR），第3193–3203页。IEEE出版社。 Hasson, Y.; Tekin, B.; Bogo, F.; Laptev, I.; Pollefeys, M.; 和 Schmid, C. 2020. 利用随时间变化的光度一致性来实现稀疏监督下的手-物重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第571–580页。 Hasson, Y.; Varol, G.; Tzionas, D.; Kalevatykh, I.; Black, M. J.; Laptev, I.; 和 Schmid, C. 2019. 学习手部与操作物体的联合重建。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第11807–11816页。 Huang, L.; Lin, C.-C.; Lin, K.; Liang, L.; Wang, L.; Yuan, J.; 和 Liu, Z. 2023. 用于相机空间3D手部姿态估计的神经投票场。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第8969–8978页。 Iqbal, U.; Molchanov, P.; Gall, T. B. J.; 和 Kautz, J. 2018. 通过隐式2.5D热图回归进行手部姿态估计。收录于欧洲计算机视觉会议论文集，第118–134页。 Jiang, Z.; Rahmani, H.; Black, S.; 和 Williams, B. M. 2023. 一种基于概率注意力模型且具备遮挡感知纹理回归功能的单RGB图像3D手部重建方法。发表于2023年IEEE/CVF计算机视觉与模式识别会议（CVPR），第758–768页。 Karim, M.; Khalid, S.; Lee, S.; Almutairi, S. S.; Namoun, A.; 和 Abohashrh, M. 2025. 下一代人体动作识别：最新信号处理技术的全面综述。IEEE Access，第13卷：135609–135633页。 Kulon, D.; Guler, R. A.; Kokkinos, I.; Bronstein, M. M.; 和 Zafeiriou, S. 2020. 野外场景下的弱监督网格卷积手部重建。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第4990–5000页。 Li, K.; Yang, L.; Zhan, X.; Lv, J.; Xu, W.; Li, J.; 和 Lu, C. 2021. ArtiBoost：通过在线探索与合成提升关节型3D手物姿态估计精度。发表于2022年IEEE/CVF计算机视觉与模式识别会议（CVPR），第2740–2750页。 Li, Z.; Wang, X.; Liu, X.; 和 Jiang, J. 2024. Binsformer：重新审视单目深度估计中的自适应区间划分方法。IEEE图像处理汇刊，第33卷：3964–3976页。 Lin, K.; Wang, L.; 和 Liu, Z. 2021a. 基于Transformer的端到端人体姿态与网格重建。收录于会议论文集 --- IEEE/CVF计算机视觉与模式识别会议论文集，第1954–1963页。 Lin, K.; Wang, L.; 和 Liu, Z. 2021b. Mesh Graphormer。收录于IEEE/CVF国际计算机视觉会议论文集，第12939–12948页。 Liu, S.; Zeng, Z.; Ren, T.; Li, F.; Zhang, H.; Yang, J.; Jiang, Q.; Li, C.; Yang, J.; Su, H.; Zhu, J.; 和 Zhang, L. 2024. Grounding DINO：将DINO与Grounded Pre-training结合以实现开放集物体检测。收录于ECCV 2024计算机视觉会议论文集，第38–55页。Springer出版。 Lu, H.; Gou, S.; 和 Li, R. 2024. SPMHand：基于分割引导的渐进式多路径3D手部姿态与形状估计方法。IEEE多媒体汇刊，第26卷：6822–6833页。 Manning, J. T. 2002. 手指比例：生育能力、行为与健康的指标。新泽西州新布朗斯维克：罗格斯大学出版社。ISBN 978-0-8135-3030-7。 Millerdurai, C.; Wang, S.; Xie, Y.; Golyanik, V.; Stricker, D.; 和 Pagani, A. 2026. EgoForce：基于前臂引导的单目 Egocentric 相机相机空间3D手部姿态估计方法。发表于ACM SIGGRAPH 2026会议论文集。 Moon, G.; 和 Lee, K. M. 2020. I2L-MeshNet：从单张RGB图像精确估计3D人体姿态与网格的图像到像素预测网络。收录于欧洲计算机视觉会议论文集，第752–768页。Springer出版。 Moon, G.; Yu, S.-I.; Wen, H.; Shiratori, T.; 和 Lee, K. M. 2020. Interhand2.6m：用于从单张RGB图像估计三维交互手部姿态的数据集与基准模型。载于欧洲计算机视觉会议论文集，第548–564页。Springer出版社。 Nostadt, N.; Abbink, D. A.; Christ, O.; 和 Beckerle, P. 2020. 身体化、临在感及其交集：远程操控及其他应用。ACM人机交互交易刊，第9卷第4期：28:1–28:19。 Park, J.; Oh, Y.; Moon, G.; Choi, H.; 和 Lee, K. M. 2022. Handoccnet：一种抗遮挡的三维手部网格估计网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1496–1505页。 Pavlakos, G.; Shan, D.; Radosavovic, I.; Kanazawa, A.; Fouhey, D.; 和 Malik, J. 2024. 利用Transformer重建三维手部模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9826–9836页。 Potamias, R. A.; Zhang, J.; Deng, J.; 和 Zafeiriou, S. 2025. WiLoR：面向野外场景的端到端三维手部定位与重建技术。载于2025年IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第12242–12254页。IEEE出版社。 Rastogi, P.; Nagesh, K. R.; 和 Yoganarasimha, K. 2008. 根据印度北部和南部人群的手部尺寸估算身高。法医学杂志，第10卷第4期：185–189页。 Ren, K.; Hu, L.; Zhang, Z.; Ye, Y.; 和 Xia, S. 2025. 学习变换同构潜空间以实现精确的手部姿态估计。CoRR，abs/2502.12535。 Romero, J.; Tzionas, D.; 和 Black, M. J. 2017a. 具身化手部模型。ACM图形学交易刊（TOG），第36卷：1–17页。 Romero, J.; Tzionas, D.; 和 Black, M. J. 2017b. 具身化手部模型：手部与身体的联合建模与捕捉。ACM图形学交易刊（TOG），第36卷第6期：1–17页。 Saleem, M. U.; Pinyoanuntapong, E.; Patel, M. J.; Xue, H.; Helmy, A.; Das, S.; 和 Wang, P. 2025. MaskHand：用于野外场景下鲁棒手部网格重建的生成式掩码建模方法。载于IEEE/CVF国际计算机视觉会议论文集，第8372–8383页。 Shi, D.; Wei, X.; Li, L.; Ren, Y.; 和 Tan, W. 2022. 基于Transformer的端到端多人姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第11069–11078页。 Song, C.; Zhang, H.; Yuan, H.; Lin, H.; Tao, J.; Zhang, H.; 和 Yu, T. 2025. MetricHMSR：从单目图像恢复度量级人体网格与场景。CoRR，abs/2506.09919。 Spurr, A.; Iqbal, U.; Molchanov, P.; Hilliges, O.; 和 Kautz, J. 2020. 基于生物力学约束的弱监督三维手部姿态估计。载于欧洲计算机视觉会议论文集。Springer出版社。 Sun, Q.; Wang, Y.; Zeng, A.; Yin, W.; Wei, C.; Wang, W.; Mei, H.; Leung, C.-S.; Liu, Z.; Yang, L.; 等. 2024. Aios：一体化阶段式富有表现力的人体姿态与形状估计模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1834–1843页。 Toet, A.; Kuling, I. A.; Krom, B. N.; 和 van Erp, J. B. F. 2020. 通过身体化技术提升远程操控效果。前沿机器人学与人工智能刊，第7卷：14页。 Valassakis, E.; 和 Garcia-Hernando, G. 2024. Hand-dgp：基于可微全局定位的相机空间手部网格预测方法。载于欧洲计算机视觉会议论文集，第479–496页。Springer出版社。 Varu, P. R.; Manvar, P. J.; Mangal, H. M.; Kyada, H. C.; Vadgama, D. K.; 和 Bhuva, S. D. 2015. 根据手部尺寸确定身高。医学研究杂志，第1卷第3期：104–107页。 王R.、徐S.、董Y.、邓Y.、向J.、吕Z.、孙G.、童X.和杨J. 2025。MoGe-2：具有度量尺度和精细细节的精确单目几何重建。CoRR，abs/2507.02546。 王S.、王S.、杨D.、李M.、钱Z.、苏L.和张L. 2023。HandGCAT：基于单目图像的遮挡鲁棒型3D手部网格重建。2023年IEEE国际多媒体与博览会（ICME），第2495–2500页。 徐H.、王T.、唐X.和傅C.-W. 2023。H2ONet：面向实时3D手部网格重建的手部遮挡与朝向感知网络。2023年IEEE/CVF计算机视觉与模式识别会议（CVPR），第17048–17058页。 杨J.、曾A.、刘S.、李F.、张R.和张L. 2023。显式框检测统一了端到端多人姿态估计。CoRR，abs/2302.01593。 尹W.、张C.、陈H.、蔡Z.、余G.、王K.、陈X.和沈C. 2023。Metric3d：实现从单张图像进行零样本度量3D预测。收录于 --- IEEE/CVF国际计算机视觉会议论文集，第9043–9053页。 吉安康Y. 2023。用于3D人体网格恢复的可变形网格变换器。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第17006–17015页。 周Z.、周S.、吕Z.、邹M.、唐Y.和梁J. 2024。一种高效手部网格重建的简单基准方法。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第1367–1376页。 朱R.、王C.、宋Z.、刘L.、何J.、邓J.、张T.和张Y. 2026。ScaleDepth：将度量深度估计分解为语义感知的尺度预测与自适应相对深度估计。IEEE电路与系统视频技术汇刊，36(7)：9547–9560。 朱X.、苏W.、卢L.、李B.、王X.和戴J. 2021。Deformable DETR：用于端到端物体检测的可变形变换器。收录于国际学习表征会议（ICLR）。OpenReview.net。 齐默尔曼C.、塞兰D.、杨J.、拉塞尔B.、阿古斯M.和布罗克斯T. 2019。Freihand：一个用于从单张RGB图像无标记捕捉手部姿态与形状的数据集。收录于IEEE/CVF国际计算机视觉会议论文集，第813–822页。