# DeltaDorsal：利用自我中心视角下的手背特征提升手部姿态估计精度 William Huang 电气与计算机工程专业 加州大学洛杉矶分校 美国加利福尼亚州洛杉矶市 Eric J Gonzalez 谷歌公司 美国华盛顿州西雅图市 Siyou Pei 电气与计算机工程专业 加州大学洛杉矶分校 美国加利福尼亚州洛杉矶市 ςγεῖ@ucla.edu Ishan Chatterjee 谷歌增强现实团队 谷歌公司 美国华盛顿州西雅图市 Leyi Zou 电气与计算机工程专业 加州大学洛杉矶分校 美国加利福尼亚州洛杉矶市 Yang Zhang 电气与计算机工程专业 加州大学洛杉矶分校 美国加利福尼亚州洛杉矶市 ![Image](images/22c4d322489e322f1176528c440a37b0d311670b93aa059ac7f84fabdb8e6d06.jpg)
Figure 1: Egocentric hand pose estimation is a challenging problem due to frequent occlusion of the fingers (a). Leveraging recent advances in dense visual featurization, DeltaDorsal enables 3D hand pose estimation using purely visual signals from the dorsum of the hand (b). By comparing visual features from a neutral and current hand pose, DeltaDorsal isolates skin deformation and uses these signals to predict hand posture, outperforming “State of the Art” (HaMeR [^49]) models that rely on geometric representations of the full hand (c).
## 摘要 随着XR设备的普及，自我中心视角下的手部姿态估计已成为一项至关重要的任务，但这种视角下手指遮挡现象十分常见，给估计工作带来极大挑战。为解决这一问题，我们提出了一种新方法，充分利用手背皮肤形变中蕴含的丰富信息——这一突破得益于近期密集视觉特征提取器的发展。我们设计了双流差分编码器，通过对比动态手部与基准放松状态下的特征来学习姿态信息。评估结果显示，仅使用裁剪后的手背图像，在手指遮挡率$\geq$达50%的自遮挡场景下，我们的方法将平均关节角度误差（MPJAE）较依赖全手几何结构与大型模型骨干的现有技术降低了18%。 ![Image](images/7a17dc0a2321c36230612f3b6e4bcde084f51afcff4f960f14505321319669d6.jpg) 本作品采用知识共享署名4.0国际许可协议进行授权。 CHI '26，西班牙巴塞罗那 © 2026 版权归作者/所有者所有。 ACM ISBN 979-8-4007-2278-3/26/04 因此，我们的方法不仅提升了遮挡场景下食指捏合、点击估计等下游任务的可靠性，还开创了全新的交互范式：无需可见动作即可通过检测等距力来实现表面的“点击”操作，同时还能有效控制模型规模。我们的代码库地址为。 ## CCS概念 • 计算方法 → 跟踪；• 以人为中心的计算 → 交互技术；混合/增强现实。 ## 关键词 传感技术；计算机视觉、手部姿态估计、手势识别、身上交互、AR/VR ## ACM参考格式 William Huang、Siyou Pei、Leyi Zou、Eric J Gonzalez、Ishan Chatterjee和Yang Zhang。2026年。DeltaDorsal：利用自我中心视角下的手背特征提升手部姿态估计精度。载于2026年CHI会议论文集。 --- 人机交互系统会议（CHI '26），2026年4月13日至17日，西班牙巴塞罗那。美国纽约州纽约市计算机协会出版，共16页。 ## 1 引言 手部追踪是现代人机交互的基石[^11] [^63] [^69]，它能够在扩展现实（XR）、可穿戴设备[^67]及其他交互系统中实现直观的基于手势的控制[^41] [^50]。随着这些技术的不断发展，对精准且稳健的手部姿态估计的需求也日益增加，尤其是从以人眼为中心的视角来看。然而，以人眼为中心的手部姿态估计仍面临一个关键挑战：自遮挡问题。在这种视角下，手掌常常会部分或完全遮挡住正在被追踪的手指。我们对主流的以人眼为中心的手部数据集[^17] [^26] [^32] [^46]的分析显示，在将近五分之一的场景中，手指会被完全遮挡，而部分遮挡的情况则更为常见。 然而，大多数现有方法仅依赖整体手部轮廓或粗略的手部几何表示，其中姿态信息仅保留在边缘等特征中，而经过平滑处理的像素块以及详细的皮肤形变往往被视为噪声而被丢弃[^22] [^42] [^43] [^72]。我们的研究发现，以自我为中心的数据中的遮挡现象对这些最先进的模型构成了重大挑战，不仅影响HaMeR这类通用模型[^49]，甚至也影响那些专为解决手物遮挡问题而设计的模型，如HandOccNet[^47]。这一局限性阻碍了自由手势交互发挥潜力，使其无法在需要应对复杂动态现实环境的空间计算场景中取代传统输入方式。 为解决这些不足，我们研究了一种丰富且尚未被充分利用的信息源——即使在遮挡期间仍可见的背部皮肤形变。人类的皮肤会随着肌腱和肌肉的活动不断变形，手部尤为明显[^9] [^13] [^55] [^68]。例如，握拳时指关节周围的皮肤会绷紧，伸指时肌腱则会凸起。这些细微的形变蕴含着关于手部姿态和作用力的宝贵线索。与轮廓信息不同，即使手指本身被遮挡，这些线索依然可被观测到。尽管具有这种潜力，背部信号却很少被利用。少数利用背部形变的研究需要将摄像头固定在手腕上，以便与手背建立固定的坐标关系，这不仅限制了手腕的活动范围，还为以自我为中心的XR系统增加了额外的传感器安装点[^66] [^67]。 在这项工作中，我们推出了DeltaDorsal——首个利用背部皮肤特征进行以自我为中心的手部姿态估计的端到端系统。借助密集视觉特征提取器的最新进展[^57]，我们的方法能够捕捉并放大相对于中性手部姿态的细微背部皮肤形变。通过分析能够同时获取视觉和语义信息的视觉骨干网络所输出的特征差异，我们分离出这些形变信号、过滤噪声，无需通过腕部安装的摄像头进行显式的手部定位，也无需依赖时间绑定的运动图像，就能提取出微小的背部线索。我们的系统性能与最先进的模型相当甚至更优，且模型尺寸更小，训练过程也更稳定。 我们收集了一个新数据集，包含来自12名参与者的17种手势、超过17万帧的高分辨率手背图像。我们提出的系统无需看到手指即可将平均关节角度误差（MP-JAE）降低至最先进模型的水平，能够减轻自遮挡带来的负面影响，且不受肤色因素的显著影响。为了展示该方法的实际应用价值，我们评估了它在捏合和点击检测等下游任务中的表现。最后，为了体现我们对皮肤形变分析技术的潜力，我们展示了一项传统以眼为中心的方法无法实现的交互：无需明显手部运动即可检测的等距“压力点击”操作，类似于在触控板上按压，或从已接触状态开始挤压手指。 我们做出了以下几项贡献： (1) 分析了常见以眼为中心的手部数据集中自遮挡情况的普遍程度及其影响，从而论证了使用手背特征的必要性。 (2) DeltaDorsal：一个开源的端到端流程，可将手背皮肤图像直接转换为手部姿态预测结果及点击检测结果，且无需依赖时间信息。 (3) 基于12名参与者对DeltaDorsal的性能与最先进基线模型进行了对比评估，同时针对遮挡情况、肤色、图像尺寸以及骨干网络等方面展开了分析。 (4) 展示了DeltaDorsal在几种关键手部交互场景中的应用实例，包括捏合、点击以及等距压力点击检测。 ## 2 相关工作 在计算机视觉和人机交互领域，手部姿态估计已有广泛研究，相关方法要么采用外部摄像头设备，要么利用穿戴式传感器。安装在环境中的外部摄像头（RGB/RGB-D或多视角摄像头）受自遮挡的影响较小，但需要相应的基础设施 [^58] [^69] [^72]。相比之下，可穿戴摄像头（头戴式、胸戴式或腕戴式）虽然提供了移动性，但在以眼为中心的视角下却频繁出现自遮挡现象 [^21] [^52]。为了提高对可穿戴视角中常见的手指自遮挡情况的鲁棒性，我们利用手背皮肤的线索（肌腱/皱纹形变）来推断被遮挡手指的运动。因此，我们回顾了那些明确利用皮肤外观或形变信号的方法 [^66] [^67]。关于外部捕捉系统的更全面综述，请参阅这些文献 [^5] [^12] [^15] [^34]。 ### 2.1 以眼为中心且存在遮挡场景下的3D手部姿态估计 佩戴在头部或胸部的自拍相机提供了一种通用的传感方案，它不仅可用于手部追踪，还能用于全身追踪和环境理解。因此，从这些视角进行的手部追踪能够自然地与更宽泛的自拍处理流程相整合 [^25]。研究人员和工程师通常会使用MediaPipe这类快速预测流程来实现简单的手势识别 [^69]。HaMeR [^49] 和 FrankMoCap [^54] 等最先进的模型虽然主要利用第三人称数据训练，但在自拍场景下仍表现出强劲的性能。不过与第三人称视角相比，自拍视角极易受到严重遮挡、视角偏差、相机畸变以及头部运动产生的运动模糊的影响 [^16]。为应对这些挑战，计算机视觉领域的研究人员构建了专门针对自拍手部姿态估计的大型数据集和基准测试 [^17] [^21] [^26] [^32] [^46]。现有的 --- 现有方法试图通过多视角相机采集 [^28] [^35] 以及引入考虑畸变的模型 [^16] [^51] 来缓解部分此类问题，但遮挡现象依然是一个关键难题 [^33]。 有几种模型专门致力于解决手部追踪中的遮挡问题。HandOccNet利用遮挡区域的信息作为辅助手段来增强图像特征，进而提升手部姿态估计的精度 [^47]。Mueller等人通过将两阶段卷积神经网络与基于深度信息的裁剪及归一化技术相结合，来解决遮挡情况下的自拍手部追踪问题 [^43]。与我们研究更为接近的是，计算机视觉领域近期的研究重点在于针对自拍手部姿态估计中的遮挡问题：研究人员构建了大规模数据集 [^17] [^32] [^46]，还开发了相关模型 [^14] [^17] [^32] [^46] [^62] [^65]，用于应对用户与遮挡性关节物体交互的场景；此外还有用于预测手部进入和离开视野时的姿态的轨迹预测技术 [^29]。 与以往的自拍方法类似，我们的方法也是从自拍相机获取图像，因此也会面临严重的自身遮挡问题。我们直接通过充分利用手背皮肤特征来解决这一问题——这些特征能够编码手指位置信息，而无需直接看到手指。据我们所知，我们的系统是首个采用此种方法的自拍手部姿态估计模型。 ### 2.2 利用皮肤特征的手部姿态估计 手背部位的信息量尤为丰富，因为肌腱、肌肉和骨骼会引发与手指运动紧密相关的可见皮肤特征 [^44]。生物力学证据进一步表明，手背皮肤的力学特性存在区域性差异 [^68]。基于这一发现，Sugiura等人开发了一种可穿戴的光反射传感器阵列，通过测量手背皮肤的形变来对手势进行分类 [^60]。Zhao等人则开发出一种利用摩擦电技术的可穿戴设备，用于感知手背形变并预测手势 [^71]。 基于视觉的方法通过观察皮肤特征，从而无需在手背区域安装传感器。Opisthenar利用佩戴在手腕上的摄像头来捕捉手背特征，以实现手势和点击识别 [^67]。DorsalNet采用相同的摄像平台以及手部模拟器来采集手背的运动图像，进而预测三维手部姿态 [^66]。这些基于摄像头的方法都需要在手腕或手臂上设置硬件，因此与传统的以身体为中心的手部追踪系统相比，它们的实用性较差。 虽然以往的研究表明皮肤特征能够揭示被遮挡的手部姿态，但能在不直接接触手背的情况下感知这些特征的系统却寥寥无几。我们的方法采用以身体为中心的（头戴式）摄像头来进行裸手追踪，从而为用户提供更大的自由度，并能更好地适配现有的XR设备。 ## 3 动机研究：以身体为中心的手部追踪中的自遮挡现象 我们首先分析以往以身体为中心的数据集，以了解自遮挡现象对以身体为中心的手部追踪的影响。我们的目标是确定在缺乏手部轮廓等传统信号时，手背特征作为手部感知替代方案的可行性条件，具体通过评估以身体为中心的视角中自遮挡现象的普遍程度及其重要性来实现。 ![Image](images/385d353cfe58404e27538528c84f7999dc9716d8c9668e70c9563366fd1d1545.jpg)
Figure 2: a) Manually defined OpenPose keypoint alignment on the MANO model [^8]. Minor deviations from the mesh are caused by MANO's internal definition of a joint position. b) Categorization of MANO mesh faces. Each color represents a separate categorization corresponding to one of index, middle, ring, pinky, thumb, dorsum, and palm.
### 3.1 测量自遮挡现象 为了测量图像中手部的自遮挡程度，我们使用MANO [^53]——一种逼真的非刚性人手模型，将每个姿态标注拟合到手部网格上，从而渲染出手部网格。借助MANO，我们可以将任意手部网格 $\Theta$ 表示为手部姿态 $\theta$、手部形状参数 $\beta$ 以及平移量t的函数：$\Theta = \text{MANO}(\theta, \beta) + t$。对于仅提供三维OpenPose关键点的数据集 $\hat{J}$，我们会将相应关键点与生成的MANO关节及网格顶点J进行匹配。图2a展示了我们的关键点对齐可视化结果。随后，我们使用MANO拟合手部网格，其目标函数定义如下： $$ \mathcal{L}_{\mathrm{j o i n t s}}(\theta,\beta,t)=\left\|J-\hat{J}\right\|_{2}^{2}+\left\|\theta\right\|_{2}^{2}+\left\|\beta\right\|_{2}^{2} $$ 尽管这种拟合过程并非最优，因为我们并未针对手部轮廓来优化形状参数，但它仍足以帮助我们理解每一帧中手部的一般自遮挡情况。我们通过以下两步来计算每个手部网格的遮挡百分比。 利用手部网格 $\Theta$，我们根据初始摄像头校准所得的摄像头外部参数 $V_{\mathrm{cam}} = RV_{\mathrm{world}} + t$，将顶点V投影到以身体为中心的摄像头空间中。对于MANO模型的每个面，我们计算其法向量，并筛选出法向量朝向摄像头的面 $(-z)$。接着，我们利用这一筛选后的面列表应用Z缓冲技术 [^10]。三维网格被投影到摄像头的成像平面上，此时每个网格面会变成一个二维三角形。随后我们创建一个深度值数组，即Z缓冲，用于记录某个面到摄像头的最近距离。 --- ![Image](images/19fd01aeb729f47136678b8f208288f6a3091857ea28de064bc6020d3cc79bd3.jpg)
b)
![Image](images/b62eb6f4013b6539974465b25f7c5d5c3044f8dbb598949f755f46aa8f31bd99.jpg)
Figure 3: a) Number of fingers with over 90% of surface faces visible across different datasets. b) Distribution of dorsal visibility when at least one finger is over 90% occluded across different datasets. The internal box represents the 25th to 75th percentile while the white line represents the median.
那个像素点。对于每个像素，我们通过重心坐标采样来计算其所属的三角形，并追踪该点的插值深度。如果插值深度小于或等于Z缓冲区中存储的深度值，则该面被标记为可见；否则它会被视为被遮挡而忽略不计。接着，我们计算每个可见面的表面积，以此作为网格可见性的度量指标。这一度量仅考虑了手部其他面以及相机视角下的可见性情况。因此，它只能反映每帧中的自遮挡程度，并未计入操作其他物体或身体部位所产生的遮挡效应，而这种效应对手指和手掌的影响尤为显著。 ### 3.2 以自我为中心的数据中遮挡现象的分布情况 利用我们的遮挡度量方法，我们对来自四个以自我为中心的手部姿态数据集——ARCTIC [^17]、H2O [^32]、EgoExo-4D [^26]以及AssemblyHands [^46]——中右手完全可见的任意帧内的手指自遮挡情况进行计算。关于这些数据集的更多信息可参见表1。被遮挡的面会根据七个不同类别进行分组和归类：食指、中指、无名指、小指、拇指、手掌和手背，以此来衡量手部不同部位的遮挡程度。我们的分类可视化结果如图2b所示。需要说明的是，对于手指而言，“完全可见”定义为50%的面可见，并按比例缩放；我们并未像对手背和手掌那样单独区分上下表面。我们将“完全被遮挡”定义为仅有10%的表面积可见，这样既考虑了Z缓冲区光栅化过程中的微小误差，又能确保除近节指骨的一小部分外，手指的大部分都被遮挡。 手部自遮挡现象。如图3a所示，在所有评估的数据集中，超过20%的帧至少存在一个被遮挡的手指，其中超过5%的帧存在两个或更多被遮挡的手指。这些数值属于保守估计，因为我们并未考虑任何可活动的物体，而这类物体比手背更有可能遮挡手指。这种自遮挡情况通常源于三种主要场景：手部向下倾斜导致手背遮挡手指；手部向外倾斜致使食指遮挡其他手指；或者手部部分超出画面范围。我们的分析表明，受自遮挡影响以自我为中心的手部采集数据占比相当大，这一结果与现有文献中的发现一致。[^16]。 手背可见性。接着，我们通过计算至少有一个手指遮挡率超过90%时手背面的可见性分布，来分析此类情况下手背的可见程度。我们发现，对于每个数据集而言，手背可见性的中位数均高于40%，最高可达80%，这表明在手指被遮挡的帧中，仍有很大一部分手背特征可见。因此，当无法获取手部和手指的轮廓信息时，手背特征能提供一种丰富且稳定的替代信号。 ### 3.3 遮挡对以自我为中心的手部姿态估计器的影响 根据我们的研究结果，自我遮挡现象在中心视觉视角中十分常见。我们进一步分析了这种自我遮挡对现有手部姿态估计模型性能的影响。我们收集了来自12名参与者的17种手势的基准数据集，包含17万帧中心视觉手部姿态数据，这些数据是通过高精度动作捕捉系统生成的手部网格。随后，我们在该数据集上评估了两个基线模型。关于数据集的更多信息可参见第4节。我们选取了两个最先进的基线模型中表现最佳的检查点——HaMeR [^49]（一种采用全Transformer架构的手部网格估计器）以及HandOccNet [^47]（一种能够利用遮挡区域信息的抗遮挡手部网格估计器），在第4节描述的完全未见过的数据集上评估它们的性能。接着，我们依据动作捕捉得到的基准数据，通过平均关节角度误差（MPJAE）来量化姿态预测性能，并将该误差与通过第3节所述的遮挡度量指标计算出的平均手指可见度进行对比绘图。我们的结果如图4所示。 我们发现，对于HaMeR和HandOccNet而言，手指可见度与误差之间均存在显著的$(p < .0001)$负相关性（HaMeR的相关系数为$(m = -15.84$、$R^2 = 0.212$；HandOccNet的相关系数为$m = -9.11$、$R^2 = 0.095$）。这一现象在HaMeR中尤为明显：自发布以来，HaMeR就被广泛视为姿态估计领域的标准模型，如今已成为众多数据集标注及手部姿态估计系统的核心组件 [^51] [^70]。值得注意的是，对于HandOccNet而言，我们发现该模型在出现自我遮挡情况时往往会默认输出中性手部位置，从而导致严重的预测误差；这很可能是由于该模型在预测被其他物体遮挡的手部时精度有限所致。我们的发现与直觉相符：大多数现有的手部追踪模型依赖的是通用轮廓信息，这类信息缺乏足够的细节来准确预测姿态；而且其架构也限制了它们利用皮肤特征，因为允许的标记数量和图像尺寸有限。 ---
Table 1: Statistics for the four analyzed egocentric hand pose datasets. “# Frames Analyzed” only counts the number of frames with a right hand within view of the egocentric camera. “# Frames Occluded” denotes the number of frames with at least one finger's surface over 90% occluded.
Dataset# of SubjectsAnnotationGesture TypeIn the Wild# Frames Analyzed# Frames Occluded
ARCTIC [^17]10MANOArticulating Objects✗184,34625,242
H2O [^32]4MANOArticulating Objects✗26,5295,666
EgoExo4D [^26]740KeypointsSkilled Activities✓8,7031,873
AssemblyHands [^46]34KeypointsAssembling Toys✗394,621140,669
![Image](images/72f6e2314e858ed3962eb4ef456aeecf4efa11afafc0f692d9ab114e9401dd90.jpg) ![Image](images/43c680606a4953f534c84847970e15457b8dfe81d7252652fd08acafeb050537.jpg)
Figure 4: MPJAE compared to average per finger visibility in our unseen dataset. The red line denotes the fitted linear regression for visualized data. Mean finger visibility is defined as the percentage of face surface area that is visible to the camera averaged across all five fingers. The higher the MPJAE, the worse the performance of the model is.
由于允许的标记数量和图像尺寸有限，这些模型无法利用皮肤特征。 ### 3.4 我们的提议：探究手背特征 基于上述发现，我们选择将手背特征作为改善中心视觉视角下手部姿态估计的关键信号展开研究。我们的研究工作安排如下：首先，收集不同手势下的高分辨率手背特征数据，以便详细捕捉并分析手背特征；利用该数据集，我们提出并训练了一种新模型，该模型能将手背处的视觉特征归一化到中性手部姿态，这一思路与DorsalNet利用运动图像[^66]来分离全局运动中的手背特征的方式类似；随后，我们将该系统分别与基线手部姿态估计模型进行对比评估，并在不同肤色和图像分辨率条件下进行测试；最后，我们证明了手背特征在姿态估计之外的实用价值，将其用于识别捏合、轻敲、点击等交互模式。 ## 4 高分辨率手背数据采集 由于手背和皮肤形变通常非常微小，且需要比传统手部姿态数据集更高的分辨率，因此我们自行收集了4K分辨率的手背特征图像数据集，这些图像是从以自我为中心的视角拍摄的，用以模拟自然的手部自遮挡现象。为了降低预测误差并捕捉精细的手势动作，我们采用了配备8台Vero摄像机的Vicon动作捕捉系统[^3]，并利用图A.1中所示的定制标记集来标注3D手部姿态。动作捕捉数据与iPhone 12 Pro Max拍摄的图像同步采集，拍摄参数为$3840 \times 2160$、30 FPS，旨在模拟移动端消费级相机的成像质量。通过带有标记的ChArUco板对摄像机的内外参数进行校准，以便在动作捕捉空间中识别板角位置。鉴于采集速率较低，且为了最大程度地凸显手背纹理，摄像机保持静止状态以消除运动模糊的影响。虽然摄像机固定不动，但允许参与者在摄像机的视野范围内移动手部。高分辨率手背图像的示例见图5。 ### 4.1 参与者与实验流程 我们招募了12名年龄在18至29岁之间的参与者（6名男性，6名女性），他们的蒙克肤色等级属于[^2]，范围在2到7之间。关于参与者的更多信息可参见表A.1。首先，我们采集了他们处于自然放松姿势时右手背部的10秒图像，用于校准。随后，要求参与者完成17种不同的动态手势以及自由形式的手部姿势。这些手势是根据常见的XR交互方式，以及以往数据中经常出现严重自遮挡现象的手势来选定的。我们承认这只是所有可能手部姿势中的一小部分。针对每种手势，参与者需从放松状态开始，反复做出该特定手势（自由形式手部姿势则没有限制）。我们要求参与者在采集数据时应以正常且可控的速度完成手势动作。关于所采集手势的更多信息可见图5。研究期间，参与者将右臂放在扶手上，手部距离摄像头约20厘米，摄像头与手部呈45度角，以模拟以眼为中心摄像头的位置。为模拟不同的手部背面及手指遮挡场景，要求参与者针对三种不同手部位置重复这些手势：手部朝前、手部向下呈30度角、手部向外转呈30度角，共计51次独立试验。我们的数据集在参与者多样性和规模上与以往的以眼为中心的手部姿势数据集具有可比性，包括HO3D [^27]、FreiHAND [^73]、EgoHands [^6]等。 --- ![Image](images/407bb1b2b09e477f2bacbac7b9649d5af3829d1c26485b6693c49a473c47ef5d.jpg)
Figure 5: Examples of each static gesture collected in our data collection. Not depicted are the two dynamic gestures: fanning (30s) and freeform (60s). On the top are the following: An aligned image of the reference, the picture of the dorsal features during this gesture, and the cosine similarity mapping for the DINO features generated from the reference and the current image. The color of the similarity map indicates a smaller cosine similarity (darker is more different). (I: index finger, M: middle finger, R: ring finger, P: pinky, T: thumb).
ARCTIC [^17]作为首个4K分辨率以眼为中心的数据集，其特点显著。所有参与者因参与研究获得了25美元的报酬。本研究已获得所在机构伦理审查委员会的批准。 ### 4.2 数据清洗 在数据采集过程中，我们发现动作捕捉系统在求解过程中可能会出现标记错标的情况。因此，研究人员手动评估了所有数据，修正了标记错位问题，并剔除了因标记遮挡或系统错误导致的预测不准的帧。随后，研究人员利用拍板工具手动对齐动作捕捉数据流与视频流，并利用校准参数和内参将所有标记从动作捕捉空间转换到摄像机空间。最后，我们为每次试验计算了MANO参数。 由于我们仅评估手部姿态而非完整网格，因此我们利用HaMeR [^49] 以及每位参与者能展现整个手部的自然状态手部捕捉数据，来初步估算每位参与者的形状参数，以模拟真实的应用场景。借助这些形状参数，我们将动作捕捉标记位置 $\dot{M}$ 与对应的MANO网格顶点M关联起来。随后，我们使用以下目标函数对MANO模型进行拟合： $$ \mathcal{L}_{\mathrm{m a r k e r s}}(\theta,t)=\left\|M-\hat{M}\right\|_{2}^{2}+\left\|\theta\right\|_{2}^{2} $$ 总共而言，我们为12位参与者采集了17种手势的172,222帧带标注的姿态数据。 ## 5 DeltaDorsal的设计与实现 在本节中，我们将详细介绍DeltaDorsal的系统设计与机器学习实现：该流程能够从手背提取并利用视觉特征，从而根据单目自中心视角预测完整的手部姿态。值得注意的是，我们提出了一种时间不变模型，它仅需为每个用户进行一次初始化过程即可。 为了表示手部，我们采用MANO [^53]。由于手背本身无法提供关于手部定位或形状的任何信息，因此我们将全局方向t设为零，并根据手部的初始捕捉数据计算出形状参数 $\beta$。因此，我们的机器学习模型仅预测构成姿态参数的15个关节角度 $\theta$，利用这些角度便可结合预先计算好的形状和平移信息生成网格 $\Theta$。 ### 5.1 数据预处理 遵循Wu等人 [^66] 的研究思路，我们发现仅凭单帧图像难以观察到细微的手背形变。我们并未采用依赖时间特征的动态图像（这类图像可能会与使用场景脱节或对齐不准），而是将每位用户的手背图像与他们处于自然状态下的手背图像（“参考图像”）进行对比。利用HaMeR [^49]，我们预测手背的3D关节位置，再通过相机内参和预测的外部参数将其投影到2D相机平面。随后，我们利用RANSAC算法 [^19] 对投影后的2D点进行单应性估计，从而将参考图像与捕捉到的手部图像对齐。图像会被裁剪为仅包含手背的部分，并调整大小为 $384 \times 384$ 以供训练使用。这一步骤能让参考图像和捕捉图像位于同一空间位置，从而实现像素级的直接对比。此外，由于仅使用手背特征，我们限制了输入到机器学习模型的数据量，以降低计算复杂度，同时让训练重点集中在手背特征而非手部轮廓上。此类数据的示例如图6所示。需要说明的是，虽然此处为了简便且与后续分析保持一致而使用了HaMeR，但实际上任何2D或3D手部姿态估计器或分割器都能达到类似效果。为了提升模型对不同光照和运动条件的适应性，我们在训练时会随机添加亮度、对比度、伽马值、噪声和高斯模糊等扰动。输入图像和参考图像会分别独立进行数据增强，以增强模型在不同光照和手部条件下的泛化能力。 ### 5.2 网络架构 DeltaDorsal采用了基于Transformer骨干网络的双流架构，该架构包含一个轻量级的卷积变化编码器，其后接回归头。该架构的可视化效果如图6所示。我们使用了预训练的DINOv3视觉Transformer。 --- ![Image](images/cc0875ed19ee0a300ebf7234f873b1044d556979cadf42be2dc8b02ae47d6046.jpg)
Figure 6: DeltaDorsal's system architecture. Users input a "reference" image of their hand in a neutral position and a picture of the hand in some gesture. An initial hand pose prediction from HaMeR is then used to align both hands so that their dorsal features are spatially localized. Images of dorsal features are then fed into DINOv3 to extract image features. These features, along with the cosine similarity and difference between the "reference" and current image's features, are fed into the change encoder. A regression head then predicts the current hand pose, which can be processed with MANO using a prior shape prediction to generate a hand mesh. Optionally, users can use the initial translation prediction from HaMeR to localize the final mesh in the camera frame.
(ViT) [^57] 按照“large”设计（ViT-L）且最后三个块保持解冻，我们首先使用手背图像计算参考图像 $I_0$ 与目标图像 $I_t$ 的稠密图像特征，分别为 $F_0$ 和 $F_t$，其尺寸等于原始图像尺寸除以 patch 大小（ $16 \times 16$）。值得注意的是，模型权重在各条流之间共享，以确保 $F_0$ 和 $F_t$ 保持相同的特征空间。随后，变化编码器通过融合特征差 $F_t - F_0$、每个 patch 的余弦相似度 $\cos(F_t, F_0)(x, y)$、$F_t$ 和 $F_0$ 来处理该特征图，并将这些数据送入一个小型卷积网络，以生成编码特征 X。余弦相似度特征在图 5 中可视化。通过在变化编码器中融合原始特征、特征差和余弦相似度，我们使模型能够根据需要选用通用图像特征或手背特征的变化。在初步实验中，RAFT [^61] 和 Gunnar-Farneback 光流 [^18] 等光流方法难以将皮肤形变与手的整体运动分离开，因此我们最终选定了稠密特征提取器骨干网络。此外，ResNet [^30] 和 ConvNeXt [^38] 等传统特征提取器无法泛化到分布外受试者。我们认为这一限制源于这些模型并不适合捕捉手背细微的软体表面形变，而这些形变通常并不表现出明显的局部特征变化。最后，回归头应用一个小型卷积颈部进行局部细化，对空间特征进行池化，并将池化后的向量通过一个浅层多层感知器来预测位姿向量 $\beta$（对应 15 个轴角旋转的 (15, 3)）。 利用我们预测得到的姿态参数$\theta$以及HaMeR在参考图像上计算出的形状参数$\beta_0$，我们可以计算出MANO网格和预测的3D关节J，如图2a所示。按照Pavlakos等人 [^49]定义的流程，我们直接对姿态参数$\beta$施加损失，并通过监督3D关节位置$\hat{J}$来确保在3D空间中的一致性。我们的完整损失函数可形式化表示为： $$ \mathcal{L}_{\beta}=\left\|J-\hat{J}\right\|_{1}+\left\|\theta-\hat{\theta}\right\|_{2}^{2} $$ ### 5.3 实现细节 所有系统均使用PyTorch [^48]实现。训练时我们采用AdamW优化器 [^39]，批量大小为96。训练期间，我们会从相应的校准数据采集集中随机选取一个参考帧。具体实验的参数设置可参阅我们的代码库和配置文件。所有训练和评估工作均在配备AMD Ryzen Threadripper PRO 3955WX 3.90GHz处理器、四张Nvidia RTX A5500显卡以及256GB内存的系统上，通过PyTorch分布式数据并行模式完成。完整的代码库可在查看。 ## 6 评估 我们评估了DeltaDorsal在3D手部姿态估计方面的性能，并将其与当前最先进的基于视觉的手部姿态估计模型进行对比。下文将介绍我们的评估流程和结果。 ### 6.1 姿态估计性能研究 我们首先开展基线性能研究，以评估所提模型的性能，并利用完整的手部轮廓将其与现有的计算机视觉方法进行比较。在所有实验中，我们采用留一受试者外（LOSO）交叉验证范式（$\approx$每个受试者12,000帧测试数据），即轮流将每位参与者排除在测试集之外，其余参与者则用于训练，以此评估跨受试者的泛化能力，并分离出源于背部运动表征而非特定受试者手部特征的性能提升。我们采用关节平均角度误差（MPJAE）指标来评估姿态预测的性能。我们遵循以往3D手部姿态研究中的评估协议$^{[27, 49]}$，并报告经过Procrustes对齐的关节平均位置误差。 --- ![Image](images/98af6097fffe23463657ad942799406d9b1e2c0b0c59b36ac92bd23d5e9297cd.jpg)
Figure 7: Examples of ground truth and predicted hand mesh from HaMeR, HandOccNet, and our system in self-occluded scenarios. For both baselines, we inputted a full image of the hand while our system only used the cropped dorsal features of the hand.
我们利用校准得到的初始形状参数来计算系统的误差（PA-MPJPE）。该指标通过全局平移、旋转和缩放对齐后的关节误差来衡量系统在真实应用场景中的网格重建性能。 我们将所提方法与两种主流的手部姿态估计器HaMeR [^49]和HandOccNet [^47]进行比较。HaMeR在多个数据集上均取得了最先进或接近最先进的结果，且其采用ViT-H骨干网络（含632M个参数），规模是我们采用的ViT-L骨干网络（300M个参数）的两倍多。HandOccNet专为应对遮挡场景而设计：它首先预测被遮挡区域的特征，随后再推断姿态。为确保比较的公平性，我们在相同的留一受试者外（LOSO）协议下对这两种模型进行微调，同时冻结骨干网络并训练预测头直至收敛。值得注意的是，这与我们对DeltaDorsal的训练策略有所不同：为了保留模型在大型数据集预训练中形成的强大特征提取与泛化能力，同时缓解较小规模的骨干网络相较于HaMeR（ViT-H）所出现的收敛与稳定性问题，我们并未冻结骨干网络的最后三层。与DeltaDorsal仅使用手部背部裁剪区域作为输入不同，这两种模型接收的是包含手指在内的完整手部图像。在我们的实验中，HandOccNet难以微调或端到端训练，且经常出现训练崩溃的情况。我们推测这反映了其在架构上对特定非自遮挡场景的偏向性。为求完整起见，我们仍会报告所有指标。定量指标详见表2，预测出的手部网格示例如图7和图1所示。 与基线方法的比较。在与HaMeR和HandOccNet这两个基线方法对比时我们发现，仅利用手部背部特征的方法在姿态精度方面优于两种基线模型（MPJAE：我们的方法：$6.41 \pm 0.92$，HaMeR：$6.74 \pm 0.48$，HandOccNet：$11.27 \pm 0.97$），即便在形状拟合不理想的情况下，其手部网格姿态性能也与之持平（PA-MPJPE：我们的方法：$7.41 \pm 1.01$毫米，HaMeR：$7.11 \pm 0.47$毫米，HandOccNet：$14.38 \pm 1.22$毫米）（见表2）。我们注意到，在自遮挡场景下HandOccNet常常预测出中性的手部位置（见图7），这可能是由于严重的自遮挡现象以及架构上的不兼容性所致。值得注意的是，我们的系统在拇指部位的性能表现更优。由于我们收集的数据大多来自以自我为中心的俯视视角，拇指部位被遮挡的程度更高，因此在基于轮廓的模型中表现较差（拇指掌指关节MPJAE：我们的方法：$4.77 \pm 0.63$，HaMeR：$7.38 \pm 1.66$，HandOccNet：$9.11 \pm 2.35$）。手部背部的皮肤形变在所有手指上分布得更均匀，这使得我们的方法能够在各手指上保持大致持平的性能。 不同遮挡程度下的性能表现。我们还在微调后评估了基线和系统在不同遮挡程度下的性能。如图8所示，我们发现与HaMeR和HandOccNet相比，我们的模型性能下降幅度更小（我们的模型：m = -4.59°，$R^2 = 0.048$；HaMeR：m = -8.42°，$R^2 = 0.117$；HandOccNet：m = -9.11°，$R^2 = 0.095$）$^1$。由于前文提到的训练难题，微调后HandOccNet的整体性能并未发生显著变化。当手指可见度在50%及以下时，DeltaDorsal在MPJAE（我们的模型：$7.59 \pm 4.38^\circ$，HaMeR：$9.24 \pm 5.54^\circ$，百分比变化：-17.86%）和PA-MPJPE（我们的模型：$8.47 \pm 3.84$毫米，HaMeR：$9.03 \pm 3.65$毫米，百分比变化：-6.20%）两项指标上的表现均优于HaMeR。这些发现与我们之前的直觉一致，即现有手部姿态估计模型严重依赖手指轮廓来进行姿态预测。图1和图7展示了这种糟糕的性能表现示例：当手指被遮挡时，HaMeR和HandOccNet都无法准确预测手部姿态。 不同肤色下的性能表现。利用所有LOSO实验中预测的姿态，我们随后进行了单因素方差分析（ANOVA）[^23]，以分析肤色对性能的影响。我们发现这种影响具有统计学意义（$p = 4.07 \times 10^{-205}$），但效应量较小（$\eta^2 = 0.0055$），这意味着肤色对数据方差的解释程度不足1%，且不会显著影响手部姿态预测的准确性。这些结果 ---
Table 2: Average results of leave-one-subject-out experiments across all participants for each finger. Joints are ordered from closest to furthest away from the wrist using the OpenPose keypoint labels (Figure 2a). MAE indicates mean angular error expressed in degrees. (Mean participants $\pm$ SD participants).
FingerJoint MetricHaMeR [^49]HandOccNet [^47]Ours
IndexMCP MAE (°)$7.38 \pm 2.07$$10.61 \pm 3.25$$6.81 \pm 1.42$
PIP MAE (°)$8.10 \pm 1.11$$16.02 \pm 3.00$$8.84 \pm 2.81$
DIP MAE (°)$8.39 \pm 3.57$$10.90 \pm 3.29$$6.92 \pm 4.01$
MiddleMCP MAE (°)$7.43 \pm 1.28$$11.38 \pm 1.77$$7.69 \pm 1.47$
PIP MAE (°)$7.09 \pm 1.26$$16.08 \pm 4.46$$8.32 \pm 2.82$
DIP MAE (°)$4.28 \pm 0.72$$10.71 \pm 2.16$$4.47 \pm 0.97$
RingMCP MAE (°)$6.39 \pm 0.91$$9.35 \pm 1.81$$6.90 \pm 1.78$
PIP MAE (°)$6.53 \pm 1.20$$14.27 \pm 2.76$$7.07 \pm 2.24$
DIP MAE (°)$4.58 \pm 1.70$$9.42 \pm 2.31$$5.16 \pm 2.11$
PinkyMCP MAE (°)$8.42 \pm 1.67$$12.00 \pm 2.24$$7.35 \pm 1.30$
PIP MAE (°)$6.96 \pm 1.11$$9.76 \pm 3.17$$6.28 \pm 2.45$
DIP MAE (°)$3.82 \pm 1.38$$6.58 \pm 1.62$$3.62 \pm 1.30$
ThumbCMC MAE (°)$5.70 \pm 0.73$$14.29 \pm 4.34$$5.52 \pm 1.61$
MCP MAE (°)$7.38 \pm 1.66$$9.11 \pm 2.35$$4.77 \pm 0.63$
IP MAE (°)$8.63 \pm 2.64$$8.57 \pm 2.17$$6.38 \pm 1.59$
OverallMPJAE (°)$6.74 \pm 0.48$$11.27 \pm 0.97$$6.41 \pm 0.92$
PA-MPJPE (mm)$7.11 \pm 0.47$$14.38 \pm 1.22$$7.41 \pm 1.01$
表明我们采用背部形变的方法对不同肤色人群具有包容性。 不同手势下的性能表现。按手势类型进行分析时，我们发现我们的系统在多种手势上的表现与HaMeR相当，且在所有手势上的表现都优于HandOccNet，这表明DeltaDorsal能够实现更精细、更精准的手势识别与交互方案，能够在手指不可见、存在遮挡的场景下利用部分手势，如小点击或大点击操作。在分析我们的系统在不同手势上的表现时，我们发现该系统在“扇动”姿势的重建方面表现较差（PA-MPJPE：我们的模型：$8.22 \pm 1.49$毫米，HaMeR：$7.53 \pm 1.37$毫米），而在“点击”、“捏合”和“弯曲”手势上的表现则与HaMeR持平。我们认为这可能是因为在我们的实验设置中，当摄像头朝下拍摄时，这些手势往往较少出现自身遮挡现象。这一结论得到了“握拳”和“熊爪”手势的出色表现的进一步支持（MPJAE分别为$9.94 \pm 2.95$°和$8.09 \pm 2.26$°），其性能比HaMeR高出3度以上（见表3）。这部分归因于这些手势过程中指关节和肌腱周围的背部特征变化较大，我们的系统更容易捕捉到这些变化。然而，在这些手势达到顶点时，我们发现皮肤形变主要集中在手掌上的背部特征中。这些细微的皮肤特征变化难以被捕捉，常常被我们的系统遗漏，该系统在编码前会将图像缩减为$16 \times 16$像素的特征块。 ### 6.2 消融研究 为了更深入地了解DeltaDorsal预测手部姿态所依据的因素，我们对输入图像尺寸和DINOv3骨干网络进行了两项消融研究。我们遵循第6节中描述的评估流程，为了减少训练时间，在三位肤色各异的受试者身上测试每种配置（P1：蒙克肤色等级5，P5：蒙克肤色等级2，P10：蒙克肤色等级7）。 图像尺寸。我们发现，基础图像输入尺寸为$384 \times 384$时，足以在4K摄像头拍摄中保留手部背侧区域的清晰度。若对这些图像进行降采样，系统就只能捕捉到手部低频特征，比如阴影和肌腱的较大变化。值得注意的是，现有的姿态估计方法通常将整个手部的分割结果缩放至$256 \times 256$甚至更小[^47] [^49] [^69]，这会破坏细微的皮肤特征。如表4所示，随着图像尺寸减小，姿态重建性能会下降，这表明皱纹等细微皮肤特征对模型的整体性能有重要影响。对于轻敲和捏合等细微动作而言，性能受影响尤为明显，因为这些动作主要只会引发微小的皮肤位移。降低图像尺寸还能显著缩短推理时间，有望实现基于手部背侧特征的实时姿态估计。我们还发现，在较小的图像尺寸下训练会导致训练损失更不稳定。 主干网络。我们还评估了DINOv3的不同主干网络尺寸和增量流配置，以确定捕捉密集视觉嵌入中的手部背侧特征所需的模型容量，以及所提出的增量流的实用性。不同的主干网络尺寸是DINOv3的蒸馏版本，也可用作衡量主干网络复杂度的指标，其中ViT-S+可应用于小型移动计算系统。分析完整的增量流网络时发现，即便使用尺寸更小的主干网络，MPJAE和PA-MPJPE指标也仅略有提升，这说明无需高维模型就能有效编码手部背侧形变（见表5）。同时，推理时间大幅缩短，从ViT-L的20.95毫秒降至ViT-S+的4.54毫秒。这些发现表明DeltaDorsal可在移动设备上部署，且性能损失极小。此外，虽然增量流对ViT-L DINOv3主干网络的性能影响甚微，但一旦移除管道中的增量特征，较小尺寸主干网络的性能便会显著下降。 ---
Table 3: Average results of leave-one-subject-out experiments across all participants for each gestures. (Mean participants $\pm$ SD participants).
GestureMetricHaMeR [^49]HandOccNet [^47]Ours
TapMPJAE (°)$5.45 \pm 0.66$$9.46 \pm 1.14$$5.43 \pm 0.89$
PA-MPJPE (mm)$6.33 \pm 0.65$$12.72 \pm 1.56$$6.73 \pm 0.87$
PinchMPJAE (°)$5.90 \pm 1.02$$10.65 \pm 0.88$$5.75 \pm 0.98$
PA-MPJPE (mm)$6.33 \pm 0.81$$15.08 \pm 1.05$$6.74 \pm 0.98$
CurlMPJAE (°)$7.50 \pm 1.12$$12.24 \pm 1.90$$6.81 \pm 1.11$
PA-MPJPE (mm)$7.43 \pm 0.75$$14.26 \pm 0.98$$7.45 \pm 0.92$
Bear ClawMPJAE (°)$9.91 \pm 1.85$$16.53 \pm 2.60$$8.09 \pm 2.26$
PA-MPJPE (mm)$7.90 \pm 0.85$$16.11 \pm 1.74$$7.36 \pm 1.37$
FistMPJAE (°)$13.60 \pm 3.00$$19.70 \pm 1.50$$9.94 \pm 2.95$
PA-MPJPE (mm)$11.53 \pm 2.41$$17.13 \pm 1.14$$9.83 \pm 2.49$
FanMPJAE (°)$6.51 \pm 1.08$$10.26 \pm 1.85$$6.58 \pm 1.16$
PA-MPJPE (mm)$7.53 \pm 1.37$$14.47 \pm 2.74$$8.22 \pm 1.49$
FreeMPJAE (°)$7.86 \pm 1.14$$12.38 \pm 1.48$$8.16 \pm 1.33$
PA-MPJPE (mm)$8.69 \pm 1.52$$16.16 \pm 1.87$$9.98 \pm 1.72$
HaMeR
![Image](images/4c38ffc7daba114dbf03cbcd034c8c133626c0c27f858823bacce2731d315c0f.jpg)
HandOccNet
![Image](images/ea394cbb526507f103a055188776c2946f98c114dbb4ed67eea03a82eed3cf14.jpg)
Ours
![Image](images/6aa031bacc42314a9ed01a7d3d32777788f758a52f39c1a43dcd03fe898419a9.jpg)
Figure 8: MPJAE compared to average per finger visibility in fine-tuned models. The red line denotes the fitted linear regression for visualized data. Mean finger visibility is defined as the percentage of face surface area that is visible to the camera averaged across all five fingers. The higher the MPJAE, the worse the performance of the model is.
![Image](images/cc678ad4f18a082b30e486efa8cd6da9ce2595e19cac1c717f2b2f0970de8df0.jpg)
Figure 9: Distribution of MPJAE compared to Monk skin tone level. Violin plots are colored by their corresponding skin tone.
Table 4: Average performance of DeltaDorsal across different image sizes as input. Values are averaged across three different participants of varying skin tones (P1, P5, P10). $384 \times 384$ is the default setting of DeltaDorsal. Inference time was measured on a single NVidia RTX A5500. (Mean participants $\pm$ SD participants).
Image SizeMPJAE ( $^{\circ}$)PA-MPJPE (mm)Inference Time (ms)
128 $\times$ 1287.57 $\pm$ 7.829.04 $\pm$ 7.565.20 $\pm$ 0.33
256 $\times$ 2567.00 $\pm$ 7.347.80 $\pm$ 6.959.61 $\pm$ 0.26
384 $\times$ 3846.80 $\pm$ 7.167.93 $\pm$ 6.8920.95 $\pm$ 0.21
我们将此归因于：当使用较小尺寸的主干网络时，特征会更简单，此时增量特征在单独提取手部背侧变化方面便显得更有用。这一假设得到了进一步佐证：使用ViT-B和ViT-S+主干网络时，模型几乎必然会出现崩溃或无法收敛的情况。我们的结果表明，对于受硬件限制只能部署小型ViT模型的未来小型移动计算系统而言，增量特征可成为一种实用的范式。 ---
Table 5: Average performance of DeltaDorsal across different delta stream DINOv3 backbones. Values are averaged across three different participants of varying skin tones (P1, P5, P10). ViT-L is the default setting of DeltaDorsal. Inference time was measured on a single Nvidia RTX A5500. (Mean participants ± SD participants).
BackboneParametersDelta StreamMPJAE ( $^{\circ}$)PA-MPJPE (mm)Inference Time (ms)
ViT-S+29M✗24.31 $\pm$ 29.4519.00 $\pm$ 15.513.97
✓7.13 $\pm$ 7.458.28 $\pm$ 6.984.54
ViT-B86M✗7.06 $\pm$ 7.438.30 $\pm$ 7.027.54
✓6.98 $\pm$ 7.378.15 $\pm$ 7.167.97
ViT-L300M✗6.79 $\pm$ 7.297.86 $\pm$ 6.9320.33
✓6.80 $\pm$ 7.167.93 $\pm$ 6.8920.95
Table 6: Results of self-occluded tap application experiments across all 12 LOSO experiments. RMSE refers to each joint's X-axis root mean squared angular error.
MetricHaMeR [^49]Ours
Index RMSE ( $^{\circ}$)31.1526.23
Middle RMSE ( $^{\circ}$)26.0216.07
Pinky RMSE ( $^{\circ}$)11.2915.89
我们采用常见的人机交互技术来分析DeltaDorsal如何在不同自遮挡场景下提升手势识别精度。后续所有基于姿态的分析均遵循第6节所述的相同流程，为简便起见，我们报告所有测试集上的数值。我们以HaMeR作为基准，因为HandOccNet在我们的实验环境中效果有限。最后，我们通过该方法检测无明显手部运动的等距“用力点击”动作，以此分析手部背侧形变方法的跨场景适用性。 ## 7 轻敲、捏合与点击感知 ### 7.1 自遮挡场景下的轻敲检测 我们首先关注轻敲动作，采用常见的启发式方法：以掌骨关节的X轴欧拉旋转（旋转轴垂直于手指和手掌法线）作为轻敲完成的衡量标准。这一数值既可作为实现精细控制的连续值，也能通过简单阈值划分为“轻敲”/“未轻敲”的二元结果。我们仅分析手指遮挡程度超过50%的轻敲情况，用以评估HaMeR在部分自遮挡场景下的性能。由于数据收集过程中参与者感到不适，我们并未对无名指进行评估。通过对所收集的轻敲数据进行分析后发现，DeltaDorsal能显著降低食指和中指的角度均方根误差。我们将这种差异归因于轻敲食指和中指时，整个手背区域会沿指关节伸展，从而放大相关信号。这一点从DeltaDorsal在小指轻敲检测中的表现较差（误差+4.60°）也可得到印证——因为轻敲小指时引起的手背皮肤形变要小得多。因此，当手指并非完全可见且手背形变易于被识别时（如食指），DeltaDorsal在轻敲这类细微手势的精细控制方面表现出更强能力；而在小指上的应用则较为有限：小指虽适合用于粗略事件检测，却难以实现连续的精准控制。我们认为这一特性可推广到其他交互场景，比如通过减少微手势场景中的角度误差来优化表面轻敲操作，甚至
Table 7: Results of self-occluded pinch application experiments across all 12 LOSO experiments. Dist. RMSE refers to the fingertip-to-thumb distance root mean squared error.
MetricHaMeR [^49]Ours
Index Dist. RMSE (mm)25.4616.81
Middle Dist. RMSE (mm)21.2326.33
Ring Dist. RMSE (mm)20.0823.17
在非遮挡情况下，也可利用手背区域作为另一先验来预测深度。 ### 7.2 自遮挡情况下的捏合检测 沿用7.1节中的方法，我们以指尖到拇指尖的距离作为捏合完成的衡量标准，该数值既可用于精细控制的连续值计算，也可用于二元分类；我们分析的是至少50%被遮挡的捏合场景。将我们的结果与HaMeR在收集的捏合数据上的表现进行对比（表7）后发现：DeltaDorsal在食指捏合任务中的表现显著优于HaMeR（距离均方根误差：-8.65毫米），但在中指和无名指捏合任务中表现却更差（距离均方根误差分别为+5.10毫米和+3.09毫米）。我们认为这是由于人们捏合时的习惯导致的：捏合中指和无名指时，拇指向手指移动的过程往往会引起较小的手背区域变化。而食指在捏合过程中的活动幅度更大，这一现象在食指上就不那么明显。 ### 7.3 等距点击检测 即使手部处于静止状态，施加力量时也会引起手背皮肤的形变。在数据收集过程中，我们还采集了11名参与者（P2-P12）进行的4种静态空中手势（食指捏合、中指捏合、无名指捏合、握拳）以及两种表面手势（所有手指展开时的表面食指轻敲、仅一根手指伸出时的表面食指轻敲）的30秒力数据。这些数据是通过压阻式力传感器（FSR）采集的，并与摄像头拍摄内容同步，数据通过Arduino的串行输出接口传输。相关手势如图10所示。为了排除参与者手部力量的差异影响，我们将所有FSR读数归一化到该次试验中的最大受力值，并将受力峰值超过试验最大受力值20%的情况定义为一次点击。总共我们采集了41,894帧数据。 随后，我们训练了一个简化版的DeltaDorsal模型：仅使用完全冻结的DINOv3特征提取器输出的差值特征$(F_t - F_0, \cos(F_t, F_0)(x, y))$作为输入，送入分类头进行分析。 --- ![Image](images/a0d56d6a63539a953c8186e3596f09f7faebed8d3b7139308483fc2096cddd3d.jpg)
Figure 10: The six static gestures for force data collection and confusion matrices for each gesture type. Values are reported per click rather than per frame following common HCI systems.
我们的特征差异方法在不同交互应用中的跨场景适用性。该模型是在交叉熵损失函数下训练的。由于数据量有限，我们按照80/10/10的比例划分数据来训练三个模型，最终报告验证指标表现最佳的模型。虽然该模型能逐帧预测点击行为，但我们遵循人机交互领域的惯例，以每次点击为单位报告所有指标；每次点击的标签是通过多数投票确定的，这样能更好地反映类似系统在实际应用中的实现方式。由于如第6节所述，通过姿态估计即可轻易识别出具体手势，因此预测结果被简化为每次点击的二元分类。关于该模型的更多信息可在我们的代码库中找到。 实验结果。图10展示了包含全部6种手势的混淆矩阵热图。整个测试集上的准确率为0.85，加权精确度为0.86，加权召回率为0.85，加权F1分数同样为0.85。我们发现假阴性结果明显多于假阳性结果。我们认为这部分是由于手部整体位置的微小变化导致的：这种变化会使皮肤更紧绷，从而掩盖点击动作引起的细微背部形变。 在所有空中点击交互中，我们的整体准确率为0.85，其中表现最佳的手势是握拳（FC），准确率为0.88。这一结果与直觉相符——由于手掌较软且用户可施加的力较大，握拳动作会引起最明显的背部形变。在捏合手势中，中指捏合（MP）的表现最佳，准确率为0.87；而环指捏合（RP）的表现最差，准确率仅为0.80。我们将这种性能差异归因于RP对使用者而言较为别扭，会导致手部过度紧张，进而掩盖细微的背部形变。 两种表面点击任务的表现相近，整体准确率为0.84。值得注意的是，全部手指内收点击（SAO）的表现明显优于单指内收点击（S1O），两者的准确率分别为0.86和0.81。与RP的情况类似，由于S1O需要手指向内收拢，会导致背部皮肤更紧绷，从而减弱点击动作引起的背部形变。此外，在SAO场景下，皮肤下的肌腱更为松弛，因此点击时产生的形变比S1O更大。 研究结果表明，仅利用背部形变的方法具备超越姿态识别的泛化能力，能够为XR交互开辟新的维度，并与传统的基于姿态的手势融合。我们认为，背部形变应在未来的点击及静态交互检测系统中发挥关键作用，就像它在我们的姿态估计架构中与原始图像特征融合一样（见图6）。 ## 8 讨论 我们探讨了研究结果的重大意义、局限性以及未来工作的方向，尤其是结合现有的第一人称视角系统展开分析。 解决自遮挡问题。通过第3节中的研究，我们证实了自遮挡对姿态估计性能的影响，这一结论在以往的研究中已有体现 [^33] [^47]。分析结果显示，超过20%的以自我为中心的摄像头拍摄画面会受到自遮挡的影响，这会导致最先进的模型在姿态估计时的角度误差增加超过15度（见图8）。这种情况严重限制了现有系统的发展，迫使使用者必须将手指保持在以自我为中心的摄像头的视野内才能识别特定手势。通过利用更易被观测到的手背区域，我们能够减轻这种影响，从而在不新增传感器的情况下拓展交互范围。未来的研究应继续聚焦于解决自遮挡问题的方法，融合时序姿态特征与语义手势预测，以创造更无缝的交互体验。 实现交互的细粒度控制。如第3节所示，当前最先进的基于视觉的姿态估计系统在日常以自我为中心的视频捕捉中仍不够可靠，尤其是在处理细微且精准的动作和手势时。部分原因在于缺乏深度感知能力，导致难以确定手指的精确角度。通过我们的评估与应用测试，DeltaDorsal在捕捉手势的细微变化方面展现出更强的能力，能够实现静态点击、部分捏合以及部分轻敲等此前在自遮挡场景下无法识别的新交互方式。此外，我们认为该系统还能支持新的微手势，这类手势在以往的人机交互研究中已体现出实用价值 [^31] [^37] [^40] [^56]，且无需新增传感器或采用更具侵入性的设备。后续还需进一步扩充数据集，纳入那些在摄像头中完全可见但现有姿态估计模型难以检测到的微手势。需要指出的是，我们用于捕捉密集皮肤特征的技术手段仍相对简单，仅使用了预训练的DINOv3模型权重。以往的研究表明，若在微调前用特定领域的数据对DINO架构进行预训练，其性能可得到显著提升 [^57]， --- 这有望实现更小架构的应用并提升精度。因此，未来的研究也应聚焦于能够最佳捕捉细粒度皮肤特征的计算技术。 泛化能力。虽然我们的系统在实验室数据集上的测试表现优于最先进的基准模型，但仍需进一步研究该系统如何能泛化到真实场景。我们的留一主体外测试及肤色研究结果表明，利用皮肤形变特征能够泛化到分布外受试者群体，即便不进行模型个性化调整或微调，也能作为可靠的数据来源。未来的研究应针对更大规模的人群展开，涵盖不同的肤色、皮肤年龄、毛发特征、光照条件及瑕疵情况，以便更好地了解在不同人群和环境下手背特征的实用性会如何变化。 其次，我们承认：仅利用手背特征进行姿态估计的方法，仅适用于部分能清晰看到手背的野外场景。由于我们的分析基于受限数据集，因此还需进一步研究DeltaDorsal在实时且无约束场景中的普适性。我们认为，将更通用的姿态估计模型与我们提出的方法相结合，为未来系统的集成提供了蓝图——即优先利用最优质的信号：手部轮廓或手背皮肤。在此类情况下，诸如手部朝向这类简单估算结果，就能作为可靠的置信度指标，用以判断某信号的实际效用。 可部署性。通过消融实验（表5）我们发现，像ViT-S+这样的小型轻量级骨干网络，能以更低的计算开销和更短的推理时间，提供可用的性能。后续研究应继续探索这一思路，将细节捕捉任务交由高分辨率传感器处理，以便能在轻便型AR眼镜等可穿戴设备上更快、更高效地完成运算；而此类设备此前无法支持精准的单摄像头手部追踪功能。 我们还注意到，为了充分发挥性能并捕捉手部快速运动或头部移动产生的运动模糊状态下的手背特征，DeltaDorsal需要高分辨率的摄像头输入，这会消耗更多电力和计算资源。不过，高质量的头戴式 Egocentric 摄像头已经开始被集成到头显设备中[^1] [^4] [^59]。我们承认，用这类硬件进行手部追踪可能会增加功耗和计算复杂度。尽管如此，我们仍相信DeltaDorsal能在现有系统中产生切实影响，因为它能够充分利用目前已广泛可得的大量单目 Egocentric 数据。 与HaMeR相比，DeltaDorsal的模型规模要小得多，但在各类场景下（无论是否存在自遮挡现象）的性能表现与之相当，因此能够部署到那些无法支持基于ViT-H骨干网络的硬件受限设备上。 最后，正如我们在图像尺寸（表4）和骨干网络规模（表5）方面的消融实验所证明的那样，我们的方法同样适用于低成本单摄像头传感系统的低分辨率图像。此外，也可将摄像头更靠近手部安装（例如安装在胸部），无需提升摄像头本身的质量，就能提高手背特征的分辨率。 利用高频特征。以往的手部姿态估计方法由于计算或架构方面的限制，只能处理低分辨率的手部图像；而计算机视觉领域在密集特征提取方面的最新进展，如今使我们能够整合以往无法捕捉和使用的更精细的特征。DeltaDorsal正是体现了这一理念：它仅利用皮肤形变这一高频信号，即便不识别手指也能达到最先进的性能水平。我们的方法借鉴了视觉Transformer领域的最新研究成果——通过减小图像块尺寸并分析更多细粒度特征，模型的整体性能会得到提升 [^7] [^36] [^45] [^64]。因此我们认为，未来的研究应继续整合细粒度信号来优化现有模型（正如DeltaDorsal所做的那样），进而实现新的交互方式。与此同时，还需要进一步研究如何调整新型传感器以捕捉这一全新的信号领域。例如，头戴式摄像头必须具备更高的分辨率和刷新率，才能准确捕捉背部特征；或者集成偏振摄像头来区分皮肤皱纹。 超越手部姿态估计。DeltaDorsal通过检测由复杂的肌腱活动及皮肤张力引起的背部皮肤变化来预测姿态。这些特征的应用范围并不局限于手部感知，还能用于识别所握物体的抓握方式和形状，正如Zhai等人的研究中所展示的那样 [^68]。除了抓握之外，用于等距点击检测的同一类特征也可用来感知所握物体的硬度，从而实现对手部和物体的同步检测。历史上，背部皮肤也常被用于医疗传感领域，它是反映衰老 [^20]、脱水 [^24] 以及肌腱使用情况的重要信号。通过分析特定的背部活动情况，我们还能构建生物力学激活模型，以便在长时间以第一视角使用设备的场景中，实现通用的健康监测和手部疲劳追踪。 ## 9 结论 在本文中，我们介绍了DeltaDorsal——一种基于第一视角、通过检测手背形变来实现3D姿态估计的深度学习系统。我们的系统是首个无需物理定位就能时域上利用背部特征的系统，它能够支持更灵活的摄像头摆放方式，且能轻松与现有的3D姿态估计模型集成，无需依赖完整的手部轮廓信息。 我们首先证明：超过20%的第一视角视频存在明显的手部自遮挡现象，这会大幅降低现有最先进姿态估计模型的性能（HaMeR：$m = -8.42^\circ$）。随后，我们收集了一组第一视角下的高分辨率手部图像数据集来评估我们的方法。结果显示，仅利用背部特征的DeltaDorsal性能优于现有最先进的基准模型，其平均关节角度误差为$6.41^\circ$。我们的系统具有通用性：结果表明，与最先进的基准模型相比，DeltaDorsal受自遮挡的影响更小（$m = -4.59^\circ$），且不受肤色影响（$\eta^2 = 0.0055$）。我们还展示了DeltaDorsal如何通过优化两种关键手势——捏合和点击的姿态预测与识别能力，来提升XR交互的可用性。最后，我们证实这种分离皮肤形变的方法也适用于非姿态类手势，比如空中点击和表面点击（准确率分别为0.85和0.84）。 尽管我们认为DeltaDorsal只是迈向更具沉浸感、更无缝的XR交互体验的一步，但我们希望我们的 --- 该方法和结果揭示了通过先前被忽略的密集特征来感知人体信号的新途径。 ## 参考文献 [^1]: [n.d.]. Apple Vision Pro - Technical Specifications. . [^2]: [n.d.]. Skin Tone Research @ Google AI. . 3] [n. d.]. Vicon Vero | 先进的超广角动作捕捉相机。 4] 2022年。Pico 4评测——VRX由VR专家撰写。 [^5]: Ammar Ahmad, Cyrille Migniot, and Albert Dipanda. 2019. Hand pose estimation and tracking in real and virtual interaction: A review. Image and Vision Computing 89 (Sept. 2019), 35–49. doi:10.1016/j.imavis.2019.06.003 [^6]: Sven Bambach, Stefan Lee, David J. Crandall, and Chen Yu. 2015. Lending A Hand: Detecting Hands and Recognizing Activities in Complex Egocentric Interactions. In The IEEE International Conference on Computer Vision (ICCV). [^7]: Lucas Beyer, Pavel Izmailov, Alexander Kolesnikov, Mathilde Caron, Simon Kornblith, Xiaohua Zhai, Matthias Minderer, Michael Tschannen, Ibrahim Alabdulmohsin, and Filip Pavetic. 2023. FlexiViT: One Model for All Patch Sizes. doi:10.48550/arXiv.2212.08013 arXiv:2212.08013 [cs] [^8]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. 2019. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. doi:10.48550/arXiv.1812.08008 arXiv:1812.08008 [cs] [^9]: Paolo Caravaggi, Giulia Rogati, Alberto Leardini, Maurizio Ortolani, Mariachiara Barbieri, Chiara Spasiano, Stefano Durante, Alessandra B. Matias, Ulisses Taddei, and Isabel C. N. Sacco. 2021. Accuracy and Correlation between Skin-Marker Based and Radiographic Measurements of Medial Longitudinal Arch Deformation. Journal of Biomechanics 128 (Nov. 2021), 110711. doi:10.1016/j.jbiomech.2021.110711 [^10]: Edwin Catmull. 1978. A Hidden-Surface Algorithm with Anti-Aliasing. In Proceedings of the 5th Annual Conference on Computer Graphics and Interactive Techniques (SIGGRAPH '78). Association for Computing Machinery, New York, NY, USA, 6–11. doi:10.1145/800248.807360 [^11]: Bharatesh Chakravarthi, Prabhu Prasad B. M, and Pavan Kumar B. N. 2023. A Comprehensive Review of Leap Motion Controller-based Hand Gesture Datasets. In 2023 International Conference on Next Generation Electronics (NEleX). 1–7. doi:10.1109/NEleX59773.2023.10421030 arXiv:2311.04373 [cs] [^12]: Theocharis Chatzis, Andreas Stergioulas, Dimitrios Konstantinidis, Kosmas Dimitropoulos, and Petros Daras. 2020. A Comprehensive Study on Deep Learning-Based 3D Hand Pose Estimation Methods. Applied Sciences 10, 19 (Sept. 2020), 6850. doi:10.3390/app10196850 [^13]: Bin Chen, Katia Genovese, and Bing Pan. 2020. In Vivo Panoramic Human Skin Shape and Deformation Measurement Using Mirror-Assisted Multi-View Digital Image Correlation. Journal of the Mechanical Behavior of Biomedical Materials 110 (Oct. 2020), 103936. doi:10.1016/j.jmbbm.2020.103936 [^14]: Tze Ho Elden Tse, Franziska Mueller, Zhengyang Shen, Danhang Tang, Thabo Beeler, Mingsong Dou, Yinda Zhang, Sasa Petrovic, Hyung Jin Chang, Jonathan Taylor, and Bardia Doosti. 2023. Spectral Graphormer: Spectral Graph-based Transformer for Egocentric Two-Hand Reconstruction Using Multi-View Color Images. In 2023 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, Paris, France, 14620–14631. doi:10.1109/ICCV51070.2023.01348 [^15]: Ali Erol, George Bebis, Mircea Nicolescu, Richard D. Boyle, and Xander Twombly. 2007. Vision-based hand pose estimation: A review. Computer Vision and Image Understanding 108, 1–2 (Oct. 2007), 52–73. doi:10.1016/j.cviu.2006.10.012 [^16]: Zicong Fan, Takehiko Ohkawa, Linlin Yang, Nie Lin, Zhishan Zhou, Shihao Zhou, Jiajun Liang, Zhong Gao, Xuanyang Zhang, Xue Zhang, Fei Li, Zheng Liu, Feng Lu, Karim Abou Zeid, Bastian Leibe, Jeongwan On, Seungryul Baek, Aditya Prakash, Saurabh Gupta, Kun He, Yoichi Sato, Otmar Hilliges, Hyung Jin Chang, and Angela Yao. 2024. Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects. doi:10.48550/arXiv.2403.16428 arXiv:2403.16428 [cs] [^17]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. 2023. ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation. doi:10.48550/arXiv.2204.13662 arXiv:2204.13662 [cs] [^18]: Gunnar Farnebäck. 2003. Two-Frame Motion Estimation Based on Polynomial Expansion. In Image Analysis, Josef Bigun and Tomas Gustavsson (Eds.). Springer, Berlin, Heidelberg, 363-370. doi:10.1007/3-540-45103-X_50 [^19]: Martin A. Fischler and Robert C. Bolles. 1981. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Commun. ACM 24, 6 (June 1981), 381–395. doi:10.1145/358669.358692 [^20]: Qian Gao, Li-Wen Hu, Yang Wang, Wen-Ying Xu, Nan-Ning Ouyang, Guo-Qing Dong, Song-Tian Shi, and Yang Liu. 2011. Skin Texture Parameters of the Dorsal Hand in Evaluating Skin Aging in China. Skin Research and Technology 17, 4 (2011), 420–426. doi:10.1111/j.1600-0846.2011.00513.x [^21]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. 2018. First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE. doi:10.1109/cvpr.2018.00050 [^22]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 2019. 3D Hand Shape and Pose Estimation from a Single RGB Image. doi:10.48550/arXiv.1903.00812 arXiv:1903.00812 [cs] [^23]: Jonathan Gillard. 2020. One-Way Analysis of Variance (ANOVA). 91–101. doi:10.1007/978-3-030-39561-2_6 [^24]: Meri T. Goehring, Joni Farran, Courtney Ingles-Laughlin, Sarah Benedista-Seelman, and Betsy Williams. 2022. Measures of Skin Turgor in Humans: A Systematic Review of the Literature. Wound Management & Prevention 68, 4 (April 2022), 14–24. doi:10.25270/wmp.2022.4.1424 [^25]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Vincent Cartillier, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Devans Kukreja, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Abraham Gebreselasie, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kol, a $^{7}$, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenqiang Li, Kartikieya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Ziwei Zhao, Yunyi Zhu, Pablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Christian Fuegen, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyu Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. 2024. Ego4D: Around the World in 3,000 Hours of Egocentric Video. IEEE Transactions on Pattern Analysis and Machine Intelligence (2024), 1–32. doi:10.1109/tpami.2024.3381075 [^26]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, Eugene Byrne, Zach Chavis, Joya Chen, Feng Cheng, Fu-Jen Chu, Sean Crane, Avijit Dasgupta, Jing Dong, Maria Escobar, Cristhian Forigua, Abraham Gebreselasie, Sanjay Haresh, Jing Huang, Md Mohaminul Islam, Suyog Jain, Rawal Khirodkar, Devansh Kukreja, Kevin Ji, Liang, Jia-Wei Liu, Sagnik Majumder, Yongsen Mao, Miguel Martin, Effrosyni Mavroudi, Tushar Nagarajan, Francesco Ragusa, Santhosh Kumar Ramakrishnan, Luigi Seminara, Arjun Somayazulu, Yale Song, Shan Su, Zihui Xue, Edward Zhang, Jinxu Zhang, Angela Castillo, Changan Chen, Xinzhou Fu, Ryosuke Furuta, Cristina Gonzalez, Prince Gupta, Jiabo Hu, Yifei Huang, Yiming Huang, Weslie Khoo, Anush Kumar, Robert Kuo, Sach Lakhavani, Miao Liu, Mi Luo, Zhengyi Luo, Brighid Meredith, Austin Miller, Oluwatumininu Oguntola, Xiaqing Pan, Penny Peng, Shraman Pramanick, Merey Ramazanova, Fiona Ryan, Wei Shan, Kiran Somasundaram, Chenan Song, Audrey Southerland, Masatoshi Tateno, Huiyu Wang, Yuchen Wang, Takuma Yagi, Mingfei Yan, Xitong Yang, Zecheng Yu, Shengxin Cindy Zha, Chen Zhao, Ziwi Zhao, Zhifan Zhu, Jeff Zhuo, Pablo Arbelaez, Gedas Bertasius, David Crandall, Dima Damen, Jakob Engel, Giovanni Maria Farinella, Antonino Furnari, Bernard Ghanem, Judy Hoffman, C. V. Jawahar, Richard Newcombe, Hyun Soo Park, James M. Rehg, Yoichi Sato, Manolis Savva, Jianbo Shi, Mike Zheng Shou, and Michael Wray. 2024. Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives. doi:10.48550/arXiv.2311.18259 arXiv:2311.18259 [cs] [^27]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. 2020. HOnnotate: A Method for 3D Annotation of Hand and Object Poses. doi:10.48550/arXiv.1907.01481 arXiv:1907.01481 [cs] [^28]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D. Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, Asaf Nitzan, Gang Dong, Yuting Ye, Lingling Tao, Chengde Wan, and Robert Wang. 2020. MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality. ACM Trans. Graph. 39, 4 (Aug. 2020), 87:87:1–87:87:13. doi:10.1145/3386569.3392452 [^29]: Masashi Hatano, Zhifan Zhu, Hideo Saito, and Dima Damen. 2025. The Invisible EgoHand: 3D Hand Forecasting through EgoBody Pose Estimation. doi:10.48550/arXiv.2504.08654 arXiv:2504.08654 [cs] [^30]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2015. Deep Residual Learning for Image Recognition. doi:10.48550/arXiv.1512.03385 arXiv:1512.03385 [cs] ## [^31]: Kenrick Kin, Chengde Wan, Ken Koh, Andrei Marin, Necati Cihan Camgoz, Yubo Zhang, Yujun Cai, Fedor Kovalev, Moshe Ben-Zacharia, Shannon Hoople, Marcos Nunes-Ueno, Mariel Sanchez-Rodriguez, Ayush Bhargava, Robert Wang, Eric Sauser, and Shugao Ma. 2024. STMG: A Machine Learning Microgesture Recognition System for Supporting Thumb-Based VR/AR Input. In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems (CHI '24). Association for Computing Machinery, New York, NY, USA, 1–15. doi:10.1145/ --- 3613904.3642702 [^32]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. 2021. H2O: Two Hands Manipulating Objects for First Person Interaction Recognition. In 2021 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 10118–10128. doi:10.1109/iccv48922.2021.00998 [^33]: Kailin Li, Lixin Yang, Haoyu Zhen, Zenan Lin, Xinyu Zhan, Licheng Zhong, Jian Xu, Kejian Wu, and Cewu Lu. 2023. CHORD: Category-level Hand-held Object Reconstruction via Shape Deformation. doi:10.48550/arXiv.2308.10574 arXiv:2308.10574 [cs] [^34]: Rui Li, Zhenyu Liu, and Jianrong Tan. 2019. A survey on 3D hand pose estimation: Cameras, methods, and datasets. Pattern Recognition 93 (Sept. 2019), 251–272. doi:10.1016/j.patcog.2019.04.026 [^35]: Ruicong Liu, Takehiko Ohkawa, Mingfang Zhang, and Yoichi Sato. 2024. Single-to-Dual-View Adaptation for Egocentric 3D Hand Pose Estimation. doi:10.48550/arXiv.2403.04381 arXiv:2403.04381 [cs] [^36]: Wenzhuo Liu, Fei Zhu, Shijie Ma, and Cheng-Lin Liu. 2024. MSPE: Multi-Scale Patch Embedding Prompts Vision Transformers to Any Resolution. doi:10.48550/arXiv.2405.18240 arXiv:2405.18240 [cs] [^37]: Yi Liu, Hongying Meng, Mohammad Rafiq Swash, Yona Falinie A. Gaus, and Rui Qin. 2018. Holoscopic 3D Micro-Gesture Database for Wearable Device Interaction. In 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018). 802–807. doi:10.1109/FG.2018.00129 [^38]: Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feichtenhofer, Trevor Darrell, and Saining Xie. 2022. A ConvNet for the 2020s. doi:10.48550/arXiv.2201.03545 arXiv:2201.03545 [cs] [^39]: Ilya Loshchilov and Frank Hutter. 2019. Decoupled Weight Decay Regularization. doi:10.48550/arXiv.1711.05101 arXiv:1711.05101 [cs] [^40]: Yu Lu, Dian Ding, Ran Wang, and Guangtao Xue. 2024. HCMG: Human-Capacitance Based Micro Gesture for VR/AR. In Companion of the 2024 on ACM International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp '24). Association for Computing Machinery, New York, NY, USA, 766–770. doi:10.1145/3675094.3678386 [^41]: Vimal Mollyn and Chris Harrison. 2024. EgoTouch: On-Body Touch Input Using AR/VR Headset Cameras. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (UIST '24). Association for Computing Machinery, New York, NY, USA, 1–11. doi:10.1145/3654777.3676455 [^42]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mick-eal Verschoor, Miguel A. Otaduy, Dan Casas, and Christian Theobalt. 2019. Real-Time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera. ACM Transactions on Graphics 38, 4 (Aug. 2019), 1–13. doi:10.1145/3306346.3322958 arXiv:2106.08059 [cs] [^43]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. 2017. Real-Time Hand Tracking Under Occlusion from an Egocentric RGB-D Sensor. In 2017 IEEE International Conference on Computer Vision Workshops (ICCVW). IEEE, 1284–1293. doi:10.1109/ICCVW.2017.82 [^44]: Siti Hana Nasir, Olga Troynikov, and Chris Watson. 2015. Skin Deformation Behavior during Hand Movements and their Impact on Functional Sports Glove Design. Procedia Engineering 112 (2015), 92–97. doi:10.1016/j.proeng.2015.07.181 [^45]: Duy-Kien Nguyen, Mahmoud Assran, Unnat Jain, Martin R. Oswald, Cees G. M. Snoek, and Xinlei Chen. 2024. An Image Is Worth More Than 16x16 Patches: Exploring Transformers on Individual Pixels. doi:10.48550/arXiv.2406.09415 arXiv:2406.09415 [cs] [^46]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. 2023. AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation. In 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 12999–13008. doi:10.1109/CVPR52729.2023.01249 [^47]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. 2022. HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network. doi:10.48550/arXiv.2203.14564 arXiv:2203.14564 [cs] [^48]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Köpf, Edward Yang, Zach DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, and Soumith Chintala. 2019. PyTorch: An Imperative Style, High-Performance Deep Learning Library. doi:10.48550/arXiv.1912.01703 arXiv:1912.01703 [cs] [^49]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. 2023. Reconstructing Hands in 3D with Transformers. doi:10.48550/arXiv.2312.05251 arXiv:2312.05251 [cs] [^50]: Siyou Pei, Alexander Chen, Jaewook Lee, and Yang Zhang. 2022. Hand Interfaces: Using Hands to Imitate Objects in AR/VR for Expressive Interactions. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (CHI '22). Association for Computing Machinery, New York, NY, USA, 1–16. doi:10.1145/3491102.3501898 [^51]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 2024. 3D Hand Pose Estimation in Everyday Egocentric Images. doi:10.48550/arXiv.2312.06583 arXiv:2312.06583 [cs] [^52]: Grégory Rogez, James S Supancic, and Deva Ramanan. 2015. First-person pose recognition using egocentric workspaces. In Proceedings of the IEEE conference on computer vision and pattern recognition. 4325–4333. [^53]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. 2017. Embodied Hands: Modeling and Capturing Hands and Bodies Together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia) 36, 6 (Nov. 2017). [^54]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. 2020. FrankMocap: Fast Monocular 3D Hand and Body Motion Capture by Regression and Integration. doi:10.48550/arXiv.2008.08324 arXiv:2008.08324 [cs] [^55]: Mia Rupani, Luke D. Cleland, and Hannes P. Saal. 2025. Local Postural Changes Elicit Extensive and Diverse Skin Stretch around Joints, on the Trunk and the Face. Journal of The Royal Society Interface 22, 223 (Feb. 2025), 20240794. doi:10.1098/rsif.2024.0794 [^56]: Yu Sang, Laixi Shi, and Yimin Liu. 2018. Micro Hand Gesture Recognition System Using Ultrasonic Active Sensing. IEEE Access 6 (2018), 49339–49347. doi:10.1109/ACCESS.2018.2868268 [^57]: Oriane Siméoni, Huy V. Vo, Maximilian Seitzer, Federico Baldassarre, Maxime Oquab, Cijo Jose, Vasil Khalidov, Marc Szafraniec, Seungeun Yi, Michaël Ramamonjisao, Francisco Massa, Daniel Haziza, Luca Wehrstedt, Jianyuan Wang, Timothée Darcet, Théo Moutakanni, Leonel Sentana, Claire Roberts, Andrea Vedaldi, Jamie Tolan, John Brandt, Camille Couprie, Julien Mairal, Hervé Jégou, Patrick Labatut, and Piotr Bojanowski. 2025. DINOv3. doi:10.48550/arXiv.2508.10104 arXiv:2508.10104 [cs] [^58]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. 2017. Hand Keypoint Detection in Single Images Using Multiview Bootstrapping. In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE. doi:10.1109/cvpr.2017.494 [^59]: RAY-BAN STORE. [n.d.]. Discover Ray-Ban | Meta AI Glasses: Specs & Features | Ray-Ban\textsuperscript{®} US. . [^60]: Yuta Sugiura, Fumihiko Nakamura, Wataru Kawai, Takashi Kikuchi, and Maki Sugimoto. 2017. Behind the palm: Hand gesture recognition through measuring skin deformation on back of hand by using optical sensors. In 2017 56th Annual Conference of the Society of Instrument and Control Engineers of Japan (SICE). IEEE. doi:10.23919/sice.2017.8105457 [^61]: Zachary Teed and Jia Deng. 2020. RAFT: Recurrent All-Pairs Field Transforms for Optical Flow. doi:10.48550/arXiv.2003.12039 arXiv:2003.12039 [cs] [^62]: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, and Hyung Jin Chang. 2022. Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution. In 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, New Orleans, LA, USA, 1654–1664. doi:10.1109/CVPR52688.2022.00171 [^63]: Dorin Ungureanu, Federica Bogo, Silvano Galliani, Pooja Sama, Xin Duan, Casey Meekhof, Jan Stühmer, Thomas J. Cashman, Bugra Tekin, Johannes L. Schönberger, Pawel Olszta, and Marc Pollefeys. 2020. HoloLens 2 Research Mode as a Tool for Computer Vision Research. doi:10.48550/arXiv.2008.11239 arXiv:2008.11239 [cs] [^64]: Feng Wang, Yaodong Yu, Guoyizhe Wei, Wei Shao, Yuyin Zhou, Alan Yuille, and Cihang Xie. 2025. Scaling Laws in Patchification: An Image Is Worth 50,176 Tokens And More. doi:10.48550/arXiv.2502.03738 arXiv:2502.03738 [cs] [^65]: Yinqiao Wang, Hao Xu, Pheng-Ann Heng, and Chi-Wing Fu. 2025. UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation. doi:10.48550/arXiv.2503.13303 arXiv:2503.13303 [cs] [^66]: Erwin Wu, Ye Yuan, Hui-Shyong Yeo, Aaron Quigley, Hideki Koike, and Kris M. Kitani. 2020. Back-Hand-Pose: 3D Hand Pose Estimation for a Wrist-worn Camera via Dorsum Deformation Network. In Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology (UIST '20). Association for Computing Machinery, New York, NY, USA, 1147–1160. doi:10.1145/3379337.3415897 [^67]: Hui-Shyong Yeo, Erwin Wu, Juyoung Lee, Aaron Quigley, and Hideki Koike. 2019. Opisthenar: Hand Poses and Finger Tapping Recognition by Observing Back of Hand Using Embedded Wrist Camera. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (UIST '19). Association for Computing Machinery, New York, NY, USA, 963–971. doi:10.1145/3332165.3347867 [^68]: Yanru Zhai, Shaoguo Wu, Qinyue Hu, Wenjing Zhou, Yue Shen, Xuefeng Yan, and Yan Ma. 2023. Influence of Grasping Postures on Skin Deformation of Hand. Scientific reports 13 (Dec. 2023), 21416. doi:10.1038/s41598-023-48658-5 [^69]: Fan Zhang, Valentin Bazarevsky, Andrey Vakunov, Andrei Tkachenka, George Sung, Chuo-Ling Chang, and Matthias Grundmann. 2020. MediaPipe Hands: On-device Real-time Hand Tracking. doi:10.48550/ARXIV.2006.10214 [^70]: Yiming Zhao, Taein Kwon, Paul Streli, Marc Pollefeys, and Christian Holz. 2024. EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision. doi:10.48550/arXiv.2409.02224 arXiv:2409.02224 [cs] ## [^71]: Zijing Zhao, Yu Qiu, Shanling Ji, Yaxin Yang, Chao Yang, Jingwen Mo, and Jianxiong Zhu. 2024. Machine Learning-Assisted Wearable Sensing for High-Sensitivity Gesture Recognition. Sensors and Actuators A: Physical 365 (Jan. 2024), 114877. doi:10.1016/j.sna.2023.114877 --- [^72]: Christian Zimmermann and Thomas Brox. 2017. Learning to Estimate 3D Hand Pose from Single RGB Images. In 2017 IEEE International Conference on Computer Vision (ICCV). IEEE, 4913–4921. doi:10.1109/iccv.2017.525 [^73]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russel, Max Argus, and Thomas Brox. 2019. FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images. In IEEE International Conference on Computer Vision (ICCV). " ## 附录
Table A.1: Demographics and hand information of 12 participants (P1-P12) in the data collection. Monk level indicates the participants Monk Skin Color Level from a scale of 1-10. $\frac{Circumference}{Length}$ is the ratio of hand circumference to length where higher is a wider hand while lower is a longer hand. Hairiness indicates the participant's self-reported hand hairiness on a scale from 1-5 where 1 is no hair and 5 is extremely hairy.
IDAgeGenderMonk LevelCircumferenceHairiness
Length
P123M51.052
P223F40.941
P320F51.061
P426F31.121
P529F21.001
P623F31.131
P724F51.031
P825M71.032
P918M51.143
P1026M70.974
P1123M41.091
P1220M71.051
![Image](images/3c216b15743bc7e469a4d2e29c945e418c40ffb64e8099629ee99c7c527b2b37.jpg)
Figure A.1: Our custom marker definition for motion capture during data collection.