{
  "paper_id": "900e84e046c05e162857c9f830b56ab1",
  "paper_title": "DeltaDorsal: Enhancing Hand Pose Estimation with Dorsal Features in Egocentric Views",
  "paper_authors": [
    "William Huang",
    "Eric J Gonzalez",
    "Siyou Pei",
    "Ishan Chatterjee",
    "Leyi Zou",
    "Yang Zhang"
  ],
  "publication_date": "2026年4月13日至17日",
  "publication_venue": "CHI 2026: Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems, Barcelona, Spain",
  "abstract": "随着XR设备的普及，第一视角手部姿态估计已成为一项关键任务，但该视角 inherently 面临手指频繁遮挡的挑战。为此，本文提出利用手背皮肤形变中的丰富信息，并借助新一代密集视觉特征提取器释放这一信号。作者设计了双流delta编码器，通过对比动态手部与基线放松位置的视觉特征来学习姿态。评估表明，仅使用裁剪的手背图像，该方法在手指自遮挡场景（手指至少50%被遮挡）中将平均每关节角度误差（MPJAE）较依赖全手几何和大型模型骨干的前沿方法降低18%。该方法还提升了食指捏合、轻点估计等下游任务在遮挡场景中的可靠性，并能在缩小模型体积的同时检测无可见动作的等长发力，从而支持表面“点击”等新的交互范式。代码开源于 <https://github.com/hilab-open-source/deltadorsal>。\n",
  "keywords": [
    "Sensing",
    "Computer Vision",
    "Hand Pose Estimation",
    "Gestures",
    "On-Body Interaction",
    "AR/VR"
  ],
  "paper_institutions": [
    "University of California, Los Angeles",
    "Google"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:23:14.335779Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对第一视角XR手部追踪中手指频繁自遮挡、HaMeR等模型依赖全手轮廓或粗几何表示且在遮挡时误差显著上升的问题，指出手背皮肤会随肌腱、肌肉和关节活动产生皱纹、肌腱凸起等细微形变，并且这些信号在手指被遮挡时仍然可见；已有利用手背形变的Opisthenar和DorsalNet等方法多依赖腕戴相机、刚性安装或时序运动图像，限制了手腕运动和在现有XR设备上的适用性。为此，作者提出首个端到端、非时序的DeltaDorsal系统：用户先提供放松中立位的手背参考图像，系统借助HaMeR关键点、RANSAC单应性估计完成参考图与当前图的空间对齐，裁剪手背并缩放到384×384，再用权重共享的预训练DINOv3 ViT-L分别提取参考特征F0和当前特征Ft，由轻量卷积变化编码器融合Ft−F0、逐patch余弦相似度cos(Ft,F0)、Ft和F0，最后回归MANO的15个关节轴角θ，并结合初始化获得的形状β0生成手部网格，其核心监督为Lβ=||J−Ĵ||₁+||θ−θ̂||₂²，从而在不依赖手指可见性和时序帧的情况下分离全局运动与皮肤形变。研究首先使用MANO拟合、相机投影、法向筛选和Z-buffer分析ARCTIC、H2O、EgoExo-4D与AssemblyHands，验证超过20%的帧至少有一个手指高度遮挡，而遮挡时手背中位可见度仍在40%至80%，且HaMeR、HandOccNet的误差与手指可见度呈显著负相关；随后用8台Vicon Vero动捕相机与iPhone 12 Pro Max同步采集3840×2160、30FPS的4K数据，包含12名参与者、17种手势、172,222帧，覆盖Monk肤色2至7级和三种手部朝向，固定相机以控制运动模糊并突出皮肤纹理，采用留一被试交叉验证评估跨人泛化。结果显示，DeltaDorsal整体MPJAE为6.41°，优于HaMeR的6.74°和HandOccNet的11.27°，PA-MPJPE为7.41 mm，接近HaMeR的7.11 mm，且ViT-L骨干约300M参数，小于HaMeR的ViT-H；在手指可见度不超过50%时，其MPJAE为7.59°，较HaMeR的9.24°降低17.86%，PA-MPJPE降低6.20%，肤色效应虽统计显著但η²仅0.0055，不构成实质影响。下游实验表明，自遮挡食指点击和捏合的角度、指尖距离误差明显改善，简化冻结模型仅凭特征差即可检测无可见动作的等长force click，总体准确率为0.85，表面点击准确率为0.84。该方法适用于AR/VR中的捏合、轻点、无位移力反馈点击和微手势等场景，主要约束是需要可见且清晰的手背、每人一次中立参考与形状初始化、实验室采集相机固定且手势集合有限，快速运动模糊、低分辨率、皮肤绷紧以及小指或中环指小幅形变会降低精度；未来可融合手轮廓与手背信号、时序信息和语义手势预测，扩大自然场景、人群和手势覆盖，开展领域预训练，并利用ViT-S+等小骨干及高分辨率、偏振传感器优化端侧部署。\n\n### 关键要点\n\n- DeltaDorsal以中立放松位手背图像作为参考，与当前手势图像配对，不依赖时间连续的运动图像。\n- 预处理使用HaMeR预测手背3D关键点并投影到2D，再通过RANSAC单应性估计对齐图像，裁剪手背并缩放到384×384。\n- 两条视觉流共享DINOv3 ViT-L权重，分别输出F0和Ft；变化编码器融合Ft−F0、逐patch余弦相似度、F0和Ft。\n- 回归头通过卷积颈部、空间池化和浅层MLP预测15个MANO关节轴角，并使用参考阶段估计的β0生成网格。\n- 自遮挡测量基于MANO拟合、相机投影、面片法向筛选和Z-buffer，只统计手部自身造成的遮挡，不包含外部物体遮挡。\n- 对ARCTIC、H2O、EgoExo-4D和AssemblyHands的分析显示，超过20%的帧至少有一个手指高度遮挡，而这些帧中手背仍有40%至80%的中位可见度。\n- 新数据集使用8台Vicon Vero动捕相机和iPhone 12 Pro Max同步采集4K、30FPS图像，共12名参与者、17种手势、172,222帧，Monk肤色等级为2至7。\n- 评估采用留一被试交叉验证，每折约12,000个测试帧，主要使用MPJAE，并报告Procrustes对齐的PA-MPJPE。\n- DeltaDorsal整体MPJAE为6.41°，低于HaMeR的6.74°和HandOccNet的11.27°；PA-MPJPE为7.41 mm，接近HaMeR的7.11 mm。\n- 在手指可见度不超过50%的场景中，DeltaDorsal的MPJAE为7.59°，较HaMeR的9.24°降低17.86%；肤色ANOVA的η²为0.0055，解释方差不足1%。\n- 自遮挡食指捏合的指尖距离RMSE由HaMeR的25.46 mm降至16.81 mm；等长点击检测总体准确率为0.85，其中空中点击为0.85、表面点击为0.84。\n- 消融实验显示ViT-S+配合delta流推理时间约4.54 ms且仍可保持可用性能，但低分辨率、皮肤绷紧、小指或中环指小形变以及实验室外泛化仍是主要限制。"
}