{
  "paper_id": "cc8a49f716183d74b9ea4ad96dba92c9",
  "paper_title": "Back-Hand-Pose: 3D Hand Pose Estimation for a Wrist-worn Camera via Dorsum Deformation Network",
  "paper_authors": [
    "Erwin Wu",
    "Ye Yuan",
    "Hui-Shyong Yeo",
    "Aaron Quigley",
    "Hideki Koike",
    "Kris M. Kitani"
  ],
  "publication_date": "2020-10-20",
  "publication_venue": "UIST 2020，第33届ACM用户界面软件与技术研讨会论文集，pp. 1147–1160",
  "abstract": "在自然场景中自动识别人们如何使用手和手指，而无需在手指上安装设备，对许多移动计算应用很有价值。为此，论文提出一种基于视觉的腕戴相机三维手部姿态估计框架。主要挑战在于腕戴相机的倾斜视角使手指几乎不可见，因此需要观察手背形变的特殊网络。作者提出DorsalNet，这是一个双流卷积神经网络，从手背区域的时空特征（骨骼、肌肉和肌腱运动）回归手指关节角度。该工作是首个利用手背视觉特征的基于视觉的实时三维手部姿态估计器。系统在用户特定模型上平均关节角度误差为8.81°，通用模型为9.77°；进一步评估表明，动态手势识别准确率比先前工作平均高20%，并能以75%准确率检测11种抓握类型。论文还展示了三个应用：控制设备、输入设备和被抓握物体识别器。\n",
  "keywords": [
    "腕戴设备",
    "三维手部姿态估计",
    "手背"
  ],
  "paper_institutions": [
    "卡内基梅隆大学",
    "东京工业大学",
    "圣安德鲁斯大学",
    "新南威尔士大学"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:06.925392Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对移动场景中数据手套笨重、外部相机受视场限制、EMG与超声等定制传感器难普及，而腕戴外侧相机又因斜视角度严重遮挡手指的问题，论文面向可嵌入智能手表的腕戴RGB鱼眼相机，研究仅凭手背皮肤、静脉、肌腱等形变连续重建三维手部姿态；相关手背传感与Opisthenar等方法多只能识别少量静态姿态或点击手势，第三人称相机虽能清晰看见手指却不便携，本文因此首次将间接手背视觉特征扩展到全手姿态回归。方法以170°视场（裁剪为120°）、向下倾斜8°的USB鱼眼相机采集20 FPS图像，选择RGB而非IR以避免阳光红外干扰，并用Leap Motion获取真值；训练硬件为RTX 2080 Ti和i7-9700，实时测试在GTX 1070 Max-Q笔记本上完成，软件采用OpenCV、TensorFlow/Keras和Unity。数据先经编码器-解码器分割手部，再生成改进运动历史图像MHI（α=0.2，加权过去5帧），并通过-10°至10°旋转、肤色与亮度增强提升佩戴位置和光照鲁棒性；DorsalNet对掩膜RGB图像和MHI分别使用ResNet18提取空间特征，拼接后经单层LSTM及带残差旁路的LSTM卡尔曼滤波建模时序，映射为食指至小指的16个关节角和拇指顶端三维向量，再由逆运动学恢复拇指，核心映射可写为 ỹ_{1:T}=f(I_{1:T},X_{1:T})，损失由四指关节角MSE与拇指向量夹角余弦损失组成。分割数据含6人9600张原图并增强至48万张，像素精度98.9%；姿态与手势数据含5人、ASL数字0至9与5种点击共15个动作、5个会话共22.5万帧；抓握数据另有5人、11类抓握约4万张图像。实验以关节角MAE、手势分类准确率和抓握Top-1准确率为指标，用户特定、通用和留一用户模型的角度误差分别为8.81°、9.77°和9.72°，显著优于最近邻、直接ResNet、Yuan、Yeo、Zhou等基线；静态ASL通用准确率88.8%，动态点击通用准确率86.8%，动态表现较先前方法约高20%至30%，11类抓握总体准确率75.1%，光照从室外白天7.77°到室内暗光8.46°变化较小。消融证明运动输入、LSTM、KF和数据增强均提升精度，完整系统网络约38 ms、加模拟器约41 ms，约20 FPS，可用于智能设备或VR控制、虚拟鼠标键盘、有限物体集合的抓握识别与康复分析；约束包括样本仅5人且多样性有限、极端屈或伸腕时手背不可见、快速腕部运动造成模糊、完全黑暗不可用、不估计前臂旋前旋后，以及真实智能手表侧相机仍需重新采集数据验证，未来将扩大人群、提高帧率并降低曝光、融合陀螺仪或采用RGB-IR切换并改进腕部估计。\n\n### 关键要点\n\n- 系统仅使用安装在腕外侧、朝向手背的RGB鱼眼相机，不直接观测手指，而是从皮肤、骨骼、肌肉和肌腱造成的手背形变推断姿态。\n- 四指使用MCP垂直与水平、PIP、DIP共16个相对关节角表示，拇指先回归顶端三维向量，再通过逆运动学恢复关节角。\n- 预处理用编码器-解码器生成手部掩膜，并计算α=0.2的改进MHI以汇总5帧运动；腐蚀掩膜边缘可促使网络关注手背内部形变而非轮廓移动。\n- DorsalNet由两个ResNet18流分别处理掩膜RGB图和MHI，特征拼接后经LSTM与带残差连接的LSTM-KF输出姿态。\n- 训练损失分为四指关节角MSE和拇指真值与估计向量的夹角损失，以匹配两种不同的姿态表示。\n- 姿态实验收集5名参与者的15个ASL静态与点击动态手势、5个会话共225000帧，Leap Motion用于自动标注，训练测试按8:2划分。\n- 用户特定、通用和留一用户模型的平均关节角MAE分别为8.81°、9.77°和9.72°，通用模型与个性化模型差距较小。\n- 静态ASL手势通用准确率为88.8%，动态点击通用准确率为86.8%，动态识别明显优于Yeo等人的Opisthenar。\n- 抓握实验使用另外5名参与者、11种抓握和约40000张图像，留一会话测试总体准确率75.1%，伸展型托盘抓握最高达98%。\n- 系统在中端笔记本上网络推理约38 ms、加手部模拟约41 ms，可按约20 FPS运行，适合智能手表控制、VR裸手交互、虚拟鼠标键盘和有限物体识别。\n- 主要约束包括参与者数量少、极端腕部角度会丢失手背、快速腕动导致模糊、全黑环境不可用、不估计旋前与旋后，以及真实手表侧相机仍需进一步验证。"
}