{
  "paper_id": "5204281b11a4acdd53acdb3157b8156f",
  "paper_title": "DigitEyes: Vision-Based Hand Tracking for Human-Computer Interaction",
  "paper_authors": [
    "James M. Rehg",
    "Takeo Kanade"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of 1994 IEEE Workshop on Motion of Non-Rigid and Articulated Objects",
  "abstract": "手部与肢体运动的计算机感知对于人机交互、虚拟现实和运动表现测量等应用非常重要，但现有商用传感器通常具有侵入性，要求用户佩戴手套或标记点。作者开发了名为 DigitEyes 的非侵入式视觉手部跟踪系统。该系统采用手部运动学模型，从无装饰、无标记手部的灰度图像中提取直线和点特征，实现了最高 10 Hz 的跟踪性能，并展示了其在三维鼠标用户界面问题中的应用。\n",
  "keywords": [
    "视觉手部跟踪",
    "人机交互",
    "运动学模型",
    "铰接机构",
    "状态估计",
    "高斯-牛顿法",
    "三维鼠标",
    "自遮挡"
  ],
  "paper_institutions": [
    "卡内基梅隆大学电气与计算机工程系",
    "卡内基梅隆大学机器人研究所"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:33:13.608543Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向人机交互、虚拟现实和运动表现测量中商用数据手套或标记点传感器侵入性强的问题，以及已有方法通常只能识别手势或跟踪手掌、难以恢复完整三维手部状态的局限，本文提出非侵入式视觉跟踪系统 DigitEyes。系统采用 Denavit-Hartenburg 运动学表示，将手建模为刚性连杆与关节组成的铰接链：完整模型包含手掌六个自由度、四根手指各四个自由度、拇指五个自由度，共 27 个状态；圆柱指段投影生成的中轴线直线和指尖点被用作灰度图像中的线特征与点特征。跟踪被表述为逐帧非线性最小二乘状态估计，在 10 Hz 采样下利用上一帧状态预测特征位置并进行局部搜索，在当前状态附近将非线性测量模型线性化，核心更新为 $q_{j+1}=q_j-[J_j^T J_j+S]^{-1}J_j^T R_j$，其中 $J_j$ 是残差雅可比，S 是用于稳定运动学奇异点的对角条件矩阵。为验证透视投影扩展和无标记三维交互能力，作者没有使用通用数据集，而是采集了一个 500 帧灰度手部序列：单台相机以约 45 度俯拍桌面，采样间隔为 100 ms；三维鼠标实验采用八个状态的部分手模型，手掌受桌面约束并由食指高度控制光标高度、手掌位置控制光标基座、无名指和拇指的外展动作充当按钮，这种设置可解耦受控自由度并检验单相机恢复指尖距桌面等绝对三维距离的能力。系统在基于 68040 的 IC40 图像处理平台上实现，数字化图像以视频速率进入处理器内存，状态估计通过以太网传送到 Silicon Graphics Indigo2 进行模型显示。论文未报告统一的数值精度基准，而以残差拟合、估计状态轨迹、界面运动范围和状态解耦程度作为评估依据；500 帧序列分为抬手下降、拇指按钮、水平移动和全部状态同时操作四个阶段，结果显示系统具有较好的状态解耦和有用的运动动态范围，支持局部线性化、透视雅可比计算和单相机三维测量的有效性，但在约第 150 帧拇指触发时出现最大耦合误差，简单的缩放与坐标变换也会放大传感器噪声。该方法适用于自然着装、无标记条件下的三维鼠标、虚拟现实和徒手交互等场景，但当前各指段独立检测特征，只能处理无自遮挡的手部运动，且尚难应对复杂背景；未来工作包括改进可处理遮挡与复杂背景的特征提取，以及分析铰接对象跟踪的可观测性要求。\n\n### 关键要点\n\n- DigitEyes 是一种无手套、无标记的非侵入式视觉手部跟踪系统，可从普通灰度图像中提取手部特征并以最高 10 Hz 的速度运行。\n- 完整手模型包含手掌的六个刚体运动自由度，以及手指关节带来的 21 个附加状态，整体构成 27 自由度铰接运动链。\n- 每根手指用圆柱连杆建模，跟踪时使用圆柱中轴线在图像中投影形成的整条直线，并用指尖点作为点特征。\n- 状态估计通过最小化检测特征与模型投影之间的残差平方和完成，修正的高斯-牛顿更新中加入对角矩阵 S 以稳定运动学奇异点。\n- 高帧率使相邻帧间手部状态和特征位置变化较小，系统因此可在上一帧估计附近局部搜索并线性化，首帧则要求手处于已知初始构型。\n- 三维鼠标应用使用八状态部分模型：手掌在桌面平面内有三个自由度，食指有三个关节自由度，无名指和拇指各有一个桌面平面内外展自由度。\n- 手掌位置映射为三维光标杆的基座位置，食指高度映射为光标高度，无名指和拇指动作被用作按钮，从而实现受控自由度的解耦。\n- 实验序列长 500 帧、采样间隔 100 ms，由单台约 45 度俯拍桌面的相机采集，包含抬手、按钮、平移和全部状态同时变化四个阶段。\n- 实验结果表明状态之间具有较好的解耦效果和可用的运动范围，但拇指触发会引起光标高度耦合变化，简单坐标缩放也会放大噪声。\n- 该系统证明单相机图像可恢复指尖距桌面的绝对三维距离，但当前指段特征独立检测，尚不能可靠处理手指自遮挡和复杂背景。"
}