{
  "paper_id": "8d6e50ac5c2b26d6353832a604b546c1",
  "paper_title": "Real-Time Hand-Tracking with a Color Glove",
  "paper_authors": [
    "Robert Y. Wang",
    "Jovan Popović"
  ],
  "publication_date": "August 2009",
  "publication_venue": "ACM Transactions on Graphics, Vol. 28, No. 3, Article 63",
  "abstract": "Articulated hand-tracking systems have been widely used in virtual reality but are rarely deployed in consumer applications due to their price and complexity. In this paper, we propose an easy-to-use and inexpensive system that facilitates 3-D articulated user-input using the hands. Our approach uses a single camera to track a hand wearing an ordinary cloth glove that is imprinted with a custom pattern. The pattern is designed to simplify the pose estimation problem, allowing us to employ a nearest-neighbor approach to track hands at interactive rates. We describe several proof-of-concept applications enabled by our system that we hope will provide a foundation for new interactions in modeling, animation control and augmented reality.\n",
  "keywords": [
    "augmented reality",
    "hand tracking",
    "motion capture",
    "user interface"
  ],
  "paper_institutions": [
    "Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology",
    "Advanced Technology Labs, Adobe Systems Incorporated",
    "University of Washington"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:24.026823Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对关节式手部跟踪系统因价格昂贵、配置复杂而难以进入消费级应用的问题，本文在对比标记式光学动捕（需多相机与反光标记）、裸手跟踪（高维推理计算昂贵）和数据手套（传感器繁多、拘束且昂贵）的基础上，提出一种仅需单台普通相机与一只印有自定义彩色图案布手套的低成本三维手部输入系统；其核心机制是让手套上的二十块大色块（十种饱和色）把差异显著的姿态映射为差异显著的图像，从而将姿态推断转化为在姿态数据库中检索最近邻微小图像的问题，采用对称 Hausdorff 式距离 d(r^i,r^j)=d̃(r^i,r^j)+d̃(r^j,r^i) 度量。数据库利用 Cyberglove II 采集的 18,000 个手指构型（涵盖手语字母、常见手势与随机活动），以蒙皮模型顶点 RMS 误差为姿态距离，通过贪心低离散度采样均匀覆盖自然姿态空间，并渲染成约 100,000 张 40×40 微小图像；查询图像经双边滤波去噪、Chong 颜色空间中每色三组件高斯混合模型分类、变带宽 mean-shift 裁剪后归一化。为达到实时，系统用 GentleBoost 学习 192 位相似敏感二值码，以汉明距离近似检索（真最近邻平均排名 16，再对前 300 个候选用原距离重排，整体比暴力搜索快约 50 倍），并用十个近邻的高斯 RBF 混合得到更平滑姿态；随后以各色块质心为投影约束、以混合近邻为正则先验做逆运动学 Gauss-Newton 优化提高精度，再加入上一帧姿态的时间平滑项抑制单目光轴方向抖动。实验采用一台 Point Grey Dragonfly 相机（4 mm 镜头、640×480、30 Hz、约 60×50×30 cm 捕获空间）和 26 自由度手模型（五名受试者），在无真值情况下以重投影误差和五帧窗口局部均偏差为指标，结果表明逆运动学显著降低重投影误差、时间滤波在不损精度下减少抖动；但由垂直第二相机验证显示全局平移深度误差通常 5–10 cm、远距离可达 15 cm，单线程约 150 ms/帧（图像处理 50 ms、近邻查找 20 ms、IK 30 ms），多核流水线后交互演示运行于 10 Hz、延迟 160 ms。系统在角色行走动画控制（食指与中指指尖映射角色双脚）、物理刚体抓取堆叠（弱临界阻尼弹簧连接、虚拟手与阴影反馈）和美国手语手指拼写逐字母识别（十帧多数判定，动态字母 J、Z 及依赖拇指精确估计的 E、M、N、S、T 较难）三类场景中验证了可用性；主要约束为单目深度模糊、需手动几何与颜色标定、捕获空间有限及精度不及高端光学动捕，未来可增加相机以提升精度或支持双手输入、结合多点触摸、设计点击器等道具、实现自动标定，并面向动画、三维建模、游戏乃至虚拟手术与装配提供 SDK 与廉价手套。\n\n### 关键要点\n\n- 手套在三维手模型上选取二十个彼此最远的种子三角形生成色块，并随机赋予十种高饱和颜色；采用少量大色块以适应消费级相机、阴影自遮挡与快速识别要求。\n- 姿态数据来自 Cyberglove II 采集的 18,000 个手指构型，涵盖手语字母、常见手势和手指随机晃动，并以对应蒙皮手模型顶点位置的 RMS 误差定义姿态距离。\n- 用贪心低离散度采样从冗余构型中均匀选样，再在多个三维朝向渲染并裁剪缩放为 40×40 微小图像，构建约 100,000 条目的姿态数据库。\n- 输入图像先经双边滤波去噪，再在 Chong 颜色空间用每色一个三组件高斯混合模型将像素分为背景或十种手套颜色，随后以变带宽 mean-shift 裁剪手部区域。\n- 微小图像采用对称的 Hausdorff 式平均距离，对每个非背景像素寻找另一图像中同色最近像素并双向求和，比 L2 距离更抗对齐偏差，也比取最大误差的 Hausdorff 距离更抗颜色误分类。\n- 将十个最近邻姿态用以平均邻域距离为 σ 的高斯径向基核加权混合，可获得比单一最近邻更平滑、更准确的姿态估计。\n- 实时检索用 GentleBoost 学习 192 位相似敏感二值码，特征为每像素到各颜色最近像素的距离；真最近邻平均排名 16、标准差 78，对前 300 个候选重排后速度约为暴力搜索的 50 倍。\n- 逆运动学以查询图与近邻姿态中各色块质心建立对应，约束模型顶点投影位置，并以混合近邻姿态为先验做 Mahalanobis 正则化，用 Gauss-Newton 迭代求解。\n- 在 IK 目标中加入指向上一帧姿态的时间平滑项及协方差 P，可显著惩罚单目光轴方向抖动，且不牺牲重投影精度。\n- 实验硬件为单台 Point Grey Research Dragonfly 相机、4 mm 镜头、640×480、30 Hz，桌面三脚架提供约 60×50×30 cm 有效空间；手模型为 26 自由度，包含全局六个自由度和每指四个自由度。\n- 用与第一相机光轴垂直的第二相机验证，常见全局平移误差为 5–10 cm，手离相机较远时可达 15 cm；单线程约 150 ms/帧，多核流水线后演示运行于 10 Hz、延迟 160 ms。\n- 三类概念验证应用包括用食指和中指驱动角色双脚行走、通过弱临界阻尼弹簧抓取堆叠物理刚体并依赖虚拟手和阴影提供深度反馈、以及美国手语手指拼写识别；依赖运动的 J、Z 和依赖拇指精度的 E、M、N、S、T 识别较困难。"
}