{
  "paper_id": "7b8e3c43b02b9ae32c477ad223fe6141",
  "paper_title": "Efficient and Precise Interactive Hand Tracking Through Joint, Continuous Optimization of Pose and Correspondences",
  "paper_authors": [
    "Jonathan Taylor",
    "Lucas Bordeaux",
    "Thomas Cashman",
    "Bob Corish",
    "Cem Keskin",
    "Toby Sharp",
    "Eduardo Soto",
    "David Sweeney",
    "Julien Valentin",
    "Benjamin Luff",
    "Arran Topalian",
    "Erroll Wood",
    "Sameh Khamis",
    "Pushmeet Kohli",
    "Shahram Izadi",
    "Richard Banks",
    "Andrew Fitzgibbon",
    "Jamie Shotton"
  ],
  "publication_date": "2016年7月",
  "publication_venue": "ACM Transactions on Graphics, Vol. 35, No. 4, Article 143",
  "abstract": "全关节手部跟踪有望从根本上促成与虚拟和增强世界的新型交互，但当前系统有限的精度和效率阻碍了其广泛采用。当今主流范式先使用机器学习进行初始化和恢复，再通过迭代模型拟合优化获得精细姿态。本文遵循该范式，但对模型拟合做出若干改变：(1) 更具判别力的目标函数；(2) 为非线性优化提供梯度的光滑表面模型；(3) 同时对模型姿态以及观测数据点与模型表面之间的对应关系进行联合优化。尽管每项改变实际上都可能增加单次拟合迭代的成本，但作者发现迭代次数相应减少。此外，收敛盆很宽，意味着成功拟合所需的起点更少。系统仅在 CPU 上即可实时运行，从而将通常负担过重的 GPU 留给体验设计者；其效率足以在平板电脑等低功耗设备上运行。即使使用当前一代深度相机的含噪数据，也可在距相机数米范围内跟踪，从而提供较大的交互工作空间。标准数据集上的定量评估表明，新方法在精度上超越现有技术。定性结果则以现场录制形式展示了该方法支持的一系列交互式体验。\n",
  "keywords": [
    "关节式跟踪",
    "虚拟现实",
    "细分曲面"
  ],
  "paper_institutions": [
    "Microsoft Research",
    "McMaster University",
    "University of Oxford",
    "University of Abertay",
    "University of Cambridge"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:47.023478Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对VR/AR中全关节手部跟踪受遮挡、姿态歧义、近距设置和GPU高算力限制而难以普及的问题，论文在判别式初始化/恢复加生成式模型拟合的混合范式下，提出用28维姿态参数和个性化光滑Loop细分曲面手模型，并将每个深度数据点到模型的最近点对应作为显式变量U；核心机制是将数据项 E_data=1/N Σ min_u（||S(u;θ)-x_n||²/σx²+||S⊥(u;θ)-n_n||²/σn²）提升为 E'(θ,U)，从而满足 minθ E(θ)=minθ,U E'(θ,U)，再用Levenberg-Marquardt在每次迭代中连续联合更新姿态与对应，并用Schur补利用稀疏箭头结构使计算随N线性扩展，离散对应更新则允许点在手指间跳转。能量还结合背景穿透、姿态先验、关节限位、时间一致、自相交和指尖项，所有实验共用表1权重。实验选用DEXTER、NYU和FINGERPAINT等标准数据集，分别在2931帧、NYU首个2440测试帧的10个关节以及像素分类设置上验证跨数据集精度与模型解释能力；默认配置为192个采样点、10个起点和10次Levenberg迭代，仅用CPU实时运行，并通过与ICP替换和平面三角模型对比验证光滑曲面及联合优化的价值。结果显示其在DEXTER上仅用CPU即接近需要高端GPU的Tagliasacchi方法并达到人工标注精度水平，在NYU上显著优于对比方法，在FINGERPAINT上较个性化网格方法进一步提升鲁棒性；精度对数据点数不敏感，且可用更少迭代和起点收敛，重初始化器9个种子的最佳种子平均比Sharp等方法近17毫米。论文还基于Kinect V2、Oculus DK2和Unity构建点击、绘画、指向、摇杆、物理弹奏/打字和游戏Huge等体验，证明数米工作空间和低功耗平板部署的可行性；未来可融合RGB或更多传感器、改进对应提议启发式、降低延迟并增强鲁棒性，但仍受重度遮挡、极端视角、完全不可见、手部/背景分割失败以及缺乏触觉反馈等现实约束。\n\n### 关键要点\n\n- 方法采用28维手部姿态向量、线性混合蒙皮和近似Loop细分光滑曲面，并为每名被试个性化中性手形。\n- 数据项同时惩罚深度点到光滑表面的距离和法向差异，法向项可在数据点离模型较远时帮助选择正确手指。\n- 通过提升能量把数据点到模型表面的对应显式表示为U，使姿态和对应可由Levenberg-Marquardt联合连续优化。\n- 雅可比具有块稀疏箭头结构，利用Schur补求解后算法随数据点数N线性增长，避免ICP每轮为所有点执行最近点搜索。\n- 总能量还包含背景穿透、多元高斯姿态先验、关节软限位、Geman-McClure时间先验、球体自相交惩罚和可微softmin指尖项。\n- 起点来自前两帧常速外推和检索森林加导航图重初始化器；每轮前的离散提议更新可让对应在不同手指间跳转并严格降低能量。\n- DEXTER实验使用与现有工作相同的2931帧并对7个序列等权归一，CPU系统接近使用GTX980 GPU的Tagliasacchi方法。\n- NYU实验使用首个2440帧测试序列和每指2个共10个关节位置，论文报告其精度显著优于多种对比方法。\n- FINGERPAINT实验使用相同个性化模型，结果在Sharp等和Tan等的基础上进一步提升跟踪鲁棒性和像素解释能力。\n- 默认桌面配置为192个数据点、10个起点、10次迭代；降低点数、起点数或迭代次数时精度下降平缓，因此可扩展到平板电脑。\n- 重初始化器在最优设置c=40、n=10时搜索耗时低于5毫秒，仅用9个种子时最佳种子平均比重初始化基线近17毫米，主要失败模式是前后翻转的姿态。\n- 交互体验基于Kinect V2、Oculus DK2和Unity，支持数米工作范围，但系统仍受重度遮挡、极端视角、分割失败、延迟和缺少触觉反馈限制。"
}