{
  "paper_id": "c9eb69348523c6c6b87b8f6d3114ff6a",
  "paper_title": "Articulated Distance Fields for Ultra-Fast Tracking of Hands Interacting",
  "paper_authors": [
    "Jonathan Taylor",
    "Vladimir Tankovich",
    "Danhang Tang",
    "Cem Keskin",
    "David Kim",
    "Philip Davidson",
    "Adarsh Kowdle",
    "Shahram Izadi"
  ],
  "publication_date": "2017-11",
  "publication_venue": "ACM Transactions on Graphics, Vol. 36, No. 4, Article 244",
  "abstract": "当前先进的关节式手部跟踪多采用混合方法：将生成式手部模型拟合到深度数据，并从时序预测和判别式预测给出的初始姿态进行局部优化，但精细手模型与快速优化之间往往需要折中。本文提出一种隐式手部几何模型，构建关节式有符号距离场，使其在任意姿态下都能以闭式方式计算到精细表面的距离以及梯度优化所需导数。该方法无需引入或更新显式对应关系，算法简单且适合GPU等并行硬件，系统帧率最高可达约1000fps。论文还展示了如何检测、分割并优化两只强交互手，从而在极高帧率下恢复复杂交互。由于缺乏足够高帧率的公开数据集，作者利用多视角采集系统建立了一个180fps的新数据集，涵盖单手、双手以及手与物体交互的情形。\n",
  "keywords": [
    "手部跟踪",
    "体积变形"
  ],
  "paper_institutions": [
    "perceptiveIO"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:36:27.145983Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n论文针对深度图像中高自由度关节手在快速运动、自遮挡、双手接近及持物交互时易丢失，且精细生成模型与快速局部优化相互制约的问题，在生成式、判别式和混合跟踪研究背景下，提出用线性混合蒙皮四面体网格将基础姿态的稠密三三次插值有符号距离场变形到任意姿态的关节式有符号距离场；对查询点选择包含它或距它最近的四面体 τ*，以 q 表示最近点、B 表示映射回基础姿态的对应点，核心距离机制写为 D(x,θ)=‖x−q^{τ*}(x,θ)‖+D̃(B^{τ*}(x,θ))，从而在保留指甲等静态细节的同时直接给出距离和姿态导数，避免ICP式对应交替以及大规模稀疏联合优化，非常适合GPU并行。优化能量由数据点到表面距离、法向一致性、22维关节高斯先验和关节限位组成，并从上一帧姿态与随机决策森林给出的六自由度重初始化姿态出发进行Levenberg更新；双手情形还联合优化左右手姿态和逐点二值分配，以容忍轻微分割错误。实现采用29维过参数化姿态、全卷积分割器、主动立体深度相机和NVIDIA Titan X；分割训练使用约10万个戴彩色手套的实例并以留一受试者法选择参数，Cheetah数据集包含6名受试者的24个序列、每序列约3000帧、前置与第一人称RGBD视角、180fps及单手、双手、持物等场景，准真值由个性化模型离线拟合得到，用于验证高帧率、复杂交互和双手分配，而Dexter、MSRA和Handy数据集用于与已有方法比较。评价采用毫米级关节或指尖平均误差、成功率曲线、分割平衡准确率和运行帧率；结果显示跟踪器在预采集数据上可达1000fps，180fps下精度优于降采样至60fps和30fps，FCN分割平衡准确率为85.5%、优于RDF的81.1%，重初始化回归森林平均关节误差约3.8cm，在MSRA上优于DART非对称版本并与对称版本竞争，在Dexter低误差区间表现先进，但25fps下粗重初始化会造成部分高误差失败，持物和第一人称遮挡场景也更困难。后续可研究自交与背景交叠惩罚、四面体单元间法向和能量连续性、参数化或非参数化形状个性化、把手表或戒指等静态几何融入SDF，以及更高帧率采集；真实应用中系统已集成到HTC Vive，利用手部盲触按钮、滑条和掌心触控板支持双手VR交互，但受深度噪声、飞像素、个性化模型依赖、相机带宽和严重遮挡限制。\n\n### 关键要点\n\n- 手部姿态用29维向量表示，包含五指关节、腕部自由度，以及用四元数过参数化的全局旋转和平移。\n- 分割网络输出左手、右手和背景三类概率图，并通过高阈值检测、高斯平滑、低阈值过滤和球形空间约束去除胸部或背景中其他人手等干扰。\n- 核心表示由基础姿态的稠密SDF和线性混合蒙皮四面体笼组成，三三次插值提供平滑距离及导数，四面体仿射逆变换把查询点送回基础姿态查询。\n- 跟踪能量包括数据距离项、法向一致项、22维关节高斯先验项和关节限位项，当前能量不显式惩罚手指自交或穿入背景。\n- 优化从上一帧和重初始化器给出的多个起始姿态进行Levenberg迭代，最后选择能量最低的结果；实验显示6次迭代明显优于3次，约12次后趋于饱和。\n- 双手跟踪联合优化左右手姿态和逐点左右手分配，并在姿态Levenberg更新与离散分配更新之间交替，分割网络的惩罚项可纠正少量左右误分。\n- Cheetah数据集含6名受试者、24个序列，每个序列覆盖单手、手持物、双手交互和双手持物之一，并提供前置与第一人称视角、每序列约3000帧、180fps RGBD数据。\n- 分割器训练使用约10万戴彩色手套的实例，目标分割耗时低于0.5ms；FCN平衡准确率为85.5%，最佳四棵深度19的RDF为81.1%。\n- 在预采集数据和NVIDIA Titan X上跟踪器最高可运行于约1000fps；受硬件限制，实际深度相机最高约210fps，Cheetah真值序列为180fps。\n- 帧率消融表明180fps精度优于模拟的60fps和30fps，说明高帧率能让时序预测姿态更可能位于良好局部极小值的收敛盆地内。\n- 在MSRA上方法优于DART非对称版本并与对称版本竞争，但在低帧率Dexter上依赖粗重初始化而丢失部分帧，在Handy上还容易被飞像素干扰。"
}