{
  "paper_id": "d72f5094f655b4f291305f117d1229bd",
  "paper_title": "Online Optical Marker-based Hand Tracking with Deep Labels",
  "paper_authors": [
    "Shangchen Han",
    "Beibei Liu",
    "Robert Wang",
    "Yuting Ye",
    "Christopher D. Twigg",
    "Kenrick Kin"
  ],
  "publication_date": "2018-08",
  "publication_venue": "ACM Transactions on Graphics, Vol. 37, No. 4, Article 1",
  "abstract": "光学标记点动作捕捉是获取影视和游戏等高保真人体动画的主要方式，但由于手指彼此相似，手套上外观相同的标记难以自动识别，导致其在手部捕捉中的应用受限。本文将标记标注问题转化为可用卷积神经网络求解的关键点回归问题，所提方法对遮挡、鬼影标记、手型变化以及双手或手持物体交互均具有鲁棒性。该技术同时适用于稀疏和密集标记集，并可实时运行，以支持虚拟现实中的高保真手部追踪与交互原型设计。\n",
  "keywords": [
    "动作捕捉",
    "手部追踪",
    "标记点标注"
  ],
  "paper_institutions": [
    "Facebook Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:21:55.826368Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对光学动作捕捉中手部相同被动标记难以自动标注的问题，本文指出传统全身追踪依赖初始姿态和高帧率逐帧传播，在手指频繁自遮挡、反光产生鬼影标记、密集标记集以及手指高自由度、小尺度和自相似等条件下容易失效；已有稀疏标记方法又依赖姿态先言补全缺失信息，可能造成动画迟钝或难以满足实时操作任务，而无标记深度或RGB方案在亚毫米精度和复杂手部运动捕捉方面仍不足。作者提出将三维标记分类问题转化为二维图像关键点回归问题：先将检测到的三维点云中心化并经正交相机投影为52×52稀疏深度图，深度归一化到[0.1,1.0]并以溅射方式保留相对深度，再由VGG风格CNN按顺序输出手上19个三维标记位置，最后通过二部图匹配$\\min_{\\mathcal M}\\sum_j\\|y_j-x_{\\mathcal M(j)}\\|_2$将预测关键点对应到输入标记。为避免密集标记的繁琐人工标注并获得充足真值，训练集基于Tompson等的手部姿态生成能力，用Kinect采集五名受试者的手语等覆盖单手自由度的手势，形成170330帧合成姿态；合成数据还支持随机三维抖动、每样本随机删除0至5个标记和添加0至2个鬼影标记，以验证并提升手型、遮挡和噪声泛化能力。运行系统采用16相机OptiTrack设备以120Hz提供标记位置，先通过凝聚聚类和左右手随机指派初始化，再结合深度标注、基于上一姿态的邻近指派、线性混合蒙皮和Levenberg-Marquardt逆运动学重建26自由度手部姿态；多种标注方案经逆运动学拟合后，丢弃RMS误差超过8mm的结果，并在合格方案中选择使用标记最多者。实验以标注准确率、遮挡/鬼影精确率和召回率、RMS拟合误差、正确标注帧比例及运行时间为指标，基础测试中网络准确率约97.76%，同时使用遮挡和鬼影增强的网络在Base+O+G困难测试中达85.81%，显著高于未增强网络的74.01%；在未见受试者的真实序列中，单手、双手交互、手-笔和手-控制器序列的网络标注准确率分别为97.64%、84.08%、77.81%和85.32%，实时系统正确标注帧比例分别达100%、99.24%、93.73%和98.26%，优于Alexanderson等方法和专家协助下的Vicon骨架标注，CNN前向和IK分别约需1ms和2ms，支撑平均120Hz运行。结果支持了二维投影深度标注、合成数据增强以及在线重初始化三项核心创新的有效性；用户标记标定通过联合优化姿态、标记位置和指尖接触点改善虚实手指接触，稀疏13标记布局也可由同一流程训练，减少相机数量后仍能在多数帧成功追踪。未来可引入时序信息、多假设或循环网络、预测置信度与概率分布、联合标定用户骨架和标记位置，并扩展到双手联合标注、多人、人体甚至动物密集标记追踪；其现实场景包括灵巧操作、手语、舞蹈、乐器演奏和VR输入，主要约束是当前单帧硬标注在中等遮挡下仍有歧义、笔尖等邻近反光点易造成混淆、IK阶段尚未直接利用CNN预测补点，且初始化聚类的随机左右手指派会在约半数初始帧失败，但120Hz下少量丢帧几乎不被察觉。\n\n### 关键要点\n\n- 密集标记布局在每只普通高尔夫手套上放置19个反光标记，其中手背3个、每个指骨段中心1个，并配合26自由度手部运动学模型。\n- 输入三维点云经中心化和正交投影生成52×52稀疏深度图，运行时从10个随机主轴中选择二维投影空间展度最大的视角。\n- VGG风格网络由卷积、批归一化、ReLU、池化和全连接层组成，输出19×3的有序三维标记坐标，再用二部图匹配关联原始点。\n- 训练使用170330帧合成手部姿态，源自动作捕捉前由Kinect采集的五名受试者手势，目的是在避免人工标注密集点的同时提供多样化真值。\n- 训练样本加入随机三维位置抖动、随机删除0至5个标记和随机添加0至2个鬼影标记，分别模拟手型差异、遮挡和虚假反射。\n- 在线初始化采用凝聚聚类，簇中心距离不超过200mm且合并后不超过22个点，含14至21个标记的簇被视为候选手；追踪中新标记出现时同时运行邻近指派和深度重标注。\n- 逆运动学最小化线性混合蒙皮后的标记位置与观测标记之间的二乘误差，通常五步内收敛；RMS误差超过8mm的姿态被丢弃，合格方案优先采用标记数更多者。\n- 用户标定通过让拇指触碰其他指尖，联合优化手部姿态、静止模型上的标记位置和可滑动接触点，从而修正真实手指已接触而虚拟手指未接触的问题。\n- 合成消融显示，各网络在无干扰基础测试上表现接近，但同时进行遮挡和鬼影增强的网络在困难测试中取得85.81%的最高标注准确率。\n- 真实测试覆盖未见参与者的单手、双手交互、手-笔和手-控制器序列，实时正确标注帧比例均超过90%，并优于对比方法；CNN前向约1ms、IK约2ms，系统平均运行在120Hz。\n- 同一合成训练流程可用于Alexanderson等布局的13个稀疏标记，虽然性能略有下降，但仍取得满意准确率，证明方法不局限于密集标记集。\n- 系统适用于灵巧操作、手语、舞蹈、乐器演奏和VR交互，但当前单帧硬决策在遮挡下仍可能产生多姿态歧义，未来需利用时序、多假设预测和用户骨架标定进一步增强。"
}