{
  "paper_id": "dc9ae5bc3949602df195351d84ac2b8a",
  "paper_title": "Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera",
  "paper_authors": [
    "Franziska Mueller",
    "Micah Davis",
    "Florian Bernard",
    "Oleksandr Sotnychenko",
    "Mickeal Verschoor",
    "Miguel A. Otaduy",
    "Dan Casas",
    "Christian Theobalt"
  ],
  "publication_date": "2019年7月",
  "publication_venue": "ACM Transactions on Graphics, Vol. 38, No. 4, Article 49",
  "abstract": "本文提出一种从单台消费级深度相机实时重建两只强交互手的姿态与形状的方法。该方法首次同时实现无标记、单深度相机输入、实时运行、处理手内与手间碰撞，并自动适配用户手形。方法将参数化手部模型MANO与基于深度神经网络的密集对应预测器结合到能量最小化框架中；为训练对应预测网络，作者通过物理模拟生成包含双手姿态、形状标注且避免手间穿透的合成数据集，并加入真实深度数据改善分割。模型拟合被表述为非线性最小二乘问题，由高效GPU高斯牛顿优化器求解。实验表明，方法可在紧密抓握、严重互遮挡和手势交互等复杂场景中取得先进结果。\n",
  "keywords": [
    "手部追踪",
    "手部姿态估计",
    "双手",
    "深度相机",
    "计算机视觉"
  ],
  "paper_institutions": [
    "MPI Informatics, Saarland Informatics Campus",
    "Universidad Rey Juan Carlos"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:31:06.174509Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对无标记双手追踪在紧密抓握、交叉手指和严重互遮挡时易出现分割错误、姿态漂移、手间穿透且难以实时适配不同用户手形的问题，本文在现有单手RGB/深度方法以及生成式、判别式和混合方法的背景下，指出已有双手方案通常受限于简单交互、非实时、无碰撞处理、固定手模或专用硬件。作者提出以独立左右手MANO参数网格为表示，每只手778个顶点、10维形状参数和51维姿态参数，并用CoRN网络从单幅深度图同时预测左右手分割与像素到模型表面的密集对应，再将对应结果、深度点云和法线引入非线性最小二乘能量 `E_total(β,θ)=E_data(β,θ)+E_reg(β,θ)`；数据项结合点对点与点对面距离，正则项包含形状/姿态Tikhonov先验、零速度时间平滑和基于3D高斯重叠的碰撞约束，从而在统一优化中恢复双手姿态与个性化形状。训练方面，物理模拟数据被选用来解决真实图像无法获得密集对应标注的难题：演员先保持安全距离由Leap Motion捕捉，再通过带软组织和摩擦接触的双手物理模拟消除间距并生成自然、无穿透交互，共记录5名用户、合成80,000幅带姿态和形状标注的深度图并模拟结构光噪声；同时加入3名用户、19,926幅带人体彩绘分割标注的真实深度图，以缩小合成到真实域的差距并只激活分割损失。实现上使用C++、CUDA与TensorFlow，在两块NVIDIA GTX 1080 Ti上并行执行网络/匹配和高斯牛顿优化，采用Intel RealSense SR300，默认训练正面视角并可针对第一人称视角训练，整体达到约30 fps、每帧33 ms。在Tzionas等人带关节标注的双手数据集上，PCK消融表明完整能量和所提CoRN优于混合视角、仅合成数据、朴素着色、去除碰撞/平滑/姿态或形状正则以及最近点对应等配置；与Tzionas等人相比，本文相对2D像素误差为1.35±0.28%（对方0.63±0.12%），但速度提升150倍且无需扫描手模，估计骨长在序列中的平均标准差为0.6 mm，视觉质量接近并能处理更复杂交互，支持了全局对应可摆脱初始化、碰撞代理可减少穿透、逐帧形状优化可稳定适配用户等创新。该方法适用于人机交互、AR/VR、手语识别和身体语言分析等场景，可使用肩载或正面消费级深度相机，但当前受两块高端GPU、视角相关训练、极快运动造成的深度模糊、单手大部分被遮挡时的抖动或延迟、MANO分辨率与碰撞代理较粗略以及仍可能有轻微相交等约束；未来可探索移动轻量网络、时序网络或置信度对应、遮挡感知平滑、数据自举细化、更高保真手形、双手操作物体，以及把物理模拟直接嵌入追踪器。\n\n### 关键要点\n\n- 方法为左右手分别使用独立MANO模型，每只手包含778个网格顶点、10维形状参数和51维姿态参数。\n- CoRN由两个堆叠的编码器—解码器组成，先预测左手、右手和非手部三类分割，再回归3通道表面对应信息。\n- 表面对应通过多维缩放近似保持测地距离，并以HSV颜色编码；最近邻颜色距离阈值设为η=0.04，超过阈值的顶点视为不可见。\n- 合成训练数据来自动作捕捉驱动的双手物理模拟，模拟包含软组织、摩擦接触和手间碰撞检测，共由5名用户生成80,000幅深度图。\n- 真实训练集包含3名用户的19,926幅深度图，来自肩载和正面视角，使用人体彩绘获得左右手分割标注。\n- 拟合能量由点对点项、点对面项、形状与姿态Tikhonov正则、零速度时间平滑项以及碰撞项共同构成。\n- 每只手配置35个3D高斯碰撞代理，双手共70个；高斯重叠积分可微，用于惩罚手内和手间穿透。\n- 优化采用非线性最小二乘形式和GPU高斯牛顿求解器，残差雅可比可解析计算，形状参数在每一帧持续优化。\n- 系统在两块NVIDIA GTX 1080 Ti上运行，结合Intel RealSense SR300、C++、CUDA和TensorFlow，达到约30 fps。\n- 在Tzionas等人数据集上，完整模型的PCK表现优于各消融配置；使用CoRN对应显著优于带或不带分割的最近点对应。\n- 与Tzionas等人相比，本文2D相对像素误差为1.35±0.28%，对方为0.63±0.12%，但本文运行时间为33 ms，比4960 ms快约150倍。\n- 方法在极快运动导致深度模糊、单手严重遮挡、视角变化、硬件算力受限或碰撞代理过于粗略有仍可能出错或产生轻微相交。"
}