{
  "paper_id": "dbb2ceb826b415b873bf26bb92ef1ca5",
  "paper_title": "KAD-Net: Kinematics-Aware Decoupled Learning for Robust 3D Hand Pose Estimation from a Single Depth Image",
  "paper_authors": [
    "Jun Lu",
    "Zhenming Chen",
    "Lin Chen",
    "Kanlun Tan",
    "Xiaoling Li",
    "Qiao Liu"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "由于手部运动学复杂且存在自遮挡，现有基于单张深度图像的三维手部姿态估计方法难以全面建模关节间的拓扑依赖；传统层次多任务架构又让二维关节定位与深度估计共享特征空间，导致相互干扰。为此，本文提出运动学感知解耦学习网络KAD-Net。首先设计手指拓扑约束（FTC）模块，利用三个连续手指关节构建局部运动学表示并施加拓扑约束，补充远端关节的运动学特征；该模块借助可见关节的结构上下文定位被遮挡的远端关节，从而提升遮挡鲁棒性。此外，本文提出任务解耦的层次多任务框架，将二维关节定位与深度估计分离，并为深度回归设计专用多任务学习策略，以隔离UV特征和深度特征，缓解相互干扰与负迁移。在ICVL、NYU和MSRA等基准数据集上的大量实验表明，KAD-Net优于现有方法，达到当前先进水平，可服务于人機交互、虚拟现实和基于手势的控制系统。\n",
  "keywords": [
    "3D手部姿态估计",
    "深度图像",
    "图卷积网络",
    "拓扑",
    "层次结构"
  ],
  "paper_institutions": [
    "天津大学智能与计算学部",
    "重庆师范大学重庆国家应用数学中心",
    "重庆长安汽车股份有限公司智能车辆安全技术国家重点实验室"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:28:21.260681Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张深度图像中手部自由度高、运动学结构复杂、自遮挡、结构自相似以及传感器噪声和深度不连续等问题，论文指出现有CNN回归方法易破坏空间结构、检测方法难以建模长程依赖，而GCN方法又通常平等对待所有关节、忽视远端关节误差更大且受近端关节约束的事实，同时传统层次多任务框架将UV定位与深度回归置于共享特征空间，造成异质任务干扰和深度特征负迁移；为此提出KAD-Net，采用Hourglass骨干提取多尺度特征，并分为UV分支、无监督注意力增强分支和深度分支，其核心FTC模块先把卷积特征映射为图节点V，经全局关系推理和关节邻接传播得到V1，再从每根手指指尖开始选取三个连续关节，通过核大小与步长均为3的一维卷积、层归一化和MLP生成局部运动学表示F2，最后以V'=V1+R(V1,F2)的残差拓扑约束显式校正远端关节并 remap 回二维特征生成运动学感知热图，注意力图与UV热图通过可学习权重融合后引导深度分支，深度分支再按五指加手掌划分为六个并行子任务，用G_j=Σ_xΣ_y Att_fused^j(x,y)D_i(x,y)提取关节深度特征并进行局部与全局深度回归；ICVL、NYU和MSRA被选为基准数据集，因为它们具有不同的关节标注方案、视角和受试者划分，可分别验证精度、跨主体泛化和视角鲁棒性，实验遵循ICVL不使用额外增强帧、NYU采用正面14关节子集、MSRA留一受试者交叉验证的协议，输入为128×128且深度归一化到[-1,1]的图像，采用旋转、缩放、平移、PixDropout增强、Adam优化器、10^-5初始学习率、余弦退火、权重衰减10^-4、dropout 0.6，并在ICVL和NYU训练70轮、MSRA训练80轮，所有实验在单张RTX 4090上完成；评价使用平均关节误差MJE和帧成功率FSR，完整模型在ICVL、NYU、MSRA上分别取得5.45mm、7.43mm和6.93mm的MJE，消融显示FTC将基线从5.73mm降至5.63mm，层次深度结构MMD降至5.61mm，二者结合达到5.45mm，共享结构、纯解耦结构和引导解耦结构的MJE分别为6.68mm、5.64mm和5.61mm，这些结果支持了手指运动学拓扑约束、UV/深度解耦以及UV空间引导对深度回归的关键作用，模型在ICVL上还达到87 FPS和11.98M参数，兼顾精度与实时性；未来可进一步研究大面积遮挡下多关节同时不确定、中指与无名指运动模式高度相似以及指尖高自由度导致的表征瓶颈，实际应用面向人机交互、虚拟现实和手势控制系统，但需满足单深度相机、实时计算、传感器噪声和严重自遮挡等约束。\n\n### 关键要点\n\n- FTC模块包含二维特征到图节点的映射、图空间消息传递和节点重映射三个阶段，并对节点特征施加L1监督以获得准确的空间注意力。\n- FTC为每根手指从指尖开始选取三个连续关节，使用一维卷积和MLP构建指内局部运动学表示，NYU每指只有两个标注关节时用对应手掌关节补全。\n- 拓扑约束通过残差公式V'=V1+R(V1,F2)把运动学特征写回关节特征，主要沿运动学链传播结构一致性并校正远端关节位置。\n- FTC可利用同一运动学链上可见近端关节的结构上下文推断部分或完全遮挡的远端关节，且模块轻量，可接入CNN骨干端到端训练。\n- KAD-Net将UV定位与深度估计放入独立分支，避免二维表面坐标映射与三维几何距离推理在共享特征空间中相互干扰。\n- 注意力增强分支不使用损失监督，其生成的注意力增强图与UV热图通过可学习权重融合，用于突出对深度估计重要的手部区域。\n- 深度分支将任务分解为拇指、食指、中指、无名指、小指和手掌六个并行子任务，并根据各数据集标注方案调整关节分组，同时进行局部子任务深度监督和全局全关节深度监督。\n- 网络所有监督项均采用L1损失，总损失由FTC节点损失、UV损失、六个深度子任务损失和全局深度损失组成，实验权重分别设置为0.5、1、0.2和1。\n- ICVL包含22000张训练图和1600张测试图，NYU使用单受试者训练样本和三受试者正面测试集的14个关节，MSRA包含76500张图像并采用留一受试者交叉验证。\n- 在ICVL上的结构消融表明，完整模型MJE为5.45mm，优于基线的5.73mm；共享UV和深度特征的结构MJE为6.68mm，引导解耦结构则降至5.61mm。\n- KAD-Net在ICVL、NYU和MSRA上的MJE分别为5.45mm、7.43mm和6.93mm，并在ICVL上实现87 FPS推理，但当手部大面积遮挡或多个关节同时存在较大初始误差时仍可能失败。"
}