{
  "paper_id": "4f7bab3f650fe693b6530aabb414a3e7",
  "paper_title": "PatientHandNet: 3-D Open-Palm Hand Reconstruction From Sparse Multiview Depth Images",
  "paper_authors": [
    "Xinxin Dai",
    "Ran Zhao",
    "Pengpeng Hu",
    "Adrian Munteanu"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Instrumentation and Measurement",
  "abstract": "准确重建患者的三维手形对于固定装置定制、假肢生成和手部疾病诊断十分重要。传统三维手部扫描需要使用三维扫描设备在手周围进行多次扫描，并要求患者在扫描期间保持开掌姿势，这对手功能受损患者而言十分痛苦甚至无法完成。多视角部分点云采集后，还需要昂贵的后处理才能生成高保真手形。针对这些限制，本文提出一种名为PatientHandNet的新型深度学习方法，可从单台深度相机获取的多张深度图像中重建规范开掌姿势的高保真手形。深度图像中的手部姿势可以变化，并允许手部移动，从而为状况复杂的患者提供便利。所提方法对输入姿态不敏感，具有较强的可操作性。本文还提出两个新数据集：一个用于训练模型的大规模合成数据集，以及一个由经验丰富的人体测量师提取真值手部生物特征的真实数据集。在未见合成数据和真实数据上的大量实验表明，所提方法能够实现鲁棒且易用的手形重建，并在生物特征精度方面优于现有方法。\n",
  "keywords": [
    "三维手部重建",
    "三维手形",
    "手部生物特征",
    "多尺度特征",
    "多视角深度处理",
    "点云处理"
  ],
  "paper_institutions": [
    "Department of Electronics and Informatics, Vrije Universiteit Brussel (VUB), Brussels, Belgium",
    "Center for Computational Science and Mathematical Modelling, Coventry University, Coventry, U.K."
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:37.963841Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对手功能受损患者在传统三维扫描中难以长时间保持静态开掌姿势、多相机系统昂贵且依赖外部标定、单相机环绕扫描耗时且后处理复杂，以及参数化SMPL-X/MANO方法对参数敏感、RGB方法易产生透视畸变和尺度模糊等问题，本文提出PatientHandNet，从掌侧、背侧、尺侧、桡侧四个视角的稀疏未标定部分点云直接回归规范开掌手形，并允许四次拍摄之间存在姿态变化。其核心机制是先由视角间变换网络VVTN生成四个同形状、同拓扑、同开掌姿势的虚拟完整手，并以第三视角为参考求解变换：(R̂, t̂) = argmin Σ_j ||R v_j + t − φ(v_j, V³)||²，从而将低重叠甚至无重叠的部分扫描预对齐；随后手部形状重建网络HSRN通过多尺度多视角特征聚合模块MMFA依次融合单视角、两视角和四视角信息，再由手部顶点回归模块HVR利用k近邻局部注意力按“精手形=粗手形+位移”由粗到细细化顶点。为满足训练需要，作者利用FrankMocap提取姿态参数、结合SURREAL的2103个形状参数随机组合生成300K合成样本，并使用Blensor模拟Kinect V2在0.5至0.8米距离、随机±10°旋转和噪声条件下渲染四视角扫描，该数据集提供开掌真值且尺寸覆盖儿童到成人；真实数据集则用iPad搭载Structure Sensor Mark I采集18名受试者（13名男性、5名女性）的任意姿态数据，并由专业人体测量师提供14项尺寸真值，用于验证真实泛化能力和生物测量可用性。模型在i9-10900 CPU与RTX 3090Ti上训练200轮，前50轮仅优化VVTN，之后联合优化HSRN；合成数据采用倒角距离的均值、标准差和最大值评估，真实数据采用尺寸绝对误差和相对误差评估。所提方法在未见合成数据上的倒角距离均值、标准差和最大值分别为0.21、0.63和2.29 mm，优于SnowflakeNet、L2H及多种RGB方法；在真实数据上平均绝对误差低于3 mm、相对误差低于4%，支持了预对齐、多尺度多视角聚合和局部点细化的有效性。鲁棒性实验显示，在0.3%高斯噪声下最大绝对误差仍小于5 mm，且2048、1024和512点密度下误差接近，表明该方法适用于低成本临床扫描中噪声和稀疏数据普遍存在的场景。其主要约束是需要四个指定视角以覆盖完整手部几何，真实数据缺少完整开掌网格真值而只能依赖生物测量尺寸评估；未来可探索更少视角、病变手形与更广年龄群体，以及与固定器定制、假肢生成和临床诊断流程的深度集成。\n\n### 关键要点\n\n- PatientHandNet以单台消费级深度相机采集的掌侧、尺侧、背侧和桡侧四张深度图为输入，不要求四次拍摄中的手部姿态相同，输出规范开掌手形网格。\n- VVTN为四个部分点云分别使用组合PointNet提取低层和高层特征，经最大池化融合后解码出四个同形状、同拓扑、同开掌姿势的虚拟完整手。\n- 视角间变换通过虚拟对应点之间的最小二乘优化求解旋转矩阵和平移向量，可在视角间重叠很少甚至无重叠且姿态不同的情况下完成预对齐。\n- HSRN中的MMFA依次提取参考单视角、两视角拼接和四视角拼接特征，再进行最大池化，以兼顾手的长宽、厚度和视角间空间关系。\n- HVR先用MLP回归粗手形，再利用基于k近邻注意力的局部自Transformer计算每个顶点的位移，并由粗到细得到精手形。\n- 训练采用端到端监督方式，VVTN损失监督四个虚拟完整手，HSRN损失同时监督粗手形和精手形；训练共200轮，前50轮只训练VVTN，之后联合训练。\n- 合成数据集包含300K样本，由FrankMocap姿态参数与SURREAL形状参数随机组合生成手网格，再用Blensor模拟Kinect V2渲染带随机旋转和噪声的四视角部分扫描。\n- 真实数据集包含18名受试者，使用iPad搭载Structure Sensor Mark I采集任意姿态四视角数据，并由专业人体测量师提供14项手部尺寸真值。\n- 在720个未见合成样本上，PatientHandNet的倒角距离均值、标准差和最大值分别为0.21、0.63和2.29 mm，均优于SnowflakeNet、L2H及对比的RGB方法。\n- 在真实数据上，所提方法的平均尺寸绝对误差低于3 mm、相对误差低于4%，优于深度点云方法和RGB对比方法。\n- 方法的主要适用约束是需要四个指定视角覆盖完整手部几何，且真实数据集没有完整开掌网格真值，真实评估依赖14项人体测量尺寸。"
}