{
  "paper_id": "eb2c9d9bebec041dd68071e3c0e3dcbf",
  "paper_title": "Scene flow based deep network for hand reconstruction using depth images",
  "paper_authors": [
    "Adnan Anwer",
    "Jameel Malik",
    "Khawar Khurshid",
    "Ahmed Elhayek",
    "Ramy Battrawy",
    "Didier Stricker",
    "Syed Sarib Naveed",
    "Muhammad Usman Safder"
  ],
  "publication_date": "2025-09-24",
  "publication_venue": "Scientific Reports",
  "abstract": "准确的三维手部重建仍是一项具有大量应用价值的计算机视觉难题。现有方法主要关注单帧手部重建，忽略了稳定手部跟踪所需的关键时序信息。本文提出一种从连续多视角深度图像进行三维手部重建的新管线 HandFlowNet。该方法将多视角深度图像转换为单一点云，并通过估计手部网格顶点的场景流来推导连续帧之间的时序信息。场景流估计器在连续深度帧的点集之间建立一一对应关系，随后将场景流作为偏移量施加于前一帧初步估计的手部网格顶点，以确定当前帧的手部网格顶点。这些顶点进一步由结合当前帧预测的局部和全局特征的图卷积网络进行细化。大量评估表明，HandFlowNet 在 DexYCB 和 HO3D 等公开真实手部基准上达到了先进性能。\n",
  "keywords": [
    "三维手部重建",
    "场景流",
    "深度图像",
    "多视角点云",
    "HandFlowNet",
    "手部姿态估计",
    "手部形状估计",
    "图卷积网络",
    "Transformer",
    "MANO"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:24.746693Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向虚拟现实/增强现实、人机交互、手语生成、身份识别、游戏、手势识别与动作捕捉等场景，本文解决深度视频中准确且时间稳定的三维手部形状与姿态重建问题；现有方法多处理单帧，虽有时序方法采用二维光流、关节特征或循环/Transformer时序先验，却常丢失网格顶点级细粒度运动，且手部高维、个体形状姿态差异、严重遮挡、深度噪声和时间一致性使问题困难。作者提出首个基于场景流的多视角深度连续帧重建管线 HandFlowNet：先将各视角深度图经手部掩码、相机内参反投影、DBSCAN去噪、外参统一并拼接为4096点的多视角点云；首帧由基于Set Abstraction与Point Transformer的参考形状估计器HSE回归MANO的778个顶点和21个关节，随后手部场景流估计器以经输入缩放和微调的Bi-PointFlowNet估计密集场景流，并用kNN得到网格顶点与关节的稀疏场景流，核心递推机制为 $H_{t+1}=H_t+SF_M$；为抑制场景流误差累积，细化模块RM从当前点云提取全局与局部特征，分别以MANO网格邻接和运动学关节邻接构建双分支GCNN并输出修正结果。选择DexYCB与HO3D两个真实手部基准，是因为它们提供多视角RGB-D、手部掩码及MANO标注，可验证真实噪声、遮挡、多视角融合与连续帧跟踪；DexYCB使用25,387/1,412/4,951个训练/验证/测试样本，HO3D使用9,087/2,706个训练/测试样本并通过三维旋转增强。实验以EPE3D度量场景流，以MPVPE、MPJPE及其根相对版本评估形状和姿态，并以Accel-RR衡量时序平滑性；微调后密集与稀疏场景流EPE3D分别为2.39 mm和3.04 mm，DexYCB上MPVPE/MPJPE为9.45/9.67 mm、根相对为8.61/8.80 mm、Accel-RR为7.25，HO3D上为13.79/14.41 mm、根相对12.73/13.35 mm、Accel-RR为9.65，支持顶点级显式运动建模与GCNN细化的有效性；整套模型64M参数、RTX 3090上单帧39 ms、约25 FPS。适用约束包括严重遮挡、快速运动、指尖观测薄弱、DBSCAN可能误删有效点、单视角性能下降以及初始HSE或SFE误差过大时RM能力受限；未来可探索RAFT-3D/FlowStep3D等更强流模型、几何与运动学先验、多帧/多阶段细化、金字塔特征聚合、鲁棒预处理，并将密集对应与循环或Transformer时序建模融合及扩展到双手和单视角场景。\n\n### 关键要点\n\n- 输入深度图先乘手部掩码，用相机内参反投影到相机坐标，DBSCAN以簇内点距不超过5 mm、每簇至少5点去除离群点，保留最大簇，再经外参转到世界坐标并拼接所有视角。\n- 每个多视角点云统一随机采样4096点；点数不足时重复采样补齐，DexYCB中少于1024点的样本因手部不可见而丢弃。\n- HSE仅用于序列首帧，由全局特征提取器和三层MLP回归MANO手部形状与姿态，后续帧通过多路复用器将估计结果反馈给SFE进行跟踪。\n- DexYCB和HO3D没有场景流真值；作者利用连续帧MANO顶点位置差生成稀疏场景流，再基于局部刚性假设用kNN平均传播为所有点的密集场景流注释。\n- SFE采用Bi-PointFlowNet，选择该骨干是因为其在KITTI上表现强且跨数据集泛化较好；原始预训练模型因尺度差异在手部数据上误差很大，输入按S=15缩放并在DexYCB微调。\n- 推理时网络先预测密集场景流，再将上一帧手部顶点和关节与当前点云混合，用k=15的kNN从邻近点的密集流平均得到顶点和关节的稀疏场景流。\n- 场景流提供显式三维位移并按 $H_{t+1}=H_t+SF_M$ 传播手部形状；去掉场景流、直接由当前点云和首帧估计预测的消融会降低形状精度与时序稳定性。\n- RM包含形状和姿态两个独立GCNN分支，节点输入由3D坐标、1024维全局特征和1024维局部特征拼接成2051维；形状分支使用MANO网格邻接，姿态分支使用21关节运动学邻接。\n- 训练分阶段进行：HSE训练100轮、SFE从FlyingThings3D权重微调20轮，随后固定HSE、SFE和全局特征提取器，训练局部特征提取器与GCNN 30轮，优化器为Adam，硬件为单张RTX 3090。\n- DexYCB包含8视角100条真实RGB-D序列且只用右手样本，HO3D v3使用5视角并沿用POEM划分；HO3D通过roll和pitch在0、90、180、270度上的三维旋转将训练样本扩充16倍。\n- 微调后密集和稀疏场景流EPE3D分别为2.39 mm和3.04 mm，HandFlowNet总推理时间为39 ms、参数量为64M，但快速运动、严重遮挡、指尖深度缺失和DBSCAN误删会增大重建误差。"
}