{
  "paper_id": "6c53699edd7ca897d87d349461410500",
  "paper_title": "Pyramid Deep Fusion Network for Two-Hand Reconstruction from RGB-D Images",
  "paper_authors": [
    "Jinwei Ren",
    "Jianke Zhu"
  ],
  "publication_date": "",
  "publication_venue": "IEEE Transactions on Circuits and Systems for Video Technology",
  "abstract": "从单目图像准确恢复双手稠密三维网格因遮挡和投影歧义而颇具挑战。现有多数方法从彩色图像提取特征来估计根节点对齐的手部网格，忽略了真实世界中关键的深度与尺度信息；基于深度的方法则受传感器噪声和有限分辨率限制，通常只预测三维关键点而非稠密网格。为此，本文利用RGB与深度这两种互补输入获取真实尺度的稠密手部网格，提出一个以单视角RGB-D图像对为输入、端到端恢复双手稠密网格的框架。为缓解RGB图像模糊和深度图像噪声，方法没有将深度图直接作为额外通道，而是将深度信息编码为无序点云以保留更多几何细节；具体采用ResNet50和PointNet++分别提取RGB与点云特征，并提出新颖的金字塔深度融合网络PDFNet在不同尺度聚合特征，最后使用基于GCN的解码器处理融合特征并恢复三维姿态与稠密网格。综合消融实验验证了所提融合算法的有效性，且该方法在公开数据集上优于现有最先进方法；源代码和模型将公开发布。\n",
  "keywords": [
    "RGB-D 融合",
    "三维重建",
    "手部姿态",
    "端到端网络"
  ],
  "paper_institutions": [
    "浙江大学计算机科学与技术学院"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:32:40.347691Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决单视角RGB-D图像中双手稠密三维网格恢复问题：单纯RGB方法受自遮挡、运动模糊、背景杂乱和投影歧义影响，多输出根节点对齐网格而缺少相机空间真实深度与绝对尺度，深度方法虽含几何和尺度信息却受噪声、分辨率限制且多停留在稀疏关键点，早期RGB-D融合又常采用四通道输入、二维深度特征或全局拼接，难以处理高度非线性的双手交互姿态。作者提出端到端单阶段框架，先用ResNet50从未裁剪RGB图像提取多尺度特征并回归左右手中心图与掩码，再依据相机内参和掩码将深度图转为无序点云、滤除离群点并采样1024个点，由PointNet++提取三层金字塔几何特征；PDFNet通过点云到二维特征图的索引逐点获取对应RGB特征，在1024、512、128点三个尺度进行像素级深度融合，并用以RGB特征为条件的特征空间变换网络自适应生成缩放和平移参数，核心机制为 $\\hat{\\mathcal{P}}=\\mathcal{P}\\odot\\alpha+\\beta$，从而把点特征映射到新特征空间、抑制局部不可靠区域干扰，最后结合中心全局特征与稀疏局部融合特征，经Chebyshev谱图卷积解码器以63、126、252个顶点的粗到细结构输出与MANO拓扑一致的778顶点双手网格及相机坐标姿态。实验选用H2O、H2O-3D和RHD：H2O提供第一视角像素对齐RGB-D、复杂桌面操作场景和每只手62维MANO标注，适合检验真实交互双手的绝对定位与稠密网格，H2O-3D用于第三人称手物交互在线评测，RHD合成数据则覆盖从很近到超过2米的大范围距离以验证泛化；实现上输入零填充并缩放至384×384，使用PyTorch、两块RTX2080Ti、每卡批大小8、初始学习率1e-4、第30轮衰减10倍、共训练80轮，并采用缩放、旋转、平移、颜色抖动和水平翻转增强。评价采用相机坐标MPJPE、MPVPE以及根节点对齐后的AL-MPJPE、AL-MPVPE，完整模型在H2O上取得10.63mm MPJPE、10.04mm MPVPE、7.84mm AL-MPJPE和7.94mm AL-MPVPE，在H2O-3D上取得10.7mm AL-MPJPE和0.787 AUC，在RHD上加入PDFNet后左右手MPJPE分别由419.89/451.03mm降至215.34/218.29mm，这些结果共同支持多尺度金字塔融合、自适应特征变换、中心特征和GCN解码的有效性；该方法面向AR/VR、人机交互、动作识别和仿真等需要真实尺度与相机空间位置的场景，但当前约束是仅支持单帧RGB-D、掩码精度与泛化仍不足，未来可引入SAM等预训练模型、连续帧时序信息、多视角信息以及手物和人环交互。\n\n### 关键要点\n\n- 框架以未裁剪的单视角RGB-D图像为输入，直接输出相机坐标系中的左右手三维姿态和稠密网格，而非仅输出根节点对齐结果。\n- RGB分支使用ResNet50提取图像金字塔特征，并用两个简单解码器回归左右手中心位置和分割掩码，中心用于初始化网格根节点，掩码用于从深度图分离手部点云。\n- 深度分支将深度图转换为三维无序点云，按平均深度滤除离群点后随机采样1024个点，避免把深度图简单当作第四通道而损失固有三维几何特性。\n- PointNet++通过球查询、局部邻域MLP、最大池化和中心点特征拼接，生成1024、512和128点三个层级的金字塔点云特征。\n- PDFNet保留点云相对深度图的索引，将每个点投影到RGB特征图并抓取对应位置特征，从而在多个尺度上实现逐像素、逐点的跨模态对齐融合。\n- 特征空间变换网络根据RGB特征学习尺度参数和平移参数，对点特征进行自适应仿射变换，以缓解运动模糊、遮挡、深度噪声和背景干扰造成的局部偏差。\n- 最终融合特征还与CNN中心位置的全局特征结合，形成全局—局部表示；消融显示移除中心特征会使MPJPE约增加2mm。\n- GCN解码器采用Chebyshev谱图卷积和粗到细上采样，从63个顶点经126、252个顶点细化到与MANO拓扑一致的778个顶点网格。\n- H2O实验中完整模型显著优于DenseFusion、IntagHand+D及纯RGB方法，完整模型的平均MPJPE/MPVPE为10.63/10.04mm，AL-MPJPE/AL-MPVPE为7.84/7.94mm。\n- H2O-3D在线评测和RHD跨场景实验表明，方法在第三人称手物交互和远距离合成双手场景中仍有效，RHD上使用PDFNet可大幅降低绝对与对齐误差。\n- 消融还表明三层金字塔全部使用效果最佳，GCN解码器优于MANO解码器和三层全连接解码器，但模型预测掩码相比真值掩码会带来约1mm误差，且系统尚不能利用时序或多视角信息。"
}