{
  "paper_id": "942774ef9b3a86c7144c69a7c5101938",
  "paper_title": "THOR-Net: End-to-end Graformer-based Realistic Two Hands and Object Reconstruction with Self-supervision",
  "paper_authors": [
    "Ahmed Tawfik Aboukhadra",
    "Jameel Malik",
    "Ahmed Elhayek",
    "Nadia Robertini",
    "Didier Stricker"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)",
  "abstract": "从单张RGB图像逼真地重建与物体交互的双手是一个新颖且具有挑战性的问题，对构建个性化的虚拟与增强现实环境至关重要。图卷积网络（GCN）通过将手部姿态和形状建模为图来保持其拓扑结构。本文提出THOR-Net，结合GCN、Transformer和自监督的强大能力，从单张RGB图像逼真地重建双手和一个物体。网络包含两个阶段：特征提取阶段和重建阶段。特征提取阶段使用Keypoint RCNN从单目RGB图像中提取2D姿态、特征图、热图和边界框；随后这些2D信息被建模为两个图并传递到重建阶段的两个分支。形状重建分支使用新颖的由粗到细GraFormer形状网络估计双手和物体的网格；手和物体的3D姿态由另一分支使用GraFormer网络重建。最后，利用自监督光度损失直接回归手部网格中每个顶点的逼真纹理。该方法在HO-3D数据集上的手部形状估计取得最先进结果（10.0mm），超过ArtiBoost（10.8mm）；在具有挑战性的双手和物体（H2O）数据集上，左手姿态超过其他方法5mm，右手姿态超过1mm。代码将在https://github.com/ATAboukhadra/THOR-Net 提供。",
  "keywords": [
    "双手与物体重建",
    "图卷积网络",
    "Transformer",
    "自监督学习",
    "手部姿态估计",
    "3D形状重建",
    "光度损失",
    "纹理回归",
    "GraFormer"
  ],
  "paper_institutions": [
    "DFKI-AV Kaiserslautern",
    "TU Kaiserslautern",
    "NUST-SEECS Pakistan",
    "UPM Saudi Arabia"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:26:37.710786Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从单张单目RGB图像逼真地重建与物体交互的双手是构建个性化虚拟现实（VR）与增强现实（AR）环境的关键新挑战，其困难在于手部形状与纹理多变、自由度众多、手部各部分自相似、双手自遮挡以及手-物互相遮挡，而单目RGB图像仅包含2D信息。已有研究多聚焦单手与物体的姿态估计（如Keypoint Transformer、HandOccNet、ArtiBoost），或利用GCN（HopeNet、GraFormer）保持手部姿态与形状的固有运动学和图结构以应对深度模糊与遮挡，但双手与物体的联合重建极少受到关注。本文提出THOR-Net，据作者所知是首个结合GCN、Transformer与自监督的方法，可从单目RGB图像同时估计双手与物体的3D形状、3D姿态以及手部每个顶点的纹理：网络分为特征提取与重建两阶段，先用Keypoint RCNN（ResNet50+FPN骨干）提取2D姿态、热图、特征图和边界框，再将这些2D信息建模为两个图，分别送入新颖的由粗到细GraFormer形状网络（通过三级GraFormer加反池化逐级增加图节点数，从姿态逐步生成网格，节点表示为2048维RoI特征向量拼接56×56热图）和基于GraFormer的2D-to-3D姿态网络；同时利用自监督光度损失直接回归手部网格每个顶点的纹理，其核心机制为 L_photo = MSE(I[proj(V_gt)], V_pred,rgb)，即先将真实3D形状利用相机内参投影到输入图像，再以均方误差惩罚投影顶点对应像素的RGB值与模型估计的RGB值。实验选用HO-3D（单手-物体交互、严重遮挡）和H2O（双手-物体、自我中心视角）两个公开基准，以分别验证方法在单手与双手场景下的有效性；训练采用192M参数网络、Adam优化器（学习率0.0001）、批大小8、NVIDIA A100 GPU，联合损失包含热图交叉熵、边界框分类与回归、3D姿态与形状的MSE以及光度损失。评价指标为Procrustes对齐/非对齐MPJPE（mm）与正确顶点百分比（PCV）：在HO-3D(v3)上手的形状估计对齐误差达10.0mm，超过ArtiBoost的10.8mm取得SOTA；在H2O上左手姿态误差改善5mm、右手改善1mm，并首次报告H2O上的形状评估（左手54.1mm、右手59.4mm、物体66.6mm），这些结果支持了由粗到细GraFormer结构与光度自监督纹理回归的有效性；消融实验进一步证实三级GraFormer深度与热图+2048维特征的图输入表示最优。未来方向包括利用视频时序约束构建时空图以改进重建；实际应用涵盖AR/VR沉浸式个性化体验、人机交互、动作与手势识别，但受限于纹理估计的平滑效应、光照导致的肤色差异、对未见物体的泛化能力不足，以及HO-3D上姿态估计尚未超越已有方法、H2O上物体姿态不够精确等约束。\n\n### 关键要点\n\n- THOR-Net是首个（据作者所知）结合GCN、Transformer与自监督的方法，可从单张单目RGB图像同时重建双手与物体的3D姿态、3D形状以及手部每个顶点的纹理。\n- 网络分两阶段：Keypoint RCNN从RGB图像提取2D姿态、热图、特征图和边界框；重建阶段将这些2D信息建模为两个图，分别送入形状分支与姿态分支，且RCNN的物体定位能力免去了图像裁剪等预处理步骤。\n- 形状分支采用新颖的由粗到细GraFormer：输入图为29个节点（每个节点持有2048维RoI特征向量与56×56热图，展平拼接后节点表示为5184维），经三级GraFormer加反池化逐级增加节点数，最终输出每个顶点的3D坐标（生成纹理时还输出RGB值）。\n- 姿态分支基于GraFormer（GraAttention多头自注意力层与ChebGConv图卷积组合，重复五次）将2D信息提升为3D姿态；实验发现用热图作为节点表示比2D像素坐标更准确，而在H2O数据集上使用2D关键点效果更好。\n- 自监督光度损失 L_photo = MSE(I[proj(V_gt)], V_pred,rgb) 直接回归每个顶点的RGB纹理，与依赖51个受试者构建统计纹理模型的HTML不同，该方法可从任意手部数据集的海量RGB图像学习纹理。\n- 针对物体拓扑不一致问题，采用可训练方法将四级细分Icosphere（2556顶点）经QECD简化为1000顶点的球体，并通过最小化Chamfer距离加边长、法向一致性与拉普拉斯平滑正则项（λ1=0.01，λ2=0.1）将其变形到每个目标物体。\n- 手部网格用QECD降采样为49和194顶点两个粒度层级，其面片用于生成由粗到细网络中间层所需的简化邻接矩阵；手部网格邻接矩阵基于MANO面片构建。\n- 实验在HO-3D（单手-物体、严重遮挡，物体来自YCB数据集）和H2O（双手-物体、五个相机视角中仅用自我中心视角）两个基准上进行，以验证单手与双手两种场景；训练使用192M参数、Adam优化器（学习率0.0001）、批大小8、NVIDIA A100 GPU。\n- 在HO-3D(v3)上手的形状估计Procrustes对齐误差为10.0mm，超过ArtiBoost的10.8mm达到SOTA，非对齐误差为23.7mm；HO-3D(v2)上对齐误差10.7mm、非对齐误差26.3mm。\n- 在H2O数据集上，左手姿态误差36.8mm（较此前方法改善5mm）、右手36.5mm（改善1mm），并首次提供该数据集的形状评估：左手54.1mm、右手59.4mm、物体66.6mm。\n- 消融实验表明三级GraFormer结构优于一级（11.4mm）和二级（11.1mm）结构，热图+2048维特征向量的图输入优于2D姿态（14.6mm）、3D姿态（10.9mm）输入以及1024维（13.5mm）和4096维（11.8mm）特征。\n- 局限性包括：HO-3D上姿态估计未超越已有方法、H2O上物体姿态估计不够精确（73.9mm）、纹理存在平滑效应并受光照影响、对未见物体泛化能力不足；未来工作可利用视频时序约束构建时空图以改进重建。"
}