{
  "paper_id": "555a3050a01e3a0774d06b512b89f31c",
  "paper_title": "SESAHAND: ENHANCING 3D HAND RECONSTRUCTION VIA CONTROLLABLE GENERATION WITH SEMANTIC AND STRUCTURAL ALIGNMENT",
  "paper_authors": [
    "Zhuoran Zhao",
    "Xianghao Kong",
    "Linlin Yang",
    "Zheng Wei",
    "Pan Hui",
    "Anyi Rao"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "近期3D手部重建研究表明，合成训练数据可有效提升估计性能；但多数方法依赖游戏引擎合成手部图像，纹理与环境多样性不足，且缺少手臂或交互物体等关键组成。生成模型虽可作为生成多样手部图像的替代方案，却仍存在对齐问题。本文提出SesaHand，从语义对齐与结构对齐两方面增强用于3D手重建的可控手部图像生成。在语义对齐方面，提出带Chain-of-Thought推理的流程，从视觉语言模型生成的图像描述中提取人体行为语义；该语义抑制与人体无关的环境细节，并为手部图像生成保留充分的以人为中心上下文。在结构对齐方面，引入分层结构融合，整合不同粒度结构信息以精化特征，使生成图像中的手与整个人体更好对齐；进一步提出手部结构注意力增强方法，高效增强模型对手部区域的关注。实验表明，该方法不仅在生成性能上优于先前工作，而且所生成的手部图像能够提升3D手部重建效果。\n",
  "keywords": [
    "3D手部重建",
    "可控图像生成",
    "语义对齐",
    "结构对齐",
    "人体行为语义",
    "Chain-of-Thought",
    "分层结构融合",
    "注意力增强",
    "扩散模型",
    "合成数据"
  ],
  "paper_institutions": [
    "The Hong Kong University of Science and Technology (Guangzhou)",
    "The Hong Kong University of Science and Technology",
    "Communication University of China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:05.406482Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单目3D手部重建依赖昂贵标注、游戏引擎合成数据存在纹理环境单一、悬浮手、缺少手臂和手物交互等问题，本文在扩散模型与ControlNet可控生成的研究背景下提出SesaHand，通过语义与结构双重对齐生成带可靠手部网格条件的多样化在野图像。语义上，作者将以人为中心的上下文定义为包含人体姿态、动作、手部动作和环境的人体行为语义，并用Captioner、Extractor、Composer三阶段CoT流程从VLM描述中去除冗余信息、构造文本-图像训练对；结构上，核心机制从控制模块编码和中间块提取64、32、16、8分辨率自注意力图，经最大池化后聚合为ψ'=Σ M(ψ_r)，再以f'_c=f_c⊗ψ'和f'=Z(f'_c)+f将多粒度全局/局部人体结构注入Stable Diffusion，同时在手部相关交叉注意力图中加入偏置B_{q,k}=α（当键k属于手部相关动词索引），以α=2.0高效突出手部区域。训练采用Stable Diffusion 1.5冻结骨干、ControlNet式控制模块、AdamW、学习率1e-5、batch size 2、512×512双手中心裁剪、50 epochs、单张RTX 5000 Ada约50 GPU小时；这些设置既保留互联网级人体先验，又避免直接缩放造成的手与人体畸变。文本到图像生成在预处理MSCOCO上评估，3D重建在HIC（732个RGBD单/交互手测试样本）和ReIH（126,640个HDR重光照交互手样本）上评估，以验证在野泛化和交互手价值。生成指标包括FID、KID、手部裁剪FID-H/KID-H、MediaPipe手部置信度与2D关键点MSE、InterWild的3D关键点MSE及12人用户偏好；SesaHand取得FID 18.63、FID-H 17.77、KID-H 0.00718、手部置信度0.966、MSE-3D 1.537和用户偏好4.55，相对AttentionHand将FID-H和KID-H分别降低约34%和44%，支持语义净化、手身结构融合与局部手部注意力的有效性。重建实验用生成图像微调InterWild和DIR，InterWild在HIC/ReIH的MPVPE分别改善3.9%/7.0%，DIR分别改善6.7%/13.2%，显示生成数据可增强遮挡、截断等困难样本的检测与网格预测鲁棒性。该技术可服务AR/VR、人机交互和具身智能灵巧操作，但当条件手过小或手物接触紧密时会出现手部模糊和手物融合；未来可强化手物交互区域学习、对高噪声时间步采用优先采样以改善结构生成，并引入更多第一视角配对数据以提升机器人操作等下游能力。\n\n### 关键要点\n\n- SesaHand以手部网格图像为结构条件、文本提示为语义条件，在冻结的Stable Diffusion 1.5上训练ControlNet式控制模块，生成可用于3D手部重建的配对图像。\n- 语义对齐流程采用三阶段CoT：Captioner生成初始图像描述，Extractor在少样本示例引导下输出结构化JSON，Composer组合姿态、动作、手部动作和环境成分。\n- 在100个样本的提示影响分析中，人体行为语义生成图像的手部检测平均置信度为97%，高于直接使用VLM描述的86%。\n- 分层结构融合从控制模块编码器和中间块提取64、32、16、8分辨率自注意力图，高分辨率侧重局部结构、低分辨率侧重全局结构。\n- 多分辨率注意力图经最大池化和求和得到ψ'，再通过f'_c=f_c⊗ψ'精化控制特征，并经零卷积注入Stable Diffusion原输出。\n- 手部结构注意力增强使用词性标注识别包含hand的动词令牌，并在对应交叉注意力键位置加入α=2.0的偏置，无需优化噪声嵌入。\n- 生成实验使用经RGB手部图像和手部网格图像预处理的MSCOCO；重建测试使用HIC和Re:InterHand，分别覆盖RGBD在野手序列和HDR重光照交互手。\n- 在MSCOCO上，SesaHand取得FID 18.63、FID-H 17.77、KID-H 0.00718、手部置信度0.966和MSE-3D 1.537，整体优于AttentionHand等方法。\n- 用生成图像微调后，InterWild在HIC和ReIH上的MPVPE分别降低3.9%和7.0%，DIR则分别降低6.7%和13.2%。\n- 训练速度为0.44秒/迭代，接近ControlNet的0.41秒/迭代，远快于AttentionHand的27.25秒/迭代。\n- 方法的主要限制是条件手过小时可能生成模糊手部，手物接触处可能发生融合；未来将加强交互区域、高噪声步采样和第一视角数据学习。"
}