{
  "paper_id": "97fd896242c957ac906ab8cea2d5e7c6",
  "paper_title": "HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions",
  "paper_authors": [
    "Hao Xu",
    "Haipeng Li",
    "Yinqiao Wang",
    "Shuaicheng Liu",
    "Chi-Wing Fu"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "从单张图像鲁棒重建三维手部网格极具挑战，主要原因在于现有真实数据集缺乏多样性。数据合成虽能缓解该问题，但合成到真实的域间隙仍限制其应用。本文提出 HandBooster，通过在手物交互上训练条件生成空间并有目的地采样该空间，以提升数据多样性和三维手部网格重建性能。方法首先构建多用途内容感知条件，引导扩散模型生成具有多样手部外观、姿态、视角和背景的真实图像，同时免费获得精确三维标注；随后设计基于相似性感知分布采样策略的新颖条件生成器，刻意寻找区别于训练集的新颖且真实的交互姿态。多个基线在 HO3D 和 DexYCB 基准上均获得显著提升并超越现有最优方法。代码将在 <https://github.com/hxwork/HandBooster_Pytorch> 发布。\n",
  "keywords": [
    "三维手部网格重建",
    "手物交互",
    "条件扩散模型",
    "数据合成",
    "相似性感知采样",
    "最远姿态采样",
    "单目重建",
    "域间隙"
  ],
  "paper_institutions": [
    "The Chinese University of Hong Kong",
    "University of Electronic Science and Technology of China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:49.971792Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对单张RGB图像鲁棒重建3D手部网格受限于真实手物数据集外观、姿态与视角多样性不足，而传统渲染数据存在外观和光照失真、现有生成方法多只注重视角合成且缺乏标注一致性的问题，论文提出HandBooster。其核心机制是先把三维手部网格m投影为法线图n和纹理图c，并将手部朝向以四元数h_q嵌入潜在条件，再由无分类器引导的条件扩散模型按 x̂₀ = fθ(Concat(n,c), h_q, PE(t)) 生成128×128真实图像，输入网格即精确三维标注；训练以前景加权L2损失强化手物区域，并通过预训练重建模型按关节和顶点误差过滤伪影边界样本。为同时保证真实、多样和新颖，条件创建器依据物体相对旋转误差RRE和相对平移误差RTE，即5°与10mm阈值，自动识别抓取帧，仅扰动抓取姿态朝向以生成新视角；再使用与DexYCB一致的YCB物体，每个物体模拟10000次抓取，经接触、手物穿模和手部自穿模三项校验保留自然姿态，并在规范姿态下用手部姿态、物体旋转四元数与平移拼接的向量计算余弦距离。分布内最远姿态采样反复选择到已选集最近距离最大的姿态，跨分布采样则把合成姿态对所有真实姿态的相似度和经min-max归一化为采样概率，使与真实数据越相似的姿态被采样概率越低。实验选择DexYCB S0（406,888/78,768个样本）和S1（7/2个训练/测试主体）检验受控场景与陌生主体泛化，HO3D v2经官方服务器评测，ObMan作为渲染合成对照，MOW的512个标注样本检验野外泛化；条件为256×256并用PyRender渲染，扩散模型在16张2080Ti上以批量256、学习率0.00008训练，DexYCB与HO3D分别训练700,000和200,000次，这些设置可验证方法跨网络表示、跨输入分辨率和跨域的增强能力。评估采用J-PE/V-PE、J-AUC/V-AUC、F@5/F@15，并区分Procrustes对齐与根相对两种设置，辅以FID衡量生成真实感；HandOccNet、MobRecon和H2ONet三个基线在两个DexYCB划分及HO3D上的多数或全部指标获得提升，例如DexYCB S0中HandOccNet根相对J-PE/V-PE由14.0/13.1降至11.9/11.5，H2ONet的Procrustes对齐J-PE由5.7降至5.1，HO3D上复现的HandOccNet根相对J-PE降低4.0，增强后的单目模型甚至超过部分多帧方法；生成数据FID为2.91，显著优于ObMan的8.52，消融中完整方法使MobRecon根相对J-PE从14.20降至13.25，支持真实感内容条件、朝向嵌入和两级采样策略的创新贡献。未来可扩展更多物体类别、野外背景、物理合理性约束与高效扩散采样，并降低伪影和训练成本；该方法适用于AR/VR、人机交互和操作感知等场景，但仍受严重遮挡、细小或薄物体抓取失败、潜在穿模、YCB对象范围、生成边界样本以及16 GPU训练成本等约束，轻量模型MobRecon也因容量和计算预算限制而增益较小。\n\n### 关键要点\n\n- HandBooster由新颖条件创建器、手物图像合成器和下游重建训练三部分组成，目标是用带精确3D标注的合成样本提升单目手部网格重建。\n- 图像合成器选择法线图和纹理图作为互补的内容感知条件，因为前者易于区分几何结构，后者同时携带形状与颜色信息。\n- 手部3D朝向被表示为四元数并嵌入扩散模型多个阶段，以弥补2D条件难以反映微小朝向变化的问题。\n- 扩散模型根据法线图、纹理图、四元数朝向和时间位置编码生成图像，并使用手物分割掩码对前景赋予更高损失权重。\n- 生成样本需经过边界案例过滤：用在同一训练集上预训练的重建模型计算关节和顶点误差，剔除误差超过阈值的样本。\n- 现有数据中的抓取状态由物体相对旋转误差和相对平移误差自动判定，阈值分别为5°和10mm，非抓取动作保持不变以保留真实运动。\n- 新抓取姿态基于YCB物体仿真生成，每个物体尝试10000次，并必须满足手部接触、无明显手物交叠和无手部自穿透三项条件。\n- 分布内最远姿态采样以余弦距离选择彼此差异最大的姿态，减少真实或合成数据中重复、相似抓取姿态的占比。\n- 跨分布采样根据合成姿态与真实姿态的相似度自适应调整概率，与真实姿态越相似的合成样本被选中的概率越低。\n- 实验覆盖DexYCB S0/S1、HO3D v2、ObMan对照和MOW野外测试，基线包含MANO式HandOccNet以及顶点式MobRecon与H2ONet。\n- 三个基线在DexYCB和HO3D上均获得一致性指标提升，HO3D上HandOccNet根相对J-PE降低4.0，DexYCB增强单目模型可超过部分多帧方法。\n- 方法仍依赖仿真抓取质量和阈值过滤，细小或薄物体可能抓取失败，且扩散训练需要较高算力，轻量基线的提升空间也受模型容量限制。"
}