{
  "paper_id": "d765aa6d683b5bcba56770631de8374b",
  "paper_title": "RenderIH: A Large-scale Synthetic Dataset for 3D Interacting Hand Pose Estimation",
  "paper_authors": [
    "Lijun Li",
    "Linrui Tian",
    "Xindi Zhang",
    "Qi Wang",
    "Bang Zhang",
    "Mengyuan Liu",
    "Chen Chen"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "针对现有交互手部数据集背景与纹理单一、机器标注关节可能存在误差、姿态分布多样性不足并限制模型泛化能力的问题，论文提出大规模照片级合成数据集 RenderIH。该数据集包含100万张具有多样背景、视角和手部纹理的合成图像，并通过新的姿态优化算法生成自然、多样且无明显穿透的双手交互姿态。论文同时提出基于 Transformer 的姿态估计网络 TransHand，利用双手相关性验证数据集价值。RenderIH 与模型结构无关，可用于提升多种手部姿态估计方法的精度；实验表明，在该合成数据上预训练可将相关误差从6.76 mm降至5.79 mm，TransHand 也优于同期方法。数据集和代码开放于 <https://github.com/adwardlee/RenderIH> 。\n",
  "keywords": [
    "三维交互手部姿态估计",
    "合成数据集",
    "RenderIH",
    "姿态优化",
    "防穿透",
    "照片级真实渲染",
    "Transformer",
    "TransHand"
  ],
  "paper_institutions": [
    "阿里巴巴集团",
    "上海人工智能实验室",
    "北京大学深圳研究生院机器感知重点实验室",
    "中佛罗里达大学计算机视觉研究中心"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:26:25.951148Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n单目RGB三维交互手部姿态估计服务于人机交互、增强现实/虚拟现实、手语识别和动作理解，但真实图像因双手自遮挡严重，三维标注耗时且规模有限；已有真实数据多采集于实验室或绿幕，合成数据则存在随机姿态无效、双手穿透、纹理/背景/光照单一等问题。论文以A-MANO为手部模型，从InterHand2.6M提取原始姿态并按关节弯曲/外展范围增广，再通过统一优化机制生成有效自然姿态，其核心目标为 `argmin_{ψr,ψl}(w1Σ Lij^A + w2 La + w3 Ladv + w4 Lp)`：锚点吸引损失使高频接触点保持贴近，16分区改进SDF防穿透损失检测复杂凹面碰撞，解剖学损失执行关节方向和角度限制，预训练判别器的对抗损失则让生成姿态接近真实自然分布。渲染阶段为约10万个优化后姿态各采样10个视角，结合30种手部纹理、300张HDR室内外全景、动态光照和Blender Cycles光线追踪，形成100万张512×334图像，并提供姿态形状参数、二维/三维关节坐标及相机内外参。实验选用最大真实IH基准InterHand2.6M（筛选后366K训练、261K测试）检验主性能，用Tzionas评估小规模野外泛化，并在H2O-3D、Ego3d与RenderIH间固定40K样本以隔离数据质量差异；TransHand以ResNet50为编码器、256×256输入、Adam（学习率1e-4、批大小64）在单张A100上训练，相关编码器通过侧向连接融合双手特征。采用MPJPE、PAMPJPE、SMPJPE、MRRPE和CDev评测，RenderIH预训练加真实微调将PAMPJPE/MPJPE/SMPJPE/MRRPE/CDev从6.76/10.66/9.63/12.98/27.9 mm降至5.79/9.64/8.18/11.95/24.6 mm，并使IntagHand的MPJPE从10.9降至9.72 mm；仅用10%真实数据微调即可接近全量真实训练精度，1%真实微调可将MPJPE由27.73降至12.6 mm，固定样本泛化实验中RenderIH也优于H2O-3D和Ego3d。这些结果支持姿态优化、高多样性渲染和双手相关建模三项创新，说明合成数据可补充真实数据、显著缓解重度遮挡与接触问题，但RenderIH单独训练仍有领域差距、不能完全替代真实数据，锚点对在严重重叠时可能冲突，优化权重和s/k等超参数目前依赖经验选择。未来可将超参数设为可学习变量、扩展分割等可生成标签、提升野外域适应能力，并进一步降低对真实标注的依赖。\n\n### 关键要点\n\n- RenderIH包含100万张照片级合成双手交互图像，由约10万个优化姿态各渲染10个视角生成，并提供姿态形状参数、二维/三维关节坐标和相机内外参。\n- 姿态生成从3680个去重后的InterHand2.6M姿态出发，每个姿态增广30次，弯曲和外展偏移受关节角度表约束，优化后过滤仍有明显穿透或越界的样本，保留率约为93%。\n- 防穿透方法将每只手划分为16个近似凸的子网格，并分别计算改进SDF穿透损失，比整体网格SDF更适合检测手部高铰接、凹面区域的碰撞。\n- 系统根据接触频率和空间下采样选取108个锚点，由距离最近且法向兼容的锚点组成锚点对，并用随初始距离变化的吸引权重促进双手紧密接触，同时比使用全部顶点更省时。\n- 解剖学优化限制扭转自由度、仅允许指根外展并执行各手指角度范围；自然判别器使用真实姿态和随机增广姿态预训练，使用户研究中的自然率从无判别器的54.68%提升到81.25%。\n- 渲染使用30种包含皱纹、骨骼、静脉和汗毛差异的手部纹理，300张HDR室内外全景，动态光照、球形相机轨道和Cycles光线追踪，4张A100渲染耗时超过200小时。\n- TransHand以ResNet50提取全局和多分辨率图像特征，再通过3个相关编码器块融合左右手特征与图像特征，逐步回归包含778个顶点的精细手部网格。\n- 训练损失包括三维和二维关节L1损失、网格顶点L1损失以及基于真值法向的平滑损失，以同时保证关键点位置、网格几何和表面连续性。\n- 相关编码器使基线模型的PAMPJPE/MPJPE/SMPJPE从7.32/11.12/10.82 mm降至6.76/10.6/9.63 mm；RenderIH预训练后进一步达到5.79/9.64/8.18 mm，并改善MRRPE和CDev。\n- RenderIH具有模型无关性，混合训练使InterNet、DIGIT和IntagHand的MPJPE分别从18.28、15.48、10.9 mm降至17.19、14.28、9.72 mm，且双手遮挡越严重收益越明显。\n- 在数据效率方面，RenderIH预训练后仅用10%真实数据微调即可接近全量真实训练精度；固定40K样本时，RenderIH在IH2.6M和Tzionas上的泛化误差均低于H2O-3D和Ego3d。\n- 该数据集的约束在于单独使用合成数据训练效果仍较差，严重重叠时锚点对可能发生冲突，且姿态优化权重、接触阈值s和k等超参数主要依据实验经验设定。"
}