{
  "paper_id": "d3a892faaa26d8497edb1e1de1971178",
  "paper_title": "BiTT: Bi-directional Texture Reconstruction of Interacting Two Hands from a Single Image",
  "paper_authors": [
    "Minje Kim",
    "Tae-Kyun Kim"
  ],
  "publication_date": "",
  "publication_venue": "2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "创建个性化手部化身对于在 AR/VR 平台上为用户提供真实体验非常重要。以往大多数研究集中于重建三维手型，近期一些工作开始在手型之上重建手部纹理，但这些方法通常只能获取手部可见侧像素，因此需要视频或多幅图像中的不同视角作为输入。本文提出 BiTT（Bi-directional Texture reconstruction of two hands），这是首个仅用单张 RGB 图像即可对交互双手进行可重光照、无姿态约束纹理重建的端到端可训练方法。其核心包括三部分：利用左右手纹理对称性进行双向（左↔右）纹理重建；使用手部纹理参数模型恢复纹理；以及采用由粗到细的阶段流水线重建交互双手的个性化纹理。BiTT 首先从输入图像估计场景光照条件和反照率图像，然后通过纹理参数模型和双向纹理重建器恢复双手纹理。在 InterHand2.6M 和 RGB2Hands 数据集上的实验表明，该方法在定量和定性上均显著优于现有手部纹理重建方法。代码位于 <https://github.com/yunminjin2/BiTT>。\n",
  "keywords": [
    "双手纹理重建",
    "单图像三维重建",
    "交互双手",
    "可重光照",
    "手部纹理参数模型",
    "双向纹理重建",
    "UV 纹理图",
    "反照率估计",
    "AR/VR"
  ],
  "paper_institutions": [
    "KAIST",
    "Imperial College London"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:22.914894Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对 AR/VR 中个性化双手化身的需求，现有手部纹理方法通常依赖多视角图像或视频，且在遮挡区域容易产生模糊纹理或固定颜色；本文提出 BiTT，这是首个仅从单张 RGB 图像端到端重建可重光照、姿态自由的交互双手纹理的方法。该方法先由场景估计网络预测光照参数和反照率图像，再在粗阶段利用 HTML 手部纹理参数模型，由编码器输出左右手 101 维参数 h_l、h_r，并通过核心机制 T(h_i)=τ̄+Φh_i 生成完整 UV 纹理，细阶段则由双向纹理重建器将可见反照率纹理与粗纹理合成，并在解码时双向拼接对侧手特征以恢复皱纹、血管、指甲等个性化细节。实验选择 InterHand2.6M，因为它包含多视角交互双手和真值网格，覆盖全部 26 个身份、378 个场景，并在每场景使用 8 个新姿态和 8 个新视角共 6,048 张测试图；RGB2Hands 则用于验证无真值网格和低分辨率单目视频场景，包含 300 个场景、每场景 40 个新姿态共 12,000 张测试图；所有图像缩放为 256×256，模型进行每场景 700 轮训练并在 7 分钟内完成。采用 L1、LPIPS、PSNR、SSIM 和 MS-SSIM 评估，在使用真值网格的外观重建中，BiTT 取得 L1 0.0101、PSNR 30.41、MS-SSIM 0.9349，优于 HARP 的 0.0157、28.11 和 0.9061，新视角 PSNR 达到 27.79，在不使用真值网格时外观重建 PSNR 仍为 28.40；RGB2Hands 上增益较小，因为其可用对称纹理仅 10.21%。消融中粗阶段 PSNR 为 25.36，加入对称纹理后为 26.21，再加入反照率一致性损失后升至 27.16，证明对称信息利用和光照解耦的有效性，而对称信息可将单只手的纹理覆盖从约 35% 提升到最高约 60%。该方法适用于 AR/VR 中自由视角、自由姿态和可重光照的个性化双手生成，主要约束是依赖手部网格、严重几何错位会引入噪声，且不可见侧的纹身或饰品难以推断；未来可联合细化三维网格并利用生成网络补全不可见装饰。\n\n### 关键要点\n\n- BiTT 是首个仅用单张 RGB 图像即可重建交互双手完整纹理的端到端可训练框架，并支持新视角、新姿态和重光照渲染。\n- 场景估计模块分别预测由环境光颜色、漫反射、高光和方向组成的 12 维光照参数，以及基于 Lambertian 表面假设的反照率图像。\n- 粗阶段采用 HTML 参数模型，通过 PCA 主成分和左右手参数向量生成完整 UV 纹理，为单图像中不可见区域提供纹理先验。\n- 细阶段的双向纹理重建器在每个解码层级拼接同手跳跃连接特征和另一只手的特征，从而利用左右手纹理对称性细化遮挡区域。\n- 训练损失包括精细和粗渲染重建损失、可见反照率渲染损失、不可见像素约束、反照率一致性损失和左右手对称损失。\n- InterHand2.6M 实验使用 26 个身份的 378 张单图训练，并在 6,048 张新姿态和新视角图像上测试，以验证跨姿态与跨视角泛化能力。\n- RGB2Hands 实验使用 300 个场景和 12,000 张新姿态测试图，并通过 IntagHand 获取网格，以验证无真值网格条件下的鲁棒性。\n- 纹理像素统计显示，InterHand2.6M 中左右手可见纹理约为 35.40% 和 36.44%，可用对称纹理为 24.29%，仍有 19.89% 区域不可见。\n- 定量结果表明 BiTT 在外观重建、新姿态和新视角任务中整体优于经改造适配双手的 S2Hand、HTML 和 HARP，尤其在不可见区域细节上更明显。\n- 消融实验表明移除双向连接和对称损失会降低不可见侧重建质量，而反照率一致性损失能使不同光照下的反照率估计更稳定。\n- 方法的主要限制是严重错位网格会造成明显噪声，且无法可靠恢复不可见侧的纹身、饰品等非对称外观。"
}