{
  "paper_id": "fd200455b92fa51871002bd7ace6d670",
  "paper_title": "A Dataset of Relighted 3D Interacting Hands",
  "paper_authors": [
    "Gyeongsik Moon",
    "Shunsuke Saito",
    "Weipeng Xu",
    "Rohan Joshi",
    "Julia Buffaloini",
    "Harley Bellan",
    "Nicholas Rosen",
    "Jesse Richardson",
    "Mallorie Mize",
    "Philippe de Bree",
    "Tomas Simon",
    "Bo Peng",
    "Shubham Garg",
    "Kevyn McPhail",
    "Takaaki Shiratori"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "双手交互是极具挑战性的分析信号之一，原因在于手部的自相似性、复杂的关节结构以及相互遮挡。尽管已有多个面向双手交互分析的数据集被提出，但它们都无法同时实现：1) 多样且真实的图像外观；2) 多样且大规模的真值（GT）3D姿态。在本工作中，我们提出Re:InterHand，一个重光照3D交互手数据集，同时达成了上述两个目标。为此，我们将最先进的手部重光照网络与我们精确跟踪的双手3D姿态相结合。我们将Re:InterHand与现有的3D交互手数据集进行比较，并展示了其优势。",
  "keywords": [
    "双手交互",
    "3D手部姿态估计",
    "手部重光照",
    "数据集",
    "MANO",
    "多相机捕获",
    "神经重光照"
  ],
  "paper_institutions": [
    "Meta Reality Labs Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:40.526071Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n双手交互分析因手部的自相似性、复杂关节和频繁遮挡而极具挑战性，基于单张图像时一只手的大部分往往被另一只手遮挡；尽管InterHand2.6M等实验室数据集、HIC等自然数据集和Ego3DHands等合成数据集从不同侧面推动了该领域，但均无法同时提供多样真实的图像外观与多样大规模的GT 3D姿态。为此，本文提出Re:InterHand数据集，采用两阶段构建流程：捕获阶段在配备469盏灯与170个标定同步相机的多相机工作室中对10名受试者采集peak pose与range of motion两类序列（4096×2668像素、90fps、交替全亮/部分亮帧），并以V2V-PoseNet从体素化3D扫描（96×96×96分辨率）中回归3D关节坐标——其核心机制是对网络输出施加soft-argmax得到可微的3D关节坐标，再投影到各视角并与多视角2D检测坐标计算L1距离进行监督，从而避免RANSAC三角化的时间不一致问题（3D关节误差2.0mm）；随后用NeuralAnnot将MANO模型拟合到3D关节与3D扫描（误差1.3mm）。重光照阶段利用Iwase等人的最先进手部重光照网络（在单手数据上按受试者训练）与2144张高分辨率环境贴图渲染图像，最终发布约1.5M张图像（第三人称视角帧级493K、视频级739K，自我中心视角各148K，1K分辨率），并附带非二值掩码与MANO拟合。实验以右手相对顶点误差RRVE（对齐右手腕平移后双手顶点间的欧氏距离，mm）为指标：InterWild加入Re:InterHand训练后，在真实自然图像HIC上的误差由23.59降至21.36、在Re:InterHand测试集上由37.59降至20.07，而合成（Composite）变体因前景与背景光照不一致反而损害HIC性能，验证了重光照阶段光照一致性这一创新的有效性；未来可通过支持全身几何、感知双手的更强重光照网络进一步消除前臂截断与渲染伪影。该数据集适用于野外双手3D恢复、自我中心视角手部分析等真实场景，但受限于重光照网络仅接受手部几何且在单手数据上训练，需注意其在双手泛化时的伪影约束。\n\n### 关键要点\n\n- 双手交互分析的核心难点在于手部的自相似性、复杂关节与相互遮挡；当输入仅为单张图像时，一只手的大部分往往被另一只手遮挡，问题更加困难。\n- 现有三类数据采集途径各有短板：实验室数据集（如InterHand2.6M）GT准确多样但图像外观单调；自然数据集（如HIC）外观接近野外但规模与姿态多样性有限；合成数据集（如Ego3DHands）因前景与背景光照不一致而显得不真实。\n- Re:InterHand是首个同时实现多样真实图像外观与准确多样GT 3D姿态的强双手交互数据集，共含10名受试者、约1.5M张图像，并提供MANO拟合与非二值掩码。\n- 捕获工作室配备469盏灯和170个标定同步相机，相机位于手部前、侧、顶半球约一米处，以4096×2668像素、90fps采集，并按每3帧交替全亮帧与部分亮帧以分别服务捕获与重光照阶段。\n- 数据采集包含peak pose（中性姿态到预定义姿态再返回，覆盖极端姿态与最大手指弯曲）与range of motion（最少指令驱动的自然手部运动）两类序列，兼顾姿态多样性与自然性。\n- 3D关节坐标由V2V-PoseNet从体素化3D扫描（96×96×96）中检测：对输出做soft-argmax得到可微3D坐标，投影到各视角后与多视角2D坐标计算L1损失监督，误差2.0mm，相比RANSAC三角化显著提升时间一致性。\n- MANO模型通过NeuralAnnot拟合到3D关节坐标与3D扫描，逐受试者训练并直接优化ID编码以保证同一受试者形状一致，网格误差仅1.3mm（无任何平移/旋转/尺度对齐）。\n- 重光照阶段采用Iwase等人的高效神经手部重光照网络，因单手数据的3D模型拟合更准确而在单手数据上按受试者训练，并使用2144张高分辨率环境贴图渲染，保证前景与背景光照一致。\n- 数据集按7个捕获训练、3个捕获测试划分；第三人称视角通过2D检测置信度排序与最远迭代采样选取相机（帧级N=20、5fps共493K张；视频级N=5、30fps共739K张），自我中心视角通过在双眼间参考相机附近随机化位置、朝向（±30°）、焦距与鱼眼畸变生成各148K张，均为1K分辨率。\n- 评估指标RRVE为对齐右手腕平移后估计与GT双手3D网格间的欧氏距离（mm），相比分别对齐左右手的MPVPE更能反映双手相对位置误差。\n- 实验表明：InterWild加入Re:InterHand训练后在HIC上误差由23.59降至21.36、在Re:InterHand测试集上由37.59降至20.07；合成（Composite）变体因光照不一致反而使HIC误差恶化至24.37，加AdaIn后仍因不感知反射导致肤色失真（24.83）。\n- 局限性包括：重光照网络仅接受手部几何导致图像在前臂处截断；网络在单手数据训练、双手数据测试时偶有姿态泛化失败产生伪影；作者预期更强的重光照网络可缓解这些问题。"
}