{
  "paper_id": "74445ebd64138841fb93b783f5b9198c",
  "paper_title": "Glove2Hand: Synthesizing Natural Hand-Object Interaction from Multi-Modal Sensing Gloves",
  "paper_authors": [
    "Xinyu Zhang",
    "Ziyi Kou",
    "Chuan Qin",
    "Mia Huang",
    "Ergys Ristani",
    "Ankit Kumar",
    "Lele Chen",
    "Kun He",
    "Abdeslam Boularias",
    "Li Guan"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "理解手物交互（HOI）是计算机视觉、机器人和AR/VR的基础。然而，传统手部视频通常缺乏接触力和运动信号等关键物理信息，且频繁出现遮挡。为应对这些挑战，本文提出Glove2Hand框架，可将多模态传感手套的HOI视频转换为照片级真实的裸手视频，同时忠实保留底层物理交互动态。作者引入新颖的3D高斯手部模型以确保时间渲染一致性；渲染手部通过基于扩散的手部恢复器无缝融入场景，从而有效处理复杂手物交互和非刚性形变。借助Glove2Hand，作者构建了HandSense，这是首个包含手套到裸手视频并同步触觉与IMU信号的多模态HOI数据集。实验表明，HandSense可显著增强下游裸手应用，包括基于视频的接触估计和严重遮挡下的手部追踪。\n",
  "keywords": [
    "手物交互",
    "多模态传感手套",
    "手套到裸手视频翻译",
    "3D高斯手部模型",
    "扩散模型",
    "触觉信号",
    "IMU",
    "手部追踪",
    "接触估计",
    "HandSense数据集"
  ],
  "paper_institutions": [
    "Meta Reality Labs",
    "Rutgers University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:45.878073Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决多模态传感手套视频与裸手外观差异巨大、而传统手物交互数据又缺少力或接触信号且易受遮挡的问题。已有方法中，ContactPose只能从网格推断二值指尖接触并局限于预扫描刚体，多相机演播室能缓解遮挡却难以在自然场景部署，扩散手部生成多关注静态单图，手套数据则无法直接泛化到裸手任务。为此，作者提出Glove2Hand，在非配对设定下学习从手套视频到照片级真实、时序一致裸手视频的映射；其核心是将手套与裸手共享的关节姿态作为桥梁，先用表面锚定的3D高斯手部模型生成无物体的空中手部序列，再用基于ControlNet和AnimateDiff的扩散手部恢复器将手融回场景并细化皮肤、手腕和手物边界。该3D高斯直接定义在可学习标准手部网格的三角形表面，变形时只变换网格三角形并依据变形梯度 $\\mathbf{A}=\\mathbf{M}_{\\text{deform}}\\mathbf{M}_{\\text{canon}}^{-1}$ 与二次曲线变换 $\\mathbf{Q}'=\\mathbf{A}^{-T}\\mathbf{Q}\\mathbf{A}^{-1}$ 重新计算高斯尺度和方向，从而保持表面完整性；可重照明模块则由手部姿态经小型MLP预测掌心和手背两套球谐环境光照，并利用网格法线缓解反照率—光照歧义。为验证该方法，作者构建HandSense数据集，招募5名被试、各完成戴手套与裸手两个采集环节，涵盖6项任务和10类物体，包括软质玩具等可变形物和可分离盖子等铰接物，提供头戴灰度视频、MoCap姿态、每指尖连续触觉信号以及全手12个6-DoF IMU信号；选择这些数据是为了同时检验稀疏视角、动态光照、非刚性交互以及传感器信号向裸手任务的迁移。模型在HOT3D与HandSense上训练，为每名被试训练并冻结独立3D高斯手，再共享训练一个扩散恢复器，在HandSense测试集上以FID、2秒片段FVD、10–30秒长视频FVD和人工评分衡量真实感。Glove2Hand取得30.1 FID、19.5 FVD和24.5 FVD-long，优于HandRefiner的35.5、24.2和29.7；用户研究中合成视频与真实视频的最大平均分布差距为0.51，小于相邻评分类别之间的1.0间隔。消融显示表面锚定和扩散恢复器带来最显著增益，手套移除和物体掩码分别消除残余手套伪影并保护接触细节。下游任务中，接触估计器以32帧片段为输入、用DINOv3加LoRA和时间注意力预测5个指尖的接触状态，真实数据加Glove2Hand数据达到88.2% Contact IoU，高于仅用G2H的75.6%和仅用手套的71.5%；在严重遮挡手部追踪中，用IMU派生姿态微调UmeTrack使遮挡场景MKPE从19.2 mm降至16.6 mm，而直接用原始手套数据反而因域差距升至27.2 mm。这些结果支持两项核心创新：几何一致且可重照明的3D高斯手，以及能处理复杂边界的生成式恢复融合。后续可通过扩大训练数据、改进HOI分割与掩码、增强跨被试和野外泛化进一步探索；适用于AR/VR、机器人学习、人机交互和可扩展数据生成，但现实约束包括当前需要为被试建立专属高斯模型、野外场景MOS明显下降、手套厚度需关节位移重定向、扩散推理约0.5 FPS，且方法不显式建模物体三维几何而依赖分割与图像层恢复。\n\n### 关键要点\n\n- Glove2Hand将视频片段与手部姿态、手部和物体掩码组成样本，在非配对的手套域与裸手域之间学习映射，无需跨域逐样本对应。\n- 表面锚定高斯以重心坐标绑定到标准手部网格三角形；手部变形时只变换网格三角形并重新计算高斯，而非对每个高斯直接做线性混合蒙皮。\n- 可重照明模块用小型MLP从手部姿态预测掌心和手背两套球谐环境光照，网格提供的稳定法线可减少阴影被错误烘焙到反照率。\n- 扩散手部恢复器基于ControlNet和AnimateDiff，条件图由渲染手部叠加、掩码膨胀并遮蔽手腕构成，训练目标是恢复真实裸手视频。\n- 推理阶段使用Grounding DINO与SAM-2生成手套和物体掩码，再用ProPainter按光流擦除手套区域，物体掩码保证前景物体像素不被覆盖。\n- HandSense包含5名被试、每人戴手套和裸手两个同协议采集环节、6项操作任务和10种物体，每任务采集2–5分钟。\n- 所用传感手套在每个指尖配置1个触觉传感器，并在全手布置12个6-DoF IMU；触觉和IMU均为连续值，并按时间戳与头戴视频同步。\n- HandSense的裸手环节人工标注二值指尖接触，手部姿态由光学MoCap标记获取，数据还包含可变形和铰接物体，而非只限于预扫描刚体。\n- 在视频翻译对比中，Glove2Hand的FID、FVD和FVD-long分别为30.1、19.5和24.5，均优于HandRefiner等基线。\n- 接触估计实验在真实人工标注测试集上评估，真实数据加G2H训练得到88.2% Contact IoU、92.6%精确率和94.9%召回率，G2H标签由触觉信号阈值自动生成。\n- 手部追踪实验以多相机MoCap姿态为真值，用G2H和IMU派生姿态微调UmeTrack，使遮挡场景MKPE从19.2 mm降至16.6 mm；直接用原始手套数据微调则会扩大域差距。\n- 方法约束包括每名被试需约10分钟手部视频训练专属3D高斯、In-the-Wild场景人工评分差距增大、扩散推理约0.5 FPS，以及不显式恢复物体三维几何。"
}