{
  "paper_id": "3aaa63ec32d8c1f4f9d5cbc04546b505",
  "paper_title": "HandDiffuse: Generative Controllers for Two-Hand Interactions via Diffusion Models",
  "paper_authors": [
    "Pei Lin"
  ],
  "publication_date": "",
  "publication_venue": "Proceedings of the AAAI Conference on Artificial Intelligence",
  "abstract": "现有手部数据集由于手部自遮挡和自相似性，大多时程较短、交互较弱，尚不能满足交互双手运动生成的需求。为缓解数据稀缺，本文提出真实数据集 HandDiffuse12.5M，其中包含具有强双手交互的时序序列，在现有双手数据集中规模最大、交互类型最丰富。作者进一步提出强基线方法 HandDiffuse，利用多种控制器实现可控的交互双手运动生成。该方法以扩散模型为主干，并为不同控制器设计两种运动表示；为减少伪影，还提出显式量化动态交互过程的 Interaction Loss。HandDiffuse 支持运动补间、轨迹控制生成等应用。实验表明，该方法在运动生成方面优于现有最先进技术；其生成的逼真双手运动还可用于构建合成数据集，并提升现有手部动作捕捉算法的精度。\n",
  "keywords": [
    "双手交互",
    "手部运动生成",
    "扩散模型",
    "HandDiffuse12.5M",
    "运动补间",
    "轨迹控制",
    "交互损失",
    "手部重建"
  ],
  "paper_institutions": [
    "ShanghaiTech University, School of Information Science and Technology, Shanghai, China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:27:15.779706Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n论文面向强交互双手时序运动生成这一空白问题：由于双手存在自遮挡、自相似和复杂关节结构，现有 InterHand2.6M、Two-hand 500K、RenderIH 等数据集多为离散帧或时序稀疏，Re:InterHand 虽包含时序但侧重不同光照下的动作捕捉，使模型难以学习持续接触与动态交互。为此作者构建真实数据集 HandDiffuse12.5M，采用50个RGB相机、30–60 fps、4K分辨率，采集随机复杂交互、日常交流、手指舞和中国日常手语，提供同步视频、2D/3D关键点与MANO参数，共约25万时序帧、1250万张图像；选择多视角RGB加人工标注，是为规避标记点遮挡、IMU校准与触碰、弹性传感器自由度不足等问题，并验证强交互时序数据对生成任务的支撑能力。在此基础上提出 HandDiffuse，以扩散前向过程 $q(\\mathbf{x}_t|\\mathbf{x}_0)=\\sqrt{\\bar{\\alpha}_t}\\mathbf{x}_0+\\sqrt{1-\\bar{\\alpha}_t}\\boldsymbol{\\epsilon}$，$\\boldsymbol{\\epsilon}\\sim\\mathcal{N}(0,I)$ 为核心，再由条件去噪器 $\\mathcal{G}(\\mathbf{x}_t,t,c)$ 预测 $\\hat{\\mathbf{x}}_0$；其模块化 Interacting Hands DDIM 包含先训练并冻结的单手去噪器 SHDe 与双手去噪器 IHDe，分别学习局部姿态和全局交互，同时设计 local rep 与 global rep，并用接触势损失和形状损失组成的 Interaction Loss 抑制穿透与不合理手型。控制器包括首尾各5个关键帧、双腕根节点角速度和线速度轨迹、2D关键点，分别对应运动补间、轨迹控制和3D手部重建，适用于AR/VR、机器人、虚拟人以及连接身体运动等场景，但受约一分钟序列的硬件限制、强遮挡标注成本和显式控制需求约束。实验采用 $T=1000$、余弦噪声调度、8层4头、前馈维1024、生成长度 $N=200$，在单张RTX 3090上训练约两天；以FID、Diversity和SDF评估真实性、多样性与穿透程度，HandDiffuse在无条件、补间和轨迹控制中分别取得FID 0.161/0.273/0.173、Diversity 11.829/11.554/11.758，轨迹控制SDF为1.141，整体优于MDM、InterGen、BUDDI和InterHandGen；消融表明global rep更适合无条件生成与补间，local rep更适合轨迹控制，SHDe和两项损失均有贡献。生成动作还可增强其他数据集与手部动捕算法，后续可继续探索数据增强、2D关键点重建及更丰富的可控双手生成。\n\n### 关键要点\n\n- HandDiffuse12.5M包含约25万时序帧和约1250万张多视角图像，是当前规模最大的强交互双手数据集之一。\n- 数据集提供同步50视角视频、3D关键点和手部姿态，动作覆盖随机复杂交互、日常交流、手指舞和中国日常手语四类场景。\n- 数据处理使用DWPose检测2D关键点，经三角化得到3D关键点，再优化可微MANO；拟合失败帧会被筛出并人工重标注。\n- 该数据集双手关节平均最短距离为3.61 cm，接触帧比例为57.3%，交互强度高于InterHand2.6M和Re:InterHand的对应指标。\n- 在5000张随机抽样图像上，2D重投影误差为每关键点11.3像素，MANO拟合误差为每关节4.3 mm。\n- HandDiffuse支持关键帧、双腕轨迹和2D关键点三类显式控制，可完成运动补间、轨迹控制生成和手部重建。\n- 方法采用SHDe与IHDe两个去噪器：SHDe学习单手局部姿态，IHDe结合全局信息并优化双手动态交互。\n- local rep更适合给定全局旋转和平移的轨迹控制，global rep在无条件生成和关键帧补间任务中表现更好。\n- Interaction Loss由接触势损失和形状损失组成，前者依据近距离关节和方向约束减少穿透，后者约束左右手骨长及预测手型的合理性。\n- 定量结果显示，HandDiffuse在三类任务中均保持接近真实数据的高多样性，并在轨迹控制中取得最低FID 0.173和最低SDF 1.141。\n- 消融实验显示，移除SHDe、接触势损失或形状损失都会降低性能，证明模块化设计、两种表示和交互损失的有效性。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}