{
  "paper_id": "4773468207fd19d69ea9bf6aa23cb74e",
  "paper_title": "Bimanual 3D Hand Motion and Articulation Forecasting in Everyday Images",
  "paper_authors": [
    "Aditya Prakash",
    "David Forsyth",
    "Saurabh Gupta"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "We tackle the problem of forecasting bimanual 3D hand motion & articulation from a single image in everyday settings. To address the lack of 3D hand annotations in diverse settings, we design an annotation pipeline consisting of a diffusion model to lift 2D hand keypoint sequences to 4D hand motion. For the forecasting model, we adopt a diffusion loss to account for the multimodality in hand motion distribution. Extensive experiments across 6 datasets show the benefits of training on diverse data with imputed labels (14% improvement) and effectiveness of our lifting (42% better) & forecasting (16.4% gain) models, over the best baselines, especially in zero-shot generalization to everyday images.",
  "keywords": [
    "双手3D运动预测",
    "扩散模型",
    "MANO手部表示",
    "2D到3D提升",
    "单图像输入",
    "零样本泛化",
    "人机交互",
    "AR/VR"
  ],
  "paper_institutions": [
    "University of Illinois, Urbana-Champaign"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:37:03.972324Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从单张日常RGB图像预测双手3D运动与关节姿态（articulation）的问题。以往研究要么依赖3D物体模型或接触点等特权输入才能输出丰富的3D结果，要么仅用RGB输入但只预测手腕位置等粗粒度2D/3D量；同时扩散模型训练需要完整3D真值，而日常图像普遍缺少MANO标注，基于重投影损失的弱监督又难以直接用于扩散模型。为此作者提出ForeHand4D系统：先用实验室3D数据训练提升扩散模型L，将2D手部关键点序列与相机参数提升为完整3D MANO标注，其条件模块组合相机外参（6D旋转+3D平移）、Plücker射线（将相机中心与2D关键点的连线编码为6D表示，射线为 λR_t^{-1}K^{-1}x_t^k − K^{-1}t_t）与KPE角度编码；再用L为AssemblyHands、HoloAssist等多样数据集补全3D标签，并与5个具备完整3D标注的实验室数据集（H2O、H2O-3D、ARCTIC、HOT3D、DexYCB）联合训练预测扩散模型F——实验室数据保证完整3D监督，多样数据则验证并提升对日常图像的零样本泛化能力。F基于MDM改造，以ViT图像特征为条件，去噪器为16层、4头、1024维的transformer编码器，采用1000步余弦噪声调度，预测跨度256个时间步，在4块NVIDIA L40S或A40 GPU上混合数据集训练。评估采用MPJPE（M）、相对根位置误差（MR）、对齐变体M-G/M-F以及多样性/多模态指标：提升模型生成的3D标签比HaWoR好65.3%（配合2D重投影精修后M从9.6cm降至3.2cm），在多样补全标签数据上训练带来14%提升，预测模型较静态姿态方法在M与MR上提升36.02%、较适配重训的LatentAct提升16.4%、较transformer回归基线在11/12项指标上更优，多样性得分41.14接近真值39.16、多模态得分19.64优于LatentAct的13.04，这些结果支撑了扩散损失刻画多模态运动分布与学习式提升注入弱监督两项核心创新。未来可探索引入过去帧或意图等上下文输入以及物体运动预测；该系统面向人机交互与AR/VR等现实场景，但零样本预测中手部摆放仍可能不准，且从单图预测度量3D存在尺度歧义。核心机制为条件扩散去噪：给定输入与加噪的目标输出，模型学习预测所加噪声，从而建模多模态的双手运动分布。\n\n### 关键要点\n\n- ForeHand4D从单张日常RGB图像预测双手完整3D运动与关节姿态，输出覆盖长时间范围，旨在提升人机交互与AR/VR等下游应用的实用性。\n- 由于手部未来运动天然多模态，直接回归训练不适用，系统对预测模型采用扩散损失，在实验室数据集上显著缓解多模态带来的问题。\n- 提升模型L以2D关键点序列与相机参数为条件输出3D MANO表示，条件模块组合外参（6D旋转+3D平移）、Plücker射线与KPE编码，三者结合效果最佳（AssemblyHands上M从26.3降至9.6）。\n- Plücker射线把相机中心与图像2D关键点的连线编码为6D表示（射线为 λR_t^{-1}K^{-1}x_t^k − K^{-1}t_t），是提升模型中最有效的相机参数编码方式。\n- 训练数据包含5个有完整3D MANO标注的实验室数据集（H2O、H2O-3D、ARCTIC、HOT3D、DexYCB）与2个仅有2D/部分标注的多样数据集，并在EgoExo4D上进行零样本泛化评估。\n- 实现细节：去噪器为16层、4头、1024维潜空间、dropout 0.1的transformer编码器，ViT骨干初始化自HaMeR，1000步余弦噪声调度去噪，预测256个时间步，条件token以0.1概率掩码，在4块L40S或A40 GPU上混合数据集训练。\n- 提升模型在AssemblyHands上M=9.6cm，优于HaMeR（29.7）、EasyMocap（36.3）与HaWoR（61.6）；经1000次迭代、学习率0.01的2D重投影梯度精修后M进一步降至3.2cm。\n- 预测模型较静态姿态基线在M与MR上提升36.02%，较适配重训的LatentAct提升16.4%（MR提升最大），较transformer回归器在11/12项指标上更优。\n- 通过提升模型补全标签来注入2D监督，比附加2D回归头或2D扩散头更有效，使AssemblyHands与EgoExo4D上的M、M-F、MR提升10–30%。\n- 在ARCTIC上，ForeHand4D的多样性得分为41.14，接近真值分布的39.16（LatentAct为302.45、transformer回归器为187.82），多模态得分19.64优于LatentAct的13.04。\n- 局限与约束：零样本预测（如EgoExo4D）中手部摆放仍可能不准；单图预测度量3D存在尺度歧义导致M不从0开始；注入2D监督会因需学习更广分布而轻微损害域内性能。\n- 未来工作包括引入过去帧或意图等上下文作为预测模型的额外输入，以及将物体运动纳入交互建模。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}