{
  "paper_id": "dbf798f12e85ea9b9fcd8783cdc94d79",
  "paper_title": "OmniHands: Robust Motion Capture of Interactive Hands via A Versatile Transformer",
  "paper_authors": [
    "Dixuan Lin",
    "Yuxiang Zhang",
    "Mengcheng Li",
    "Wei Jing",
    "Qi Yan",
    "Qianying Wang",
    "Yebin Liu",
    "Hongwen Zhang"
  ],
  "publication_date": "2026-04",
  "publication_venue": "ACM Transactions on Graphics",
  "abstract": "本文提出OmniHands，一种从单目或多视角输入中恢复交互式手部动作及其相对运动的通用方法。该方法解决了以往方法的三大局限：缺乏处理单手与交互双手图像输入的统一方案、缺乏支持视频任务与多视角任务等各类4D任务的通用框架、以及无法在真实数据上保持鲁棒性能。为克服这些挑战，我们开发了一种采用新颖分词与上下文特征融合策略的通用架构。具体而言，我们提出关系感知双手分词（RAT）方法，将位置关系信息嵌入到手部token中，使网络能够同时处理单手与双手输入并显式利用手的相对位置，从而促进真实场景中复杂手部交互的重建。由于该分词指示了双手的相对关系，它也支持更有效的特征融合。为此，我们进一步开发了4D交互推理（FIR）模块，以注意力在4D中融合手部token，并将其解码为3D手部网格与相对时序运动。该方法的有效性在多个基准数据集上得到验证，野外视频与真实场景的结果展示了其在交互式手部重建上的优越性能。代码与视频结果见omnihands.github.io。",
  "keywords": [
    "手部动作捕捉",
    "双手交互",
    "多视角",
    "时序"
  ],
  "paper_institutions": [
    "Beijing Normal University",
    "Tsinghua University",
    "Lenovo"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:37:24.044555Z",
  "template_tag": "simple",
  "summary": "### 摘要\n手部网格恢复是虚拟/增强现实、人机交互、机器人与具身智能等应用的基础技术，但现有研究存在三大未解难题：缺乏统一处理单手与双手输入的通用方法（单手模型难以应对遮挡且无法计算双手相对距离，双手模型以包含双手的单张图像为输入而局限于近距离交互、泛化性差）、缺乏覆盖单帧、视频时序与多视角等各类4D子任务的统一框架、以及因训练数据规模不足导致在真实场景中鲁棒性欠佳。受GPT-4、ViTPose、HaMeR等基于Transformer的大容量模型与大规模野外数据训练范式的启发，本文提出OmniHands——一个基于Transformer的通用交互手部运动捕捉方案，核心机制为关系感知双手分词（RAT）与4D交互推理（FIR）：RAT对每只手单独裁剪分词，并通过相对距离图与重叠图将双手位置关系嵌入token，其核心公式为 R_R2L = MLP(D_R2L ⊕ D_L2R ⊕ O_R2L)，其中相对距离图 D_R2L(p)=ψ(τ·(C_R(p)−C_L(p))/s)（ψ为Sigmoid激活、τ为调节激活距离的超参数）在双手靠近时被激活，重叠图 O_R2L 标记patch中心是否位于另一手边界框内；FIR以注意力统一融合时序或多视角上下文（时序输入加位置编码并仅预测中间帧，多视角输入不加位置编码、输出所有帧并约束跨视角双手相对位姿不变），最终解码为双手MANO参数与相对根位移v。训练数据按40%/40%/20%随机采样混合InterHand2.6M（160万张训练图，用于优化近距离双手交互）、Re:InterHand（73.8万张真实多样外观图像）与静态单手数据集（FreiHAND、HO3D、DexYCB、COCO WholeBody等，通过随机组合两张单手图模拟远距离双手以优化远距单手精度并提升泛化），以此验证统一输入处理与大规模混合训练带来的鲁棒性；实现基于PyTorch与32层ViT-h骨干，输入分辨率256×192、特征图H=16/W=12/C=1280，AdamW训练100万步（初始学习率1e-5、每20万步以0.7衰减），时序序列长度9、间隔5帧。评测采用MPJPE、MPVPE、AUC、MRRPE、Accel_E及新提出的MIJE指标：InterHand2.6M 30fps上MPJPE 7.37mm（较此前时序方法提升23.34%）、Accel_E 2.81mm/s²（提升24.05%），验证了FIR时序融合的有效性；5fps单帧上混合训练达MPJPE 6.77mm/MPVPE 6.96mm/MRRPE 22.01mm，多视角输入在无需相机参数下达5.93/6.20/14.08mm，验证了RAT与FIR的统一4D处理能力；在未见过的野外数据集ARCTIC（Ra-MPJPE提升45.46%）、HIC（提升16.33%）与RenderIH（提升13.89%）上全面领先，MIJE为26.56mm显著优于IntagHand（32.36）、InterWild（58.51）与DIR（73.40），验证了RAT关系嵌入对复杂交互重建的贡献。未来工作聚焦通过C++重实现与计算过程优化加速模型以实现实时渲染；当前约束包括ViT-h骨干计算开销大（单张A800 GPU上Python推理仅16.05 FPS，低于实时所需的25–30 FPS）、依赖外部检测模型定位手部、以及预测中间帧需未来4帧输入而引入至少4帧延迟，制约其在VR/AR等实时交互手部重建场景中的部署。\n\n### 关键要点\n- 针对现有方法无法统一处理单手/双手输入、缺乏覆盖单帧/时序/多视角4D任务的通用框架、真实场景鲁棒性差三大局限，提出基于Transformer的统一方案OmniHands。\n- RAT（关系感知双手分词）对每只手单独裁剪分词，并通过相对距离图 D_R2L(p)=ψ(τ·(C_R(p)−C_L(p))/s)（Sigmoid激活、双手靠近时激活）与重叠图 O_R2L 将双手位置关系显式嵌入token，使网络统一处理单手与双手输入并学习更集中的token分布。\n- FIR（4D交互推理）模块以注意力统一融合时序或多视角上下文：时序输入加位置编码并仅输出中间帧预测（同时利用过去与未来信息），多视角输入不加位置编码、输出所有帧并以一致性损失约束跨视角双手相对位姿不变。\n- 训练集按40%/40%/20%随机采样混合InterHand2.6M（160万张训练图）、Re:InterHand（73.8万张）与静态单手数据集（FreiHAND、HO3D、MTC、RHD、H2O3D、DexYCB、COCO WholeBody、Halpe、MPII NZSL），并通过随机组合两张单手图并赋予不重叠边界框模拟远距离双手。\n- 实现基于PyTorch，采用32层ViT-h骨干，输入分辨率256×192，特征图H=16、W=12、C=1280；AdamW训练100万步，初始学习率1e-5、每20万步以0.7衰减；时序输入序列长度9、间隔5帧。\n- 损失设计包括maxMSE（对误差大的指尖关节赋予更大权重）、MANO参数/3D/2D投影单手损失、关节关系与近距离顶点交互损失（距离阈值α=0.005）、时序平滑损失（约束关节速度而非加速度）与多视角一致性损失。\n- 在InterHand2.6M 30fps上MPJPE为7.37mm（较此前时序方法提升23.34%）、Accel_E为2.81mm/s²（提升24.05%）；使用时序特征使Accel_E改善18.86%，混合训练数据进一步提升精度与稳定性。\n- 在InterHand2.6M 5fps单帧输入上达MPJPE 6.77mm、MPVPE 6.96mm、MRRPE 22.01mm；多视角输入在无需任何相机参数下达5.93/6.20/14.08mm，显著超过单目估计精度。\n- 在训练阶段未见过的ARCTIC、HIC、RenderIH野外数据集上全面领先，Ra-MPJPE分别提升45.46%（13.57mm对比24.88mm）、16.33%与13.89%，证明大规模混合训练与统一架构的跨场景鲁棒性。\n- 提出新指标MIJE（双手关节间平均误差）以捕捉MRRPE无法反映的手指前后顺序差异，OmniHands达26.56mm，优于IntagHand（32.36）、InterWild（58.51）与DIR（73.40）。\n- 消融实验验证各模块贡献：分离双手输入优于整体图像输入（MPJPE 7.69mm对比8.78mm）；移除RAT位置嵌入后远距离或不同尺度双手的相对位置预测显著变差；加入时序融合使MPJPE改善0.32mm并在左手完全遮挡时保持一致预测；相机数量从2增至16持续提升精度。\n- 部署约束：ViT-h骨干计算开销大，单张A800 GPU上Python推理仅16.05 FPS（实时渲染需25–30 FPS）；依赖外部检测模型定位手部；预测中间帧需未来4帧输入而引入至少4帧延迟；未来计划以C++重实现与计算优化实现实时化。"
}