{
  "paper_id": "a7eb803b660aab4a52feeaea8e20943e",
  "paper_title": "MEgoHand: Multimodal Egocentric Hand-Object Interaction Motion Generation",
  "paper_authors": [
    "Bohan Zhou",
    "Yi Zhan",
    "Zhongbin Zhang",
    "Zongqing Lu"
  ],
  "publication_date": "2025",
  "publication_venue": "unknown",
  "abstract": "Egocentric hand-object motion generation is crucial for immersive AR/VR and robotic imitation but remains challenging due to unstable viewpoints, self-occlusions, perspective distortion, and noisy ego-motion. Existing methods rely on predefined 3D object priors, limiting generalization to novel objects. Meanwhile, recent multimodal approaches suffer from ambiguous generation from abstract textual cues, intricate pipelines for modeling 3D hand-object correlation, and compounding errors in open-loop prediction. We propose MEgoHand, a multimodal framework that synthesizes physically plausible hand-object interactions from egocentric RGB, text, and initial hand pose. MEgoHand introduces a bi-level architecture: a high-level \"cerebrum\" leverages a vision language model (VLM) to infer motion priors from visual-textual context and a monocular depth estimator for object-agnostic spatial reasoning, while a low-level DiT-based flow-matching policy generates fine-grained trajectories with temporal orthogonal filtering to enhance stability. To address dataset inconsistency, we design a dataset curation paradigm with an Inverse MANO Retargeting Network and Virtual RGB-D Renderer, curating a unified dataset of 3.35M RGB-D frames, 24K interactions, and 1.2K objects. Extensive experiments across five in-domain and two cross-domain datasets demonstrate the effectiveness of MEgoHand, achieving substantial reductions in wrist translation error (86.9%) and joint rotation error (34.1%), highlighting its capacity to accurately model fine-grained hand joint structures and generalize robustly across diverse scenarios.",
  "keywords": [
    "egocentric vision",
    "hand-object interaction",
    "motion generation",
    "vision-language model",
    "flow matching",
    "monocular depth estimation",
    "MANO",
    "multimodal"
  ],
  "paper_institutions": [
    "School of Computer Science, Peking University",
    "BeingBeyond"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:45:06.509198Z",
  "template_tag": "simple",
  "summary": "### 摘要\n自我中心视角的手-物体交互动作生成对沉浸式AR/VR虚拟-现实对齐与机器人模仿学习至关重要，但面临头戴设备导致的视角不稳定、频繁自遮挡、近距离透视畸变与自运动噪声等挑战；现有方法（如GEARS、MACS、DiffH2O、Text2HOI）依赖预定义3D物体属性（质量、几何）而难以泛化到新物体，多模态方法（如LatentAct）则受限于抽象文本线索导致的歧义生成、接触图生成的复杂流程以及仅基于首帧的开环预测误差累积。为此，本文提出MEgoHand多模态框架，以自我中心RGB图像、文本指令和初始MANO手部参数为输入，采用双层架构：高层\"大脑\"利用视觉语言模型（Eagle-2，结合SmolLM2语言骨干与SigLIP-2视觉编码器）从视觉-文本上下文推断运动先验，并引入单目度量深度估计器UniDepthV2实现与物体无关的空间推理；低层\"小脑\"采用基于DiT的流匹配策略生成细粒度轨迹，其核心机制为条件流匹配损失 L^τ(θ)=E[||ν_θ(H_k^τ, h_k, z_k^TDI) − u(H_k^τ|H_k)||²]（其中u(H_k^τ|H_k)=ε−H_k，ε~N(0,I)），推理时以步长δ=0.1的前向欧拉积分从高斯噪声生成动作，并通过时间正交滤波（TOF，对重叠运动块做均匀时序卷积后经SVD投影到最近SO(3)流形）增强时序稳定性。为解决数据集在语言指令、标注质量与姿态表示上的不一致，设计了包含逆向MANO重定向网络（两阶段迭代训练：先优化手形β、收敛后经门控信号切换至腕部位姿优化）与虚拟RGB-D渲染器（利用相机内外参与物体点云合成对齐深度图）的数据整理范式，构建了含335万RGB-D帧、2.4万交互轨迹、1200个物体的统一数据集，训练采用TACO、FPHA、HOI4D、H2O、HOT3D、OakInk2六个数据集（各留出10%作域内评估），并以完整ARCTIC与HOLO的10%分区作跨域测试，以验证对多样物体、任务与场景的泛化能力。实验采用MPJPE、MPJPE-PA、MPVE、MPVE-PA、MWTE、MRE六项指标，在五个域内与两个跨域数据集上取得SOTA：腕部平移误差降低86.9%、关节旋转误差降低34.1%（平均旋转偏差约7度），Procrustes对齐后关节与网格顶点误差分别降至0.424cm与0.409cm（相对LatentAct提升71.2%与71.9%），跨域ARCTIC与HOLO上MPJPE分别提升33.9%与29.8%，验证了VLM先验推断、深度空间推理与闭环TOF解码等创新的有效性。未来方向包括利用预训练逆向MANO网络标注更多HOI数据集或采用现代手部姿态检测器标注野外人类视频以扩大数据规模。实际应用约束包括：仅考虑右手运动、训练数据以刚性物体为主导致铰接物体（如ARCTIC剪刀剪切所需的指-刃协同运动）上性能受限，且度量深度在相机参数剧烈变化的跨域场景中较敏感。\n\n### 关键要点\n- MEgoHand是首个将视觉语言模型用于自我中心手-物体交互运动先验推断的框架，辅以单目度量深度模块实现与物体无关的空间推理，无需预定义3D物体模型或接触图。\n- 双层架构中，高层\"大脑\"基于Eagle-2 VLM（SmolLM2语言骨干+SigLIP-2视觉编码器）通过加性融合与跨模态注意力融合文本、RGB与深度特征，低层\"小脑\"采用基于DiT的流匹配策略以初始MANO参数为条件生成未来l=16步的运动序列。\n- 时间正交滤波（TOF）是免训练解码策略：对重叠运动块的旋转与平移估计做均匀权重时序卷积，再经SVD投影到最近的SO(3)流形，抑制高频抖动并保证时序一致性，且可自由调整查询频率以平衡推理速度与生成质量。\n- 逆向MANO重定向网络采用两阶段迭代训练（先优化手形、收敛后经门控信号σ切换至腕部位姿精修）并配合自重建损失，从21个关节坐标恢复MANO参数，使FPHA等仅提供关节位置的数据集可被重标注利用。\n- 虚拟RGB-D渲染器利用相机内参K、外参变换与物体点云，通过最小深度保留策略合成与RGB帧对齐的度量深度图，为ARCTIC、HOT3D、OakInk2等无深度数据集提供深度监督。\n- 统一整理的多模态数据集包含335万RGB-D帧、2.4万交互轨迹、1200个物体，训练采用6个数据集（各留出10%作域内评估且动作与物体类别不重叠），跨域评估使用完整ARCTIC与HOLO的10%分区。\n- 在五个域内数据集上，MEgoHand相比最强基线LatentAct将腕部平移误差（MWTE）降低86.9%、关节旋转误差（MRE）降低34.1%，平均旋转偏差约7度，MPJPE为5.425cm。\n- Procrustes对齐后MPJPE-PA与MPVE-PA分别降至0.424cm与0.409cm，相对LatentAct分别提升71.2%与71.9%，表明其对手部形态与细粒度关节姿态的精确建模能力。\n- 零样本跨域迁移中，ARCTIC与HOLO上MPJPE分别较最强基线提升33.9%与29.8%，但ARCTIC的铰接物体动态耦合（如剪刀剪切）暴露了刚性物体训练数据的局限，HOLO则因任务分割清晰与语义明确的指令而部分缓解域偏移。\n- 消融实验表明真实深度监督必不可少（深度编码器仅靠运动预测损失更新时性能显著下降），度量深度在域内提供一致尺度与距离线索而在跨域相机参数剧变时更敏感，相对深度则更稳健；模型兼容DepthAnythingV2与UniDepth等多种预训练深度估计器。\n- 模态分析显示纯文本输入最弱（平移误差比完整模型高61%），加入深度后MPJPE比LatentAct低50%，而LatentAct移除接触图后MPJPE上升10.3%，说明其对接触图的关键依赖限制了真实场景实用性。\n- 约束与实现细节：仅考虑右手运动，训练使用8块80GB NVIDIA A800 GPU约24小时，推理采用前向欧拉积分（步长0.1、共10步）从高斯噪声生成动作，所有变换在相机坐标系中计算并预测相对初始姿态的腕部变换。"
}