{
  "paper_id": "d99d8167375d582aba4e2f46d35ff762",
  "paper_title": "EggHand: A Multimodal Foundation Model for Egocentric Hand Pose Forecasting",
  "paper_authors": [
    "Jaeyoung Choi",
    "Hyeondong Kim",
    "Yujin Kim",
    "Daehee Park"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "从自中心视频预测未来3D手部姿态序列对于理解人类意图以及实现AR/VR辅助和人机交互等具身应用至关重要。然而，该任务仍极具挑战性，因为自中心手部运动由复杂的人类意图驱动，表现出高度灵巧的关节活动，且在自我运动引起的剧烈视角变化下被观测。本工作提出EggHand，一个用于自中心手部姿态预测的基于基础模型的框架，将多模态语义推理与动态运动建模统一起来。该方法将视觉-语言-动作（VLA）模型的动作解码器（捕捉手部运动的结构化时间动态）与自中心视频-文本编码器（提供从大规模第一人称视频中学到的视角感知上下文信息）相结合。这些组件共同克服了通用视觉编码器在自我运动下的脆弱性，并实现了对运动、上下文和高层意图的联合推理——无需依赖身体姿态或外部跟踪。在EgoExo4D数据集上的实验表明，EggHand在预测精度上创造了新的最优水平，在剧烈自我运动下保持鲁棒，并进一步通过基于语言的任务提示实现可控预测。",
  "keywords": [
    "自中心手部姿态预测",
    "多模态基础模型",
    "视觉-语言-动作模型",
    "EgoExo4D",
    "3D手部姿态预测",
    "几何感知损失",
    "自我运动鲁棒性",
    "语言条件化预测"
  ],
  "paper_institutions": [
    "DGIST"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:28:18.385761Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n从第一人称（自中心）视频预测未来3D手部姿态序列对理解人类意图及支撑AR/VR辅助、人机协作等具身应用至关重要，但该任务因手部运动由复杂意图驱动、关节高度灵巧、且受自我运动引起的剧烈视角变化影响而极具挑战。已有工作如EMAG引入自运动感知学习以稳定2D轨迹预测，EgoH4借助身体姿态估计推断未来3D手部位置，但它们多依赖低层运动线索或需要全身姿态、3D跟踪等不切实际输入，跨环境泛化有限。为此，本文提出EggHand，一个基于基础模型的多模态自中心手部姿态预测框架：将视觉-语言-动作（VLA）模型GR00T的动作解码器（经流匹配预训练、保留动作时间结构并支持文本条件控制）与在大规模第一人称视频上预训练的自中心视频-文本编码器EgoVideo（提供视角感知上下文）通过跨模型融合层（轻量适配器与交叉注意力）耦合，在以首观测帧为锚点的归一化自中心坐标系中直接预测未来手部姿态，无需身体姿态或外部跟踪。训练采用几何感知复合损失 L_total = λ_abs·L_abs + λ_rel·L_rel + λ_pair·L_pair（权重0.6/0.2/0.2），联合约束绝对坐标精度、腕部相对稳定性与手内关节间几何一致性，直接针对自我运动下全局漂移、解剖学不合理姿态与时间抖动等失败模式。实验在真实世界EgoExo4D数据集（Meta Aria设备采集的10fps同步自中心RGB与42关节3D手部标注）上进行——该数据覆盖多样真实交互场景，可验证精度、泛化与自我运动鲁棒性；实现上微调GR00T-N1.5-3B，以20观测帧（2秒）预测10未来帧（1秒），图像缩放至224×224，采用AdamW与余弦学习率调度（预热5%）。在ADE、FDE、MPJPE、MPJPE-F四项指标上，EggHand相比EgoH4将FDE降低18.6%（0.271对0.333）、MPJPE降低34.5%（0.076对0.116）、MPJPE-F降低45.4%（0.077对0.141），ADE保持可比（0.271对0.267），并在自我运动最强的前10%片段上仍优于EgoH4与通用VLM变体，验证了自中心预训练编码器与动作结构化解码器结合这一核心机制的有效性，同时支持基于语言任务提示的可控预测。未来方向包括与手部姿态估计器端到端耦合、扩展预测时域及将预测迁移至人形机器人操作策略；现实约束在于模型依赖现成估计器提供的过去3D手部姿态而继承上游结构依赖，但即便未来真值稀疏缺失，仍能借助自中心视觉上下文与文本意图线索产生解剖学一致且任务对齐的预测。\n\n### 关键要点\n\n- EggHand将GR00T VLA动作解码器与EgoVideo自中心视频-文本编码器通过跨模型融合层耦合为统一基础模型，无需身体姿态或外部跟踪即可进行自中心3D手部姿态预测。\n- 几何感知训练目标联合优化绝对坐标损失（L1）、腕部相对坐标损失与成对距离损失（L2），权重为(0.6, 0.2, 0.2)，直接针对自我运动下全局漂移、解剖学不合理姿态与时间抖动三类失败模式。\n- 所有3D手部姿态表示于以首观测帧为锚点的归一化自中心坐标系，经相机外参变换去除全局平移与旋转，使模型聚焦相对手部动力学。\n- 实验基于EgoExo4D数据集（Meta Aria设备采集的10fps同步自中心RGB与42关节3D手部标注），数据转换为LeRobot序列格式，3D坐标经外参从世界系变换至自中心系并做min-max归一化。\n- 实现上微调GR00T-N1.5-3B：EgoVideo编码器冻结，动作解码器经轻量适配器与交叉注意力层微调；以20观测帧（2秒）预测10未来帧（1秒），从观测窗口均匀采样4帧RGB并缩放至224×224，缺失标注关节在损失计算中被掩码。\n- 相比EgoH4，EggHand在FDE上提升18.6%（0.271对0.333）、MPJPE提升34.5%（0.076对0.116）、MPJPE-F提升45.4%（0.077对0.141），ADE保持可比（0.271对0.267），确立新的最优水平。\n- 损失消融显示腕部相对损失L_rel带来最大增益（MPJPE从0.077降至0.071），表明编码关节间关系为绝对坐标监督提供互补信号。\n- 模态损坏消融表明视觉与语言互补：高斯噪声替换视觉输入导致明显漂移与不稳定手指构型，随机哑文本替换语言输入引起轻微放置漂移，两者同时损坏造成最大退化（MPJPE 0.093），说明视觉主导空间几何而文本强化任务意图。\n- 自我运动分层分析（按相机外参变化范数取前10%片段）显示EggHand（ADE 0.276、MPJPE 0.106）优于EgoH4与配备InternVL3.5-1B的变体，证明EgoVideo编码器在高自我运动下提供更稳定的视角感知。\n- VLA预训练权重消融显示，将GR00T动作头随机初始化会一致恶化轨迹与姿态误差（MPJPE从0.076升至0.089），表明VLA预训练为动作预测提供强先验。\n- 语言条件化支持可控手部姿态预测，可通过任务级提示（如“从左到右平滑弹奏钢琴键”）引导预测结果。\n- 局限性：EggHand依赖现成估计器提供的过去3D手部姿态，继承上游模块的结构依赖；未来方向包括与手部姿态估计器端到端耦合、扩展预测时域及迁移至人形机器人操作策略。"
}