{
  "paper_id": "d6c626caffefed11c5a1f98b76825dd9",
  "paper_title": "The Invisible EgoHand: 3D Hand Forecasting through EgoBody Pose Estimation",
  "paper_authors": [
    "Masashi Hatano",
    "Zhifan Zhu",
    "Hideo Saito",
    "Dima Damen"
  ],
  "publication_date": "2025",
  "publication_venue": "unknown",
  "abstract": "从第一人称(egocentric)视角预测手部运动与姿态对于理解人类意图至关重要。然而,现有方法仅关注位置预测而不考虑关节姿态,且仅在手部处于视野内时才有效。这一局限忽略了即使手部位于相机视野之外,其近似位置仍可被推断的事实。本文提出一种从第一人称视频预测双手3D轨迹与姿态的方法,无论手部在视野内外均适用。我们提出用于第一人称手部预测的基于扩散的Transformer架构EgoH4,其以观测序列和相机姿态为输入,预测相机佩戴者双手的未来3D运动与姿态。我们利用全身姿态信息,使其他关节为手部运动提供约束。我们在对手部与身体关节进行去噪的同时,引入手部关节可见性预测器以及3D-to-2D重投影损失,以最小化手部在视野内时的误差。我们在Ego-Exo4D数据集上评估EgoH4,合并了含身体与手部标注的子集,分别在156K序列上训练、34K序列上评估。EgoH4在手部轨迹预测的ADE与手部姿态预测的MPJPE上分别比基线提升3.4cm和5.1cm。",
  "keywords": [
    "第一人称视觉",
    "3D手部轨迹与姿态预测",
    "扩散模型",
    "Transformer",
    "视野外预测",
    "自我中心人体姿态估计",
    "Ego-Exo4D",
    "可见性预测"
  ],
  "paper_institutions": [
    "Keio University",
    "University of Bristol"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:30:26.644223Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文解决从第一人称(egocentric)视频预测双手3D轨迹与姿态的问题,针对现有方法的三大局限:仅预测位置而不含手指关节、仅在手部可见时有效、忽略身体运动对手部的约束。相关研究包括2D手部轨迹预测(交互热点与ego-motion感知方法)、3D人体运动预测(如EgoCast)以及自我中心3D人体姿态估计(如EgoEgo等以头部姿态为条件的扩散模型)。作者提出EgoH4,一种基于去噪扩散概率模型(DDPM)的Transformer架构,以观测期的相机姿态、可见时的2D手部位置和图像特征为条件,联合去噪手部与身体关节,并引入手部可见性预测器与3D-to-2D重投影损失。数据集选用Ego-Exo4D,因其借助多个外置相机可在手部出视野时仍提供3D标注;作者整合其身体姿态(17关节)与手部姿态(21×2关节)两套标注,构建156K训练与34K测试序列(较H2O分别多15倍与9倍),以验证方法在大规模、含出视野场景下的有效性。实现上以10 FPS采样,观测2秒(T=20帧)、预测1秒(F=10帧),视觉特征来自冻结的ImageNet预训练ViT-S(384维),重建57个关节(15个身体关节+2×21个手部关节),从随机权重训练40K迭代、恒定学习率1e-4,超参数λ_vis=0.1、λ_reproj=0.05。评估采用ADE/FDE(腕部轨迹)与MPJPE/MPJPE-F(手部姿态):EgoH4在整体序列上较基线EgoEgoForecast分别提升3.4cm(ADE 0.261对0.295)与5.1cm(MPJPE 0.115对0.166),in-view场景提升5.5cm/5.0cm,out-of-view场景提升1.9cm/5.9cm,支持了联合身体建模、可见性感知与重投影正则化三项创新;消融实验证实移除2D手部输入、可见性损失或身体姿态损失均显著降低性能。未来方向包括解决手部不可见时依赖身体信息带来的歧义(如手在身侧或背后)以及评估分布偏移问题。该方法面向AR/VR、人机交互与辅助技术等现实场景,可利用智能眼镜(如Project Aria)提供的头部姿态,但受限于身体姿态预测误差向手部预测的传导,以及评估期身体运动分布与训练不一致时的性能退化。核心机制为条件扩散去噪过程:p_θ(x_{n-1}|x_n,c) := N(x_{n-1}; μ_θ(x_n,n,c), σ_n²I),其中网络x_θ(x_n,n,c)被训练以直接预测原始数据x_0,总损失为L = L_joint + λ_vis·L_vis + λ_reproj·L_reproj,包含3D关节重建L1损失、可见性二元交叉熵损失与可见手腕的重投影L1损失。\n\n### 关键要点\n- EgoH4是首个在观测与预测阶段均支持手部入视野/出视野的第一人称3D手部轨迹与姿态预测方法,并将任务从位置预测扩展到含手指关节的姿态预测。\n- 方法核心是基于DDPM的条件扩散Transformer,联合去噪身体与手部共57个关节(15个身体关节+左右各21个手部关节),利用身体姿态约束手部位置,防止不真实的手部运动。\n- 模型以三类条件线索为输入:9维相机姿态(6D旋转表示+平移,相对首帧规范化)、可见时的2D手部位置(不可见时以(-1,-1)标记)、以及ViT-S提取的384维图像特征。\n- 训练目标由三部分组成:3D关节重建L1损失、基于二元交叉熵的可见性损失(预测观测期双手可见性)、以及仅作用于可见手腕的3D-to-2D重投影损失,总损失为L = L_joint + λ_vis·L_vis + λ_reproj·L_reproj。\n- 数据集基于Ego-Exo4D构建,合并身体姿态与手部姿态两套人工标注(手部标注含21×2关节并覆写腕部),自动身体标注仅用于训练,最终得到156K训练/34K测试序列。\n- 任务设定遵循先前工作:10 FPS采样,2秒观测(T=20帧)+1秒预测(F=10帧),3D点表示在相对首帧相机坐标的规范化坐标系中。\n- 实现细节:Transformer为4层8头、token维度512;模型从随机权重训练40K迭代,恒定学习率1e-4;平衡超参数经消融选定为λ_vis=0.1、λ_reproj=0.05。\n- 主要结果:整体序列上ADE提升3.4cm(0.261对基线0.295)、MPJPE提升5.1cm(0.115对0.166);in-view提升5.5cm/5.0cm,out-of-view提升1.9cm/5.9cm;先前方法USST在出视野时表现尤差(ADE 0.763)。\n- 消融实验表明:移除2D手部输入、可见性损失或身体姿态损失均导致明显性能下降(出视野场景尤甚);图像特征贡献较小;在全部出视野比例区间(γ从0到1)上本方法均一致优于基线与变体。\n- 附带的身体姿态估计/预测同样优于基线:观测期MPJPE提升约3cm(0.142对0.173),预测期提升2.4cm(0.221对0.245);手部姿态估计整体MPJPE为0.081,大幅优于EgoEgoForecast的0.161。\n- 局限与约束:手部不可见时主要依赖身体关节推断,存在歧义(如手在身侧或背后);身体姿态预测误差会负面影响手部预测;评估时身体运动分布与训练不同则性能退化。\n- 适用场景:AR/VR、人机交互与辅助技术;依赖头戴相机提供的头部姿态(可由Project Aria等智能眼镜给出),并需应对手部频繁出入视野的现实情况。"
}