{
  "paper_id": "597e209f4d37acc821de1d833253bdd2",
  "paper_title": "EgoHandICL: Egocentric 3D Hand Reconstruction with In-Context Learning",
  "paper_authors": [
    "Binzhu Xie",
    "Shi Qiu",
    "Sicheng Zhang",
    "Yinqiao Wang",
    "Hao Xu",
    "Muzammal Naseer",
    "Chi-Wing Fu",
    "Pheng-Ann Heng"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "Robust 3D hand reconstruction is challenging in egocentric vision due to depth ambiguity, self-occlusion, and complex hand-object interactions. Prior works attempt to mitigate the challenges by scaling up training data or incorporating auxiliary cues, often falling short of effectively handling unseen contexts. In this paper, we introduce EgoHandICL, the first in-context learning (ICL) framework for 3D hand reconstruction that achieves strong semantic alignment, visual consistency, and robustness under challenging egocentric conditions. Specifically, we develop (i) complementary exemplar retrieval strategies guided by vision-language models (VLMs), (ii) an ICL-tailored tokenizer that integrates multimodal context, and (iii) a Masked Autoencoders (MAE)-based architecture trained with 3D hand-guided geometric and perceptual objectives. By conducting comprehensive experiments on the ARCTIC and EgoExo4D benchmarks, our EgoHandICL consistently demonstrates significant improvements over state-of-the-art 3D hand reconstruction methods. We further show EgoHandICL's applicability by testing it on real-world egocentric cases and integrating it with EgoVLMs to enhance their hand-object interaction reasoning.",
  "keywords": [
    "三维手部重建",
    "自我中心视觉",
    "上下文学习",
    "视觉-语言模型",
    "MANO 参数化",
    "掩码自编码器",
    "手-物交互"
  ],
  "paper_institutions": [
    "Department of Computer Science and Engineering, The Chinese University of Hong Kong",
    "Institute of Medical Intelligence and XR, The Chinese University of Hong Kong",
    "Department of Computer Science, Khalifa University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:39:07.308111Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对第一人称（egocentric）视角下三维手部重建面临的深度歧义、自遮挡与复杂手-物交互难题，提出首个基于上下文学习（ICL）的三维手部重建框架 EgoHandICL。不同于 HaMeR、WiLoR 等依赖大规模数据训练的通用方法，以及先前利用辅助监督线索（如 WildHand、EventEgoHands）仍难以解决严重遮挡的自视角专用方案，EgoHandICL 通过三个核心组件实现语义对齐、视觉一致性与鲁棒性：(i) 由视觉-语言模型（VLM）引导的互补范例检索策略，包括基于四种手部参与类型（左手、右手、双手、无手）的预定义视觉模板与自适应文本模板；(ii) 融合图像 token、结构 token 与文本 token 的 ICL 专用多模态分词器；(iii) 采用掩码自编码器（MAE）风格架构并以三维几何与感知目标训练的 Transformer。其核心机制可概括为：以统一 MANO 参数化 M = {Θ, β, Φ} 桥接二维视觉输入与三维参数输出，给定查询图像的粗略 MANO 估计与上下文范例集 C_M，通过 M_qry = F(M̃_qry | C_M) 进行基于范例的精化推理。实验在 ARCTIC（118.2K 训练/16.9K 测试样本，实验室环境提供高质量 MANO 标注，用于验证网格顶点级精度）与 EgoExo4D（17.3K 训练/4.1K 测试样本，真实无约束场景，用于验证关节级精度与泛化性）两个基准上展开；实现上采用 Qwen2.5-VL-72B-Instruct 作为检索 VLM、WiLoR 同款预训练 ViT 骨干、Qwen-7B 文本编码器与 Uni3D-ti 三维特征编码器，在单张 RTX 4090 GPU 上以批大小 64、AdamW 优化器、学习率 1e-4 训练 100 轮。在 ARCTIC 上 EgoHandICL 取得 P-MPJPE 4.0mm、P-MPVPE 3.8mm、F@5 0.801、F@15 0.996，较次优方法在通用与双手设置下分别将 PA-MPVPE 降低 31.1% 与 24.5%，并将 MRRPE 降低 12%；在 EgoExo4D 上取得 MPJPE 21.1mm、P-MPJPE 7.7mm、MRRPE 110.9mm，全面超越 PCIE-EgoHandPose、POTTER、HaMeR、WiLoR 等基线，验证了 ICL 范式在解决自视角遮挡与双手空间关系估计上的有效性。消融实验表明 70% 掩码比率最优、3D 感知损失提供互补约束、框架对粗略 MANO 预测骨干（HaMeR/WildHand/WiLoR）不敏感。进一步探索中，将重建结果作为视觉提示注入 EgoVLM 可提升其在 EgoHOIBench 上的手-物交互推理能力。该工作适用于扩展现实（XR）、人机交互与机器人等真实场景，但 VLM 检索的计算开销限制了实时部署，且依赖高质量模板数据库；未来方向包括高效检索机制、时序扩展的三维手部跟踪与手-物联合重建。\n\n### 关键要点\n- EgoHandICL 是首个将上下文学习（ICL）范式应用于三维手部重建的框架，通过条件化于少量相关范例解决自视角下的严重遮挡与多样交互问题，无需更新模型参数即可适应新场景。\n- 提出两种互补的范例检索策略：预定义视觉模板将图像按左手、右手、双手、无手四种手部参与类型分类以保障视觉一致性；自适应文本模板则由 VLM 基于交互、遮挡等语义描述进行更细粒度的动态检索。\n- ICL 分词器将模板与查询图像的粗略/真值 MANO 参数经 MLP 编码为结构 token、图像经预训练 ViT 编码为图像 token、VLM 语义描述经 Qwen-7B 编码为文本 token，再通过交叉注意力融合为四组统一 ICL token（模板/查询的输入与目标）。\n- 采用 MAE 风格的掩码重建训练：训练时随机部分掩码模板与查询的目标 token 以模拟不完整监督，推理时完全掩码查询目标 token，由模型从上下文范例 token 中解码出查询的 MANO 参数。\n- 训练损失综合参数级 L_mano、顶点级 L_V 与新提出的手部专用 3D 感知损失 L_3D（基于 Uni3D-ti 编码器对齐预测与真值网格的高层嵌入）；对无 MANO 真值的 EgoExo4D 则采用 3D 关键关节约束 L_J 替代。\n- 实验基于 ARCTIC（118.2K 训练/16.9K 测试，含 MANO 标注）与 EgoExo4D（17.3K 训练/4.1K 测试，真实场景）两个基准，分别在顶点级与关节级指标上评估；所有基线在相同训练划分上微调以保证公平比较，并设有仅统计双手均被正确检测样本的双手设置。\n- 在 ARCTIC 上 EgoHandICL 取得 P-MPJPE 4.0mm、P-MPVPE 3.8mm、F@5 0.801、F@15 0.996（通用设置）及 P-MPVPE 3.7mm、MRRPE 6.2mm（双手设置），较次优方法 PA-MPVPE 分别提升 31.1% 与 24.5%，MRRPE 降低 12%，证明其在遮挡解析与双手空间关系估计上的优势。\n- 在 EgoExo4D 上取得 MPJPE 21.1mm、P-MPJPE 7.7mm、F@10 0.789、MRRPE 110.9mm，显著优于 PCIE-EgoHandPose（25.5/8.5mm）、POTTER、HaMeR 与 WiLoR 等基线，展现了动态自视角下更强的双手空间一致性。\n- 消融实验显示：ICL token 掩码比率为 70% 时效果最佳，表明更高掩码促使模型利用更强的上下文线索进行深层推理；3D 感知损失相对纯几何监督（P-MPVPE 4.3mm）可将误差降至 3.8mm；框架可搭配 HaMeR（+16.1%）、WildHand（+12.1%）、WiLoR（+27.3%）等不同粗略预测骨干并均获一致提升，证明增益来自 ICL 范式本身。\n- 推理式提示（Reas. Prompts）在重度遮挡场景下优于描述式提示（P-MPJPE 3.9 vs 4.2mm），默认策略为重度遮挡用推理提示、清晰场景用描述提示；检索质量分析显示超过 90% 的范例 CLIP 相似度高于 0.7，且相似度越高相对 WiLoR 的改进越大。\n- 将 EgoHandICL 重建结果作为视觉提示注入 EgoVLM 后，LLaVA-OneVision、EgoGPT 与 Qwen2.5-VL-7B 在 EgoHOIBench 上的手-物交互推理平均得分分别从 0.75、0.71、0.82 提升至 0.78、0.76、0.85，验证了其在下游应用中的实用价值。\n- 主要局限与约束包括：VLM 检索带来较大计算开销、限制资源受限设备上的实时部署；依赖高质量且多样的模板数据库，检索质量下降（如 OOD 的 H2O 数据集上相似度集中于 0.6-0.7）会削弱改进幅度；EgoExo4D 仅有 keypoint 级标注且多数评估依赖真值边界框，缺乏联合评估检测与重建的端到端基准。"
}