Figure 1: Comparing EgoHandICL with previous methods. (i) Prior works improve egocentric hand reconstruction by exploiting auxiliary cues (Prakash et al., 2024; Hara et al., 2025), thereby having limited capabilities in handling challenging scenarios with severe occlusions. (ii) EgoHandICL improves the precision through two key steps. Step A: We prompt vision-language models with egocentric cues to retrieve template images for the input query image. Step B: We construct ICL demonstrations by aligning the input-target pairs of both template and query images.
## 摘要
由于深度歧义、自身遮挡以及复杂的手物交互，在以人为中心的视觉场景中实现鲁棒的3D手部重建极具挑战性。以往的研究试图通过扩充训练数据或引入辅助线索来应对这些挑战，但往往难以有效处理未见过的场景。在本文中，我们提出了EgoHandICL——首个用于3D手部重建的上下文学习（ICL）框架，该框架在具有挑战性的以人为中心条件下能够实现出色的语义对齐、视觉一致性和鲁棒性。具体而言，我们开发了：(i)由视觉-语言模型（VLM）引导的互补示例检索策略；(ii)专为ICL设计的、可整合多模态上下文的分词器；(iii)基于掩码自编码器（MAE）的架构，该架构采用3D手部引导的几何与感知目标进行训练。通过在ARCTIC和EgoExo4D基准测试上开展全面实验，我们的EgoHandICL相较于现有的最先进3D手部重建方法展现出显著的性能提升。我们还通过真实世界的以人为中心场景测试，以及将其与EgoVLM集成以增强手物交互推理能力，进一步验证了EgoHandICL的适用性。我们的代码和数据可在以下链接获取：。
---
## 1 引言
从单目RGB图像中重建3D手部一直是计算机视觉领域的核心任务，其在扩展现实（XR）、人机交互（HCI）、机器人等领域有着广泛的应用。借助在大规模数据集上训练得到的基于Transformer的骨干网络来提取丰富的视觉表征（Cui等人，2023），HaMeR（Pavlakos等人，2024）和WiLoR（Potamias等人，2025）等近期方法在各种基准测试中均取得了优异的3D手部重建性能。尽管效果显著，但这些模型在实际应用仍会面临深度歧义、自身遮挡以及域偏移等挑战，这些问题往往会影响其鲁棒性和泛化能力（Hong等人，2022；Zhu等人，2024；Cui等人，2024）。在以人为中心的场景中，这些挑战会更加突出，因为此类场景普遍存在严重的遮挡、透视畸变以及复杂的手物交互现象。
以往的研究（Prakash等人，2024年；Hara等人，2025年）也探索了针对以自我为中心的3D手部重建的专门解决方案：如图1-(i)所示，现有方法利用需要额外标注的辅助监督线索，但仍无法解决以自我为中心视角中严重的遮挡问题或模糊的手物交互问题。这些局限性凸显了对一种能够灵活适应各种以自我为中心场景且具有鲁棒性的通用框架的迫切需求。尽管每种以自我为中心的场景都存在独特的视觉歧义，但人类能凭借过往经验、多模态上下文以及特定任务知识自然化解这些歧义。这种卓越的能力本质上与上下文学习（ICL）（Brown等人，2020年）的核心概念相契合——即通过少量相关上下文示例来调节，以适应新问题的求解。虽然ICL在语言建模领域已取得显著进展（Dong等人，2022年；Ferber等人，2024年），但近期研究已开始将这一范式应用于视觉任务，因为在这些任务中快速适应问题和基于示例推理同样至关重要（Zong等人，2024年）。鉴于ICL反映了人类利用相关线索克服歧义的方式，它为以自我为中心的视觉任务提供了一种自然的范式。受此内在联系的启发，我们提出了一种新框架——EgoHandICL，旨在利用上下文学习范式的强大推理能力来推进以自我为中心的3D手部重建。作为首个基于ICL的3D手部重建方法，我们解决了以下两个关键问题。
首先，ICL的有效性高度依赖于相关示例的选择（Liu等人，2022年；Zhang等人，2023年；Rubin等人，2022年），但在以自我为中心的场景中，这种选择尤为困难。如图1-(ii)所示，我们提出了互补的示例模板选择检索策略：(i) 利用四种手部参与模式（左手、右手、双手和非手部），这些模式广泛涵盖了典型的以自我为中心的手部相关活动，我们据此检索具有相似手部参与的示例，以确保查询图像与匹配模板之间的视觉一致性；(ii) 我们设计了结合视觉-语言模型（VLM）的交互特定提示词，以根据语义上下文检索自适应模板。这些策略共同确保了在上下文学习过程中能够利用语义对齐度高且视觉保真度好的示例。
其次，与传统处理单模态映射的ICL方法不同，3D手部重建需要衔接2D视觉输入与3D参数输出。为确保查询与模板之间的结构一致性，我们采用统一的MANO参数化方式来表示输入和输出（Romero等人，2017年），从而生成语义对齐的输入-输出对，助力有效的ICL。此外，我们融入以自我为中心的手部先验和多模态线索，将视觉、文本及结构上下文编码到可学习的词元空间中，并采用基于掩码自编码器（MAE）的架构（He等人，2022年），该架构通过3D几何与感知目标进行训练。通过大量实验，我们证明这些设计使EgoHandICL框架能够实现更鲁棒、更具泛化能力的以自我为中心的手部重建性能。总之，我们的主要贡献有三点：
- 我们提出了首个用于3D手部重建的上下文学习方法，为应对以自我为中心视觉中的严重遮挡和多样交互问题提供了极具前景的解决方案。
- 我们开发了EgoHandICL框架，该框架能够检索有效示例、将多模态上下文词元化，并通过MAE风格的架构进行学习，从而实现鲁棒且泛化能力强的3D手部重建。
- 我们开展了大量实验，结果表明我们的EgoHandICL在以自我为中心的基准测试中取得了最先进的性能，且在现实场景中展现出强大的实用性，包括自拍数据以及提升视觉语言模型中的手-物体交互推理能力。
---
## 2 相关工作
三维手部重建。手部重建领域已经研究了很长时间，早期研究通常利用深度相机来恢复三维手部关节和网格（Ge等人，2016；Oikonomidis等人，2011；Tagliasacchi等人，2015；Rogez等人，2014；Simon等人，2017；Sridhar等人，2016；Sun等人，2015；Tompson等人，2014）。其中具有里程碑意义的是MANO模型（Romero等人，2017）的提出，这是一种低维度的参数化手部模型，通过回归相关的姿态形状即可实现单图像三维手部重建。Boukhayma等人（2019）随后通过使用CNN模型和关节式手部网格验证了MANO模型的适用性。这种基于学习的方法启发了后续的研究：要么直接回归MANO参数（Baek等人，2019；Potamias等人，2023；Baek等人，2020），要么预测手部顶点以改善图像对齐效果（Kulon等人，2019；Choi等人，2020；Ge等人，2019；Kulon等人，2020）。除了参数化回归之外，研究人员还探索了其他策略，包括基于体素的方法（Iqbal等人，2018；Moon & Lee，2020）和顶点回归方法（Chen等人，2021），还有一些研究进一步强调了重建过程的效率和鲁棒性（Chen等人，2022；Park等人，2022；Oh等人，2023；Jiang等人，2023）。最近，在数百万张图像上预训练的大规模视觉Transformer表明，扩大模型容量和数据量能够显著提升手部重建模型在野外场景中的泛化能力（Dong等人，2024；Kim等人，2023；Lin等人，2021）。尤其是HaMeR（Pavlakos等人，2024）提出了一种强大的基于视觉Transformer（Vaswani等人，2017）的流程，该流程利用分块的图像标记来重建MANO参数化模型，在以自我为中心和野外场景中均取得了最先进的精度。然而，现有方法主要侧重于通用重建，在复杂的交互和遮挡场景下缺乏鲁棒性：例如，当双手交叉且其中一只手被严重遮挡时（图3），或者当手部因佩戴黑色手套而与背景融为一体时（图4）。最先进的方法往往会遗漏手部、混淆左右手身份，或扭曲被遮挡区域。相比之下，我们的方法利用多模态线索，并从检索到的示例中获取上下文知识，从而在这些困难的以自我为中心的场景中实现一致且精准的手部重建。
视觉领域中的上下文学习。由GPT-3（Brown等人，2020年）推广的上下文学习（ICL）使得模型能够在不更新模型参数的情况下，通过少量输入输出示例来适应新任务（Radford等人，2021年；Rubin等人，2022年；Xie等人，2021年）。受LLM研究中ICL成功的启发，研究人员也将这一范式拓展到计算机视觉领域，在分割（Li等人，2024b）、识别（Zhang等人，2025a）以及多模态理解（Zong等人，2024）等方面取得了代表性成果。然而，将ICL应用于3D视觉更具挑战性，因为3D数据包含复杂的空间和时间结构，这些结构难以通过简单的输入输出对来捕捉或表示。因此，探索该领域的研究寥寥无几，例如用于点云识别的PIC（Fang等人，2023）、用于人体动作分析的HiC（Liu等人，2025），以及用于行人轨迹预测的TrajICL（Fujii等人，2025）等。不过，它们都未能学习到处理重建问题中2D图像与3D网格之间巨大模态差异所需的上下文信息。为此，我们将两种模态统一到MANO参数空间中，并开发了专门的ICL分词器来有效整合多模态上下文。此外，在我们的EgoHandICL框架中，所提出的VLM引导的示例检索策略与MAE驱动的重建流程协同作用，实现了语义对齐与几何一致性，即便在严重遮挡和视觉歧义的情况下也能实现稳健的以自我为中心的手部重建。
## 3 方法
在本节中，我们首先阐述以自我为中心的3D手部重建中的上下文学习问题（第3.1节）。接着，我们介绍EgoHandICL框架（第3.2节），包括用于选取示例样本的模板检索策略、整合视觉、文本和结构上下文的ICL分词器，以及实际的训练与推理过程。最后，我们介绍用于训练EgoHandICL框架的具体损失函数（第3.3节）。
### 3.1 以自我为中心的3D手部重建中的上下文学习建模
ICL基础概念。上下文学习（ICL）通常将任务建模为少样本推理，其中模型$\mathcal{F}$会在共享上下文中依据少量输入输出示例以及查询来进行条件化推理。
---
具体来说，给定一个查询$x^{\text{qry}}$和一个包含N个任务特定示例对$\mathcal{C} = \{(x_i, y_i)\}_{i=1}^N$“模板”的上下文集$(i.e.,$，模型会基于查询和模板来预测$y^{\text{qry}}$：
$$ y^{\mathrm{q r y}}=\mathcal{F}(x^{\mathrm{q r y}}|\mathcal{C}). $$
3D手部重建。给定图像$I \in \mathbb{R}^{H \times W \times 3}$，我们的目标是重建每只手i的3D网格，该网格由MANO模型（Romero等人，2017年）表示。我们将MANO手部参数集记为$\mathcal{M} = \{\Theta_i, \beta_i, \Phi_i\}_{i=1}^N$，其中$\Theta_i \in \mathbb{R}^{15 \times 3}$为姿态参数，$\beta_i \in \mathbb{R}^{10}$为形状参数，$\Phi_i \in \mathbb{R}^3$为全局朝向。我们的目标是学习如下映射：
$$ \mathcal{M}=\mathcal{G}(I), $$
其中$\mathcal{G}$用于预测给定图像I中所有可见手部的MANO参数。估计出的参数M随后会被传入MANO解码器，以生成对应的3D手部网格。
用于自我中心视角下3D手部重建的ICL方法。尽管我们可以通过从单张图像直接回归MANO参数来实现3D手部重建，但在自我中心视角下这会变得困难得多，因为此类场景往往存在遮挡、复杂的手-物体交互以及模糊的视角问题。为缓解这一问题，我们利用带有专用自我中心上下文样本的ICL方法，通过基于实例的推理来实现准确且稳健的自我中心3D手部重建。为了实现公式1中ICL框架所设定的公式2目标，我们按以下步骤进行。
给定查询图像$I_{\mathrm{qry}}$后，我们首先检索与查询图像在上下文上相关的模板图像。对于每张检索到的模板图像$I_{\mathrm{tpl}}$，我们构建输入-目标样本对$(\tilde{\mathcal{M}}_{\mathrm{tpl}}, \mathcal{M}_{\mathrm{tpl}})$，该样本对既符合3D手部重建任务的目标，也满足ICL范式的要求。具体而言，$\tilde{\mathcal{M}}_{\mathrm{tpl}}$表示将训练好的重建模型（如HaMeR（Pavlakos等人，2024年）或WiLoR（Potamias等人，2025年））应用于$I_{\mathrm{tpl}}$后得到的粗略MANO参数，正如公式2所示；而$\mathcal{M}_{\mathrm{tpl}}$则表示从数据库中获取的检索到的模板对应的真实MANO参数。接着，我们获得一组自我中心样本集$\mathcal{C}_{\mathcal{M}} = \{(\tilde{\mathcal{M}}_{\mathrm{tpl}}, \mathcal{M}_{\mathrm{tpl}})\}$。最后，我们用同样的重建模型估算查询图像$\tilde{\mathcal{M}}_{\mathrm{qry}}$的粗略MANO参数$I_{\mathrm{qry}}$，随后以该样本集$\mathcal{C}_{\mathcal{M}}$为条件，通过ICL范式对其进行调整（如公式1所示）：
$$ \mathcal{M}_{\mathrm{q r y}}=\mathcal{F}(\tilde{\mathcal{M}}_{\mathrm{q r y}}|\mathcal{C}_{\mathcal{M}}). $$
这一公式奠定了将ICL应用于自我中心3D手部重建的基础。
### 3.2 EGOHANDICL框架
图2展示了整个EgoHandICL框架。它由三个关键组件构成：模板检索策略、多模态上下文分词器，以及ICL学习与推理流程；其中，VLM主要根据用户输入的关于交互、遮挡及其他自我中心线索的描述性提示来检索模板。
模板检索。如3.1节所述，我们框架中的关键步骤是为输入的查询图像$I_{tpl}$检索一个上下文相关的模板图像$I_{qry}$。如图2（部分A）所示，我们提出了两种互补的检索策略，利用视觉和文本信息在ICL范式内实现上下文适配。
具体来说，我们引入了预定义视觉模板，VLM会将每张图像归类为四种预定义的自我中心手部参与类型之一：左手型、右手型、双手型和无手部参与型。这种分类涵盖了常见的自我中心手部姿态，使我们能够从数据集中检索出视觉上一致的样本。此外，仅依靠手部参与情况往往并不够，因为自我中心场景常常涉及物体交互、遮挡、手部缺失等情况。为解决这些问题，我们进一步引入了自适应文本模板，VLM会根据用户输入的关于交互、遮挡及其他自我中心线索的描述性提示来检索模板。这种策略能够更灵活、动态地检索语义上一致的样本，除了基本的预定义视觉模板外，还能提供更精细的上下文线索。在本研究中，每张查询图像对应检索出一个模板图像。更多实现细节详见附录B。
ICL分词器。一旦获取到模板图像，我们就通过整合模板图像 $I_{tpl}$ 和查询图像 $I_{qry}$ 中的多模态上下文来构建ICL词元。如图2（部分）所示，
---
Figure 2: Overview of our EgoHandICL framework. Part A: Given a query image, we retrieve templates via two complementary strategies. Pre-defined Visual Templates: a VLM classifies the hand-involvement type and retrieves a template image of the same type. Adaptive Textual Templates: we prompt the VLM to generate semantic descriptions, and retrieve a template image given textual similarity. Part B: We encode image tokens $F_{i}$, structural tokens $F_{m}$, and text tokens $F_{t}$, respectively; and then apply cross-attention to tokenize four structured sets of ICL tokens. Part C: We follow a MAE-style design, where the template and query target tokens are partially masked to train the Transformer. In inference, the query target tokens are fully masked for the Transformer's prediction.
B），对于 $I_{tpl}$ 和 $I_{qry}$，我们先估算它们粗略的MANO参数，收集它们的真实MANO参数，然后将这四组MANO参数（即 $\tilde{\mathcal{M}}_{tpl}, \tilde{\mathcal{M}}_{qry}, \mathcal{M}_{tpl}, \mathcal{M}_{qry}$）输入到MANO编码器中，生成能够保留手部三维关节活动与形状先验的结构化词元 $F_m$。此外，我们分别用预训练的ViT编码器（Potamias等人，2025年）对 $I_{tpl}$ 和 $I_{qry}$ 进行编码，以捕捉其外观与空间细节，进而生成图像词元 $F_i$。而且，用于检索的VLM生成的语义描述会通过文本编码器被嵌入为文本词元 $F_t$。最后，我们运用交叉注意力机制来融合多模态的结构化词元、图像词元和文本词元，从而生成用于上下文感知推理的统一ICL词元。具体而言，在处理完 $I_{tpl}$ 和 $I_{qry}$ 后，我们的ICL分词器会生成四组ICL词元：$T_{tpl}^{in}$（代表“模板”的“输入”），$T_{tpl}^{tar}$（代表“模板”的“目标”），$T_{qry}^{in}$（代表“查询”的“输入”），以及 $T_{qry}^{tar}$（代表“查询”的“目标”）。这些ICL词元会被一同用作基于Transformer的重建模型中的上下文示例。
ICL的掩码重建。掩码自编码器（MAE）（He等人，2022年）在视觉任务中已被广泛应用，其做法是随机掩码部分输入词元，然后训练模型去重建这些缺失的词元。这种架构在学习鲁棒的表征以及处理不完整或模糊的视觉信号方面已被证明是有效的。不过，将其应用于ICL范式时存在一个关键挑战：训练期间，模型能够获取模板样本和查询样本的真实值；而在推理阶段，查询目标是无法获取的，因为这正是我们要推断的内容。为解决这一问题，此前用于视觉任务的ICL方法（Bar等人，2022年；Wang等人，2023年；Fang等人，2023年）会在训练时对目标数据施加掩码：通过部分掩码模板和查询样本的目标，让模型在不完整的监督下完成预测。如图2（部分C）所示，我们的EgoHandICL采用了经过训练的、用于ICL词元掩码重建的Transformer。训练期间，我们会随机且部分地掩码目标词元，也就是 $T_{tpl}^{tar}$ 和 $T_{qry}^{tar}$ 对应的ICL词元，以此模拟这种不完整的监督情况。推理时，$T_{qry}^{tar}$ 会被完全掩码（无法获取），但训练好的模型仍能从上下文示例剩余的ICL词元中解码（重建）出查询样本的MANO参数目标 $\mathcal{M}_{qry}$。总之，这种基于MAE的设计为示例条件推理提供了高效的训练-推理架构，能够在具有挑战性的自中心场景下实现上下文感知的手部重建。
### 3.3 损失函数
我们遵循参数化手部重建领域的常规做法，采用参数级（$\mathcal{L}_{mano}$）和顶点级（$\mathcal{L}_V$）监督来训练EgoHandICL，以重建三维手部网格：
$$ \begin{array}{c c}{\mathcal{L}_{m a n o}=\left\|\Theta-\Theta^{\mathrm{g t}}\right\|_{2}^{2}+\left\|\beta-\beta^{\mathrm{g t}}\right\|_{2}^{2}+\left\|\Phi-\Phi^{\mathrm{g t}}\right\|_{2}^{2},}&{\mathcal{L}_{V}=\left\|V_{3D}-V_{3D}^{\mathrm{g t}}\right\|_{1}.}\\ \end{array} $$
---
虽然参数和顶点监督提供了重要的几何约束，但在仅依赖输入图像信息的自我中心场景中，它们仍然不够充分。受用于图像恢复的感知损失（Johnson等人，2016年）的启发，我们引入了针对手部特定的3D感知损失$\mathcal{L}_{3D}$，旨在使预测的手部网格与真实手部网格的高层嵌入保持一致。这种损失在遮挡和模糊情况下仍能保证语义一致性，从而生成既几何精确又视觉逼真的重建结果：
$$ \begin{array}{r}{\mathcal{L}_{3D}=\left\|\phi(\mathcal{P})-\phi(\mathcal{P}^{\mathrm{g t}})\right\|_{2}^{2},}\end{array} $$
其中$\mathcal{P}$是由MANO生成的手部网格的顶点（或关节）构成的点云，而$\phi(\cdot)$则是一个预训练的3D特征编码器。整体损失$\mathcal{L}$可定义为：
$$ \mathcal{L}=\lambda_{m}\mathcal{L}_{m a n o}+\lambda_{v}\mathcal{L}_{V}+\lambda_{3D}\mathcal{L}_{3D}, $$
其中$\lambda_{m}$、$\lambda_{v}$和$\lambda_{3D}$为经验权重。对于没有MANO真实标注的数据集（如EgoExo4D，Chen等人，2024年），该损失会应用3D关键关节$J_{3D}$约束，其权重由$\lambda_{j}$决定：
$$ \mathcal{L}_{J}=\left\|J_{3D}-J_{3D}^{\mathrm{g t}}\right\|_{1},\quad\mathcal{L}=\lambda_{j}\mathcal{L}_{J}+\lambda_{3D}\mathcal{L}_{3D}. $$
### 3.4 实现细节
在检索过程中，我们采用Qwen2.5-VL-72B-Instruct（Yang等人，2024年）作为视觉语言模型。对于ICL分词器，我们使用与WiLoR中相同的预训练ViT骨干网络（Dosovitskiy等人，2020年），而文本编码器则选用Qwen-7B（Bai等人，2023年）。MANO编码器和解码器以多层感知机的形式实现，并在EgoHandICL框架内共同训练。我们将重建模型实现为一个轻量级的Transformer编码器。我们还使用Uni3D-ti（Zhou等人，2024年）作为损失函数$\phi$中所用的3D特征编码器$\mathcal{L}_{3D}$。所有模型均训练100个周期，学习率为$1e^{-4}$。损失权重分别设为$\lambda_m = 0.05$、$\lambda_v = 5.0$、$\lambda_j = 5.0$和$\lambda_{3D} = 0.01$。训练在单张RTX 4090 GPU上进行，批量大小为64，优化器采用AdamW（Ilya，2018年）。数据预处理和检索工作则由4张A100 GPU负责。
## 4 实验
### 4.1 数据集与评估指标
数据集。我们在两个基准数据集上评估EgoHandICL框架的性能：ARCTIC数据集（Fan等人，2023年）在受控实验室环境中提供了高质量的MANO参数标注；EgoExo4D数据集（Grauman等人，2024年）则包含了在现实、无约束场景下拍摄的具有挑战性的手物交互自我中心视频。这两个数据集使我们能够从手部网格顶点（ARCTIC数据集，11.82万个训练样本/1.69万个测试样本）和手部骨骼关节（EgoExo4D数据集，1.73万个训练样本/4100个测试样本）两个角度全面评估EgoHandICL的3D手部重建性能。
基线方法。我们将EgoHandICL的性能与最先进的3D手部重建基线方法进行比较。在ARCTIC数据集上，我们主要对比3D手部网格重建方法，包括HaMeR（Pavlakos等人，2024年）、WiLoR（Potamias等人，2025年）、WildHand（Prakash等人，2024年）以及HaWoR（Zhang等人，2025b）。在EgoExo4D数据集上，我们主要评估3D手部关节估计方法，包括POTTER（Zheng等人，2023年）、PCIE-EgoHandPose（Chen等人，2024年），以及手部网格重建方法。
评估指标。我们使用顶点级和关节级指标来评估以自我为中心的手部重建效果，评估在两种设置下进行。在通用设置中，指标是针对每只检测到的手计算的，未成功检测到手的情况则排除在评估之外。对于ARCTIC数据集，我们报告Procrustes对齐的平均关节位置误差（P-MPJPE）以及Procrustes对齐的平均顶点位置误差（P-MPVPE），同时给出误差在5毫米和15毫米阈值内的顶点占比（F@5、F@15）。对于EgoExo4D数据集，我们报告平均关节位置误差（MPJPE）及其Procrustes对齐变体（P-MPJPE），以及用于衡量关节重建精度的F@10和F@15。为了进一步体现以自我为中心视角下的挑战，同时确保能在一致的检测条件下进行公平比较，我们也在双手设置下进行评估，仅统计两只手均被正确检测到样本。在此设置下，除了P-MPVPE外，我们还计算平均相对根部位置误差（MRRPE），用以量化左右手之间的空间一致性（Fan等人，2021；2023；Moon等人，2020）。顶点级和关节级评估的所有指标均以毫米为单位报告。
---
Table 1: Quantitative results on the ARCTIC dataset. We follow the standard evaluation protocol and report both the joint- and vertex-level metrics.
| Method | General Setting | Bimanual Setting |
| P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ | P-MPVPE $\downarrow$ | MRRPE $\downarrow$ |
| HaMeR (Pavlakos et al., 2024) | 9.9 | 9.6 | 0.046 | 0.911 | 9.9 | 10.1 |
| WiLoR (Potamias et al., 2025) | 5.5 | 5.5 | 0.524 | 0.994 | 5.7 | 9.8 |
| WildHand (Prakash et al., 2024) | 5.8 | 5.6 | 0.746 | 0.928 | 4.9 | 7.1 |
| HaWoR (Zhang et al., 2025b) | 6.2 | 6.1 | 0.474 | 0.896 | 6.0 | 8.6 |
| EgoHandICL (ours) | 4.0 | 3.8 | 0.801 | 0.996 | 3.7 | 6.2 |
Table 2: Quantitative results on the EgoExo4D dataset. We follow the standard evaluation protocol and report the joint-level metrics.
| Method | General Setting | Bimanual Setting |
| MPJPE $\downarrow$ | P-MPJPE $\downarrow$ | F@10 $\uparrow$ | F@15 $\uparrow$ | P-MPJPE $\downarrow$ | MRRPE $\downarrow$ |
| PCIE-EgoHandPose (Chen et al., 2024) | 25.5 | 8.5 | 0.544 | 0.910 | 8.2 | 130.9 |
| Potter (Zheng et al., 2023) | 28.9 | 11.1 | 0.491 | 0.910 | 10.3 | 148.9 |
| HaMeR (Pavlakos et al., 2024) | 30.1 | 11.2 | 0.453 | 0.883 | 10.6 | 361.2 |
| WiLoR (Potamias et al., 2025) | 31.1 | 12.5 | 0.528 | 0.905 | 11.0 | 378.0 |
| EgoHandICL (ours) | 21.1 | 7.7 | 0.789 | 0.935 | 7.5 | 110.9 |
### 4.2 实验分析
3D手部网格重建的实验结果。我们采用ARCTIC数据集进行关节级和顶点级评估。如表1所示，虽然WiLoR在通用设置下仅针对检测到的手进行评估时表现良好，但在双手情况下其精度会下降，常常无法恢复严重遮挡的手部，或混淆左右手的身份（见图3中的底部案例）。与第二好的模型相比，EgoHandICL在通用设置和双手设置下分别将PA-MPVPE降低了31.1%和24.5%，同时还将MRRPE降低了12%。这一结果表明：通过上下文学习，EgoHandICL在解决以自我为中心的遮挡问题以及估算两只手之间的空间关系方面尤为有效。对于EgoExo4D数据集（表2），由于动态的以自我为中心视角，其MRRPE数值远高于ARCTIC数据集，但EgoHandICL仍取得了显著的性能提升，误差进一步减小，体现出两只手之间强大的空间一致性。图3和图4中的定性对比显示，以自我为中心的手部重建不仅要求单手精度高，还需在快速变化的以自我为中心视角下保持合理的双手相对几何结构。总体而言，我们的EgoHandICL在存在以自我为中心遮挡和双手交互的场景中，均能持续提升视觉精度和几何保真度，为现实场景提供更稳健的解决方案。更多讨论详见附录C。
Table 3: In-context reasoning analysis across different hand-involvement types. L, R, T, and N denote training on the left-hand, right-hand, two-hand, and non-hand involvement type sub-dataset, respectively. Results are tested on the ARCTIC under these four sub-dataset divisions.
| Type | Left Hand | Right Hand | Two Hands | Non Hand |
| Method | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ |
| Proposed - L | 4.6 | 4.4 | 4.6 | 4.5 | 5.1 | 4.8 | 5.2 | 5.1 |
| Proposed - R | 4.8 | 4.5 | 4.1 | 4.4 | 5.0 | 4.8 | 5.2 | 5.2 |
| Proposed - T | 4.7 | 4.6 | 4.9 | 4.4 | 4.3 | 4.2 | 5.0 | 5.1 |
| Proposed - N | 4.9 | 4.7 | 5.3 | 5.1 | 5.5 | 5.1 | 5.0 | 5.0 |
| Proposed - Full | 4.5 | 4.3 | 4.0 | 3.9 | 3.9 | 3.7 | 4.7 | 4.5 |
上下文推理分析。为了验证EgoHandICL框架的上下文推理能力，以及我们对预定义视觉模板分类的有效性，我们在仅包含单一手部参与类型的子数据集上训练了EgoHandICL的变体。如表3所示，当评估条件与训练模板对应的手部参与类型相匹配时，每个变体的表现最佳。例如，Proposed-L在左手参与类型的子数据集上测试时误差最小。不过这种配置也会带来副作用：仅在特定子数据集上训练的模型（如Proposed-N）对其他类型的样本（如双手子数据集）泛化能力较差。为此，我们在所有子数据集上训练的Proposed-Full模型在所有手部参与类型上的精度均最优，充分体现了上下文学习在增强泛化能力和适应多样化场景方面的协同优势。
---
Figure 3: Qualitative results on the ARCTIC dataset. Note: In the bottom case, where the two hands cross and the left hand is severely occluded, WiLoR (Potamias et al., 2025) reconstructs only the right hand but mistakenly identifies it as the left.
这种副作用表现为：仅在特定子数据集上训练的模型（如Proposed-N）对其他类型的样本（如双手子数据集）泛化能力较差。为此，我们在所有子数据集上训练的Proposed-Full模型在所有手部参与类型上的精度均最优，充分体现了上下文学习在增强泛化能力和适应多样化场景方面的协同优势。
Figure 4: Qualitative results on the EgoExo4D dataset (left) and self-captured cases (right). Note: In the bottom-left case with a single heavily occluded hand, HaMeR (Pavlakos et al., 2024) mistakenly reconstructs two hands, whereas WiLoR (Potamias et al., 2025) fails to reconstruct any.
用于检索的不同提示词。为了评估自适应文本模板的作用，我们比较了两种通过VLM生成检索文本的提示策略（见表4）。当仅使用从同一手部参与类型中检索到的模板，而不采用任何自适应文本模板时（无提示词），模型在F@5和F@15上的表现相对稳定。引入带有描述性提示词的自适应文本模板（描述性提示词：
Table 4: Comparison of different prompts for adaptive textual templates retrieval. Results are tested on the ARCTIC dataset.
| Method | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| W/o. Prompts | 4.3 | 3.9 | 0.838 | 0.996 |
| Des. Prompts | 4.2 | 3.7 | 0.781 | 0.978 |
| Reas. Prompts | 3.9 | 3.7 | 0.766 | 0.975 |
### 例如：“我正在进行三维手部重建，请描述以自我为中心的图像中的交互或遮挡细节。”这类提示词能通过提供关于遮挡的明确线索来减少重建误差。尤其是推理式提示词（推理提示词：例如，“……，请为处理手部遮挡和复杂交互提供指导。”）能进一步提升准确率，因为它们能促使VLM利用更具语义基础、更丰富的上下文线索。
---
这些结果说明，利用VLM的推理能力能够实现更高效、更稳健的上下文学习，从而提升手部重建效果。我们的默认设置平衡了这一取舍：在遮挡严重的情况下使用推理提示词，而在场景较清晰时则使用描述性提示词。
## 4.3 消融分析
Table 5: Comparison of coarse MANO prediction backbones. Improvement denotes relative gains over the corresponding baseline performance on the ARCTIC dataset in Tab. 1.
| Method | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | F@5 $\uparrow$ |
| Ours W. HaMeR | 8.3 | 8.1 | 0.052 |
| Improvement | +16.1% | +10.4% | +13.4% |
| Ours W. WildHand | 5.1 | 4.9 | 0.823 |
| Improvement | +12.1% | +12.5% | +10.3% |
| Ours W. WiLoR | 4.0 | 3.8 | 0.805 |
| Improvement | +27.3% | +30.9% | +7.3% |
| Mask Ratio | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@5 $\uparrow$ |
| 0.4 | 4.3 | 4.2 | 0.761 | 0.995 |
| 0.5 | 4.1 | 4.1 | 0.788 | 0.996 |
| 0.6 | 4.1 | 4.1 | 0.791 | 0.997 |
| 0.7 | 4.0 | 3.8 | 0.801 | 0.998 |
| 0.8 | 4.2 | 4.0 | 0.782 | 0.996 |
Table 6: Comparison of different mask ratios for ICL tokens. Results are tested on the ARC-TIC dataset.
用于粗略MANO预测的骨干网络。我们的EgoHandICL框架在设计上独立于粗略MANO预测骨干网络的选择。为验证这一点，我们在EgoHandICL框架中使用了不同的MANO预测骨干网络。如表5所示，EgoHandICL相较于对应的基线模型均有稳定且显著的性能提升。这些结果表明，性能的提升源于上下文学习范式本身，这也体现了EgoHandICL在无论采用何种粗略MANO预测骨干网络时的泛化能力和鲁棒性。
ICL令牌的掩码比例影响。我们评估了40%至80%范围内的不同掩码比例。如表6所示，较低的掩码比例会适度降低性能，而70%的掩码比例能取得最佳结果。这表明，在以自我为中心的手部重建任务中，由于遮挡和模糊交互现象普遍，对更大比例的ICL令牌进行掩码处理能促使模型利用更强的上下文线索，并通过更深入的推理来推断隐藏的结构。这一观察结果与MAE（He等人，2022年）的核心结论一致：更高的掩码比例能让模型学习到更具信息量的潜在特征。
三维感知损失。我们分析了所引入的针对手部的三维感知损失的作用，该损失旨在改善隐式手部表征的对齐程度，从而补充几何参数监督。如表7所示，加入我们的三维感知监督$\mathcal{L}_{3D}$后，相比标准的几何回归方法$\mathcal{L}_V$和$\mathcal{L}_{mano}$能带来额外收益。这说明针对手部的三维感知损失$\mathcal{L}_{3D}$提供了$\mathcal{L}_V$或$\mathcal{L}_{mano}$单独无法完全捕捉的三维线索。
Table 7: Comparison of different loss items for the EgoHandICL training. Results are tested on the ARCTIC dataset.
| Loss function | P-MPVPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| $\mathcal{L}_{V}$ | 4.7 | 0.6 | 0.982 |
| $\mathcal{L}_{V} + \mathcal{L}_{mano}$ | 4.3 | 0.6 | 0.994 |
| $\mathcal{L}_{V} + \mathcal{L}_{3D}$ | 3.9 | 0.7 | 0.998 |
| $\mathcal{L}_{V} + \mathcal{L}_{3D} + \mathcal{L}_{mano}$ | 3.8 | 0.8 | 0.998 |
## 5 基于EgoHandICL探索EgoVLM
近期有研究探讨了用于理解手物交互的以自我为中心的视频语言模型（EgoVLM）。为探究EgoHandICL是否能助力此类任务，我们在EgoHOIBench（Xu等人，2025年）数据集上，使用不同的EgoVLM进行了评估。如表8所示，基于LLaVA-OneVision（Li等人，2024a）构建、并在大量以自我为中心的数据上微调的EgoGPT（Yang等人，2025年），其性能反而低于LLaVA-OneVision基础模型。
Table 8: Comparison of EgoVLMs on hand-object interaction reasoning.
| Model | avg. $\uparrow$ | verb. $\uparrow$ | none. $\uparrow$ | action $\uparrow$ |
| LLaVA-OneVision | 0.75 | 0.68 | 0.82 | 0.58 |
| + Proposed | 0.78 | 0.71 | 0.84 | 0.61 |
| EgoGPT | 0.71 | 0.66 | 0.76 | 0.46 |
| + Proposed | 0.76 | 0.70 | 0.90 | 0.61 |
| Qwen2.5-VL-7B-Instruct | 0.82 | 0.74 | 0.90 | 0.64 |
| + Proposed | 0.85 | 0.74 | 0.91 | 0.69 |
---
Figure 5: EgoVLM's hand–object interaction reasoning with and without EgoHandICL. By incorporating our hand reconstructions as visual prompts, hand-related actions in egocentric videos can be recognized reliably with finer details.
这表明，在自我中心数据上过度微调可能会使EgoVLM偏向于事件级理解，而牺牲细粒度的手-物体交互推理能力。为缓解这一问题，我们将EgoHandICL的重建输出作为额外的视觉提示输入给EgoVLM，从而持续提升其手-物体交互推理能力（示例见图5）。这一探索彰显了EgoHandICL在下游应用中的实用价值。
## 6 结论与未来工作
我们提出了EgoHandICL，一种基于上下文学习的新型自我中心3D手部重建框架。该方法包含三个核心组件：（1）由VLM引导的示例模板检索；（2）融合多模态上下文的ICL分词器；（3）采用专门3D几何与感知约束训练的基于MAE的架构。在基准测试和实际应用中的大量实验验证了该方法的有效性。尽管效果显著，但基于VLM的检索计算成本较高，限制了其实时部署能力。未来，我们计划优化训练流程，并将EgoHandICL框架推广到更广泛的自我中心场景，如3D手部姿态跟踪和手-物体重建。
## 参考文献
Seungryul Baek、Kwang In Kim和Tae-Kyun Kim。通过神经渲染提升基于RGB的密集3D手部姿态估计性能。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1067–1076页，2019年。
Seungryul Baek、Kwang In Kim和Tae-Kyun Kim。利用GAN和网格模型进行弱监督域适应，以估计与物体交互的3D手部姿态。载于IEEE/CVF计算机视觉与模式识别会议论文集，第6121–6131页，2020年。
Jinze Bai、Shuai Bai、Yunfei Chu、Zeyu Cui、Kai Dang、Xiaodong Deng、Yang Fan、Wenbin Ge、Yu Han、Fei Huang、Binyuan Hui、Luo Ji、Mei Li、Junyang Lin、Runji Lin、Dayiheng Liu、Gao Liu、Chengqiang Lu、Keming Lu、Jianxin Ma、Rui Men、Xingzhang Ren、Xuancheng Ren、Chuanqi Tan、Sinan Tan、Jianhong Tu、Peng Wang、Shijie Wang、Wei Wang、Shengguang Wu、Benfeng Xu、Jin Xu、An Yang、Hao Yang、Jian Yang、Shusheng Yang、Yang Yao、Bowen Yu、Hongyi Yuan、Zheng Yuan、Jianwei Zhang、Xingxuan Zhang、Yichang Zhang、Zhenru Zhang、Chang Zhou、Jingren Zhou、Xiaohuan Zhou和Tianhang Zhu。Qwen技术报告，2023年。网址：。
Amir Bar、Yossi Gandelsman、Trevor Darrell、Amir Globerson和Alexei Efros。通过图像修复实现视觉提示。神经信息处理系统进展，第35卷：25005–25017页，2022年。
---
Adnane Boukhayma、Rodrigo de Bem和Philip HS Torr。从野外图像中恢复3D手部形状与姿态。载于IEEE/CVF计算机视觉与模式识别会议论文集，第10843–10852页，2019年。
Tom Brown、Benjamin Mann、Nick Ryder、Melanie Subbiah、Jared D Kaplan、Prafulla Dhariwal、Arvind Neelakantan、Pranav Shyam、Girish Sastry、Amanda Askell、Sandhini Agarwal、Ariel Herbert-Voss、Gretchen Krueger、Tom Henighan、Rewon Child、Aditya Ramesh、Daniel Ziegler、Jeffrey Wu、Clemens Winter、Chris Hesse、Mark Chen、Eric Sigler、Mateusz Litwin、Scott Gray、Benjamin Chess、Jack Clark、Christopher Berner、Sam McCandlish、Alec Radford、Ilya Sutskever和Dario Amodei。语言模型是少样本学习者。载于H. Larochelle、M. Ranzato、R. Hadsell、M.F. Balcan和H. Lin主编的《神经信息处理系统进展》第33卷，第1877–1901页。Curran Associates, Inc.，2020年。
冯晨、丁玲、Kanokphan Lertniphonphan、李健、黄凯尔和王哲鹏。用于EgoExo4D手部姿态挑战赛的PCIE EgohandPose解决方案，2024年。网址：。
陈星宇、刘宇峰、马崇阳、常建龙、王华燕、陈天、郭晓燕、万鹏飞和郑文。基于语义聚合与自适应2D-1D配准的相机空间手部网格恢复技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第13274–13283页，2021年。
陈星宇、刘宇峰、董雅娇、张雄、马崇阳、熊艳敏、张远和郭晓燕。Mobrecon：基于单目图像的移动端友好型手部网格重建技术。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第20544–20554页，2022年。
崔洪硕、Moon Gyeongsik和李炅模。Pose2Mesh：基于图卷积网络的2D人体姿态到3D人体姿态及网格的恢复技术。载于《欧洲计算机视觉会议论文集》，第769–787页。施普林格出版社，2020年。
崔瑞凯、何思远和邱石。Segment Anything模型在显著物体检测中的自适应低秩适配技术。arXiv预印本arXiv:2308.05426，2023年。
崔瑞凯、谢斌柱、邱石、刘佳伟、Saeed Anwar和Nick Barnes。NumGrad-Pull：基于数值梯度引导的三平面表示方法，用于从点云中重建表面。arXiv预印本arXiv:2411.17392，2024年。
董浩烨、Aviral Chharia、苟文博、Francisco Vicente Carrasco和Fernando D De la Torre。Hamba：基于图引导双扫描Mamba的单视图3D手部重建技术。《神经信息处理系统进展》第37卷：2127–2160页，2024年。
董庆秀、李雷、戴达迈、郑策、马景元、李瑞、夏恒明、徐静静、吴志勇、刘天宇等。关于上下文学习的研究综述。arXiv预印本arXiv:2301.00234，2022年。
阿列克谢·多索维茨基、卢卡斯·拜尔、亚历山大·科列斯尼科夫、迪尔克·魏森伯恩、查海霞、托马斯·温特纳、莫斯塔法·德赫加尼、马蒂亚斯·明德勒、乔治·海戈尔德、西尔万·杰利等。一张图片值$16 \times 16$词：大规模图像识别的Transformer模型。arXiv预印本arXiv:2010.11929，2020年。
范子聪、Adrian Spurr、Muhammed Kocabas、唐思远、Michael J Black和Otmar Hilliges。通过概率性像素级部件分割技术解决强交互手部的歧义问题。载于2021年国际3D视觉会议（3DV），第1–10页。IEEE出版社，2021年。
范子聪、Omid Taheri、Dimitrios Tzionas、Muhammed Kocabas、Manuel Kaufmann、Michael J Black和Otmar Hilliges。Arctic：一个用于灵巧双手-物体操控的数据集。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第12943–12954页，2023年。
方忠斌、李向泰、李霞、Joachim M Buhmann、Chen Change Loy和刘梦媛。探索上下文学习在3D点云理解中的应用。《神经信息处理系统进展》第36卷：42382–42395页，2023年。
---
Dyke Ferber、Georg Wölflein、Isabella C Wiest、Marta Ligero、Srividhya Sainath、Narmin Ghaffari Laleh、Omar SM El Nahhas、Gustav Müller-Franzes、Dirk Jäger、Daniel Truhn等。上下文学习使多模态大语言模型能够分类癌症病理图像。《自然通讯》第15卷第1期：10104页，2024年。
藤井亮、斋藤秀夫和八云亮。迈向在复杂场景中预测任意人类轨迹的目标。arXiv预印本arXiv:2506.00871，2025年。
葛柳浩、惠亮、袁俊松和丹尼尔·塔尔曼。在单张深度图像中鲁棒地估计3D手部姿态：从单视图CNN到多视图CNN。载于《IEEE计算机视觉与模式识别会议论文集》，第3593–3601页，2016年。
葛柳浩、任周、李云成、薛泽豪、王颖颖、蔡建飞和袁俊松。从单张RGB图像估计3D手部形状与姿态。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第10833–10842页，2019年。
克里斯滕·格劳曼、安德鲁·韦斯特伯里、洛伦佐·托雷萨尼、克里斯·基塔尼、吉滕德拉·马利克、特里安塔菲洛斯·阿福拉斯、库马尔·阿舒托什、维杰·拜亚、西丹特·班萨尔、比克拉姆·布特等。Ego-exo4D：从第一人称和第三人称视角理解熟练的人类活动。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第19383–19400页，2024年。
原亮世、池田航、波多野雅史和磯川真理子。Eventegohands：基于事件数据的以自我为中心的3D手部网格重建。载于《IEEE国际图像处理会议（ICIP）》论文集，第1199–1204页，2025年。doi: 10.1109/ICIP55913.2025.11084751。
何恺明、陈鑫磊、谢赛宁、李阳浩、皮奥特·多拉尔和罗斯·吉尔希克。掩码自编码器是可扩展的视觉学习器。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第16000–16009页，2022年。
洪杰、邱石、李伟豪、赛义德·安瓦尔、梅尔塔什·哈拉迪、尼克·巴恩斯和拉斯·彼得森。PointCam：用于开放集点云学习的剪切与混合方法。arXiv预印本arXiv:2212.02011，2022年。
弗兰克·胡特尔、伊利亚。修正Adam中的权重衰减正则化，2018年。URL 。
乌马尔·伊克巴尔、帕夫洛·莫尔恰诺夫、托马斯·布鲁埃尔、尤尔根·加尔和扬·考茨。通过潜在2.5D热图回归进行手部姿态估计。载于《欧洲计算机视觉会议（ECCV）论文集》，第118–134页，2018年。
蒋哲恒、侯赛因·拉赫曼尼、苏·布莱克和布莱恩·M·威廉姆斯。一种结合遮挡感知纹理回归的概率注意力模型，用于从单张RGB图像重建3D手部。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第758–767页，2023年。
贾斯汀·约翰逊、亚历山大·阿拉希和李飞飞。用于实时风格迁移与超分辨率的感知损失。载于《欧洲计算机视觉会议论文集》，第694–711页。施普林格出版社，2016年。
金正焕、权美京、朴贤宇、权赫敏、严基文和金元俊。采样至关重要：基于点的引导式3D人体网格重建。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第12880–12889页，2023年。
多米尼克·库隆、王浩阳、里扎·阿尔普·古勒、迈克尔·布朗斯坦和斯特凡诺斯·扎费里欧。基于单张图像的3D手部重建与网格卷积。arXiv预印本arXiv:1905.01326，2019年。
多米尼克·库隆、里扎·阿尔普·古勒、伊阿索纳斯·科基诺斯、迈克尔·M·布朗斯坦和斯特凡诺斯·扎费里欧。弱监督下的野外网格卷积手部重建。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第4990–5000页，2020年。
权泰仁、特金·布格拉、扬·斯图默、费德里卡·博戈和马克·波莱费斯。H2O：两只手操纵物体以实现第一人称交互识别。载于《IEEE/CVF国际计算机视觉会议（ICCV）论文集》，第10138–10148页，2021年10月。
---
李波、张远汉、郭东、张仁瑞、李峰、张浩、张凯辰、李彦伟、刘子薇和李春元。Llava-onevision：简单的视觉任务迁移。arXiv预印本arXiv:2408.03326，2024a。
李峰、蒋青、张浩、任天赫、刘世龙、邹雪燕、徐怀哲、李宏扬、杨建伟、李春元等。视觉上下文提示。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第12861–12871页，2024b。
林凯文、王丽娟和刘子程。基于Transformer的端到端人体姿态与网格重建。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第1954–1963页，2021年。
刘家昌、沈定涵、张一哲、Bill Dolan、Lawrence Carin和陈伟柱。什么构成了GPT-3的良好上下文示例？收录于Eneko Agirre、Marianna Apidianaki和Ivan Vulić主编的《深度学习内部探秘（DeeLIO 2022）：第三届深度学习架构知识提取与集成研讨会论文集》，第100–114页，2022年5月于爱尔兰都柏林及线上举办。计算语言学会。doi: 10.18653/v1/2022.deelio-1.10。网址：。
文景植和李炅模。I2L-MeshNet：用于从单张RGB图像精确估计3D人体姿态与网格的图像到像素预测网络。收录于欧洲计算机视觉会议论文集，第752–768页。施普林格出版社，2020年。
刘梦媛、王新顺、方忠斌、叶德恒、李霞、唐涛、吴松涛、李向泰和杨明轩。Human-in-context：通过上下文学习实现跨域统一的3D人体运动建模。arXiv预印本arXiv:2508.10897，2025年。
文景植、余守一、何文、白鸟贵昭和李炅模。InterHand2.6M：一个用于从单张RGB图像估计3D交互手部姿态的数据集及基准模型。收录于欧洲计算机视觉会议论文集，第548–564页。施普林格出版社，2020年。
Oh Yeonguk、朴俊奎、金宰夏、文景植和李炅模。从单张模糊图像恢复3D手部网格序列：一个新数据集及时序展开方法。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第554–563页，2023年。
Iason Oikonomidis、Nikolaos Kyriazis和Antonis Argyros。利用Kinect进行基于模型的高效3D手部关节跟踪。收录于2011年英国机器视觉会议论文集，2011年。
朴俊奎、Oh Yeonguk、文景植、崔弘硕和李炅模。HandOccNet：抗遮挡的3D手部网格估计网络。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第1496–1505页，2022年。
Georgios Pavlakos、单丹丹、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey和Jitendra Malik。利用Transformer重建3D手部模型。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第9826–9836页，2024年。
Rolandos Alexandros Potamias、Stylianos Ploumpis、Stylianos Moschoglou、Vasileios Triantafyllou和Stefanos Zafeiriou。Handy：迈向高保真度的3D手部形状与外观模型。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第4670–4680页，2023年。
Rolandos Alexandros Potamias、张静玲、邓建康和Stefanos Zafeiriou。Wilor：野外环境下的端到端3D手部定位与重建。收录于计算机视觉与模式识别会议论文集，第12242–12254页，2025年。
阿迪蒂亚·普拉卡什、屠瑞森、马修·张和索拉布·古普塔。日常自拍图像中的三维手部姿态估计。载于《欧洲计算机视觉会议》，第183–202页。施普林格出版社，2024年。
---
亚历克·拉德福德、金钟旭、克里斯·哈莱西、阿迪蒂亚·拉梅什、加布里埃尔·戈、桑迪尼·阿加瓦尔、吉里什·萨斯特里、阿曼达·阿斯克尔、帕梅拉·米什金、杰克·克拉克、格雷琴·克鲁格和伊利亚·苏茨克维。从自然语言监督中学习可迁移的视觉模型。载于玛丽娜·梅拉与张彤主编的《第38届国际机器学习会议论文集》，机器学习研究论文集第139卷，第8748–8763页。PMLR出版社，2021年7月18–24日。网址：。
格雷戈里·罗热兹、玛丽亚姆·卡德米、JS·苏潘奇奇三世、何塞·玛丽亚·马丁内斯·蒙蒂尔和德瓦·拉马南。自拍RGB-D图像中的三维手部姿态检测。载于《欧洲计算机视觉会议》，第356–371页。施普林格出版社，2014年。
哈维尔·罗梅罗、季米特里奥斯·齐奥纳斯和迈克尔·J·布莱克。具身之手：手部与身体的联合建模与捕捉。《ACM图形学交易》（TOG），第36卷第6期：1–17页，2017年。
奥哈德·鲁宾、乔纳森·赫齐格和乔纳森·贝兰特。学习检索用于上下文学习的提示词。载于玛丽娜·卡尔普阿特、玛丽-凯瑟琳·德·马尔内夫和伊万·弗拉基米尔·梅萨·鲁伊斯主编的《2022年北美计算语言学会人类语言技术分会会议论文集》，第2655–2671页，美国西雅图，2022年7月。计算语言学会出版。doi: 10.18653/v1/2022.naacl-main.191。网址：。
托马斯·西蒙、韩秉旭、伊恩·马修斯和亚瑟·谢赫。利用多视角引导在单张图像中进行手部关键点检测。载于《IEEE计算机视觉与模式识别会议论文集》，第1145–1153页，2017年。
斯里纳斯·斯里达尔、弗朗齐斯卡·穆勒、迈克尔·佐尔霍费尔、丹·卡萨斯、安蒂·奥拉斯维塔和克里斯蒂安·特博尔特。基于RGB-D输入实时追踪操作物体的手部关节。载于《欧洲计算机视觉会议》，第294–310页。施普林格出版社，2016年。
孙晓、魏一尘、梁双、唐晓欧和孙健。级联式手部姿态回归。载于《IEEE计算机视觉与模式识别会议论文集》，第824–832页，2015年。
安德烈亚·塔利亚萨奇、马蒂亚斯·施罗德、安娜斯塔西娅·特卡奇、索菲恩·布阿齐兹、马里奥·博奇和马克·保利。用于实时手部追踪的鲁棒性关节ICP算法。载于《计算机图形学论坛》，第34卷第5期，第101–114页。Wiley在线图书馆，2015年。
乔纳森·汤普森、墨菲·斯坦因、扬·勒昆和肯·佩尔林。利用卷积网络实现人手姿态的实时连续恢复。《ACM图形学交易》（ToG），第33卷第5期：1–10页，2014年。
阿希什·瓦斯瓦尼、诺姆·沙泽尔、妮基·帕尔玛尔、雅各布·乌斯佐雷特、利昂·琼斯、艾丹·N·戈麦斯、卢卡什·凯泽和伊利亚·波洛苏欣。注意力机制就是一切。《神经信息处理系统进展》，第30卷，2017年。
王新龙、王文、曹越、沈春华和黄铁军。图像以图言说：一种用于上下文视觉学习的通用绘画模型。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第6830–6839页，2023年。
谢桑·迈克尔、拉古纳坦·阿迪蒂、梁珀西和马腾宇。将上下文学习解释为隐式贝叶斯推断。arXiv预印本arXiv:2111.02080，2021年。
徐博深、王子恒、杜阳、宋志南、郑思鹏、金琴。以自我为中心的视频-语言模型是否真的理解手与物体的交互？在第十三届国际学习表征会议中，2025年。网址：。
杨安、杨宝松、张贝辰、惠斌源、郑波、于博文、李承远、刘大恒、黄飞、魏浩然、林欢、杨健、涂建宏、张建伟、杨建新、杨佳希、周静仁、林俊阳、党凯、卢克明、鲍克勤、杨可欣、余乐、李梅、薛明峰、张佩、朱琴、门瑞、林润基、李天浩、夏婷宇、任兴章、任宣成、范洋、苏阳、张一昌、万宇，
---
刘玉琼、崔泽宇、张振如、邱子涵。Qwen2.5技术报告。arXiv预印本arXiv:2412.15115，2024年。
杨景康、刘帅、郭洪明、董宇航、张夏梦薇、张思成、王鹏云、周子唐、谢彬柱、王梓悦、欧阳贝、林正宇、马可·科米内利、蔡仲昂、李波、张元翰、张佩媛、洪方舟、约尔格·维德默、弗朗西斯科·格林戈利、杨雷、刘子威。Egolife：迈向以自我为中心的生活助手。在IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集中，第28885–28900页，2025年6月。
张飞、张佩、杨宝松、黄飞、王彦峰、张亚。Context：驱动文本去除与分割的上下文学习。，2025a。
张京雷、邓建康、马超、罗兰多斯·亚历山德罗斯·波塔米亚斯。Hawor：从以自我为中心的视频中重建世界空间中的手部运动。在计算机视觉与模式识别会议论文集中，第1805–1815页，2025b。
张元翰、周凯阳、刘子威。什么样的示例才适合视觉上下文学习？收录于A. Oh、T. Naumann、A. Globerson、K. Saenko、M. Hardt和S. Levine主编的《神经信息处理系统进展》第36卷，第17773–17794页。Curran Associates, Inc.，2023年。
郑策、刘先鹏、齐国军、陈晨。Potter：用于高效人体网格恢复的池化注意力Transformer。在IEEE/CVF计算机视觉与模式识别会议论文集中，2023年。
周俊升、王金生、马宝瑞、刘玉申、黄铁军、王鑫龙。Uni3d：探索大规模统一的3D表示。在国际学习表征会议（ICLR）论文集中，2024年。
朱润松、康迪、许嘉熙、钱越、邱石、董震、鲍林超、彭安衡、傅志伟。SSP：用于从无方向点云中重建表面的半有符号优先级神经拟合方法。在IEEE/CVF计算机视觉应用冬季会议论文集中，第3769–3778页，2024年。
宗永硕、翁德雷·博达尔、蒂莫西·霍斯佩代尔斯。VL-ICL Bench：多模态上下文学习细节中的隐患。arXiv预印本arXiv:2403.13164，2024年。
---
## 附录
### 讨论
### A.1 局限性
虽然EgoHandICL在中心视角下的3D手部重建任务中取得了优异的性能，但它仍存在若干局限性。首先，对基于视觉语言模型（VLM）的检索机制的依赖会带来显著的计算开销，这限制了其在资源受限设备上的实时部署能力。其次，该框架依赖于高质量的模板数据库，一旦模板缺乏多样性，检索性能便可能下降。第三，带有完整标注的中心视角数据集依然十分有限。例如，广泛使用的EgoExo4D数据集仅提供了手部姿态估计所需的关键点级真值，缺少像ARCTIC数据集中那样的全MANO参数监督信息。仅依靠关键点标注会限制模型在复杂现实场景中的泛化能力。此外，当前大多数评估都是在已知真实边界框的前提下进行的，而如何在中心视角下实现稳健的手部检测本身便是一项重大挑战。缺乏能够同时评估检测与重建性能的公平端到端基准测试，阻碍了更贴近实际应用的研发进程。
### A.2 未来工作
基于上述已识别的局限性，未来研究有数个颇具前景的方向。首先，为减轻基于VLM的检索机制所带来的计算开销，我们计划探索更高效的检索方法，例如轻量级VLM、近似最近邻搜索，或是将上下文示例直接嵌入学习流程的无检索策略。其次，针对完全标注的中心视角数据集不足的问题，我们强调构建包含手部姿态、物体姿态及身体姿态一致标注的综合3D中心视角基准测试集的重要性。此类数据集能够实现对手-物-体交互更全面的分析，助力模型在现实场景中实现更强的泛化能力。第三，为了摆脱依赖真实边界框的评估方式，我们主张构建公平的端到端基准测试，在中心视角场景下同步评估检测与重建性能，从而更好地反映实际部署中的挑战。最后，我们将探索EgoHandICL的时间维度扩展，以实现连续的3D手部跟踪，并将其应用范围拓展至更复杂的中心视角任务，例如手-物联合重建以及基于视线条件的交互建模，同时尤其注重适用于AR/VR应用的轻量化设计。
### A.3 社会影响
中心视角下的3D手部重建在扩展现实、辅助技术及机器人领域具有广阔的应用前景。然而，它也可能带来潜在风险。首先，对中心视角数据的持续采集可能引发隐私问题，尤其是涉及旁观者或敏感环境时。其次，重建得到的手部数据可能被用于监控或未经授权的追踪场景。为缓解这些风险，我们强调本研究中所用的所有数据集均符合其官方许可及社区标准，且我们在数据使用及研究过程中严格遵守伦理准则。
## A.4 大语言模型的使用
本研究适度使用了大语言模型（LLM）来润色论文写作。具体而言，LLM被用于优化LaTeX内容的语法及格式一致性。
### B EgoHandICL的更多细节
### B.1 预定义视觉模板
我们首先介绍预定义视觉模板的构建过程，该模板将中心视角图像划分为四种典型的手部参与类型：左手参与、右手参与、双手参与以及无手部参与。
---
提示词设计。为了使视觉语言模型能够自动对每张图像进行分类，我们设计了描述四种手部参与类型的明确文本提示词。我们的提示词如下：
SYSTEM_PROMPT = ""
你是一名图像理解智能体。你的任务是分析第一人称视角的图像，并判断左右手的交互状态。
分类规则：
- 0：只有左手与物体发生交互
- 1：只有右手与物体发生交互
- 2：双手都与物体发生交互
- 3：双手均未与任何物体交互
重要说明：
- 在确定手部是否发生交互时，必须考虑物体造成的遮挡情况。
- 请基于视觉内容运用最佳推理能力来做出判断。
你的回答必须是一个数字：即 [0, 1, 2, -1] 中的一个。不要包含任何解释或其他文字。
USER_PROMPT = ""
请分析第一人称视角的图像，并确定手部的交互状态。
仅返回基于以下规则的正确标签编号：
- 0：只有左手发生交互
- 1：只有右手发生交互
- 2：双手均发生交互
- 3：双手均未发生交互
为确保一致性，该提示词在训练和推理阶段均保持不变。
数据分布。基于上述分类方式，我们将数据集划分为四个手部参与子集。各类别的样本整体分布情况汇总于表 B.1 中。这种分类方式有助于我们在常见的第一人称场景中平衡模板检索。
Table B.1: Data distribution of pre-defined visual templates. Each hand-involvement type is split into training, validation, and testing sets.
| Hand Involvement Type | Train | Val | Test | Total |
| Left Hand | 7,991 | 2,283 | 1,143 | 11,417 |
| Right Hand | 14,334 | 4,095 | 2,049 | 20,478 |
| Both Hand | 92,917 | 26,547 | 13,275 | 132,739 |
| None Hand | 2,996 | 856 | 428 | 4,280 |
| Total | 118,238 | 33,781 | 16,895 | 168,914 |
训练策略。在训练时的数据预处理阶段，我们对每个候选训练样本执行三次模板检索流程。通过重复操作来验证手部参与分类的正确性，并确保每个样本被归入恰当的类别。只有三次运行结果一致的样本才会被保留到样本池中。完成这一离线验证后，训练过程会在每个迭代中，从经过验证的子集内随机采样来为每张查询图像构建样本集。这种随机采样方式既能保持样本的多样性，又能缓解过拟合问题。
---
在每次迭代中，将每个经过验证的子集用于为每张查询图像构建示例集。这种随机采样方式能够保持示例的多样性，并缓解过拟合问题。
推理协议。在推理阶段，我们采用相同的视觉语言模型提示词来对查询图像进行分类，并据此从训练集中检索模板。
### B.2 自适应文本模板
提示词设计。我们设计了两类语义侧重点不同的提示词：
• 描述型提示词（Des. Prompts）：这类提示词提供关于第一人称场景的明确线索，引导视觉语言模型描述可见细节。我们的提示词如下：
请分析第一人称视角图像，并返回一句简洁的描述，说明可见的手部及其与周围物体的交互情况，以便进行三维手部重建。描述中需明确：
1. 存在哪只手（左手、右手或双手）。
2. 交互类型（如抓取、握住、触碰、指向、静止）。
3. 所涉及物体（如有）：例如杯子、手机、键盘。
4. 如果看不到明显的手部，需明确说明“无手部参与”。
示例：
- “左手握住一个杯子。”
- “右手指向一部手机。”
- “双手拿着一本书。”
- “无手部参与。”
当手部清晰可见时，这类提示词尤为有效，能帮助VLM检索出外观和交互模式相匹配的模板。
• 推理式提示词（Reas. Prompts）：这类提示词能促使VLM推断出处理复杂情况的策略。我们的提示词如下：
SYSTEM_PROMPT = ""
你是一名专门负责理解以自我为中心的手部与物体交互的推理智能体。你的任务是分析从第一人称视角拍摄的图像，并生成描述与3D手部重建相关的所有手部和物体交互细节的标题。
对于单张输入图像，输出一句简洁的句子，说明可见的手部（左手/右手/双手）、其姿态以及它们与物体的交互情况。描述时要准确且详细，无需添加解释或推测。
USER_PROMPT = ""
请分析图像，输出一句话来描述手部及其与物体的交互情况，以便进行手部重建（例如：左手握住杯子，右手放在桌上）。
这类提示词主要用于遮挡严重或视觉信息模糊的场景，此时直接的视觉线索不足，需要更深入的上下文推理。
---
Figure B.1: Query-Template Example 1.
## B.3 示例
在图B.1和图B.2中，我们展示了两种模板检索策略的示例。在训练和推理阶段，检索到的图像与查询图像可作为可互换的查询-模板对，从而灵活构建上下文演示。
## C 实验的更多细节
评估设置：所有基线模型都在相同的训练集上进行微调，且不引入任何外部数据，以确保比较的公平性。在通用场景下，评估会针对每张图像中检测到的所有手部进行。不过，以自我为中心的场景往往涉及一些复杂情况，比如手部部分不可见、严重的自身遮挡，或是不同人的多只手相互交互。在此类情况下，不同的基线模型有时无法检测出所有手部，导致少量检测遗漏。在我们的基准测试中，此类遗漏情况的比例低于5%，因此通用场景下报告的结果仍能代表整体性能。
双手场景：为了进行更严格且公平的比较，我们进一步采用双手场景，即仅考虑每种评估方法都能正确检测出双手的样本。这样能确保在一致的检测条件下比较重建精度。
---
Figure B.2: Query-Template Example 2.
---
通过消除模型间的检测性能差异，从而排除由检测性能不均造成的潜在偏差。最终得到的双手测试集在ARCTIC和EgoExo4D上分别包含12,041个和3,802个样本，为评估双手交互中的手部间空间一致性及整体重建可靠性提供了可靠依据。
不同手部参与类别下的性能表现。为了更深入地了解不同模型在各种以自我为中心的条件下表现如何，我们针对四种预定义的手部参与类型——左手、右手、双手和无手——分别对其进行评估。这种细分有助于我们量化各模型在不同交互场景中的泛化能力，并分析某些模型是否在特定类别中更容易出现性能下降现象。
Table C.1: Performance of Model Zoos across different hand-involvement types.
| Type | Left Hand | Right Hand | Two Hands | Non Hand |
| Method | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ | P-MPJPE $\downarrow$ | P-MPVPE $\downarrow$ |
| HaMeR (Pavlakos et al., 2024) | 10.5 | 10.2 | 10.1 | 9.7 | 10.0 | 9.6 | 7.6 | 7.3 |
| WiLoR (Potamias et al., 2025) | 5.6 | 5.5 | 5.2 | 5.1 | 5.5 | 5.4 | 5.1 | 5.0 |
| WildHand (Prakash et al., 2024) | 5.9 | 5.8 | 5.6 | 5.4 | 5.3 | 5.1 | 5.2 | 5.0 |
| HaWoR (Zhang et al., 2025b) | 6.7 | 6.1 | 6.2 | 5.9 | 5.3 | 5.0 | 4.8 | 4.8 |
| Average | 7.2 | 6.9 | 6.8 | 6.5 | 6.5 | 6.3 | 5.7 | 5.5 |
如表C.1所示，四种手部参与类型下的重建误差存在差异。我们发现，左手情况下的误差（7.2/6.9）略高于右手情况（6.8/6.5）。这种不对称性与此前的研究结果一致：以自我为中心的数据集往往以右手为主（如ARCTIC (Fan et al., 2023)、EgoExo4D (Chen et al., 2024)），因此模型对右手的表征更为强大。有趣的是，双手场景下的误差（6.5/6.3）低于单手情况，这表明双手的存在提供了额外的几何约束，有助于模型解决遮挡和视角歧义问题。这一趋势与HaMeR (Pavlakos et al., 2024)和WiLoR (Potamias et al., 2025)等传统基线模型形成对比，后者在双手场景下往往会因严重的手间遮挡而导致性能下降。最后，无手类别下的误差最低（5.7/5.5），体现了模型在没有手部存在时避免误判的稳健性。
### D 检索质量与分布外分析
(a) Image Similarity on Arctic Test Dataset
(b) Image Similarity on H2O Test Dataset for OOD Analysis
Figure D.1: Retrieval Quality and OOD Analysis.
### D.1 检索质量分析
在ARCTIC数据集上，我们通过计算查询图像与其示例图像的CLIP (Radford et al., 2021)图像特征之间的余弦相似度，来评估检索到的模板的质量。我们进一步将这种相似度与相比最强基线模型WiLoR的性能提升（以P-MPVPE衡量）相关联。如图D.1(a)所示，超过90%的检索到的示例的相似度高于0.7，表明我们的检索阶段能够提供高质量的上下文匹配。此外，相似度越高，相比WiLoR的性能提升越显著，这证实了EgoHandICL能够有效利用高质量示例来优化3D手部重建的上下文细节。
---
## D.2 分布外（OOD）分析
我们进一步在H2O数据集（Kwon et al., 2021）上分析EgoHandICL在分布外条件下的表现，由于分布偏移，该数据集中检索到的模板与查询图像的对齐程度较低。如图D.1(b)所示，查询图像与其检索到的示例之间的余弦相似度主要集中在[0.6, 0.7), reflecting the difficulty of retrieval in OOD scenarios. Correspondingly, the absolute improvement over WiLoR is smaller than in the in-distribution case Figure D.1 (a), but EgoHandICL still consistently outperforms WiLoR across the observed similarity range, demonstrating robust generalization of our exemplar-driven ICL framework even when template quality is degraded.
Query Image
范围内。
Query Image
Template Image
Cross-attention Heatmap
Figure D.2: Attention-weight Inspection Visualization.
## E 基于注意力的定性可视化分析
为了进一步探究EgoHandICL在遮挡情况下如何改善手部重建效果，我们在图D.2中展示了新的定性可视化结果，这些结果清晰地说明了模型如何利用检索到的示例来解决查询图像中的遮挡区域问题。我们对示例词元与查询词元之间的注意力权重进行了分析，可视化了ICL Transformer的交叉注意力矩阵。所得热图一致显示：源自查询图像中遮挡区域的词元会对示例中具有结构信息的区域给予高权重的注意力，这表明示例为模型提供了视觉先验，使其在推理过程中能够主动参考这些信息。总体而言，这些可视化结果直接证实了EgoHandICL确实进行了真正的上下文推理，从而使模型能够在遮挡条件下恢复准确的3D手部重建。
## F 失败案例
如图F.1所示，当检索到的样本质量较差时，EgoHandICL可能会失效。这种低质量的检索结果通常出现在视觉条件极具挑战性的场景中（例如严重遮挡、运动模糊或非典型的手-物体搭配），此时视觉线索不足以支持精准匹配。在这些情况下，检索到的样本提供的上下文线索较弱，从而导致重建质量下降。此外，这些属于极其棘手的案例，现有方法很难应对。
---
模板图像（检索质量 = 0.60）的重建结果
Figure F.1: Failure Cases. Failure cases under low-quality retrieval.