# Hand3R：野外环境下的在线4D手部场景重建 温迪·胡、周浩楠、胡文浩、王高昂 浙江大学 摘要—对于具身智能而言，联合重建动态手部与密集的场景上下文对于理解物理交互至关重要。然而，现有大多数方法只能恢复局部坐标系下的孤立手部，忽略了周围的3D环境。为解决这一问题，我们提出了Hand3R——首个基于单目视频的在线4D手部场景联合重建框架。Hand3R通过场景感知的视觉提示机制，将预训练的手部专家模型与4D场景基础模型相结合。通过将高保真的手部先验信息注入到持久的场景记忆中，我们的方法能够在单次前向传播中同时重建精确的手部网格与稠密的量纲级场景几何结构。实验表明，Hand3R无需依赖离线优化，即可在局部和全局定位方面取得具有竞争力的性能。 索引词—4D手部场景重建、手部网格恢复、在线重建 ## 一、引言 手部是人类感知、操控和改造物理世界的主要接口。因此，理解手部与3D场景之间复杂的动态交互，对于AR/VR、具身智能以及人机交互等广泛应用而言至关重要。要充分发挥这些应用的能力，计算机视觉的最终目标不应仅限于估计孤立的手部姿态和形状；它还需要一种整体性的理解能力，能够同时恢复手部在全局世界坐标系中的精确量纲位置，以及其周围环境的稠密几何结构。 如图1所示，尽管单目3D手部网格恢复技术已取得显著进展[^1] [^2]，但现有方法主要在以根部为参考的相机坐标系中运行。虽然这些方法在恢复局部关节活动方面表现出色，但本质上忽略了手部在全局3D世界中的绝对空间位置。尽管HaWoR等近期研究试图恢复手部的全局定位[^3]，但它们依赖于零散的多阶段流程，且无法同时重建稠密的3D场景几何结构。缺乏场景上下文的情况下，重建出的手部会处于空间孤立状态，从而限制了系统对物理交互、碰撞或手部-场景关系的推理能力，而这些正是具身任务所必需的条件。 一方面，最先进的局部手部专家模型虽能精准捕捉细微的关节活动，却如同置身真空般缺乏世界空间感知能力；另一方面，新兴的全局场景学习模型虽能实现量纲级映射，却缺乏捕捉手部亚厘米级精细动作的特征分辨率。 ![Image](images/752990bf32f9cb58cbb5dcc30a63eb87a5640d294304d5f287ab257f3bf1131b.jpg)
Fig. 1. Hand3R vs Other hand methods. (a): Traditional methods recover isolated hand meshes in root-relative coordinates. (b): Recent global methods rely on complex, disjoint pipelines to lift hands into world space. (c): Hand3R: The first online, end-to-end framework that performs joint 4D hand-scene reconstruction. Hand3R simultaneously recovers accurate global hand trajectories and dense metric-scale scene geometry in a single forward pass.
因此，核心研究挑战在于找到一种高效的机制来衔接这两个截然不同的领域：我们该如何将预训练手部专家模型的高保真先验信息，无缝融合到4D场景学习模型的统一、端到端的量纲空间中呢？ 为解决上述问题，我们提出了Hand3R——首个将强大的局部手部先验与全局场景上下文相融合的在线框架。我们的核心洞见在于：将手部专家模型的专门知识锚定在场景基础模型的持久记忆中，才能实现最优的重建效果。我们并未将这两项任务分开处理，而是利用了场景感知的视觉提示机制…… --- 这种机制具体来说，我们从已训练好的手部专家模型中提取高保真特征，并将其与场景骨干网络中空间对齐的标记进行融合。我们将这些融合后的特征视为提示信息，注入到场景的递归状态中。这种设计效率极高：它使Hand3R能够同时继承手部专家模型所具备的毫米级精度，以及场景学习器所具备的米级尺度一致性。关键在于，这种统一并未牺牲任一领域的重建质量；相反，它实现了稳健的联合推理，使得两项任务都能从共享的时空上下文中获益。 综上所述，我们的主要贡献如下： - 首个在线端到端手部-场景重建框架。我们提出了Hand3R，这是首个基于单目视频、能够实现米级尺度手部与密集场景联合重建的在线端到端框架。 - 场景感知型视觉提示机制。我们利用场景感知型视觉提示机制，将高保真的手部先验有效注入到持久的场景记忆中。这种设计在保持全局环境米级一致性的同时，实现了极高的手部重建精度。 - 具有竞争力的性能。在DexYCB和HOI4D数据集上的实验表明，Hand3R在局部手部重建和全局定位方面均展现出具有竞争力的准确性。 ### 二、相关工作 ### A. 局部手部网格恢复 基于RGB图像恢复三维手部姿态和形状的研究已有十多年的历史。在Boukhayma [^4]的开创性工作中，作者提出了首个完全可学习的流程，利用CNN骨干网络直接从RGB图像中回归MANO参数。此后，多种方法沿用了这种参数化回归范式 [^5] [^6]，而另一些方法 [^7] [^8] 则采用了非参数化方法，直接预测三维顶点或热图以实现更好的图像对齐。近年来，数据和模型规模的重要性得到了广泛重视，人们引入视觉Transformer（ViT）来提升重建质量。MeshTransformer [^9]和MeshGraphormer [^10]等架构利用全局注意力机制来建模顶点间的相互作用。尤其是HaMeR [^1]证明，利用预训练的大规模ViT并扩大训练数据规模，能够有效提升复杂环境下的性能。WiLoR [^2]进一步细化了这一方向，采用低秩适应技术来实现高效的手部微调。然而，尽管在局部几何重建方面取得了这些进展，这些方法仍是在以根部为参考的相机空间中运作的。它们本质上缺乏对绝对米级尺度和全局三维环境的认知，导致重建出的手部在空间上缺乏参照基准。 ### B. 人体-场景及手部-场景重建 在计算机视觉领域，恢复全局3D场景中的动态人体一直是长期以来的研究目标。现有的人体-场景联合重建方法通常会对相机姿态、预先重建的场景以及从多视角图像中推断出的SMPL网格参数进行全局优化[^11] [^12]，这些优化往往还会受到学习到的运动先验的约束[^13] [^14]。近年来，无需优化的方法逐渐兴起：例如HAMSt3R[^15]能够以前馈方式从多视角图像中同时重建场景和DensePose。对于单目视频场景，JOSH3R[^16]和Human3R[^17]将实时处理推向了新的高度，它们消除了繁重的离线依赖，能够在单次前向传播中实时恢复全局人体运动和密集的场景几何结构。 在全球手部分析领域，HaWoR[^3]最近尝试通过重建全局坐标系下的手部运动轨迹来弥合局部手部与世界空间之间的差距。然而，与以身体为中心的研究中所采用的统一框架不同，HaWoR依赖于复杂的多阶段流程，该流程将任务拆解为基于SLAM的相机跟踪、度量深度估计和手部重建等独立步骤。关键在于，它仅关注手部的时间轨迹，并不重建密集的3D场景几何结构，这限制了该系统对手部与环境之间物理交互的推理能力。 与以身体为中心的研究所取得的快速进展相比，手部-场景重建仍是一片未被探索的领域。据我们所知，目前尚不存在能够同时恢复度量尺度下的手部运动和密集场景几何结构的统一模型。因此，如何在全局场景重建框架内有效利用成熟的局部手部专家模型的优势，仍然是一个未解决的问题。Hand3R通过提出一种统一的融合架构来解决这一问题。 ### 三、方法 为了捕捉全局一致世界框架内的动态手部运动，我们提出了Hand3R——一种能够同时推断精细手部几何结构与大规模场景结构的在线框架。我们的模型基于连续的RGB流$\mathbf{I}_t \in \mathbb{R}^{W \times H \times 3}$运行，通过前向传播推理同时估算相机轨迹$\mathbf{T}_t \in SE(3)$、密集的规范场景点云$\mathbf{X}_t$以及一组相互交互的手部网格$\{\mathbf{M}_t^H\}_{h=1}^H$。 ### A. Hand3R架构 1) 概述：如图2所示，Hand3R采用了双流架构，旨在将局部手部关节运动的估计与全局空间定位分离开来。给定输入视频流后，系统会在两个并行分支上运作：一个是维持持久4D度量状态的场景流，另一个是提取精细专家特征的手部流。这两个流在场景感知提示融合模块处汇聚，该模块会将手部先验信息注入场景记忆中。最后，我们采用解耦的预测策略：局部姿态参数由专家分支回归得出，而全局平移则从统一的场景-手部状态中解码得到。 --- ![Image](images/a45dc5cc8fe3963a3b720e07127b678d1f13eed85ce33e545a17adf8ba4b3c62.jpg)
Fig. 2. Overview of the Hand3R framework. Given a monocular video stream, our model performs online 4D reconstruction in a single forward pass. The pipeline consists of three key stages: (1) Dual-stream encoding: We employ a scene encoder to extract dense metric-scale features $F_{s}$ and a hand encoder to obtain high-fidelity hand tokens $f_{h}$. (2) Scene-aware visual prompting: We extract local scene context $f_{s}$ by detected hand box and fuse it with the hand token to generate a prompt $P_{h}$. (3) State-aware decoding and prediction: Prompt is injected into the scene decoder, which interacts with the persistent temporal state $S_{t-1}$ and dense scene features $F_{s}$. Then three decoupled heads output the dense scene point cloud, hand position and hand mesh respectively. Finally, we obtain the unified Hand-Scene Joint Result.
2) 双流编码与场景感知提示构建：Hand3R的核心在于弥合局部手部灵巧性与全局度量感知之间的差距。我们并未将特征提取与融合视为独立的步骤，而是利用统一的场景感知提示构建机制，协同两个并行流中的信号。 具体来说，给定输入帧$\mathbf{I}_t$，场景流利用场景骨干编码器$_s$将整幅图像编码为度量尺度的场景标记： $$ \mathbf{F}_{s}=E n c o d e r_{s}(\mathbf{I}_{t}) $$ 与此同时，在手部流中，对于检测到的具有边界框b的手部，我们会裁剪出图像区域$\mathcal{T}_{crop}(\mathbf{I}_t, \mathbf{b})$并将其输入到冻结的手部专家编码器中$Encoder_h$。由此得到高保真度的手部特征： $$ \mathbf{f}_{h}={E n c o d e r}_{h}(\mathcal{T}_{{c r o p}}(\mathbf{I}_{t},\mathbf{b})) $$ 为了将这些浮动的手部特征映射到度量世界中，我们通过对边界框b内的场景特征图$f_{s}$执行基于区域的平均池化操作，来提取局部环境上下文$F_{s}$： $$ \mathbf{f}_{s}=\mathcal{P}_{avg}(\mathbf{F}_{s},\mathbf{b}) $$ 最后，我们通过融合专家先验与空间上下文，合成统一的手部提示$\mathbf{p}_{h}$： $$ \mathbf{p}_{h}=\mathcal{M}_{p r o m p t}(\operatorname{C o n c a t}(\mathbf{f}_{h},\mathbf{f}_{s})) $$ 这种混合提示$p_h$通过$f_h$有效编码了“手部的外观特征”，同时通过$f_s$将其锚定在度量场景中的特定位置，从而成为后续解码阶段可靠的查询依据。 3) 状态感知解码与解耦预测：为了有效利用时间上下文同时保留精细的关节活动细节，我们设计了统一的解码流程以及解耦预测策略。如公式5所示，共享解码器接收生成的手部提示$p_h$，并通过场景解码器Decoders与持久的场景状态$S_{t-1}$进行交互。这一过程会将状态更新为$S_t$，并生成融合了深度解析空间上下文的标记$f_{fused}$： $$ [\mathbf{f}_{\mathrm{f u s e d}},\mathbf{F}_{s}^{\prime}],\mathbf{S}_{t}=\operatorname{D e c o d e r}_{\mathbf{s}}([\mathbf{p}_{h},\mathbf{F_{s}}],\mathbf{S}_{t-1}) $$ $$ \mathcal{Y}_{\mathrm{h a n d}}=\left\{\begin{aligned}&\mathrm{H e a d}_{\mathrm{m a n o}}(\mathbf{f}_{\mathrm{h}})\\ &\mathrm{H e a d}_{\mathrm{t r a n s l}}(\mathbf{f}_{\mathrm{f u s e d}})\end{aligned}\right. $$ 基于解码后的特征，我们采用解耦式头网络来提升精度： - 全局定位（T）：平移头作用于$f_{used}$。借助状态感知特征，模型能够消除深度歧义，从而预测出精确的绝对全局平移量。 - 局部关节活动$(\theta, \beta)$：MANO头直接从原始的专家标记$f_{h}$中预测姿态和形状。这种捷径连接确保了高保真度的手指关节活动线索不会因全局融合过程而被稀释。 ---
TABLE I
EVALUATION OF LOCAL HAND MESH RECONSTRUCTION ON DEXYCB TEST SET. THE BEST AND SECOND-BEST RESULTS ARE HIGHLIGHTED IN BOLD AND $\underline{\text{UNDERLINED}}$, RESPECTIVELY.
MethodsAll50%-75%75%-100%
MPJPE $\downarrow$AUC $\uparrow$MPJPE $\downarrow$AUC $\uparrow$MPJPE $\downarrow$AUC $\uparrow$
monocularSpurr et al. [^18]6.8386.48.0084.010.6578.8
MeshGraphormer [^10]6.4187.27.2285.67.7684.5
SemiHandObj [^19]6.3387.47.1785.78.9682.1
HandOccNet [^20]5.8088.46.4387.27.3785.3
WiLoR [^2]5.0190.05.4289.25.6888.7
temporal$S^{2}$HAND(V) [^21]7.2785.57.7184.67.8784.3
VIBE [^22]6.4387.16.8486.47.0685.8
TCMR [^23]6.2887.56.5886.86.9586.1
Deformer [^24]5.2289.65.7088.66.3487.3
HaWoR [^3]4.7690.55.0389.95.0789.9
Hand3R (Ours)4.8390.54.4391.15.5288.9
TABLE II
EVALUATION OF GLOBAL HAND TRAJECTORY AND RECONSTRUCTION ON HOI4D TEST SET. NOTE THAT HAND3R IS THE ONLY METHOD THAT OPERATES IN AN ONLINE, ONE-STAGE MANNER.
MethodTypePipelineC-MPJPE $\downarrow$Short VideoLong Video
WA-MPJPE $\downarrow$W-MPJPE $\downarrow$WA-MPJPE $\downarrow$W-MPJPE $\downarrow$
HaMeR-SLAMOfflineMulti-stage248.2352.69140.7585.46218.05
WiLoR-SLAMOfflineMulti-stage252.2452.91146.9187.51223.00
HaWoROfflineMulti-stage51.7722.5441.2827.4058.62
Hand3R (Ours)OnlineOne-stage42.638.0486.8756.71125.81
### B. 训练策略与目标 训练统一的4D场景-手部重建模型需要平衡手部网格的局部保真度与全局几何一致性。我们采用两阶段训练策略来逐步分离这些任务。 1) 稳健的姿态学习：在第一阶段，我们专注于建立稳健的手部姿态先验。我们冻结与场景相关的分支，仅对手部MANO头进行微调。为了最大化手部关节活动的多样性并提升泛化能力，我们在DexYCB数据集[^25]上进行训练。无论手部的全局位置如何，我们都采用相对几何损失来监督手部姿态： $$ \mathcal{L}_{\mathrm{s t a g e l}}=\lambda_{\mathrm{j o i n t}}||\mathbf{J}_{\mathrm{r e l}}-\hat{\mathbf{J}}_{\mathrm{r e l}}||_{2}^{2}+\lambda_{\mathrm{v e r t}}||\mathbf{V}_{\mathrm{r e l}}-\hat{\mathbf{V}}_{\mathrm{r e l}}||_{2}^{2} $$ 其中$J_{rel}$和$V_{rel}$分别表示关节和顶点的根坐标相关值。 2) 场景感知的全局调优：在第二阶段，我们在HOI4D数据集[^26]上对融合网络和平移头进行微调，以学习精确的全局定位。其目标函数表述如下： $$ \mathcal{L}_{\mathrm{s t a g e2}}=\mathcal{L}_{\mathrm{t r a n s}}+\mathcal{L}_{\mathrm{a b s}}+\mathcal{L}_{\mathrm{2D}}+\gamma(\mathcal{L}_{\mathrm{p t s}}+\mathcal{L}_{\mathrm{c a m}}) $$ 在这里，$\mathcal{L}_{\text{trans}}$ 和 $\mathcal{L}_{\text{abs}}$ 分别用于最小化全局根节点平移和绝对3D关节坐标的$L_2$误差，而 $\mathcal{L}_{\text{2D}}$ 则通过2D关键点重投影来实现像素级对齐。关键在于，我们保留了场景目标（$\mathcal{L}_{\text{pts}}$ 和 $\mathcal{L}_{\text{cam}}$），并通过$\gamma$对其加权，以防止出现灾难性遗忘现象，从而确保场景几何结构保持一致，同时能将手部精确放置在其中。 关于我们采用的两阶段训练策略及数据集选择的详细分析，请参阅补充材料A。 ### 四、实验 我们在两项主要任务上对Hand3R进行评估：一是相机坐标系下的局部手部网格恢复（见第IV-B节），二是世界坐标系下的在线全局手部重建（见第IV-C节）。第IV-D节提供了在未见过的场景中的定性可视化结果。 ### A. 实现细节 对于手部专家模块，我们采用了HaMeR [^1]。我们利用其预训练的ViT骨干网络来提取高保真特征标记$f_h$，这些标记能够捕捉丰富的形态细节和稳健的几何先验。 对于场景基础模型，我们基于CUT3R [^27]进行构建。具体而言，我们利用其编码器从整幅图像中提取密集的、具有度量尺度的特征图$F_s$，将其作为提示机制的空间锚点。此外，我们还利用其$Decoder_s$将视觉提示整合到持久记忆状态$S_t$中。该解码器会将当前提示与时空历史信息以及当前场景标记相融合，从而有效解决尺度-深度歧义问题，实现精确的全局定位。 --- ![Image](images/7166e35c1370e0209ae94ebdfd50cbec06fa895f25d3ce914fc2efd337aa7014.jpg)
Fig. 3. Qualitative visualization of hand-scene construction result to the unseen scenarios. We demonstrate Hand3R's robust performance on novel sequences that were not seen during training. (Left) Input video clips showing dynamic movement. (Center) The accumulated 4D reconstruction. We visualize the online-built dense scene geometry overlaid with global hand trajectory lines and sparsely sampled hand meshes. And our framework naturally supports multi-hand reconstruction, consistently tracking multi-hands within the same global coordinate system. (Right) Detailed result at specific timestamps which highlight the fine-grained spatial accuracy.
### B. 局部手部网格恢复 我们首先评估在局部相机坐标系中重建出的手部网格的保真度。我们遵循常用的局部手部网格重建基准——DexYCB [^25]数据集，该数据集在受控环境中提供了高质量的3D手部标注。按照标准流程，我们使用Procrustes对齐的MPJPE（PA-MPJPE）以及正确定位的关键点曲线下面积（AUC）作为主要评价指标。为了评估模型在严重遮挡情况下的鲁棒性，我们还报告了按遮挡比例分类的子集上的性能：50%–75%和75%–100%。 如表I所示，Hand3R的性能与专门的局部网格回归模型相比具有竞争力甚至更优。值得注意的是，尽管该模型是为全局手部-场景重建而设计的，但它仍保持了较高的局部精度。我们将这一成果归功于所采用的分离式头部设计：局部分支绕过了全局融合模块，从而保留了在稳健姿态学习中获得的精细关节特征。 ### C. 全局手部重建 我们在HOI4D数据集上通过三项指标来评估全局手部重建质量：C-MPJPE衡量相机帧内的关节绝对误差；W-MPJPE衡量序列首帧对齐后的全局轨迹误差；WA-MPJPE则衡量整个轨迹对齐后的误差。我们分别在短视频（连续30帧）和长视频（连续100帧）序列上报告这些指标，以评估模型随时间的跟踪稳定性。 由于能够进行全局手部重建的方法极少，我们构建了两个强大的基线模型以供比较：HaMeR-SLAM和WiLoR-SLAM。具体而言，我们将鲁棒的DROID-SLAM [^28]与具备最先进性能的手部估计器HaMeR [^1]、WiLoR [^2]相结合，从而将手部信息映射到世界坐标系中。 如表II所示，Hand3R在所有指标上的表现都显著优于多阶段离线基线模型HaMeR-SLAM和WiLoR-SLAM。与离线多阶段方法HaWoR相比，我们在全局指标上观察到了性能差距。我们将这种差异主要归因于我们的在线单阶段架构与HaWoR的离线多阶段流程之间的结构差异。离线方法天生受益于全局束调整机制，该机制能够利用后续帧来优化相机轨迹；相比之下，在线方法受限于因果估计，累积误差不可避免。随着序列长度从短视频扩展到长视频，这种效应愈发明显，进而导致相机姿态估计存在固有的精度差距。 --- 即模型无法跨越的障碍。 尽管如此，Hand3R的优势依然显著。我们的方法取得了最低的C-MPJPE值，这表明它在相机坐标系下能提供最精确的绝对手部估计结果，甚至超过了离线模型。此外，Hand3R在各项性能上全面优于HaMeR-SLAM和WiLoR-SLAM基线模型，为实时应用提供了一种可靠的高性能解决方案。 ### D. 定性结果 我们在图3中提供了定性可视化结果，以展示Hand3R在各类未见过的真实场景中的鲁棒性。我们还在补充材料B中提供了额外的动画可视化内容。 这些可视化结果凸显了我们框架的两大核心优势。首先，它们展示了我们的在线手部-场景时序重建功能所具备的卓越性能。如中间视图所示，Hand3R成功地将动态手部信号整合到统一的4D场景表示中。密集的场景几何结构与平滑的手部轨迹无缝结合，表明我们的模型能够有效地将手部信息锚定在持久的环境记忆中，从而在时序连贯性和空间对齐度上均达到高保真效果。其次，结果显示出该框架在不同手部形态下的强大泛化能力。我们的框架天然支持多手及左手场景，能够在同一度量空间中以高精度持续跟踪并重建这些复杂情况。 ### V. 结论 我们提出了Hand3R，这是首个用于联合4D手部-场景重建的在线端到端框架。通过利用场景感知的视觉提示机制，我们的模型有效地将高保真的手部先验知识与持久的量纲级场景记忆相协同。实验表明，Hand3R能够成功完成手部-场景联合重建，同时在与专用基线模型对比时仍保持具有竞争力的性能。我们认为，Hand3R为实时具身人工智能以及AR/VR应用奠定了坚实基础，这类应用对手部-场景同步理解的需求至关重要。 ## 参考文献 [^1]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik, “Reconstructing hands in 3D with transformers,” in CVPR, 2024. [^2]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou, “Wilor: End-to-end 3d hand localization and reconstruction in-the-wild,” 2024. [^3]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias, “Hawor: World-space hand motion reconstruction from egocentric videos,” arXiv preprint arXiv:2501.02973, 2025. [^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr, “3d hand shape and pose from images in the wild,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 10843–10852. [^5]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng, "End-to-end hand mesh recovery from a monocular rgb image," 2019. [^6]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid, “Learning joint reconstruction of hands and manipulated objects,” in CVPR, 2019. [^7]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou, “Weakly-supervised mesh-convolutional hand reconstruction in the wild,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 4990–5000. [^8]: Gyeongsik Moon and Kyoung Mu Lee, “I2l-meshnet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation,” in European Conference on Computer Vision (ECCV). Springer, 2020, pp. 752–768. [^9]: Kevin Lin, Lijuan Wang, and Zicheng Liu, “End-to-end human pose and mesh reconstruction with transformers,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 1954–1963. [^10]: Kevin Lin, Lijuan Wang, and Zicheng Liu, "Mesh graphormer," in Proceedings of the IEEE/CVF international conference on computer vision, 2021, pp. 12939–12948. [^11]: Georgios Pavlakos, Ethan Weber, Matthew Tancik, and Angjoo Kanazawa, “The one where they reconstructed 3d humans and environments in tv shows,” in European Conference on Computer Vision. Springer, 2022, pp. 732–749. [^12]: Yizhou Zhao, Tuanfeng Yang Wang, Bhiksha Raj, Min Xu, Jimei Yang, and Chun-Hao Paul Huang, “Synergistic global-space camera and human reconstruction from videos,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 1216–1226. [^13]: Ye Yuan, Umar Iqbal, Pavlo Molchanov, Kris Kitani, and Jan Kautz, "Glamr: Global occlusion-aware human mesh recovery with dynamic cameras," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. [^14]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J. Guibas, "Humor: 3d human motion model for robust pose estimation," in International Conference on Computer Vision (ICCV), 2021. [^15]: Sara Rojas, Matthieu Armando, Bernard Ghanem, Philippe Weinzaepfel, Vincent Leroy, and Gregory Rogez, “Hamst3r: Human-aware multi-view stereo 3d reconstruction,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2025, pp. 5027–5037. [^16]: Zhizheng Liu, Joe Lin, Wayne Wu, and Bolei Zhou, “Joint optimization for 4d human-scene reconstruction in the wild,” arXiv preprint arXiv:2501.02158, 2025. [^17]: Yue Chen, Xingyu Chen, Yuxuan Xue, Anpei Chen, Yuliang Xiu, and Gerard Pons-Moll, “Human3r: Everyone everywhere all at once,” arXiv preprint arXiv:2510.06219, 2025. [^18]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz, “Weakly supervised 3d hand pose estimation via biomechanical constraints,” in European conference on computer vision. Springer, 2020, pp. 211–228. [^19]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang, “Semi-supervised 3d hand-object poses estimation with interactions in time,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 14687–14697. [^20]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee, “Handoccnet: Occlusion-robust 3d hand mesh estimation network,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, pp. 1496–1505. [^21]: Zhigang Tu, Zhisheng Huang, Yujin Chen, Di Kang, Linchao Bao, Bisheng Yang, and Junsong Yuan, “Consistent 3d hand reconstruction in video via self-supervised learning,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 45, no. 8, pp. 9469–9485, 2023. [^22]: Muhammed Kocabas, Nikos Athanasiou, and Michael J Black, “Vibe: Video inference for human body pose and shape estimation,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 5253–5263. [^23]: Hongsuk Choi, Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee, “Beyond static features for temporally consistent 3d human pose and shape from a video,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021, pp. 1964–1973. [^24]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M Kitani, “Deformer: Dynamic fusion transformer for robust hand pose estimation,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 23600–23611. ## [^25]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al., “Dexycb: A benchmark for capturing hand grasping --- “物体的识别”，载于IEEE/CVF计算机视觉与模式识别会议论文集，2021年，第9044–9053页。 [^26]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi, “Hoi4d: A 4d egocentric dataset for category-level human-object interaction,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 21013–21022. [^27]: Qianqian Wang*, Yifei Zhang*, Aleksander Holynski, Alexei A. Efros, and Angjoo Kanazawa, “Continuous 3d perception model with persistent state,” in CVPR, 2025. [^28]: Zachary Teed and Jia Deng, “Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras,” Advances in neural information processing systems, vol. 34, pp. 16558–16569, 2021.