# ESTHER：野外环境中的自我中心立体手形估计与重建
马宏宇、曲海荣、赵世奇、杨永松、尹鹏，香港城市大学
## 摘要
人类的灵巧操作依赖于两只眼睛观察两只手：双目视觉提供了精准操作所需的度量级3D结构。因此，自我中心立体视觉自然成为机器人、增强现实（AR）和虚拟现实（VR）的感知接口。然而，自我中心立体手形重建至今仍缺乏端到端模型以及野外场景下的基准测试集。我们提出了ESTHER模型，其立体几何、时序推理和输出表示均针对可穿戴式自我中心立体设备设计。该模型基于经过校准的标注流程生成的伪标签进行训练，进而构建了我们的基准测试集ESTHER3D——这是一个自我中心立体手形数据集，包含大量带有模型标签的野外训练集，以及具备真实度量级真值的动作捕捉测试集。实验表明，该模型在精度上达到了最先进水平，仅需少量微调即可在多种立体设备和模态间实现出色的外部泛化能力；即便在视图缺失、单目输入、帧丢失，以及真实自我中心采集场景中的光照和运动模糊情况下，也能实现稳健的度量级重建。项目页面。
### 1. 引言
通过头戴式立体设备感知世界的具身智能体，对其双手的感知方式与人类类似：两只眼睛观察两只手，双目视差提供了精准操作所依赖的度量级3D结构。这使得自我中心立体视觉成为机器人、AR和VR领域手形感知的自然信号：它提供了单目RGB图像所不具备的度量约束。我们将这一场景定义为自我中心立体3D手形重建：给定短基线头戴式立体视频，系统应能够恢复MANO手形姿态与形状，以及度量级3D下的全局手腕平移信息。尽管其具有实际重要性，但自我中心立体手形重建至今仍缺乏端到端模型以及野外场景下的基准测试集。我们发现了两个主要障碍：缺乏带有可靠度量级手形标签的可扩展训练数据，以及现有手形姿态架构与可穿戴式立体几何之间的不匹配。
为野外自我中心采集场景生成准确的3D手形标注十分困难：标注本身必须从部分可见、动态且经常被遮挡的观察结果中还原出来。例如——
立体2D投影 + 随时间变化的度量级3D网格
Figure 1. ESTHER at a glance. Letters: egocentric stereo frames from the six ESTHER3D industries. Bottom: ESTHER outputs stereo 2D projections and metric 3D meshes over time.
列举常见的自我中心手形数据集，包括H2O [^17]、AssemblyHands [^27]、OakInk [^43]、ARCTIC [^6]、HOI4D [^21]、HOT3D [^1]，这些数据集均通过额外传感或离线重建方式获取标签；HOT3D的视角最为接近，但其立体数据为单色，且真值来自专业动作捕捉设备，而非对原始RGB立体数据的可扩展视觉标注。如何从原始的野外头戴式立体数据中生成可扩展的度量级手形标签仍是一个待解决的问题。因此，我们构建了一个结合2D证据、立体几何和手部先验的校准标注流程，将其与动作捕捉真值进行对比验证，再基于该流程生成的伪标签训练可扩展的重建模型；最终得到的基准测试集ESTHER3D，将动作捕捉真值测试集与这些野外训练序列相匹配。
模型瓶颈可以追溯到手部姿态架构的演变过程。单目网格方法 [^29] [^30] 能够生成合理的手部模型，但仅凭单个裁剪图像，它们只能通过学习到的先验知识来恢复深度和尺度，而非依靠几何测量，因此无法保证度量精度。多视角方法 [^15] [^19] [^46] 通过校准后的三角测量来恢复尺度，但这类方法仅适用于单帧图像，且要求至少有两个摄像头能捕捉到同一点。时序模型则会在相机坐标系中加入视频上下文信息 [^35] [^41]，或者利用SLAM技术将单目视频映射到世界空间 [^47] [^48]，但恢复的相机参数仍存在尺度模糊问题。
---
单目SLAM与离线优化也会带来类似问题。以自我为中心的立体视觉方法则同时放大了上述所有缺陷。三角测量的基准并不稳定：模糊和遮挡常常会导致手部在其中一个视角中消失，因此依赖三角测量机制的模型恰恰会在关键帧上失去其度量基准。检测遗漏是常态：交互中的手部会连续多帧未被识别，因此那些独立处理每一帧的架构若没有时序修复机制便无法稳定运行。手部与头部的运动相互关联：图像中观察到的运动既包含关节活动，也包含头部自身运动及裁剪参数的变化，而缺乏显式解耦机制的模型会将这些因素都归入手指姿态的计算中。因此，这种场景需要专门针对这些故障模式设计的模型。
我们针对这一场景提出了ESTHER模型，它由两个编码器和一个解码器构成。立体图像编码器将校准后的立体视觉数据融合为联合特征向量；掩码时序运动编码器则基于这些向量进行跨时间推理，其中相机与裁剪运动信息会以条件化特征向量的形式输入；查询门控融合解码器通过结构化的姿态、形状及手腕特征向量读取两个编码器的输出，最终生成MANO姿态、随时间共享的形状特征以及直接的度量级手腕位移结果。
综上所述，我们的贡献如下：
- 我们提出了ESTHER，这是一种端到端的以自我为中心的立体手部位姿重建模型，由两个编码器和一个查询门控融合解码器组成。该模型融合了校准后的立体几何信息与时序上下文，可输出度量级的MANO姿态、形状以及绝对手腕位置，在精度和鲁棒性方面均达到了业界领先水平。
- 我们推出了ESTHER3D，这是一个面向真实场景的以自我为中心的立体手部位姿基准测试集。其测试集包含动作捕捉得到的真实标签，训练集则由大量经ESTHER标注的立体视频组成，这些视频是通过在该真实标签集上验证过的校准流程生成的。
- 我们按照统一的协议（共享主干网络、数据与损失函数）在ESTHER3D测试集、HOT3D数据集上进行了评估，同时也测试了缺失视角和丢帧情况下的性能。评估结果显示尺寸与深度之间存在一种绑定效应：短基线立体视觉引导能使直接的手腕回归过程内化为一种将表观手部尺度与度量深度相关联的先验，这使得在采用单目替代方案时仍能获得惊人的精度，且该模型还能轻松适配不同的基线、相机参数，甚至灰度模式。
### 2. 相关工作
#### 2.1. 以自我为中心及具身数据集
以自我为中心的数据集在具身感知研究中具有核心地位：EPIC-KITCHENS [^4] 和 Ego4D [^8] 涵盖了各类日常活动场景，Ego-Exo4D [^9] 则同时采集了以自我为中心的视角与外部视角数据，而Nymeria [^23] 还加入了多模态可穿戴运动传感数据。
手部与物体交互的数据集，如FPHA [^7]、H2O [^17]、HOI4D [^21]、OakInk [^43]、DexYCB [^2]、ARCTIC [^6]、AssemblyHands [^27]以及HOT3D [^1]，为手部及交互相关的研究提供了重要的监督信息。其中HOT3D最为接近，但其可穿戴式立体相机为单色成像，且其中的度量标签源自动作捕捉数据。而ESTHER3D则专注于野外环境下经过校准的短基线RGB立体成像，采用带有度量信息的MANO标签，并制定了相应的训练/测试协议。
#### 2.2. 三维手部姿态与网格估计
参数化手部重建基于MANO [^32]模型，相关数据集包括FreiHAND [^49]、HO-3D [^10]、InterHand2.6M [^26]、DexYCB [^2]、ObMan [^13]以及ARCTIC [^6]。从I2L-MeshNet [^25]、Mesh Graphormer [^20]、MobRecon [^3]、HandOccNet [^28]到HaMeR [^29]和WiLoR [^30]等单目模型，都能较好地恢复手部关节信息，但必须仅依靠学习到的先验来回归尺度与度量深度。
在时间维度上，HTT [^41]、HandFormer [^35]和UmeTrack [^11]可在头戴式设备中追踪手部运动；HaWoR [^48]和Dyn-HaMR [^47]则能通过单目视频，借助单目SLAM与离线优化算法恢复世界坐标系下的手部运动，不过其尺度存在不确定性。相比之下，ESTHER能够通过校准后的立体相机直接获取度量尺度信息，并利用条件化标记与掩码时序训练来分离手部运动与头部运动。
#### 2.3. 多视图、立体及基于深度的重建
多视图姿态估计领域已经探索了可学习三角测量、极线注意力、体素融合以及跨视图变换器等技术 [^14] [^15] [^19] [^37] [^39]；POEM-v2 [^46]则研究了基于点嵌入的多视图手部重建。与我们研究更接近的是， Egocentric立体成像已被用于绝对手部姿态估计 [^34] 和立体关键点检测 [^18]，事件相机也被用于立体手部姿态估计 [^38] 及MANO网格重建 [^12]。不过这些方法要么只能估计稀疏关键点，要么使用非RGB传感器，要么是单帧处理；而我们旨在利用可穿戴式RGB立体相机实现时间上连贯的度量级MANO重建，且无需假设物体在两个视图中均可见，也无需假设每帧都能检测到手部。
### 3. 方法
ESTHER及其监督流程是协同构建的（见图2）。校准后的教师模型会利用2D证据与DPoser-X先验 [^22]，对最初10小时的野外立体数据生成标签。随后ESTHER的预测结果会用于初始化更多样本上的教师模型优化；经过筛选的标签会反馈至训练环节（见第3.8节）。最终的ESTHER模型可提供用于部署与测试的前向预测结果；独立的动作捕捉数据集则用于度量评估。
---
Figure 2. Supervision pipeline and data engine. (a) The teacher turns stereo 2D keypoints and WiLoR predictions from each view into metric pseudo labels via optimization in two stages and a reprojection/human filter. (b) These train ESTHER, which labels in-the-wild stereo to build ESTHER3D.
#### 3.1. 校准后的教师标签生成流程
教师模型以2D证据为起点——相比度量级的三维手部数据，2D证据更容易可靠获取——再通过立体校准、手部先验和优化算法将其转换为度量级的MANO伪标签。我们设计了一种简单的头戴式RGB立体拍摄装置（相机内参与外参详见附录F）；不过该建模方式并不局限于此装置，实验表明该模型仅需少量微调即可适配不同的采集设置。
由两种二维检测器（YOLO11-pose [^16] 和 ViTPose [^42]）提供的关键点信息来自两个视角，这些点通过已标定的装置进行三角测量，并根据深度范围及骨骼长度的合理性进行筛选。优化过程从三角测量的手腕位置以及每个视角下通过WiLoR [^30] 得到的单目MANO估计值开始，并在DPoser-X姿态先验的指导下分两个阶段进行。形状锁定：在64帧置信度最高的图像中，形状、姿态和手腕位置会针对筛选后的立体观测数据联合优化，各帧估算出的形状最终会被平均为一个固定的手部 $\beta$。姿态与运动优化：在形状锁定的前提下，逐帧重新优化姿态和手腕位置，随后通过包含速度限制的16帧滑动窗口运动优化步骤进一步精炼，该优化所采用的运动先验是在AMASS数据集 [^5] [^24] [^31] 上预训练的。检测过滤阈值、初始化方法、完整拟合目标函数以及各阶段细节详见附录A。
#### 3.2. 真实标签验证
在扩大应用规模之前，我们验证了自动生成的标签能否作为整个10小时动作捕捉测试集上的监督信号（详见附录H）。教师模型在该测试集上运行且无法访问真实标签，其MPJPE误差为15.9毫米，PA-MPJPE误差为9.3毫米，手腕误差为零样本条件下的19.1毫米（见图4）。这一结果接近真实标签本身在手套测量中的约10毫米不确定性水平，且与通过常用手部基准测试集拟合所得的标注质量相当 [^10] [^49]，满足了伪标签所需的精度要求；完整的测量流程详见附录I。验证过程还揭示了模型的失效模式（严重遮挡下的二维检测错误），这些可通过置信度阈值设定和人工质量控制来解决。
#### 3.3. 自然场景数据与过滤
经过验证的教师模型被应用于原始自然场景数据集的一个子集，该子集包含从六个类别中均匀抽取的10小时数据（数据集统计信息见ESTHER3D章节）。这些标签需经过三阶段的过滤：首先基于骨骼长度和手与相机间的深度范围进行粗略的几何预筛；接着进行自动二维检查，将拟合出的手部模型投影到两个视角中，剔除与检测结果不一致的手部帧；最后由人工审核以处理上述步骤无法发现的残留错误（如手部身份识别错误、不合理的关节活动）。合格的数据用于训练ESTHER模型；该模型的预测结果可作为教师模型优化的初始值，并采用相同的过滤流程处理更多数据（详见ESTHER3D基准测试章节）。
#### 3.4. 模型概述
ESTHER模型基于标准的手部检测与裁剪流程 [^3] [^29] [^30]：检测器会生成左右手部的裁剪图像及其对应的虚拟相机校准参数，网络仅接收这些数据作为输入。训练时使用右手数据：左手数据是通过镜像处理得到，同时交换视角，预测结果也会进行反向镜像还原。
---
(a) ESTHER
(b) Stereo Transformer
(c) Temporal Transformer
Figure 3. ESTHER. (a) The stereo image encoder and masked temporal motion encoder feed a query-gated fusion decoder that outputs MANO with a metric wrist. (b, c) Stereo and temporal transformer blocks.
Figure 4. Teacher pseudo labels vs. motion capture ground truth as MANO meshes projected into both stereo views (two ESTHER3D test scenes; the GT mesh is MANO fitted to the mocap joints).
参照WiLoR [^30] 的方法，将姿态空间减半以便学习。
该模型由两个编码器和一个解码器组成（见图3）：
$$ \begin{aligned}\boldsymbol{F}&=E_{img}(\boldsymbol{I}^{l},\boldsymbol{I}^{r},\boldsymbol{\ell}^{l},\boldsymbol{\ell}^{r}),\\\boldsymbol{Z},\mathbf{z}^{root},\hat{\boldsymbol{o}}&=E_{mot}(\boldsymbol{F},\mathbf{f},\mathbf{r}),\\\hat{\boldsymbol{\Theta}}&=D_{fuse}(\boldsymbol{F},\boldsymbol{Z},\mathbf{z}^{root}),\end{aligned} $$
在这里，根据手部数据，$\hat{\Theta} = (\hat{\theta}, \beta, \hat{\tau})$ 会收集 MANO 姿态 $(16 \times 3\ \text{axis-angle})$、10维的MANO形状参数以及3维的全局手腕平移量。$I^l$ 和 $I^r$ 是裁剪后的立体图像，而 $\ell^l$ 与 $\ell^r$ 则是基于裁剪区域的相机校准计算出的普吕克射线。在每一帧中，立体图像编码器 $E_{\text{img}}$ 会将两个视图融合成21个关节标记F。时间运动编码器 $E_{\text{mot}}$ 以相机运动流标记f和已学习的根标记 $\mathbf{r}$ 为条件，输出运动特征Z、根特征 $\mathbf{z}^{root}$，以及手部可见性概率 $\hat{o}$；这些概率在部署时会决定解码后的手部信息是否会被输出。融合解码器会通过结构化查询来读取所有输入源。训练期间，图像编码器还会额外输出2D关键点、可见性信息以及三角测量锚点作为引导，而运动编码器则在随机掩码序列上进行训练；各预测头及损失函数的细节详见附录B。
#### 3.5. 立体图像编码器
立体图像编码器将冻结的DINOv3-L图像编码器 [^36] 与立体变换器配对使用（见图3b）。它对16帧的剪辑数据进行编码，但不注入时间信息，仅通过互补的图像证据来融合两个视图；所有时间建模工作都交由运动编码器完成。每个视图的块标记会附加其校准后的普吕克射线嵌入，从而将独立检测到的裁剪区域定位到统一的度量几何空间中。随后，这些标记会依次经过视图内注意力机制和跨视图注意力机制的处理，使得每个视图内的空间上下文与跨视图的立体匹配信息逐层相互优化；每个视图的21个关节查询标记会从这些融合后的标记中读取信息，并聚合成共享特征F。训练时，其中一个完整视图会被随机填充为空白，并由已学习的视图掩码标记替代，以确保融合过程能在相机数据缺失的情况下依然正常工作。轻量级预测头（热图、2D关键点、可见性、深度区间、可微三角测量）会引导编码器去捕捉明确的立体几何关系。整个过程中DINOv3-L骨干网络保持冻结状态；仅训练立体变换器及其预测头，这样编码器既能继承强大的预训练特征，又能将可训练参数数量控制在较低水平（总参数355M中仅51M）。
#### 3.6. 掩码时间运动编码器
运动编码器提供了 Egocentric 拍摄场景所需的时间推理能力。它直接将三个输入送入时间变换器（见图3c）：融合图像特征F（包含关节和时间嵌入）、相机运动流标记f，以及用于把全局手部运动聚合为根特征 $\mathbf{r}$ 的已学习根标记 $\mathbf{z}^{root}$。
检测丢失与遮挡问题：标记会按关节、按帧以及连续时间段被随机掩码处理
---
（锚帧保留不变），每个被掩码的位置都由已学习的运动掩码标记填充（该标记与立体视图掩码标记不同）；辅助预测头会在这些位置重建关节、姿态和根部速度信息：如此编码器就能学会如何修复真实拍摄场景中的数据损坏问题。还有一个预测头会逐帧预测手部可见性，其中空白帧被用作负样本。
手部与头部运动的耦合。我们在线从连续的RGB手部图像块中计算密集的经典光流，这些图像块包含手部像素和背景像素。利用校准后的相机内参，将前一图像块变换到当前图像块的坐标系中，以补偿图像块位置和尺度的变化。无需训练的快速估计器会在这一经过补偿的图像对上计算光流。在$8 \times 8$网格上进行中位数池化可得到128个光流值；将其按224像素的图像块边长进行归一化，再与64个有效性标志拼接，便形成了192维的光流表征（详见附录D）。这种未掩码的输入同时包含了相机和手部的运动信息，可在图像表征被掩码时提供上下文信息。
#### 3.7. 查询门控融合解码器
融合解码器允许姿态、形状和手腕分支分别利用不同的证据。如图3a所示，$\mathbf{Q}_p$包含沿运动树的16个姿态查询，而$\mathbf{Q}_s$和$\mathbf{Q}_w$则分别是形状和手腕查询。每一层会对这18个查询应用自注意力机制，从而得出查询i的状态$\mathbf{h}_i$，随后读取$S_{\text{img}} = F$、$S_{\text{mot}} = Z$以及$S_{\text{root}} = \mathbf{z}^{root}$、$k \in \{\text{img}, \text{mot}, \text{root}\}$，每个表征都配有softmax门控$\mathbf{g}_i$：
$$ \mathbf{q}_{i}^{+}=\mathrm{F F N}\left(\mathbf{h}_{i}+\sum_{k}g_{i}^{k}\mathrm{C r o s s A t t n}(\mathbf{h}_{i},S_{k})\right), $$
其中$\mathbf{q}_{i}^{+}$为更新后的表征。该门控由表征状态、池化后的源特征摘要以及可见性和三角测量扩散等证据统计信息预测得出（详见附录E）：当图像证据模糊时，姿态表征可以侧重图像和运动特征，而手腕表征则会依赖根部特征。
姿态信息是从$\mathbf{Q}_p$沿运动树解码得到的，每个子节点的旋转都以其父节点为条件。经过时间维度的池化后，$\mathbf{Q}_s$会生成序列对应的一个形状表征。最终的手腕查询$\mathbf{Q}_{w}^{\text{out}}$可直接预测手腕的度量级平移量：
$$ \begin{array}{r}{\hat{\mathbf{t}}=\mathrm{M L P}(\mathbf{Q}_{w}^{\mathrm{o u t}}).}\end{array} $$
MLP指多层感知机。我们刻意不将手腕锚定在三角测量点上：在消融实验中，锚定手腕确实能提升双视图下的MPJPE指标，但这需要可靠的立体锚点。三角测量通过引导损失和门控统计信息发挥作用，即便在单目模式下，解码出的手腕表征仍能正常使用。MANO正运动学层会将$\hat{\Theta}$映射为关节和顶点。
#### 3.8. 训练与监督
迭代式训练循环。为了控制标注成本，教师模型会先对最初10小时的野外视频进行优化，
Figure 5. ESTHER3D across the six industries. Left: in-the-wild training hours (194 h). Right: motion capture test tasks (50 tasks, $\approx$10 h).
训练约2000步；过滤后的输出用于训练首个ESTHER模型。在更多样本上，ESTHER的前向推理会初始化MANO参数，随后教师模型会用同样的优化方法对这些参数进行200步的微调。相同的过滤机制（详见附录A）会选出教师模型的输出以重新训练ESTHER。我们不断重复这一循环。部署和测试阶段则使用最终版ESTHER模型的前向推理结果。
我们首先用几何引导方式预训练立体图像编码器，随后联合训练整个模型，同时加入正运动学损失和中间编码器的监督信号。图像编码器保留2D和三角测量相关任务；运动编码器则在掩码位置重建规范关节、姿态和根部速度，并预测手部可见性，从而学习时序结构和图像修复能力（详见附录B）。损失函数会排除无效目标。运动表征掩码和图像增强（噪声、擦除、视图和帧的空白化处理，其中空白帧作为可见性负样本）用于模拟野外场景中的图像损坏情况。整体目标函数为
$$ \mathcal{L}=\mathcal{L}_{\mathrm{F K}}+\mathcal{L}_{\mathrm{i m g}}+0.5\mathcal{L}_{\mathrm{m o t}}+0.5\mathcal{L}_{\mathrm{o n}}, $$
其中，$\mathcal{L}_{\mathrm{FK}}$ 用于汇总关节、网格、姿态、形状和腕部相关项，$\mathcal{L}_{\mathrm{img}}$ 代表图像引导信息，$\mathcal{L}_{\mathrm{mot}}$ 指掩码重建结果，而 $\mathcal{L}_{\mathrm{on}}$ 则表示屏幕上的分类结果（所有术语详见附录B）；测试时不会提供任何预言信号。整个模型在四张RTX 4090 GPU上训练约需两天时间。
### 4. ESTHER3D基准测试
ESTHER3D包含两部分：一部分是来自ESTHER的大规模真实场景训练集，其中包含度量伪标签；另一部分是带有真实度量基准的真值运动捕捉测试集。每一帧数据都包含每只手的MANO姿态和形状信息、绝对度量腕部位置、校准后的相机参数、两个视角下的2D关键点投影以及手部边界框。训练集来源于一项分布式采集计划，该计划利用我们的设备在六个行业中收集原始的真实场景立体视频，总计约194小时，由121名采集者提供数据。
---
Table 1. Main comparison. Errors in mm, jitter in m/s². ETHER3D test = real mocap GT, zero-shot (z.s.) for all methods; HOT3D reported zero-shot and after fine-tuning (f.t.) on 10% of HOT3D. Best per block in bold; $\downarrow$ means lower is better.
| Method | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | Wrist $\downarrow$ | Jitter $\downarrow$ |
| ESTHER3D | Hiera-FTL [^33] [^50] | 43.4 | 10.0 | 277 | 79.5 |
| POEM-v2 [^46] | 19.4 | 8.9 | 22.5 | 8.5 |
| MVGFormer [^19] | 19.2 | 8.9 | 21.0 | 8.7 |
| Epipolar Trans. [^14] | 19.0 | 9.0 | 20.9 | 13.3 |
| ESTHER (ours) | 17.7 | 8.6 | 21.3 | 3.3 |
| HOT3D z.s. | Hiera-FTL [^33] [^50] | 103.2 | 18.9 | 324.3 | 99.6 |
| MVGFormer [^19] | 52.2 | 18.7 | 71.9 | 31.5 |
| POEM-v2 [^46] | 49.7 | 16.7 | 66.4 | 33.4 |
| Epipolar Trans. [^14] | 48.3 | 19.5 | 83.8 | 51.1 |
| ESTHER (ours) | 30.5 | 17.3 | 54.2 | 20.9 |
| HOT3D f.t. | Hiera-FTL [^33] [^50] | 45.3 | 13.6 | 46.0 | 52.8 |
| POEM-v2 [^46] | 35.5 | 9.5 | 25.9 | 23.7 |
| Epipolar Trans. [^14] | 35.1 | 9.6 | 45.4 | 55.9 |
| MVGFormer [^19] | 34.9 | 9.2 | 24.7 | 23.2 |
| ESTHER (ours) | 29.5 | 8.0 | 20.8 | 17.1 |
这些数据采集自308个真实场所，涵盖44种场景类别，涉及大约800项操作任务（见图5；详细分类见附录G）。采集过程覆盖了可穿戴系统的常见使用条件：手部离开视野、物体交互、自身遮挡、头部快速运动以及非对称可见性（见图1）。测试集则是在模拟这六个行业环境的光学动作捕捉工作室中采集的（约10小时，6名受试者，50个预设任务，涵盖14种手部动作类型；详见附录H）。
#### 4.1. 基于ESTHER与迭代增强的标注
ESTHER会大规模地对原始数据进行标注，其理念类似于深度数据引擎[^44] [^45]，但会以立体几何和运动捕捉验证为基础：每个预测结果会在DPoser-X先验模型以及两个视角的2D证据（2D关键点）约束下，经过200步的教师模型优化，随后再通过与教师模型相同的重投影和人工审核过滤流程。符合条件的标注会被纳入基准测试，并通过第3.8节所述的循环机制反馈到训练中。
标注质量方面，真实场景标注的中值重投影残差为5.3像素，对应的平面内偏差中值为2.8毫米。在6.2厘米的立体基线条件下，附录N中的传播分析表明，独立视角误差会导致约21毫米的深度敏感度。这些数值反映的是一致性及敏感度指标，并非真实的3D标注误差上限。度量精度则是通过与运动捕捉数据对比来评估的：教师模型的MPJPE达到15.9毫米，腕部误差为19.1毫米。
### 5. 实验
正文部分报告了受控架构对比、鲁棒性研究以及组件消融实验结果；其余细节详见附录A–O。
Table 2. Robustness to missing views. One stereo view is dropped for methods trained with stereo (ESTHER falls back via its view mask token); monocular methods take their usual single view. Metrics as in Table 1.
| Method | MPIPE $\downarrow$ | PA-MPIPE $\downarrow$ | Wrist $\downarrow$ | Jitter $\downarrow$ |
| ESTHER3D | Hiera-FTL [^33] [^50] | 65.2 | 9.9 | 217 | 55.2 |
| HaWoR [^48] (mono, temporal) | 43.8 | 11.2 | 97.3 | 4.8 |
| HaMeR [^29] (mono) | 36.3 | 11.8 | 100 | 10.5 |
| WiLoR [^30] (mono) | 30.2 | 11.1 | 101.6 | 9.5 |
| POEM-v2 [^46] | 29.5 | 9.7 | 96.8 | 8.8 |
| MVGFormer [^19] | 28.9 | 9.8 | 97.1 | 9.3 |
| Epipolar Trans. [^14] | 27.0 | 9.5 | 171.7 | 10.5 |
| ESTHER (ours) | 18.0 | 9.0 | 32.5 | 4.3 |
| HOT3D f.t. | HaWoR [^48] (mono, temporal) | 71.8 | 29.3 | 214 | 26.9 |
| HaMeR [^29] (mono) | 69.5 | 17.4 | 126.8 | 96.4 |
| Hiera-FTL [^33] [^50] | 52.4 | 18.7 | 115.6 | 53.3 |
| Epipolar Trans. [^14] | 42.1 | 15.8 | 93.2 | 45.8 |
| MVGFormer [^19] | 39.9 | 14.6 | 90.0 | 23.3 |
| POEM-v2 [^46] | 37.2 | 14.9 | 130.2 | 22.7 |
| WiLoR [^30] (mono) | 31.0 | 15.9 | 111.5 | 91.8 |
| ESTHER (ours) | 30.2 | 12.1 | 33.9 | 18.4 |
#### 5.1. 实验协议与评估指标
所有可训练方法均采用相同的冻结骨干网络、数据、损失函数和计算资源，因此对比实验能够纯粹地反映架构差异。评估范围包括ESTHER3D测试集（对所有方法而言均为零样本测试）以及HOT3D [^1]，评估方式包括零样本测试和用其10%的数据进行微调后的测试。MPJPE表示相对于腕部的关节位置误差均值；PA-MPJPE则加入了Procrustes对齐处理。MPJPE-absolute指未经腕部对齐的误差。我们报告的指标包括MPJPE、PA-MPJPE、绝对腕部误差（毫米）以及时间抖动（m/s²；详见附录L）。消融实验则使用测试集上的MPJPE作为评估标准。
#### 5.2. 架构对比
基准模型。我们比较三组模型：(1) 为单帧立体视觉适配的多视角架构：Epipolar Transformers [^14]、MVGFormer [^19]、POEM-v2 [^46]；(2) HOT3D挑战赛的获胜者，采用Hiera [^33] 并结合FTL相机融合技术 [^50]；以及(3) 预训练的单目模型：WiLoR [^30]、HaMeR [^29] 和时序模型HaWoR [^48]。
单目腕部建模。单目方法在归一化裁剪区域上预测弱透视相机参数 $x_{crop} = s(X + t_x)$，这一过程不涉及相机内参。由于MANO关节坐标X以米为单位，缩放系数s的单位为“归一化裁剪单位/米”：一旦预测出s值，度量尺度便通过MANO模型引入，手部直接处于MANO的度量坐标系中。用真实的针孔相机模型表示同一点时，对于边长为b像素的裁剪框，有 $u = f(X + t_x)/t_z + c$ 和 $x_{crop} = 2(u - c_{box})/b$，匹配X的系数可得 $s = 2f/(t_z b)$，即 $t_z = 2f/(s b)$，其量纲为米。因此，恢复腕部深度纯粹是单位转换，而非基于内在假设，所以模型的腕部评估结果可与ESTHER模型置于同一度量相机坐标系下进行比较。
ESTHER3D测试集。对照真实基准真值（所有方法均为零样本测试；见图6），在需要立体视觉与时序融合的场景中ESTHER表现最优：姿态误差最低（17.7毫米MPJPE），抖动程度也低三到四倍（3.3对比8.5——
---
Figure 6. Qualitative results on ESTHER3D and HOT3D: MANO meshes projected into both stereo views (pink right, blue left hand). Per block: top row full stereo, bottom row monocular.
13.3米/秒 $^{2}$）。独立帧处理无法建模这种时序行为。ESTHER在清晰帧上的腕部误差与多视角方法相当（21.3对比20.9–22.5毫米；绝对腕部预测在清晰帧上会牺牲少许精度，以换取对缺失视角的鲁棒性，见表2），而Hiera-FTL模型在没有锚点的情况下，绝对头部预测结果完全失效（腕部误差达277毫米）。
外部泛化能力。在HOT3D数据集上，ESTHER的零样本MPJPE（30.5毫米）甚至优于经过微调的基线模型。微调后，ESTHER在MPJPE、PA-MPJPE、腕部误差及抖动等各项指标上均优于其他对比模型。
ESTHER在HOT3D数据集的针孔焦距扫描测试中同样表现稳定（见附录M）。
#### 5.3. 鲁棒性
单个立体视角缺失。我们在推理阶段将其中一个视角设为空白，模拟手部离开或在一个相机中被遮挡的情况。
一旦某个相机失效，基于立体的基线模型在腕部预测上便会崩溃：其三角测量锚点会随着该视角的丢失而消失。相比之下，ESTHER的性能仅出现轻微下降而非彻底崩溃：相对姿态误差几乎不变（MPJPE从17.7毫米升至18.0毫米，PA-MPJPE从8.6毫米升至9.0毫米），而绝对腕部误差会因立体深度线索的缺失而增大，在ESTHER3D测试集上从21.3毫米升至32.5毫米。这一数值仍远低于基线模型的96.8–217毫米腕部误差；通过在训练阶段加入空白视角及视角掩码标记，模型能够依靠单个视角继续工作，避免了因三角测量锚点失效导致的腕部预测崩溃。即便在单个灰度视角下，ESTHER的表现也优于参数量达13亿的视频扩散模型ViDiHand [^40]（其总参数量为3.55亿，其中可训练参数量仅为5100万，且基于冻结的DINOv3-L骨干网络）。这种鲁棒性源于立体视觉训练机制与视角掩码标记的共同作用：立体监督赋予了模型度量深度先验，在此基础下该标记能学会从单个视角补全深度信息——就像人类大脑仅凭单眼就能利用场景上下文（物体、手臂等）保持稳定性和泛化能力一样（见5.4节）。在HOT3D数据集上，
Table 3. Robustness to dropped frames as N of 16 frames are blanked and masked at inference, on the ESTHER3D test set and HOT3D. Each cell: MPJPE / PA-MPJPE / wrist (mm) / jitter (m/s $^2$).
| N dropped / 16 | ESTHER3D | HOT3D |
| 0 | 17.7 / 8.6 / 21.3 / 3.3 | 29.5 / 8.0 / 20.8 / 17.1 |
| 2 | 17.8 / 8.6 / 21.3 / 3.9 | 29.7 / 8.2 / 20.9 / 18.2 |
| 4 | 17.8 / 8.6 / 21.4 / 4.7 | 29.8 / 8.1 / 20.9 / 19.5 |
| 6 | 17.8 / 8.6 / 21.5 / 7.7 | 29.8 / 8.1 / 21.2 / 23.8 |
| 8 | 17.8 / 8.6 / 21.5 / 5.4 | 30.0 / 8.2 / 21.0 / 20.6 |
仅用单个视角推理时，MPJPE为30.2毫米，PA-MPJPE为12.1毫米，腕部误差为33.9毫米，抖动为18.4米/秒 $^{2}$，这些数值在对比模型中均属最低。
丢帧现象。我们会从每个包含16帧的片段中随机丢弃N帧（这些帧的图像会被置空，对应的标记也会被掩码处理），以此模拟以眼为中心的视频捕捉中常见的检测丢失现象——快速运动和遮挡会导致某些帧无法被检测到。即便丢弃多达一半的帧（16帧中的8帧），在两个数据集上，MPJPE、PA-MPJPE以及手腕误差指标基本保持不变（见表3）。从$N=0$到$N=8$，ESTHER3D的MPJPE仅变化0.1毫米，手腕误差也仅变化0.2毫米。虽然整体抖动有所增加，但抖动程度并非随N值单调变化，这是因为存活的观测帧之间会插入额外的帧。这种平缓的性能下降源于对掩码帧的设计目标：它能让运动编码器学会利用时间上下文来补全缺失的帧。附录J给出了这些差异的自助法置信区间，附录K则分析了在光照变化、运动模糊、传感器噪声和肤色变化条件下的模型失效模式。
#### 5.4. 为何单目模式下的模型依然可靠
表2显示，丢弃立体视图仅会让ESTHER模型的手腕误差出现平缓上升，而基于锚点的基线模型却会出现性能崩溃。我们为了找出原因，在预留的运动捕捉数据集上对比了三种配置：立体视图（两个视角）、视图掩码（我们的模型，其中一个视角被丢弃，用学习到的占位符标记来替代缺失的视角）
---
Figure 7. Cross-attention into the kept view (two held-out scenes, four transformer blocks L1–L4). Pure monocular and stereo attend almost identically to the hand; the view mask placeholder instead spreads onto surrounding objects and the arm, using scene context as a depth reference.
视图），以及纯单目模型——该模型从头开始训练，训练时始终排除第二个视角（这是一个独立的检查点，并非将我们的模型以单目模式运行所得）。
注意力机制分析（图7）。我们在四个立体变换块中可视化了流向保留视角的交叉注意力。纯单目模型和立体模型的表现几乎一致：两者都聚焦于手部本身。而视图掩码模型则明显不同：它的占位符标记会查询手部以外的区域，包括周围物体、工作空间以及手臂。在立体监督下训练的该标记学会了利用场景上下文作为深度参考，这与人类视觉系统用单眼获取的深度先验类似。这一特性支持无需视差信息的前馈推理。
各帧间的深度离散程度（图8）。我们将$\hat{z} = a z_{gt} + b$拟合到预留数据上的预测手腕深度，并将误差分解为系统性误差（可通过线性方式修正）和随机误差（不可消除的部分）。立体模型能精准追踪真实深度（相关性为0.96，随机离散度为8毫米）。视图掩码模型的表现也相近（相关性为0.92，随机离散度为11毫米）：它仍能感知深度在各帧间的变化规律，其残余误差主要是系统性的尺度压缩，仅需一个线性项即可消除。尽管纯单目模型是针对单目场景端到端训练的，但在预留数据上却表现不佳：相关性降至0.69，随机离散度增至32毫米，也就是说它退化为仅输出先验均值加噪声的结果。可见视图掩码标记能使深度估计具备泛化能力且方差较低，而专门的单目模型则会过度拟合训练时的特征，这正是ESTHER模型在视角缺失时仍能平缓降级的原因。
#### 5.5. 消融实验
表4表明，立体融合是核心贡献因素，辅助的运动线索和额外引导也起到了支持作用。几何手腕锚定对关节姿态估计也有益处
Figure 8. Held-out wrist depth prediction vs. ground truth for (a) stereo, (b) the view mask model with one view dropped, and (c) a separately trained pure monocular model. (a) and (b) track true depth (correlation 0.96/0.92, random scatter 8/11 mm); (c) collapses (correlation 0.69, random scatter 32 mm).
Table 4. Component ablation on the ESTHER3D test set (MPJPE, mm). $\Delta$ is the change from the full model; negative values indicate improvement.
| Variant | MPJPE $\downarrow$ | $\Delta$ vs full |
| Full ESTHER | 17.7 | - |
| w/o Plucker ray embedding | 27.7 | +10.0 |
| w/o cross-view attention | 26.4 | +8.7 |
| w/o all guidance, masking, augmentation | 20.9 | +3.2 |
| w/o flow token | 20.5 | +2.8 |
| w/o 2D / heatmap guidance | 19.2 | +1.5 |
| w/o image augmentation | 18.5 | +0.8 |
| uniform gate (concatenation) | 18.0 | +0.3 |
| w/o triangulation guidance | 17.8 | +0.1 |
| triangulation-anchored wrist | 15.5 | -2.2 |
因为MPJPE是相对于手腕的指标，这种提升反映了关节配置的影响，而非仅仅源于更精准的绝对手腕定位。
### 6. 结论
我们提出了ESTHER，这是一个用于从自然场景中的中心透视立体图像重建三维手部度量模型的端到端模型；同时我们还推出了ESTHER3D——这一由该模型标注并经动作捕捉验证的基准数据集。ESTHER在精度上达到了业界领先水平，且具备出色的时间连贯性与泛化能力。此外，尺寸与深度之间的绑定效应确保了即使在视图丢失、帧丢弃或单目输入的情况下，其度量尺度仍能保持一致。至于无需检测即可实现的手部、物体和身体联合建模功能，仍有待后续研究。
## 参考文献
[^1]: Prithviraj Banerjee et al. HOT3D: Hand and Object Tracking in 3D from Egocentric Multi-View Videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 1, 2, 6
## [^2]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk
---
Umar Iqbal、Stan Birchfield、Jan Kautz和Dieter Fox。DexYCB：一个用于采集物体抓取动作的基准数据集。载于2021年IEEE/CVF计算机视觉与模式识别会议论文集。2
[^3]: Xingyu Chen, Yufeng Liu, Chi Ma, Jianlong Chang, Huamin Wang, Yi Chen, Xiaoguang Guo, Pengfei Wan, and Wen Zheng. MobRecon: Mobile-Friendly Hand Mesh Reconstruction from Monocular Image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022. 2, 3
[^4]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling Egocentric Vision: The EPICKITCHENS Dataset. In European Conference on Computer Vision, 2018. 2
[^5]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J. Black. HMP: Hand Motion Priors for Pose and Shape Estimation from Video. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2024. 3
[^6]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A Dataset for Dexterous Bimanual HandObject Manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023. 1,2
[^7]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018. 2
[^8]: Kristen Grauman et al. Ego4D: Around the World in 3,000 Hours of Egocentric Video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022. 2
[^9]: Kristen Grauman et al. Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. 2
[^10]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A Method for 3D Annotation of Hand and Object Poses. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. 2, 3
[^11]: Shangchen Han et al. UmeTrack: Unified Multi-View End-to-End Hand Tracking for VR. In SIGGRAPH Asia 2022 Conference Papers, 2022. 2
[^12]: Ryosei Hara, Wataru Ikeda, Masashi Hatano, and Mariko Isogawa. EventEgoHands: Event-based Egocentric 3D Hand Mesh Reconstruction. In IEEE International Conference on Image Processing (ICIP), 2025. 2
[^13]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning Joint Reconstruction of Hands and Manipulated Objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019. 2
[^14]: Yihui He, Rui Yan, Katerina Fragkiadaki, and Shoou-I Yu. Epipolar Transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020. 2, 6
[^15]: Karim Iskakov, Egor Burkov, Victor Lempitsky, and Yury Malkov. Learnable Triangulation of Human Pose. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019. 1, 2
[^16]: Glenn Jocher and Jing Qiu. Ultralytics YOLO11. , 2024. 3
[^17]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. H2O: Two Hands Manipulating Objects for First Person Interaction Recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021. 1, 2
[^18]: Yuncheng Li, Zehao Xue, Yingying Wang, Liuhao Ge, Zhou Ren, and Jonathan Rodriguez. End-to-End 3D Hand Pose Estimation from Stereo Cameras. In British Machine Vision Conference (BMVC), 2019. 2
[^19]: Ziwei Liao, Jialiang Zhu, Chunyu Wang, Han Hu, and Steven L. Waslander. Multiple View Geometry Transformers for 3D Human Pose Estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024. 1, 2, 6
[^20]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh Graphormer. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021. 2
[^21]: Yunze Liu et al. HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022. 1,2
[^22]: Junzhe Lu, Jing Lin, Hongkun Dou, Ailing Zeng, Yue Deng, Xian Liu, Zhongang Cai, Lei Yang, Yulun Zhang, Haoqian Wang, and Ziwei Liu. DPoser-X: Diffusion Model as Robust 3D Whole-body Human Pose Prior. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2025. 2
[^23]: Lingni Ma et al. Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild. In European Conference on Computer Vision (ECCV), 2024. 2
[^24]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. AMASS: Archive of Motion Capture as Surface Shapes. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019. 3
[^25]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image. In European Conference on Computer Vision, 2020. 2
[^26]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image. In European Conference on Computer Vision, 2020. 2
### [^27]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Minh Tran, Cem Keskin, Jamie Shotton, Dima Damen, Greg Mori, and Yoichi Sato. AssemblyHands: Towards Egocentric
---
基于三维手部姿态估计的活动理解。载于2023年IEEE/CVF计算机视觉与模式识别会议论文集。1, 2
[^28]: JoonKyu Park, Youngjoong Oh, Gyeongsik Moon, Hong-suk Choi, and Kyoung Mu Lee. HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022. 2
[^29]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing Hands in 3D with Transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024. 1, 2, 3, 6
[^30]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. WiLoR: End-to-End 3D Hand Localization and Reconstruction in-the-wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2025. 1, 2, 3, 4, 6
[^31]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J. Guibas. HuMoR: 3D Human Motion Model for Robust Pose Estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. 3
[^32]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied Hands: Modeling and Capturing Hands and Bodies Together. ACM Transactions on Graphics, 36(6), 2017. 2
[^33]: Chaitanya Ryali, Yuan-Ting Hu, Daniel Bolya, Chen Wei, Haoqi Fan, Po-Yao Huang, Vaibhav Aggarwal, Arkabandhu Chowdhury, Omid Poursaeed, Judy Hoffman, Jitendra Malik, Yanghao Li, and Christoph Feichtenhofer. Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles. In International Conference on Machine Learning, 2023. 6
[^34]: Kyeongeun Seo, Hyeonjoong Cho, Daewoong Choi, and Taewook Heo. Stereo Feature Learning Based on Attention and Geometry for Absolute Hand Pose Estimation in Egocentric Stereo Views. IEEE Access, 9:116083–116093, 2021. 2
[^35]: Md Salman Shamil, Dibyadip Chatterjee, Fadime Sener, Shugao Ma, and Angela Yao. On the Utility of 3D Hand Poses for Action Recognition. In European Conference on Computer Vision, 2024. 1, 2
[^36]: Oriane Siméoni, Huy V. Vo, Maximilian Seitzer, Federico Baldassarre, Maxime Oquab, Cijo Jose, Vasil Khalidov, Marc Szafraniec, Seungeun Yi, Michaël Ramamonjisoa, Francisco Massa, Daniel Haziza, Luca Wehrstedt, Jianyuan Wang, Timothée Darcet, Théo Moutakanni, Leonel Sentana, Claire Roberts, Andrea Vedaldi, Jamie Tolan, John Brandt, Camille Couprie, Julien Mairal, Hervé Jégou, Patrick Labatut, and Piotr Bojanowski. DINOv3. arXiv preprint arXiv:2508.10104, 2025. 4
[^37]: Hanyue Tu, Chunyu Wang, and Wenjun Zeng. VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Environment. In European Conference on Computer Vision, 2020. 2
[^38]: Luming Wang, Hao Shi, Jiajun Zhai, Kailun Yang, and Kaiwei Wang. EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition with Stereo Event Cameras. arXiv preprint arXiv:2605.12297, 2026. 2
[^39]: Tao Wang, Jianfeng Zhang, Yujun Cai, Shuicheng Yan, and Jiashi Feng. Direct Multi-view Multi-person 3D Pose Estimation. In Advances in Neural Information Processing Systems, 2021. 2
[^40]: Yuxi Wang, Chengkai Jin, Yufei Liu, Wenqi Ouyang, Tianyi Wei, Zhiwei Zeng, Siyuan Huang, Zhiqi Shen, and Xingang Pan. The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction. arXiv preprint arXiv:2606.30308, 2026. 7
[^41]: Yilin Wen, Hao Pan, Lei Yang, Jia Pan, Taku Komura, and Wenping Wang. Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Egocentric RGB Videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023. 1, 2
[^42]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. ViT-Pose: Simple Vision Transformer Baselines for Human Pose Estimation. In Advances in Neural Information Processing Systems (NeurIPS), 2022. 3
[^43]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. OakInk: A Large-Scale Knowledge Repository for Understanding Hand-Object Interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022. 1, 2
[^44]: Lihe Yang, Bingyi Kang, Zilong Huang, Xiaogang Xu, Jiashi Feng, and Hengshuang Zhao. Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024. 6
[^45]: Lihe Yang, Bingyi Kang, Zilong Huang, Zhen Zhao, Xiao-gang Xu, Jiashi Feng, and Hengshuang Zhao. Depth Anything V2. In Advances in Neural Information Processing Systems, 2024. 6
[^46]: Lixin Yang, Licheng Zhong, Pengxiang Zhu, Xinyu Zhan, Junxiao Kong, Jian Xu, and Cewu Lu. Multi-view hand reconstruction with a point-embedded transformer. IEEE Transactions on Pattern Analysis and Machine Intelligence, 47(11):10680–10695, 2025. 1, 2, 6
[^47]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 1,2
[^48]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 1, 2, 6
[^49]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHAND: A Dataset for Markerless Capture of Hand Pose and Shape from Single RGB Images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019. 2, 3
### [^50]: Minqiang Zou, Zhi Lv, Riqiang Jin, Tian Zhan, Mochen Yu, Yao Tang, and Jiajun Liang. 1st Place Solution of Multiview Egocentric Hand Tracking Challenge ECCV2024. arXiv preprint arXiv:2409.19362, 2024. 6
---
### 附录
### A. 教师网络流程详情
教师网络首先会对最初10小时的自然场景视频进行约2000步的优化；经过筛选后的输出结果用于训练首个ESTHER模型。在后续训练中，ESTHER的前向推理会为额外样本提供MANO初始估计值。教师网络会采用相同的优化目标对这些估计值进行200步的精细化处理，随后再应用下文所述的几何约束、重投影约束以及人体过滤机制。经认可的教师网络输出结果会被纳入训练集。最终的部署与测试则使用经过训练的最终版ESTHER模型的前向推理功能。
二维证据由一组检测器（YOLO11-pose和ViTPose）生成，这些检测器会分别在两个校正后的针孔视图上独立运行。每个检测器$d \in \{1,2\}$都会针对21个手部关节j，返回相应的二维坐标$\mathbf{u}_j^d$以及置信度$c_j^d$；对于每个手部框，还会给出检测器得分$s^d$。这些输出结果会依据置信度进行融合，具体方法遵循WiLoR算法。在有效集合$V_j = \{d : c_j^d \geq \tau\}$中（阈值为$\tau=0.3$），融合后的关键点为
$$ \hat{\mathbf{u}}_{j}=\left\{\begin{aligned}{}&{{}\frac{c_{j}^{1}\mathbf{u}_{j}^{1}+c_{j}^{2}\mathbf{u}_{j}^{2}}{c_{j}^{1}+c_{j}^{2}},}&{|V_{j}|=2\operatorname{a n d}\|\mathbf{u}_{j}^{1}-\mathbf{u}_{j}^{2}\|\leq\epsilon w_{b},}\\ {}&{{}\mathbf{u}_{j}^{d^{\star}},}&{\mathrm{o t h e r w i s e},}\\ \end{aligned}\right. $$
其中$d^* = \arg \max_{d \in V_j} c_j^d$（当置信度相近时以框得分$s^d$为准来决定取舍），$w_b$表示手部框的边长，而置信度低于$V_j = \emptyset$的关节则会被舍弃。一致性半径设为$\epsilon = 0.1$（只有当两个检测结果在手部框边长的10%范围内时才会取平均值）；该数值大约相当于工作状态下手部尺度的一个MANO关节间距，且在0.08–0.15范围内变化时，融合结果对其不敏感。简单来说：对于意见一致的两个检测器，会按置信度加权取平均值；对于置信度高的单个检测器，则直接采纳其结果；若存在分歧，则选择置信度更高的估计值，这样既能保留每个检测器可靠的关键点，又能抑制它们单独产生的孤立伪阳性结果。随后，立体过滤阶段会通过两步去除几何上不合理的检测结果：首先，那些三角测量得到的深度值超出0.1–1.0米范围（这是头戴式设备采集时手部与摄像头之间的典型距离）的关节会被剔除；其次，通过手腕与手指关节间的相对距离约束，去除那些重建出的骨骼长度与标准MANO模板偏差超过40%的孤立匹配项。剩下的关键点与粗略的三维锚点便构成了拟合目标的观测集$\mathcal{V}$。
$$ \begin{aligned}\mathcal{L}_{fit}=&\lambda_{2d}\mathcal{L}_{2d}+\lambda_{p}\mathcal{R}_{pose}(\boldsymbol{\theta})\\&+\lambda_{b}\|\boldsymbol{\beta}-\boldsymbol{\beta}_{0}\|_{2}^{2}+\lambda_{t}\|\mathbf{t}-\mathbf{t}_{0}\|_{2}^{2},\end{aligned} $$
其中，$\mathcal{L}_{2d}$ 是投影后的MANO关节与经过滤波处理的双视图关键点之间的一种稳健的重投影损失。三角测量既充当初始化手段，又作为一种软约束：三角测量得到的手腕深度 $\hat{z}_{\text{wrist}}$ 为全局平移量 $\mathbf{t}_0$ 提供初始值，而较小的 $\lambda_t\|\mathbf{t} - \mathbf{t}_0\|_2^2$ 项会将解松散地锚定在该值附近，同时由 $\mathcal{L}_{2d}$ 来驱动拟合过程。权重 $\lambda_t$ 较小，因此这只是重投影过程可以覆盖的软先验，而非硬性的深度约束。对于最初的10小时种子数据集，WiLoR初始化会在校准后的立体帧中融合来自左视图和右视图的MANO估计结果。在后续的标注轮次中，ESTHER预测结果会取代这种初始化方式；优化目标和滤波机制则保持不变。
优化过程分为两个阶段。阶段1（形状锁定）会选出立体检测置信度最高的64帧，在这些帧上基于 $(\beta, \theta, \mathbf{t})$ 对 $\mathcal{L}_{\mathrm{fit}}$ 进行联合优化，再将各帧的形状取平均值，从而得到每只手对应的一个 $\bar{\beta}$。阶段2则在固定 $\bar{\beta}$ 的前提下，逐帧重新优化姿态和手腕位置，随后以16帧为滑动窗口应用运动优化，优化目标如下：
$$ \begin{aligned}\mathcal{L}_{\mathrm{motion}}=&\sum_{t}\Big[\lambda_{2d}\mathcal{L}_{2d,t}+\lambda_{z}\rho\big(t_{z}^{(t)}-\hat{z}_{\mathrm{wrist}}^{(t)}\big)\\&+\lambda_{\omega}\rho\big(\angle\big(\phi_{t+1},\phi_{t}\big)-\omega_{\max}\big)\\&+\lambda_{v}\rho\big(\|\mathbf{t}_{t+1}-\mathbf{t}_{t}\|-v_{\max}\big)\Big]\\&+\lambda_{m}\mathcal{R}_{\mathrm{motion}}\big(\boldsymbol{\theta}_{t:t+15}\big),\end{aligned} $$
其中 $\phi_t$ 表示全局（手腕）方向，也就是姿态 $\boldsymbol{\theta}_t$ 本身的根轴角分量（在MANO参数化中对应最后三个条目）；因此角度惩罚作用于 $\boldsymbol{\theta}_t$ 的一个子向量，而 $\angle(\cdot, \cdot)$ 则是连续方向之间的测地角。与阶段1类似，三角测量得到的手腕深度 $\hat{z}_{\mathrm{wrist}}^{(t)}$ 在每一帧中仅作为深度 $t_z^{(t)}$ 上的同一软锚点（权重 $\lambda_z$ 较小，采用稳健的 $\rho$ 处理）；重投影项可以覆盖它，因此它属于先验而非硬性深度约束。此处与 $\mathcal{L}_{2d}$ 类似，$\rho$ 指的是Huber函数（在阈值 $\delta$ 范围内为二次函数，超出则为线性函数），该函数会对单帧异常值进行降权处理。它既作用于深度锚点的原始残差，也作用于两个速度项超出限制的部分，因此速度惩罚是单向的，仅在超过 $\omega_{\max}$ 和 $v_{\max}$（即30帧率下分别为 $\omega_{\max} \approx 300^\circ/s$ 和 $v_{\max} \approx 1.5$ 米/秒）时才生效；姿态项的权重更大（$\lambda_\omega > \lambda_v$），因为在短短16帧的窗口内，全局平移量t会受到相机运动的干扰，所以对其约束相对宽松。$\mathcal{R}_{\text{motion}}$ 是来自在AMASS数据集上预训练的编码器的16帧运动先验能量，作用于姿态轨迹 $\boldsymbol{\theta}_{t:t+15}$；它能评估手部的姿态和关节活动动态，且与全局平移量无关。平滑权重源自先验的梯度反馈以及帧间差异，因此动态不合理的窗口会受到更强的正则化约束，而真正快速的运动则能被保留下来。
该流程仅在几何条件可靠时才使用立体信息，而对于未被观测到的结构，则由手部模型和先验来进行规整：比如物体遮挡或自遮挡的情况下。
---
理想的标注结果应是一种具有语义关节、MANO形状和全局手腕平移信息的结构化关节状态，而非单纯取决于可见表面的深度值。这种需求尤其适用于以自我为中心的采集场景，因为在此类场景中，手部尺寸、相机距离以及以手腕为中心的运动范围都较为有限。
上述过滤（置信度、深度范围、骨骼长度的合理性）属于粗略的第一阶段：它会在拟合之前对输入的二维证据进行预筛选。经过拟合的序列标签在进入ESTHER3D之前还需通过另外两个阶段的检验。第二阶段是精细的二维检查：它将每个拟合出的手部模型重新投影到两个视图中，并计算残差r——即两个视图中所有置信度高于$\tau$的关节处，拟合结果与融合关键点之间的平均像素距离；像素误差超过$r > 15$的手部帧会被丢弃。第三阶段则由人工审核来排查自动阶段无法发现的残差问题（如手部身份错误、关节运动不合理等）。这种由粗略（骨骼长度/深度）$\rightarrow$、精细（二维重新投影）$\rightarrow$到人工审核构成的过滤机制，正是主论文中所描述的过滤流程。
### B. 损失定义与权重
训练过程按照主论文中的两个阶段进行：首先在其几何约束下对立体图像编码器进行预训练，随后再对整个模型进行联合训练。
第一阶段：图像编码器预训练。图像编码器在几何约束组$\mathcal{L}_{\mathrm{img}} = \lambda_{2d}\mathcal{L}_{2d} + \lambda_{hm}\mathcal{L}_{hm} + \lambda_{tri}\mathcal{L}_{tri}$的指导下单独训练，涉及的参数包括$\lambda_{2d}=0.5$、$\lambda_{hm}=1.0$、$\lambda_{tri}=1.0$。二维损失是针对经图像尺寸归一化后的坐标计算的Huber损失，并根据每个视图中的关节可见性进行掩码处理；若某个视图被屏蔽，则不会提供二维或热图方面的监督信息。热图损失是针对预测网格上的高斯软目标计算的交叉熵损失。三角测量损失是$\mathbf{X}^{tri}$与三维关节度量值之间的L1损失，仅适用于在两个视图中都可见的关节。可见性损失是对有效图像投影计算二元交叉熵；深度损失则是对对数间隔的区间计算交叉熵。
第二阶段：整个模型的联合训练。图像编码器保留第一阶段得到的约束信息，再与运动编码器和融合解码器共同进行端到端的训练。解码器的输出会通过MANO正向运动学层进行映射，$\mathcal{L}_{\mathrm{FK}}$会综合参考框架下关节的L1损失、腕部相对坐标系下关节的L1损失、L1网格顶点损失、姿态的测地旋转损失以及6D一致性项、L1形状损失、L1腕部平移损失，还有各类关节运动先验（PCA姿态先验、关节极限先验及形状正则化项），对应的权重分别为$\lambda_J=1.0$、$\lambda_{Jcan}=1.0$、$\lambda_V=0.5$、$\lambda_\theta=1.0$、$\lambda_{6d}=0.2$、$\lambda_\beta=0.01$、$\lambda_t=2.0$，而各先验项的权重则为0.1/0.05/0.02。在同一阶段，运动编码器会在被掩码的位置接受监督，需重建规范化的三维关节（L1损失，针对每个被掩码的关节）、MANO姿态（L1损失，针对每个被掩码的帧）以及根部速度（基于帧间差异的L1损失），这些损失总和记为$\mathcal{L}_{\mathrm{mot}}$，其权重为$\lambda_{mot}=0.5$；屏幕内相关项$\mathcal{L}_{\mathrm{on}}$是针对帧级标签计算的二元交叉熵，该标签用于指示手部是否在至少一个保留的视图中可见，其权重为$\lambda_{on}=0.5$。
### C. 掩码与数据增强策略
标记掩码比例：单个关节为0.20，整帧为0.10，连续时间片段为0.10（片段长度为3），整个视图为0.05（前三个视图通过运动掩码标记处理，最后一个视图通过视图掩码标记处理）；锚定帧（每T/4帧）则保持完全可见。被掩码的两维观测数据总会同时掩码其对应的射线信息。图像增强方式：每个视图中添加标准差不超过0.08的高斯噪声；以0.5的概率进行随机擦除操作（生成两个分别覆盖画面两侧10%至40%面积的矩形）；以0.12的概率屏蔽整个视图；以0.08的概率屏蔽整帧，这种方式也能生成屏幕内的负样本。
### D. 相机运动流标记
光流标记指的是两帧连续图像之间整个裁剪区域的密集经典光流，它直接作为条件输入被编码。该标记利用快速经典估算器来处理所有裁剪像素，包括手部区域。这种估算器对每一帧进行实时计算，既不需要训练过程，也不需要真实标签。
裁剪区域会跟随手部运动：每一帧的裁剪区域都有其自身的固有参数$\mathbf{K}_t$（其中心和缩放比例会随每帧检测到的手部位置而变化），因此即便相机保持静止，也会因裁剪窗口的移动而产生视觉上的运动效果。利用推理阶段可获取的裁剪固有参数，我们能在测量光流前对其进行补偿：通过单应性变换$\mathbf{H}_t = \mathbf{K}_{t+1} \mathbf{K}_t^{-1}$将前一帧的裁剪区域映射到当前裁剪区域的坐标系中，这样由裁剪区域移动产生的位移就会被抵消，剩余的光流便能反映相机下方的真实场景运动。对这种经过补偿的两帧图像进行密集光流计算后，再通过对$8 \times 8$网格执行中值池化操作来降低分辨率，随后将其归一化到224像素的裁剪边长，同时为每个网格单元标注其图像有效性标志：
$$ \mathbf{f}_{t}=[\operatorname{v e c}(\mathbf{F}_{t}/224),\operatorname{v e c}(\mathbf{M}_{t})]\in\mathbf{R}^{192}, $$
其中$\mathbf{F}_t \in \mathbf{R}^{8\times8\times2}$表示光流网格（共128个数值），$\mathbf{M}_t \in \{0,1\}^{8\times8}$（共64个数值）用于标记帧内的有效单元格，对应$128+64=192$维度的数据；中值池化操作可剔除光流中的异常值。
该标记同时包含了相机自身运动和手部运动信息，无需手动将其分离。该标记会直接输入到运动编码器中，由于属于条件输入，因此不会被纳入随机标记掩码的处理范围。相比之下，图像标记和运动标记在训练期间会被掩码处理；由于无法依赖被掩码的图像信息，编码器被迫将光流中全局性的、覆盖整个场景的成分识别为相机运动，而将残余的、局限于手部的成分归为关节运动。因此，手部运动与相机运动的分离正是从这种始终存在的光流线索中学习得到的，而非将头部或裁剪区域的运动归入手指姿态的计算中。
---
### E. 实现细节
模型维度设为512，配备8个注意力头：包含4个立体Transformer模块、4个时序Transformer模块，以及针对16帧剪辑数据的2层融合解码器。整个模型共有3.545亿个参数，其中冻结的DINOv3-L骨干网络占3.031亿个参数；可训练部分则为5130万个参数（图像编码器模块及注意力头占2190万个参数，运动编码器占1280万个参数，融合解码器占1660万个参数）。解码器查询$Q_p$、$Q_s$和$Q_w$分别对应姿态、形状以及手腕信息。每个查询门控由MLP根据查询状态、各数据源的池化均值以及四项证据统计结果预测得出：即预测的可见性均值与最小值、三角测量得到的水腕部位移大小，以及三角测量的离散程度。DINOv3-L骨干网络保持冻结状态。图像编码器预先训练完成后，整个模型采用AdamW优化器联合训练（学习率为$2 \times 10^{-4}$，采用余弦退火调度策略，前500步为热身阶段，梯度裁剪阈值为1.0，使用bfloat16格式自动混合精度计算，损失项则以fp32格式计算）。对于左手数据，通过镜像立体拍摄装置来处理，预测结果在评估和投影时会进行反向镜像还原。部署阶段，检测器仅用于定位、裁剪以及匹配双目视图中的手部区域；最终的ESTHER模型可直接预测MANO参数，无需额外的教师模型优化步骤。
### F. 相机设置
我们研发的头戴式RGB立体视觉设备由两台同步工作的彩色摄像头组成，它们固定在刚性头带上，基线距离为6.2厘米，每台设备仅需校准一次。该设备属于针孔相机对，单眼焦距为624像素，主点为(924, 606)，对应$1920 \times 1200$。网络会直接接收这些图像。而HOT3D设备则搭载严重畸变的广角鱼眼摄像头：Project Aria和Quest 3均采用Fisheye624模型（FisheyeRadTanThinPrism：包含六个径向系数、两个切向系数以及四个薄棱镜系数），输出黑白图像流（Aria对应$640 \times 480$，Quest 3对应$1280 \times 1024$）。表1列出了每种设置下的摄像头分辨率、焦距和基线距离；完整的内部参数、畸变参数及外部参数均已随基准测试数据一同发布。将这类鱼眼视图校正为针孔图像是一种设计选择，因此我们测试了多种去畸变策略（附录M，表4）；主论文中给出的HOT3D数据采用了平均精度最高的策略，而且无论如何ESTHER对该策略的选择几乎不敏感。
为何要将HOT3D图像校正为针孔图像。HOT3D的鱼眼图像流在输入模型前会被校正为针孔裁剪图像，原因有二。首先，2D手部检测器（YOLO11-pose、ViTPose）是基于透视图像训练的，在弯曲的鱼眼图像上定位效果明显较差；校正操作能恢复直线的几何特征，从而实现可靠的检测与裁剪。其次，针孔裁剪使得Plucker射线令牌的计算变得简单，因为每个像素都能投影为穿过$K^{-1}$的一条单一直线，且该方式与我们RGB设备的参数化方式一致，因此同一网络无需修改即可直接处理HOT3D鱼眼设备的数据。
去畸变及其代价。对于Fisheye624而言
Table 1. Camera setups (camera resolution and focal length; stereo baseline). Fisheye rigs are rectified to pinhole before use.
| Setup | Resolution | Focal (px) | Baseline (mm) | Modality |
| Collection rig (ours) | $1920 \times 1200$ | 623 | 62 | RGB |
| Test rig (mocap) | $1920 \times 1200$ | 623 | 62 | RGB |
| HOT3D Project Aria | 640 $\times$ 480 | 241 | 138 | monochrome |
| HOT3D Quest 3 | $1280 \times 1024$ | 504 | 64 | monochrome |
针对HOT3D摄像头，我们利用已发布的模型对每个像素进行反投影，再将其重新投影到针孔相机上，从而将鱼眼→去畸变→裁剪→缩放这一系列过程整合为一个裁剪用内部参数矩阵K。将广角鱼眼图像校正为针孔平面并非没有代价：边缘区域会被放大，导致边缘像素被上采样并损失有效分辨率；整个视场无法映射到有限的针孔图像中，因此只能保留中央视场，靠近边缘的手部可能会被裁剪掉；此外随着入射角的增大，畸变模型会产生越来越大的残差投影误差。再加上灰度模式与不同的焦距，这些因素共同构成了域差异，而小型HOT3D微调模型（见主论文）正是为了消除这种差异。
### G. ESTHER3D训练集：野外场景数据源
ESTHER3D的训练集来源于野外场景数据，包含约194小时的 Egocentric 立体视频，涵盖六个行业类别、44种场景类别以及308个真实场所，由121名采集者完成了约800种不同的操作任务（详见主论文）。下文按出现频率排序列出了各行业的场景类别及代表性操作任务；图1展示了这些野外场景的示例。
零售业（44.0小时；11种场景类别，44个场所）。其中便利店占比最多，其次是百货商店、超市、服装店、日用品店、餐饮零售店、皮革时装店、五金工具店以及玩具店。代表性任务包括：商品上架与陈列、袋装及盒装零食摆放、线缆及配件产品悬挂、手镯与饰品整理、货架整理、衣物折叠与摆放，以及店铺清洁。
家居场景（40.0小时；8个场景类别，71个场所）。包括多层农村住宅、顶层公寓以及从单卧室到双拼别墅等各种布局的公寓。典型任务包括：清洁地面、整理床铺、收纳衣物和衣柜物品、整理厨房、卧室和客厅、摆放桌面物品和沙发靠垫、洗碗、擦拭表面以及烹饪。
餐饮场景（32.0小时；8个场景类别，57个场所）。涵盖城市、乡村和路边环境中的快餐店，以及茶馆、咖啡馆和饮品店，还有堂食餐厅、烧烤店和美食摊位。典型任务包括：摆放桌椅、清洁柜台和桌面、扫地和拖地、布置餐具、清理碗碟、清洗厨房容器以及分类蔬菜。
---
Figure 1. ESTHER on in-the-wild ESTHER3D scenes across six industries. Each block shows five timesteps of one scene (columns, spaced 0.2 s apart); per timestep ESTHER's MANO meshes are projected into both stereo eyes side by side (L for left and R for right, right hands in pink, left in blue) with the same metric meshes shown in 3D below.
厨房收纳盒，以及蔬菜分类。
生活服务场景（30.0小时；6个场景类别，44个场所）。包括汽车修理店、提供日常服务的店铺、美容院，以及电子产品、手机和摩托车修理店。典型任务包括：拆卸和安装汽车大灯部件、底盘维修、手机维修、贴屏幕保护膜、清洁设备和柜台、整理工具、洗头和洗毛巾。
工厂场景（26.0小时；5个场景类别，42个场所）。包括印刷和书籍印刷车间、工具和门类的金属加工车间，以及木制家具车间。典型任务包括：操作主工作站、切割板材、打磨抛光、维修机械和压力机、定位冲压、搬运材料以及包装型材。
办公场景（22.0小时；6个场景类别，50个场所）。包括企业办公楼和政府服务中心。典型任务包括：整理办公桌、摆放书架上的物品、整理接待处的茶几和茶具、清洁办公区域以及清理地面垃圾。
### H. ESTHER3D测试集：动作捕捉工作室
ESTHER3D测试集是在动作捕捉工作室中，使用同一套头戴式立体摄像设备（通过Kalibr校准，基线长度为6.2厘米）采集的，该设备与Vicon系统同步，可得到精确的度量级真实数据（MANO模型根据手套数据或BVH手部骨骼以及原始标记轨迹还原得出）。
---
该测试集总计约10小时时长，由6名受试者完成50项预设的操作任务，这些任务分布在六个经过仪器测量的场景区域内，分别对应六个训练行业：零售货架区（12项任务）、用于行走/巡检的生活服务走廊（10项）、家居清洁区（8项）、工厂工作台区（7项）、办公室接待区（7项）以及餐饮区（6项）。每个区域都采用了有纹理的背景，以确保机载视觉里程计能够稳定工作，且所有方法均采用零样本方式进行评估。
为了全面覆盖操作任务，该测试协议围绕14种基础手部动作的分类体系展开，50项任务的设计确保了每种动作都能得到练习。每种动作对应具体的操作内容：擦拭（清洁表面和设备）、抓取（捡起商品和工具）、放置（对齐并放下物品）、扭转（拧螺丝和瓶盖）、折叠/铺开（叠衣服、整理床铺）、收集（清理和收纳）、上架（补货、归还书籍）、按压（按下按钮和开关）、搬运（双手抬举）、翻转（翻转物体和页面）、指示（引导或接待手势）、双手协同（不对称双手组装和包装）、捏取（捡起小零件和螺丝）以及交接（将物体递给其他人）。主论文中的表1列出了各方法在该测试集上的准确率。图2展示了用于评估的动作捕捉真实数据：根据手套数据还原出的MANO手部骨骼被投影到头戴式摄像头中，涵盖六个测试序列，每个序列包含七个时间步。
### I. 教师模型流程验证
我们在附录H中的10小时动作捕捉测试集上对教师模型流程进行验证，验证过程中模型无法访问真实值。
将真实值映射到相机坐标系下。预测结果直接在相机帧中与真实值进行对比，无需对单个片段进行对齐。相机在动作捕捉世界中的位姿具有六个自由度，该位姿来自设备上带有四个标记点的刚体，结合设备到相机的标定外参得到；真实手部数据则通过从腕部标记点求解出的固定相似变换映射到相机中（残差仅为10.4毫米，大致相当于关节与标记点之间的偏移量）。链条中的每个环节都经过独立验证：正向运动学的骨骼长度、通过随机置换测试验证的关节对应关系，以及通过两种独立程序求解的时间同步性：直接的标记点/检测对齐和姿态扫描，两者结果相差不超过10毫秒。评估覆盖了10小时动作捕捉测试视频中的双手数据。
该数据集上教师模型的精度（以及不同方法的对比结果）已在主论文中报告；此处我们仅给出上述测量流程以及图2中的额外真实值示例。
Table 2. Bootstrap statistics on the full 10-hour ESTHER3D test set (2000 resamples): mean ± std where available. Errors in mm, jitter in m/s². ESTHER's MPJPE is the updated point estimate only; its jitter 95% interval does not overlap any baseline's.
| Method | MPJPE $\downarrow$ | PA-MPJPE $\downarrow$ | Wrist $\downarrow$ | Jitter $\downarrow$ |
| Hiera-FTL | 43.4 $\pm$ 1.2 | 10.0 $\pm$ 0.2 | 277 $\pm$ 5 | 79.5 $\pm$ 3.6 |
| Epipolar Trans. | 19.0 $\pm$ 0.5 | 9.0 $\pm$ 0.1 | 20.9 $\pm$ 0.5 | 13.3 $\pm$ 0.4 |
| MVGFormer | 19.2 $\pm$ 0.6 | 8.9 $\pm$ 0.1 | 21.0 $\pm$ 0.4 | 8.7 $\pm$ 0.3 |
| POEM-v2 | 19.4 $\pm$ 0.6 | 8.9 $\pm$ 0.1 | 22.5 $\pm$ 0.4 | 8.5 $\pm$ 0.3 |
| ESTHER (ours) | 17.7 | 8.6 $\pm$ 0.1 | 21.3 $\pm$ 0.5 | 3.3 $\pm$ 0.1 |
### J. 统计严谨性：自助法置信区间
主论文表1中的架构共享固定的图像特征、训练数据、正向运动学损失函数以及预算限制。为了评估采样变异性，我们使用2000次重采样，从完整的10小时ESTHER3D动作捕捉测试集中抽取片段得分进行计算（见表2）。ESTHER更新后的MPJPE点估计值为17.7毫米；其对应的自助法不确定性在此不予报告。就抖动指标而言，ESTHER的95%置信区间为[3.10, 3.52]，低于最佳基线的[7.98, 9.17]。这些区间量化的是固定检查点下的采样变异性，而非不同训练种子间的差异。手腕误差为21.3毫米，与最佳多视角方法的效果相当。主论文表2和表3中的扰动扫描均使用同一模型进行。
### K. 对故障模式的鲁棒性
除了主论文中提到的视角缺失和帧丢失问题外，我们还对ESTHER施加了七种光照和时间相关的干扰，应用于ESTHER3D测试帧上，这些干扰涵盖了主要的第一人称视角故障模式：曝光过度、曝光不足、非线性伽马校正（光照问题）、运动模糊、传感器噪声、色调偏移（肤色/颜色问题）以及饱和度降低（见表3、图3）。戴手套的情况本身就是测试条件之一（见附录H）：ESTHER是在裸手的自然场景数据上训练的，但此处所有数值都是在戴手套的动作捕捉受试者身上测得的，因此从裸手到戴手套的变化已被纳入考量。
在这七种干扰条件下，各项指标几乎无变化：MPJPE与纯净状态下的17.7毫米相比偏差不超过0.5毫米（在传感器噪声下最差为18.2毫米），PA-MPJPE偏差不超过0.2毫米，手腕误差与纯净状态下的21.3毫米相比偏差约2毫米，抖动偏差约为0.4米/秒 $^{2}$。训练时采用的冻结DINOv3特征和强图像增强处理使编码器对外观具有高度不变性，而时间运动编码器能像处理帧丢失问题一样应对模糊现象。尤其是肤色（色调）和光照变化，对MPJPE的影响微乎其微，仍保持在17.7毫米，与纯净输入时的结果一致。
### L. 屏幕门控与抖动协议
姿态指标说明：MPJPE衡量的是相对于手腕的关节误差；PA-MPJPE还会额外应用普罗克鲁斯特斯对齐；MPJPE-absolute表示未经手腕对齐的关节误差。
---
Figure 2. Motion capture ground truth of the ESTHER3D test set. Six sequences (Seq 1–6), shown in two rows for the left eye (L, cam0) and right eye (R, cam1), across seven timesteps (columns, labeled by time). The ground truth hands (MANO fitted to the motion capture hand joints) are projected into each view; they are the true metric supervision against which all methods are evaluated zero-shot.
---
Figure 3. ESTHER under input corruptions on an ESTHER3D motion capture clip: MANO meshes projected on the degraded left view (top) and shown in 3D (bottom), for the clean input (a) and seven corruptions (b–h) spanning lighting, blur, noise, and color shifts. The mesh stays stable throughout.
Table 3. ESTHER under input corruption on the ESTHER3D test set. Errors in mm, jitter in m/s $^2$; MPJPE under corrupted input is within 0.5 mm of the clean condition.
| Corruption | MPJPE | PA-MPJPE | Wrist | Jitter |
| clean | 17.7 | 8.60 | 21.3 | 3.31 |
| overexposure $\times 1.6$ | 17.6 | 8.66 | 20.1 | 3.71 |
| low light $\times 0.5$ | 17.7 | 8.57 | 21.5 | 3.34 |
| gamma 2.2 | 17.7 | 8.49 | 21.9 | 3.33 |
| motion blur $k=15$ | 18.0 | 8.66 | 19.5 | 3.24 |
| sensor noise $\sigma=25$ | 18.2 | 8.68 | 21.6 | 3.73 |
| hue shift $+25$, skin tone | 17.7 | 8.60 | 21.9 | 3.37 |
| desaturate $\times 0.4$ | 17.8 | 8.64 | 22.1 | 3.39 |
主论文中的消融实验采用ES-THER3D测试集上的MPJPE指标，完整ESTHER模型的误差为17.7毫米。
Jitter 定义。Jitter 是关节位置的二阶时间差均值， $\|\mathbf{S}_{t-1}-2\mathbf{S}_t+\mathbf{S}_{t+1}\|$ 在 21 个关节上取平均，并按 $fps^2$ (fps = 30) 缩放，仅对三个帧全部在画面内的三元组计算。不会在离屏帧或开/关边界处形成加速度，因此被门控关闭的手不会对 Jitter 产生任何贡献。
屏幕内遮挡与屏幕外帧。当一只手的至少21个关节在双眼图像中至少有一半投影在画面内时，该手被视为处于屏幕内（真实情况）；ESTHER会预测手部的可见概率，我们将阈值设为0.5。姿势、手腕位置和抖动的评分仅在手部可见的帧上进行。没有可见手部的帧不存在有效目标，因此遮挡情况决定了哪些帧能参与各项指标的统计。
遮挡准确性及其对抖动的影响。在完整的10小时动作捕捉测试集上，遮挡判定完全准确：精确度、召回率和$F_1$在所有评估的帧上均为1.00（无假阳性或假阴性），因此无论基于真实遮挡还是预测遮挡，所有帧上的抖动值均为$3.31 \, m/s^2$；所报告的数值并不依赖于此处采用的遮挡协议。为了探究遮挡误差的影响，我们进行了压力测试：让手部位于视野之外，并清空每个视频片段的中间四帧。遮挡算法会将其标记为屏幕外（召回率1.00）；基于预测结果计算的抖动值仍为$3.35 \, m/s^2$，而未经过遮挡处理的抖动值则升至4.61，因为屏幕开/关/开的切换会产生虚假的加速度峰值。因此，若遗漏了屏幕外帧（即假阴性），就会通过此类边界峰值抬高抖动值；正是遮挡机制保证了指标的准确性。
### M. HOT3D算法对去畸变策略的鲁棒性
由于HOT3D相机采用广角鱼眼镜头624（附录F），输入网络的矫正后针孔裁剪图像是一种设计选择，自然会有人关心结果对此的依赖程度。我们在保留的HOT3D数据集上，针对四种去畸变策略重新运行每种方法：虚拟焦距为120像素的轴对齐广角针孔去畸变（offbb120，我们的默认设置）、相同流程下焦距为90像素（窄视角）和150像素（宽视角）的情况，以及具有最小黑边、焦距自适应的射线对齐手部裁剪方式（hc）。这并非直接的精度对比：ESTHER是在offbb120去畸变设置下训练的，而多视图基线方法使用的是其发布的权重，直接排名并不公平。表4实际衡量的是每种方法的稳定性：即仅改变去畸变方式、其他条件不变时，其数值的变化程度。
ESTHER对去畸变方式基本不敏感。在三种offbb焦距下，其MPJPE保持在32.3–32.5毫米之间，抖动值在16.3–16.8 m/s $^2$范围内，包括训练时从未见过的90像素和150像素设置。相比之下，多视图基线方法的变化则十分显著：仅改变焦距，POEM的手腕误差就从656毫米变为450毫米，再变为928毫米；而仅基于锚点的方法在采用直接裁剪手部的hc策略时才能恢复性能。这是因为ESTHER直接预测绝对手腕位置：其解码出的手腕坐标并不依赖于随去畸变而变化的三角测量锚点，因此重建结果在去畸变流程下保持稳定，而非仅适配某一种去畸变方式。
### N. 标签质量分析
动作捕捉测试集是在工作室环境中，将标注结果与真实的度量基准进行对比；此处我们报告的是野外场景下标签的二维一致性及几何敏感性分析结果。
---
Table 4. HOT3D robustness to undistortion strategy on a held-out split. Each cell: MPJPE / wrist (mm) / jitter (m/s²). The comparison measures stability across strategies: ESTHER barely moves (including on the 90/150 px focals it was not trained on) while the multiview baselines swing widely.
| Method | offbb120 | offbb90 | offbb150 | hc |
| ESTHER (ours) | 32.4 / 20.8 / 16.3 | 32.5 / 22.8 / 16.6 | 32.3 / 23.6 / 16.8 | 28.9 / 48.0 / 15.6 |
| POEM-v2 | 101.3 / 656 / 635 | 100.9 / 450 / 395 | 103.6 / 928 / 1044 | 46.3 / 65.7 / 48 |
| MVGFormer | 95.9 / 429 / 449 | 95.9 / 291 / 265 | 97.6 / 633 / 767 | 43.1 / 69.9 / 52 |
| Epipolar Trans. | 69.4 / 414 / 318 | 70.6 / 303 / 191 | 69.9 / 571 / 541 | 43.2 / 66.9 / 66 |
| Hiera-FTL | 80.9 / 401 / 105 | 78.7 / 390 / 100 | 82.8 / 435 / 118 | 78.1 / 377 / 91 |
残差。对于每一个标记了关键点的手部帧，我们通过已校准的装置将其中的21个关节点投影到两个校正后的针孔相机视图中，然后将其与附录A中融合后的2D关键点（在同一视图上由YOLO11-pose和ViTPose检测得到）进行比较；残差r即为所有关节点在两个视图中的平均像素距离，且这些关节点的置信度需超过$\tau=0.3$。这正是精细2D校验（附录A）所衡量的数值，该校验会剔除残差超过$r > 15$像素的手部帧。相关统计数据涵盖了ESTHER3D的野外训练集（附录G）。
从2D残差到3D误差。当手部深度为z时，r像素的残差对应着平行于图像平面的位移量$rz/f$，这也是2D数据直接反映出的3D误差分量。沿视线方向的分量仅能通过两个视图间的视差来约束：视差误差$\delta d$会使三角测量得到的深度产生$\delta z = z^2\delta d/(fb)$的偏移。两个视图中的误差相互独立，即$\delta d \approx \sqrt{2}r$；若两个视图的误差方向相反，则会出现$\delta d \leq 2r$的情况。表5记录了这些数值在手部帧中的分布情况。
Table 5. In-the-wild label quality from 2D (hand frames passing the 15 px check). Depth z is the label wrist depth.
| Quantity | Median | Mean | p90 |
| Reprojection residual r (px) | 5.3 | 5.8 | 8.6 |
| Hand depth z (m) | 0.32 | 0.33 | 0.46 |
| In-plane discrepancy $r_z/f$ (mm) | 2.8 | 3.0 | 4.6 |
| Depth per pixel of disparity $z^2/(fb)$ (mm) | 2.8 | 3.2 | 5.6 |
| Depth sensitivity, independent views (mm) | 21.3 | 25.1 | 44.2 |
| Depth sensitivity, opposing view errors (mm) | 30.1 | 35.5 | 62.5 |
94.6%的手部帧通过了15像素的校验，其中94.6%的残差低于10像素。
解读。约3毫米的平面内差异以及21毫米的深度敏感度，反映了在既定假设下的投影一致性与误差传播情况。它们并不能限定真实的3D标签误差，因为用于拟合的检测器可能与标签本身存在共同误差。21毫米这一数值是基于视图误差相互独立的前提得出的；若视图误差方向相反，如表5所示，中位数会达到30.1毫米。指标的准确性是通过与动作捕捉数据对比来确定的：如主论文中所报道，教师模型的MPJPE为15.9毫米，腕部误差为19.1毫米。
### O. 伦理声明
两项数据集的参与者均在录制前签署了知情同意书，并获得了相应报酬。知情同意范围涵盖模型训练、评估以及作为非商业研究用匿名基准数据的发布。录制内容包含手部及被操作的物体/工作区，不包含可识别个人身份的面部图像。