# StableHand：面向第一人称视频的世界空间双手运动估计的质量感知流匹配方法
曾华健 $^{1}$ 姚超华 $^{2}$ 张远泰 $^{1}$ 杨佳琪 $^{1}$
罗兰多斯·亚历山德罗斯·波塔米亚斯 $^{3}$ 左星星 $^{1,*}$
$^{1}$穆罕默德·本·扎耶德人工智能大学
$^{2}$伊利诺伊大学厄巴纳-香槟分校
$^{3}$伦敦帝国理工学院
Figure 1: StableHand recovers world space dual-hand motion from egocentric video. We introduce StableHand, a quality-aware flow-matching framework driven by a per-component (wrist and fingers), per-hand quality signal $\mathbf{q} \in [0, 1]^{4}$ (middle). Given egocentric inputs with missing or occluded hands (left), StableHand anchors reliable hand observations from a hand pose estimator and regenerates unreliable ones from a learned bimanual motion prior, yielding consistent world space dual-hand trajectories (right).
## 摘要
从第一人称视频中恢复两只交互手在世界空间的4D运动，是指导机器人策略学习的一项基础能力——其中手腕轨迹用于追踪末端执行器位置，手指关节信息则用于确定抓取姿态。该任务面临两大核心挑战：由于头部运动，手部会频繁长时间离开摄像头视野；而持续的手部与物体交互会导致一只或两只手严重被遮挡。现有方法统一基于有噪声的手部运动观测数据进行建模，并未考虑这些观测数据在每一帧的可靠性差异，从而导致性能大幅下降。我们的核心发现是：精准的世界空间手部运动估计与每一帧手部观测的质量密切相关。为此，我们将从现成的手部姿态估计器中提取的手部运动观测质量分解为四个通道：两只手的手腕全局平移信息和手指关节信息。我们
---
提出了StableHand——一种基于这四类质量信号的条件化质量感知流匹配框架，这些质量信号由训练好的质量网络预测得出。我们通过逐通道前向调度、质量调整后的速度目标、DiT去噪器的AdaLN调制以及质量感知的常微分方程初始化方式，将质量信号自然融入流匹配过程。这一统一的生成流程既能保留高质量的观测数据，又能利用学习得到的双手运动先验来重构不可靠的观测结果。我们在HOT3D和ARCTIC这两个包含长时间手部缺失区间及持续手部-物体遮挡现象的第一人称基准数据集上开展的实验表明：StableHand在所有报告指标上均取得了最先进的性能，与最强的基线方法相比，W-MPJPE指标降低了20%~25%，在遮挡严重的ARCTIC序列上效果提升最为显著。
## 1 引言
基于大规模第一人称视频的机器人策略学习已拓展到灵巧操作与双手操作[^16] [^52]、移动操作[^54]以及视觉-语言-动作预训练[^46] [^12]领域，而两只交互手的世界空间4D运动作为关键监督信号在其中发挥着重要作用[^17] [^14] [^10]。在机器人端，手腕轨迹用于驱动末端执行器，而手指关节信息则决定了灵巧交互所需的接触与握持姿态。第一人称拍摄场景给这类信号的恢复带来了巨大挑战：头部与手部的耦合运动常常导致一只或两只手长时间超出摄像头视野范围；而灵巧双手操作过程中持续的手部-物体交互会产生不对称遮挡，进而降低手部观测的质量。
为了在世界空间中恢复准确的双手运动，基于SLAM的算法流程[^31] [^34] [^44] [^35]会直接通过单目SLAM[^43]将每帧相机坐标系下的手部姿态转换到世界坐标系，且无需进一步细化。但由于缺乏时间上的先验信息，在手部长时间缺失的情况下，这类算法会出现严重的漂移现象。现有的原生世界空间方法[^51] [^49] [^42]会学习序列级别的运动先验，从而同时建模手部和相机的运动关系，但这些方法统一以视觉特征为条件，忽略了手腕的整体漂移幅度比手指关节误差大数倍这一事实，也忽略了双手遮挡会对两只手产生不对称影响的问题。
在这项工作中，我们提出了StableHand（见图1），这是一个具备质量感知能力的流匹配框架，能够从第一人称视频中合成两个交互手部的世界空间4D运动。该框架以四通道质量信号为条件，这些信号是在推理阶段由经过训练的质量网络根据现成手部姿态估计器提取的手部观测结果预测得出的。我们的核心洞见是：观测质量的不均匀性应当作为生成过程的显式条件信号——如此一来，单个生成过程就能以观测结果为基准确定高质量通道，同时根据先验再生低质量通道。
要实现这一洞见，需要解决三个核心挑战：(i) 不均匀质量的分解。若仅用单个标量来表示每只手的质量，就会将手腕整体漂移与手指关节误差平均化，还会忽略双手遮挡的不对称性，因此我们设计了按手部和组件索引的四通道信号。(ii) 逐通道的流匹配路径。截断的逆过程[^26] [^25]以及学习得到的多变量噪声调度[^38]无法在再生低质量通道的同时固定高质量通道，这促使我们采用逐通道前向调度：该调度会使被冻结的通道上的速度目标值为零，同时采用与训练阶段前向过程一致的质量感知初始化方式。(iii) 推理阶段的质量信号预测。由于质量信号在训练时是基于真实关节数据生成的，部署时无法获取，因此我们先在第一人称双手手部姿态数据集上预训练质量网络，以便从观测到的手部参数、手部置信度标志以及相机姿态中预测出该信号。
总之，我们的贡献如下：
- 我们将第一人称世界空间双手运动恢复问题定义为逐组件、质量感知的生成任务，明确了观测质量的双轴（组件、手部）不均匀性是现有结构先验流程中隐含的信息。
- 我们设计了一种具备质量感知能力的流匹配路径，它由同一四值质量信号驱动的四种耦合机制组成：逐通道前向调度、质量调整后的
---
速度目标、扩散Transformer（DiT）的AdaLN调制，以及质量感知的常微分方程初始化。
- 我们提出了一种经过校准的四通道质量信号，它采用适配数据集的径向基带宽，在推理阶段可由学习得到的质量网络根据第一人称视觉流预测得出。
- 在HOT3D和ARCTIC这两个针对手部长时间缺失及持续手物遮挡场景的第一人称基准测试中，StableHand在所有报告的指标上均实现了世界空间双手运动估计的顶尖性能：与最强的基线模型相比，W-MPJPE降低了20%–25%，在遮挡最严重的片段上优势最为明显。
## 2 相关工作
以自我为中心的手部恢复。MANO模型[^37]提出了一种低维参数化手部模型，该模型促成了单图像手部回归器[^3]的诞生，并为直接顶点预测[^19]、[^20]提供了灵感。近期基于Transformer的流程，如HaMeR[^31]和WiLoR[^34]，利用ViT骨干网络在互联网规模数据上扩展了这一范式；其中还有针对特定场景优化的变体，比如面向以自我为中心视角[^35]、可微全局定位[^44]、遮挡鲁棒性[^30]、[^8]或手物交互[^22]、[^4]的版本。世界空间手部恢复技术通过结合SLAM[^43]或多阶段优化与学习到的手部运动估计器[^51]、[^49]、[^42]、[^5]、[^7]、[^48]，进一步拓展了这一研究方向；但现有方法均未将各组件的观测质量作为预测过程的显式条件信号。我们的工作填补了这一空白：通过校准后的各组件质量信号，将手腕的全局漂移与手指关节误差分离，同时处理非对称遮挡下的双手恢复问题。
基于质量条件的扩散模型。扩散模型[^11]和条件流匹配技术[^21]常被实现为DiT[^32]，并应用于图像和运动领域[^29]、[^50]，能够支持多种辅助条件信号。在考虑可见性的生成任务中，SDEdit[^26]和RePaint[^25]会根据二值化的可见性判定来截断或交错反向扩散过程，而MuLAN[^38]则无需逐通道的质量信号，就能端到端地学习多变量输入条件调度策略。但这些研究均未将条件信号按解剖学组件或手部进行拆分。我们的框架则自然地将各组件的质量信号嵌入到流匹配生成过程中。
## 3 方法论
给定一段包含两只可能相互交互的手部、且由移动的第一人称摄像头拍摄的、共T帧的以自我为中心的视频$\mathbf{V} = \{\mathbf{I}_t\}_{t=1}^T$，我们的目标是恢复出两只手在世界空间中的4D运动轨迹。如图2所示，我们的框架由两个学习模块组成：质量网络（第3.2节）从以自我为中心的视觉流中估算出各组件（两只手的手腕和手指）的质量信号；而质量感知生成模型（第3.3节）则根据该信号合成世界空间中的双手轨迹。与以往要么依赖逐帧姿态估计器[^51]、要么将手部姿态观测的各通道视为等同的处理方式[^5]的以自我为中心手部恢复方法不同，我们的设计将生成过程建立在各组件的质量信号之上：利用手部姿态观测中质量较高的组件来锚定轨迹，而质量较低的组件则通过学习到的运动先验重新生成。这两个模块按顺序训练：质量网络先在多数据集的手部姿态语料库上预训练并冻结，之后生成模型便以冻结后的质量网络所预测的质量信号$\hat{\mathbf{q}}$作为条件进行训练。
设置与符号说明。我们将时间t时手部$h \in \{L, R\}$的每帧状态表示为$\mathbf{x}_t^h = (\mathbf{p}_t^h, \mathbf{r}_t^h, \boldsymbol{\theta}_t^h) \in \mathbb{R}^{54}$，其中$\mathbf{p}_t^h \in \mathbb{R}^3$为世界坐标系下的根部平移量，$\mathbf{r}_t^h \in \mathbb{R}^6$为连续的6D手腕旋转量[^53]，而$\boldsymbol{\theta}_t^h \in \mathbb{R}^{45}$则为MANO[^37]手指轴角姿态，由此得到双手运动$\mathbf{x} \in \mathbb{R}^{T \times 108}$。一个固定的手部姿态估计器$\mathcal{M}$ [^34]会从每一帧中提取出每手对应的相机帧MANO观测值$\mathbf{y}_t^h \in \mathbb{R}^{54}$以及视觉特征$\mathbf{f}_t^h \in \mathbb{R}^{1280}$；同时，一个固定的几何模型$\mathcal{G}$ [^18]会根据完整视频生成每帧的相机姿态$\mathbf{g}_t \in \mathbb{R}^9$（6D旋转与3D平移）以及场景几何标记$\mathbf{s}_t \in \mathbb{R}^{3072}$。相机姿态会将每个观测值刚性变换到世界坐标系中，从而生成$\bar{\mathbf{y}} \in \mathbb{R}^{T \times 108}$，该姿态还会被生成模型用作交叉注意力条件。在整个过程中，$t \in \{1, \ldots, T\}$用于索引输入视频中的某一帧，而$\tau \in [0, 1]$则用于索引流匹配常微分方程的时刻，$\tau=1$为干净的目标手部运动，$\tau=0$为噪声先验。
---
Figure 2: StableHand pipeline. From an egocentric video, frozen off-the-shelf modules [^34] [^18] produce per-hand MANO observations together with camera and scene context. Our two learned modules are a quality network that predicts a per-component error $\hat{e}$ (wrist and fingers of each hand) converted to a quality signal $\hat{\mathbf{q}} \in [0, 1]^{T \times 4}$ via the Error-to-Quality Conversion block (Eq. 3), and a quality-aware flow-matching model that synthesizes the world space dual-hand motion $\mathbf{x} \in \mathbb{R}^{T \times 108}$. The broadcast signal $\hat{\mathbf{q}} \in [0, 1]^{T \times 108}$ drives four coupled mechanisms (bottom-right): a per-channel noise schedule, a quality-adjusted velocity target that freezes high-quality channels while regenerating low-quality ones, AdaLN modulation inside the DiT, and a quality-aware initialization at $\tau = 0$.
### 3.1 自适应质量信号
我们为每一帧关联一个逐组件的质量信号$\mathbf{q}_t = [q_W^L, q_F^L, q_W^R, q_F^R]^\top \in [0, 1]^4$，用于评估每只手的手腕和手指质量；由于它们的误差尺度相互独立，因此将两者作为独立的通道处理：手腕误差主要由数十毫米级别的全局平移漂移导致，而手指误差则处于MANO关节运动的毫米级别。设$\tilde{\mathbf{j}}_k^h, \tilde{\mathbf{j}}_k^L \in \mathbb{R}^3$表示手部h的观测到的和真实的3D关节位置（$k = 0$为手腕，$k = 1, \ldots, 15$为手指），$\tilde{\mathbf{R}}^h, \tilde{\mathbf{R}}^L \in SO(3)$为从6D表示中还原出的对应手腕旋转矩阵$\mathbf{r}_t^h$。手腕通道会累加手腕平移误差以及按标准MANO手掌半径$r_0 = 85$毫米缩放后的手腕旋转误差。手指通道则使用真实手腕坐标系下的MPJPE[^13]，通过对齐旋转$\mathbf{R}^h(\tilde{\mathbf{R}}^h)^\top$将手指关节运动与手腕方向误差分离开来：
$$ \begin{array}{c}{e_{W}^{h}=\|\bar{\mathbf{j}}_{0}^{h}-\mathbf{j}_{0}^{h}\|_{2}+r_{0}\operatorname{a r c c o s}\left[\frac{1}{2}\left(\operatorname{t r}(\bar{\mathbf{R}}^{h\top}\mathbf{R}^{h})-1\right)\right],\quad q_{W}^{h}=\operatorname{e x p}(-e_{W}^{h}/\sigma_{W}),}\end{array} $$
$$ e_{F}^{h}=\frac{1}{15}\sum_{k=1}^{15}\|\mathbf{R}^{h}(\bar{\mathbf{R}}^{h})^{\top}(\bar{\mathbf{j}}_{k}^{h}-\bar{\mathbf{j}}_{0}^{h})-(\mathbf{j}_{k}^{h}-\mathbf{j}_{0}^{h})\|_{2},\quad q_{F}^{h}=\exp(-e_{F}^{h}/\sigma_{F}). $$
每个条目都遵循针对特定组件的关节误差定义的RBF核[^39] $q=\exp(-e/\sigma)$。我们会针对每个数据集校准RBF带宽，使得误差最大的20%的帧（即质量最差的帧）落入低质量区域$q<0.1$。等价地，选择$\sigma$以满足第80百分位误差处的$\exp(-e/\sigma)=0.1$条件，
$$ \sigma_{\star}=p_{80}(e_{\star})/\operatorname{l n}10,\quad\hat{\sigma}_{\star}=p_{80}(\hat{e}_{\star})/\operatorname{l n}10,\qquad\star\in\{W,F\}, $$
其中$\hat{\sigma}$是在部署阶段根据质量网络在本地数据校准子集上的预测结果$\hat{\mathbf{e}}$来确定的。没有有效检测或标注的帧会被赋予$q=0$。扰动池以及20%目标灵敏度相关内容详见补充材料。
### 3.2 质量网络
公式1–2所定义的真实质量q需要依赖推理阶段无法获取的关节标注，因此有必要采用学习得到的预测器。在质量网络中，我们直接预测逐组件的误差$\hat{e}$（单位：毫米），而非
---
质量$\hat{q}$，因为误差存在于所有数据集共有的物理尺度上，而$\hat{q}$则取决于数据集特定的带宽$\sigma$。因此，可以跨$(\bar{\mathbf{y}}, \delta, \mathbf{g}) \to \hat{\mathbf{e}}$数值相差超过一个数量级的数据集学习单一的$\sigma$映射关系。在部署阶段，质量信号会通过误差到质量的转换模块恢复出来（见图2），
$$ \hat{\mathbf{q}}=\exp(-\hat{\mathbf{e}}/\hat{\sigma}), $$
通过公式3中的QN预测，对带宽$\hat{\sigma}$进行自适应校准。手部观测质量既取决于单帧内的空间线索（如遮挡或运动模糊），也取决于连续帧间的时间线索（如持续检测间隙或快速相机旋转）。为了同时捕捉这两类信息，我们的质量网络会联合处理一个包含T帧的世界空间MANO观测数据以及手部置信度标志（见图2中间面板）。
架构。在每一帧t，每只手的输出数据会拼接世界空间MANO观测值$\hat{\mathbf{y}}_t^h$、二进制手部置信度标志$\hat{\sigma}_t^h$，以及用于确定手腕平移与头部自我运动关系的每帧相机位姿$\mathbf{g}_t$。在时间序列前添加的可学习[GEO]标记通过自注意力机制聚合轨迹级上下文信息，并将其广播给每个帧级标记，从而使每个帧级的质量预测不仅基于局部帧，还受剪辑级质量模式的约束。带有RoPE的时序自注意力编码器[^45] [^41]会对增强后的序列进行处理，随后共享的每帧两层MLP会输出对数空间的预测值$\log(1 + \hat{\epsilon}_t^h)$，该值经过指数运算后可得每只手的错误值$\hat{\mathbf{e}}_t^h = (\hat{\epsilon}_W^h, \hat{\epsilon}_F^h) \in \mathbb{R}_{\geq 0}^2$（单位：毫米），两只手的错误值会堆叠为$\hat{\mathbf{e}}_t \in \mathbb{R}_{\geq 0}^4$。为抑制多语料库预训练过程中引入的数据集式捷径效应，冻结的手部估计器特征$\mathbf{f}_t^h$被刻意排除在输入之外。在误差转质量步骤中，未检测到帧的情况($\hat{\sigma}_t^h = 0$)会强制覆盖$\hat{\mathbf{q}}_t^h = 0$（见图2）。关于视觉特征排除的消融实验结果详见补充材料。
训练。质量网络在八个以自我为中心的双手姿态数据集上预训练（约1000万帧，见第4.1节）。对于具有有效标注的帧-手配对样本V，通过对数空间的均方误差项来监督其幅度。
$$ \begin{array}{c} \mathcal{L}_{\mathrm{MSE}}~=~\frac{1}{|\mathcal{V}|}\displaystyle\sum_{(t,h)\in\mathcal{V}}\left\|\log(1+\hat{\mathbf{e}}_{t}^{h})-\log(1+\mathbf{e}_{t}^{h})\right\|_{2}^{2}, \end{array} $$
其中$\mathbf{e}_t^h$是公式1–2中对应的各分量真实误差，$\log(1 + \cdot)$变换用于平衡不同数据集的贡献，这些数据集的误差范围相差可达一个数量级。MSE目标会使QN趋向于条件均值，从而缩小$\hat{\mathbf{e}}$相对于真实误差的分布范围。结果是，部署时的带宽$\hat{\sigma} = p_{80}(\hat{\mathbf{e}})/\ln 10$会低于训练时的$\sigma$，且部署时的$\hat{\mathbf{q}}$分布比DiT训练时所用的分布更两极分化（集中在0或1附近）。为了恢复被单样本MSE压缩的分布形态，我们在每个批次中添加了一个辅助的一维Wasserstein-1距离[^1]，用于衡量$\log(1 + \hat{\mathbf{e}})$与$\log(1 + \mathbf{e})$的经验分布之间的差异。对于标量变量而言，该距离可通过排序后的经验样本的L1差来直接计算，从而提供单样本MSE无法提供的可微分的分布级信号：
$$ \begin{array}{c} \mathcal{L}_{\mathrm{W}}~=~{\frac{1}{N}}\displaystyle\sum_{i=1}^{N}\Bigl|\mathrm{s o r t}_{i}\bigl(\log(1+\hat{\mathbf{e}})\bigr)-\mathrm{s o r t}_{i}\bigl(\log(1+\mathbf{e})\bigr)\Bigr|, \end{array} $$
其中$\text{sort}_i(\cdot)$提取批次中N个有效的帧-手-分量三元组里的第i小的数值。这种解析形式的一维Wasserstein-1距离能使完整的经验累积分布函数对齐，从结构上让$p_{80}(\hat{\mathbf{e}})$与$p_{80}(\mathbf{e})$相匹配，从而在部署时恢复训练时的$\sigma$。质量网络的总损失由这两项组成，
$$ \mathcal{L}_{\mathrm{Q N}}=\mathcal{L}_{\mathrm{M S E}}+\lambda_{\mathrm{W}}\mathcal{L}_{\mathrm{W}}, $$
利用 $\lambda_W = 1.0$。预训练完成后，质量网络会被冻结，其预测结果 $\hat{e}$ 会通过公式 4 在生成模型的训练和推理阶段被转换为 $\hat{q}$。回归目标是以物理单位表示的各组件 MPJPE 误差（公式 1–2），该误差由双手几何结构决定且与上游估计器无关；因此，相同的 $(\bar{y}, \delta, \mathbf{g}) \to \hat{\mathbf{e}}$ 映射可通过在其输出上重新训练并借助公式 3 重新校准 $\hat{\sigma}$ 来应用于不同的回归器，我们在补充材料中通过将 WiLoR [^34] 替换为 HaMeR [^31] 来验证这一点。
### 3.3 考虑质量因素的手部运动生成
我们将生成模型构建为考虑质量因素的条件流匹配 DiT（图 2，右侧面板），并在下文详细介绍其四个组成部分：由 $\tilde{q}_{t}$ 驱动的逐通道前向过程，以及由此产生的
---
训练目标、带有 AdaLN 调制的去噪器架构 $\tilde{\mathbf{q}}_t$，以及在 $\tau=0$ 处进行的考虑质量因素的推理初始化。
逐通道前向过程。标准的条件流匹配（CFM）[^21] 采用干净的双手运动 $\mathbf{x}_{\tau} = \tau \mathbf{x}_1 + (1 - \tau) \varepsilon$ 与噪声 $\mathbf{x}_1 \in \mathbb{R}^{T \times 108}$ 之间的线性路径 $\varepsilon \sim \mathcal{N}(0, I)$，其速度目标为 $\mathbf{u}_{\tau} = \mathbf{x}_1 - \varepsilon$，该标量调度方式对所有通道的处理是一致的。
在我们的工作中，我们用由质量信号驱动的逐通道调度方式替换了这种标量调度方式。我们通过将时间 t 处的 $\mathbf{q}$ 复制到手腕位置 $\tilde{\mathbf{q}} \in [0,1]^{T \times 108}$，以及将 $q_W^h$ 复制到手指位置 $(\mathbf{p}_t^h, \mathbf{r}_t^h)$，从而把 $q_F^h$ 广播到 $\boldsymbol{\theta}_t^h$ 上，进而得到逐通道调度及其相关的速度目标，
$$ \alpha(\tau,{\tilde{\mathbf{q}}})=1-(1-\tau)(1-{\tilde{\mathbf{q}}}),\quad\mathbf{x}_{\tau}=\alpha\odot\mathbf{x}_{1}+(1-\alpha)\odot\mathbf{\varepsilon},\quad\mathbf{u}_{\tau}({\tilde{\mathbf{q}}})=({1}-{\tilde{\mathbf{q}}})\odot(\mathbf{x}_{1}-\mathbf{\varepsilon}), $$
其中 $\odot$ 表示逐元素（哈达玛尔）乘积。
这种逐通道调度有两个具有启发性的极端情况，可指导相关设计。对于任意运动通道 c，当 $\tilde{q}_{t,c} = 0$ 时即可恢复标准的流匹配；而当 $\tilde{q}_{t,c} = 1$ 时，则通过 $\mathbf{x}_1$ 和 $\alpha \equiv 1$ 将通道 c 冻结在 $\mathbf{u} \equiv 0$ 处，从而引导去噪器保持高质量通道不变，同时从噪声中重新生成低质量通道。
训练目标。训练一个学习到的向量场 $\mathbf{v}_{\theta}(\mathbf{x}_{\tau}, \tau; \mathbf{c})$，使其通过以下公式回归公式 8 中所定义的质量调整后的速度目标。
$$ \begin{array}{r}{\mathcal{L}_{\mathrm{F M}}\;=\;\mathbb{E}_{\tau,\mathbf{x}_{1},\boldsymbol{\varepsilon}}\Big[\|\mathbf{v}_{\theta}(\mathbf{x}_{\tau},\tau;\mathbf{c})-\mathbf{u}_{\tau}(\tilde{\mathbf{q}})\|_{2}^{2}\Big],}\end{array} $$
其中 $\mathbf{c} = \{\mathbf{c}_t\}_{t=1}^T$ 收集每帧的交叉注意力条件包，每个包 $\mathbf{c}_t$ 包含场景几何标记 $\mathbf{s}_t$ [^18]、相机姿态 $\mathbf{g}_t$，以及针对 $\mathbf{z}_t^h = [\tilde{\mathbf{y}}_t^h; \mathbf{f}_t^h]$ 的每只手观测数据 $h \in \{L, R\}$。在 $\mathcal{L}_{\mathrm{FM}}$ 的基础上，我们为隐含的干净轨迹 $\tilde{\mathbf{x}}_1 = \mathbf{x}_\tau + (1 - \tau) \mathbf{v}_\theta$ 添加了二阶时间平滑正则项（通过 $\mathbf{x}_1$ = $1 - \alpha(\tau, \tilde{\mathbf{q}})$ 可精确还原 $(1 - \tau)(1 - \tilde{\mathbf{q}}))$），以抑制由噪声生成的通道中的帧间抖动；此外还增加了辅助性手腕平移项 $\mathcal{L}_{\mathrm{wrist}}$，用于重新平衡原本被 45 维手指分量主导的 3 维手腕位置：
$$ \mathcal{L}_{\mathrm{s m o o t h}}=\frac{1}{T-2}\sum_{t=2}^{T-1}\|\widetilde{\mathbf{x}}_{1,t-1}-2\widetilde{\mathbf{x}}_{1,t}+\widetilde{\mathbf{x}}_{1,t+1}\|_{2}^{2},\quad\mathcal{L}_{\mathrm{w r i s t}}=\frac{1}{2T}\sum_{t=1}^{T}\sum_{h\in\{L,R\}}\|\widetilde{\mathbf{p}}_{1,t}^{h}-\mathbf{p}_{t}^{h}\|_{2}^{2}, $$
其中 $\widetilde{\mathbf{p}}_{1,t}^{h}$ 用于提取 $\widetilde{\mathbf{x}}_{1,t}$ 的手腕平移量。总的训练目标为 $\mathcal{L} = \mathcal{L}_{\mathrm{FM}} + \lambda_{\mathrm{smooth}} \mathcal{L}_{\mathrm{smooth}} + \lambda_{\mathrm{wrist}} \mathcal{L}_{\mathrm{wrist}}$，其中包含 $\lambda_{\mathrm{smooth}} = 0.1$ 和 $\lambda_{\mathrm{wrist}} = 5.0$。
去噪器架构。我们将$\mathbf{v}_{\theta}$实例化为DiT [^32]，它将每一帧处理为四个标记，分别对应$\tilde{\mathbf{q}}_{t}$的四个质量通道（左右手腕以及左右手指），借助由$\mathbf{m}_{t} = \mathrm{MLP}_{\tau}(\tau) + \mathrm{MLP}_{q}(\tilde{\mathbf{q}}_{t})$驱动的AdaLN来调整手腕和手指的更新，从而匹配前向过程中各通道的质量结构。采用RoPE [^45] [^41]的时间自注意力机制会覆盖T帧剪辑中的所有$4T$标记，而交叉注意力则将条件包$\mathbf{c}_{t}$作为补充上下文注入。
基于质量感知的推理初始化。在推理阶段，我们用从$\tau=0$处的质量感知初始化到$\tau=1$处恢复出的轨迹这一确定性映射来替代随机前向过程，该映射是通过对$\mathrm{d}x/\mathrm{d}\tau = \mathbf{v}_{\theta}(\mathbf{x},\tau;\mathbf{c})$区间内的确定性反向常微分方程$\tau \in [0,1]$进行积分来实现的。
$$ {\bf x}_{0}~=~\tilde{\bf q}\odot\bar{\bf y}+(1-\tilde{\bf q})\odot\varepsilon,\qquad\varepsilon\sim\mathcal{N}(0,I), $$
这一映射与训练时方程8在$\mathbf{x}_{\tau}$处对应的$\tau=0$相匹配，原因在于$\alpha(0, \tilde{\mathbf{q}}) = \tilde{\mathbf{q}}$。我们将反向常微分方程的每个通道初始化为其自身质量所对应的噪声水平，这与训练时方程8在前向过程中将其置于$\tau=0$处的设定完全一致：高质量通道起始于观测值附近，低质量通道则起始于纯噪声附近。而SDEdit风格的[^26]截断反向过程则是从单一中间噪声水平开始初始化每个通道，这种方式无法复现训练时前向过程中的各通道结构（每个通道在$1 - \tilde{q}_{c}$处的噪声水平为$\tau=0$）。我们的初始化方式从设计上就消除了这种训练与测试之间的各通道不匹配问题。
## 4 实验
我们针对世界空间中的4D双手运动估计任务，将其与两种互补的以自我为中心的手部观测失效模式进行对比：一种是动态头戴式摄像头下的手部超出视野范围的情况，
---
Table 1: World-space hand motion estimation on HOT3D [^2]. The upper block reports SLAM-based methods. The lower block reports native world space methods. $\dagger$ numbers taken from the original paper (code not publicly available). Per-column best and second best are color-coded.
| Method | PA-MPJPE [mm] ( $\downarrow$) | W-MPJPE [mm] ( $\downarrow$) | WA-MPJPE [mm] ( $\downarrow$) | AccEr [ $m/s^{{2}}$] ( $\downarrow$) |
| HaMeR-SLAM [^31] | 9.07 | 295.32 | 73.90 | 13.81 |
| WiLoR-SLAM [^34] | 8.60 | 171.24 | 54.34 | 12.30 |
| HMP-SLAM [^5] | 11.72 | 131.19 | 42.77 | 5.83 |
| Dyn-HaMR [^49] | 8.64 | 86.78 | 40.47 | 5.46 |
| HaWoR [^51] | 8.65 | 71.89 | 30.20 | 7.80 |
| UniHand $^{{\ddagger}}$ [^42] | 4.76 | 63.97 | 25.24 | 4.93 |
| Ours | 4.02 | 57.83 | 21.02 | 3.83 |
另一种是存在持续的手部-物体遮挡且各组件质量不对称的灵巧双手操作场景（HOT3D [^2]；ARCTIC [^6]）。第4.2节给出了定量比较结果，第4.3节则在HOT3D数据集上对各核心设计选择进行了消融分析。
### 4.1 实验设置
数据集。我们在HOT3D [^2]和ARCTIC [^6]数据集上进行评估。生成模型针对每个基准数据集单独训练，而质量网络（第3.2节）则在两个数据集上共享使用。关于数据划分和预训练细节详见补充材料。
评估指标。按照[^47]、[^51]、[^49]的方法，我们报告PA-MPJPE、W-MPJPE、WA-MPJPE以及加速度误差（AccEr）。在ARCTIC数据集上，我们还额外报告用于衡量双手相对空间一致性的MRRPE [^6]、[^27]。所有指标均在每一个GT有效的帧上计算，不进行检测失败过滤。具体定义详见补充材料。
基线。我们与两类先前工作进行比较，其区别在于相机信息进入世界空间估计的方式。基于 SLAM 的方法通过 SLAM 估计的相机位姿 [^43]，将逐帧相机坐标系手部姿态直接变换到世界坐标系，且不再进一步细化：HaMeR [^31]、WiLoR [^34] 和 HMP [^5]。原生世界空间方法学习一个世界坐标系手部运动模型，该模型联合推理手部与相机，并将 SLAM（如使用）作为学习得到的序列级流水线的一个组件，而非独立投影：HaWoR [^51]、UniHand [^42] 和 Dyn-HaMR [^49]。原生世界空间基线使用其官方代码库在相应的训练划分上重新训练，而基于 SLAM 的基线使用公开检查点。UniHand 的数值（ $\dagger$ 见 Tab. 1）引自原始论文，因为其代码尚未发布。
实现细节。两个网络均在单张H100显卡上，采用AdamW [^24]优化器进行训练。推理时，会对每个$T=150$视频片段执行20步欧拉常微分方程求解，输入数据为来自已冻结的WiLoR估算器 [^34] 的逐帧双手观测数据。完整的超参数与架构细节详见补充材料。
### 4.2 在HOT3D和ARCTIC数据集上的对比
HOT3D [^2]：存在长时间的手部缺失现象。我们的方法在表1所列的各项指标上均取得了最低误差，与提供公开代码的最强基线模型HaWoR [^51]相比，W-MPJPE降低了约20%；而基于SLAM的基线模型由于缺乏时间先验，其预测结果会出现严重偏差。造成这种差距的两个机制如图3（前两行）所示：质量网络能够识别出手部缺失的帧，而逐通道前向过程会基于先验信息重新生成这些帧，且不会干扰对可见手部的观测数据。按照手部缺失比例对测试片段进行分类（见图4a）后发现，我们的W-MPJPE优势主要集中在高质量感知调度所针对的高缺失率场景。
ARCTIC [^6]：存在持续的手部与物体遮挡现象。我们的方法在表2所列的各项指标上均取得了最低误差，与最强基线模型相比W-MPJPE降低了约25%，在WA-MPJPE和MRRPE指标上的提升幅度也相当。MRRPE指标的改善得益于我们采用的双手轨迹表示方法，该方法能让生成模型同时推理两只手的相对位置。ARCTIC的结果颠覆了HOT3D系列的排名：采用原生世界坐标系的方法表现明显更差，因为其时间耦合机制会将一只手的噪声观测数据传递到另一只手的轨迹中（仅Dyn-HaMR的W-MPJPE就从HOT3D的$8.5\times$上升到了ARCTIC中的对应数值）。综合指标还掩盖了单手处理的不对称性问题（见图4b）：单手处理的基线模型会将低质量的手部数据简化为通用先验。
---
Figure 3: Qualitative comparison on HOT3D (top two rows, long missing-hand spans) and ARCTIC (bottom two rows, persistent hand-object occlusion). Each row shows three input frames and the world space dual-hand mesh trajectory of WiLoR [^34]+DROID-SLAM [^43], HaWoR [^51], our StableHand, and Ground Truth (left hand magenta, right hand blue, with mesh shading dark→light encoding temporal order). StableHand preserves coherent trajectories and re-anchors when observations resume, while WiLoR+DROID-SLAM drifts and HaWoR over-smooths or collapses the occluded hand to a generic prior. Best viewed in the supplementary video.
(a) HOT3D, by per-clip missing-hand fraction
(b) ARCTIC, per-hand under detector failure
Figure 4: Stratified evaluations. (a) On HOT3D our W-MPJPE is lowest in every bin, and the gap to WiLoR-SLAM [^34], Dyn-HaMR [^49], and HaWoR [^51] is largest in the high-missing regime. The lower baseline values in the 60–80% bin reflect small-sample statistics (per-bin clip counts annotated above each bar). (b) On ARCTIC, single-hand baselines exhibit a substantial W-MPJPE gap between the more- and less-occluded hand. Our model closes most of this gap, with a small residual difference reflecting that the less-occluded hand still carries cleaner observations.
而我们的模型通过对所有4T标记共享的自注意力机制，将单手间的误差缩小到测量噪声范围内。图3后两行展示了在长时间接触阶段这一现象。两个基准测试集的额外定性对比及失败案例详见补充材料。
---
Table 2: World-space hand motion estimation on ARCTIC [^6]. The upper block reports SLAM-based methods. The lower block reports native world space methods, retrained on the ARCTIC training split. Per-column best and second best are color-coded.
| Method | PA-MPJPE [mm] ( $\downarrow$) | W-MPJPE [mm] ( $\downarrow$) | WA-MPJPE [mm] ( $\downarrow$) | AccEr [ $m/s^{{2}}$] ( $\downarrow$) | MRRPE [mm] ( $\downarrow$) |
| HaMeR-SLAM [^31] | 10.99 | 232.48 | 59.35 | 10.82 | 163.46 |
| WiLoR-SLAM [^34] | 8.92 | 183.72 | 50.03 | 8.80 | 122.42 |
| HMP-SLAM [^5] | 13.73 | 166.21 | 41.62 | 7.13 | 131.33 |
| Dyn-HaMR [^49] | 13.36 | 734.31 | 83.63 | 6.05 | 189.09 |
| HaWoR [^51] | 10.30 | 171.61 | 51.98 | 11.35 | 112.36 |
| Ours | 8.07 | 124.59 | 32.66 | 4.67 | 93.71 |
### 4.3 消融实验
我们在HOT3D数据集上对StableHand进行了消融实验（表3），分别验证了(a)质量网络、(b)质量感知流匹配路径的设计选择，以及(c)推理阶段所使用的质量信号的作用。
Table 3: Ablation studies on HOT3D. Three axes: (a) quality network, (b) generative model design, and (c) quality source at inference. Per-column best and second best are color-coded within each block. Per-corpus QN breakdown is in the supplemental material.
| Setup | PA-MPJPE $\downarrow$ | W-MPJPE $\downarrow$ | WA-MPJPE $\downarrow$ | AccEr $\downarrow$ |
| (a) Quality network |
| Ours (full) | 4.02 | 57.83 | 21.02 | 3.83 |
| QN pretrained on HOT3D only | 4.85 | 61.54 | 21.12 | 4.06 |
| QN w/o temporal self-attention (per-frame MLP) | 4.33 | 64.98 | 25.71 | 3.82 |
| (b) Generative model design |
| Ours (full) | 4.02 | 57.83 | 21.02 | 3.83 |
| w/o quality schedule ( $\hat{q}=0$, standard FM) | 4.55 | 92.32 | 30.22 | 4.87 |
| w/o per-component q (single scalar $q^{h}$ per hand) | 5.06 | 61.23 | 22.37 | 4.89 |
| w/o per-token AdaLN (single global $m_t$) | 4.44 | 64.66 | 23.28 | 3.23 |
| w/o smoothness regularizer ( $\lambda_{smooth}=0$) | 4.62 | 63.57 | 23.26 | 3.60 |
| w/o wrist-translation term ( $\lambda_{wrist}=0$) | 3.95 | 70.52 | 22.45 | 4.31 |
| w/o four-token split (single per-frame token) | 5.23 | 118.61 | 40.03 | 6.60 |
| (c) Quality source at inference |
| q = oracle per-component (upper bound) | 3.22 | 48.16 | 17.58 | 3.12 |
| q = q from QN (Ours (full)) | 4.02 | 57.83 | 21.02 | 3.83 |
| q = per-corpus median (constant baseline) | 5.43 | 104.62 | 31.37 | 4.25 |
| q = binary detection mask | 6.19 | 135.35 | 43.82 | 9.39 |
质量网络（表3(a)）。仅使用HOT3D数据限制QN预训练，可使W-MPJPE降低3.7毫米至61.54，这证实了跨数据集预训练能够扩大故障模式的覆盖范围。若用逐帧MLP替换时序自注意力编码器，W-MPJPE会进一步降至64.98（+7.2毫米），这证明时序上下文能够区分持续性的检测误差与孤立的低置信度帧。
生成模型设计（表3(b)）。设置$\tilde{q}=0$后，方程8会退化为标量调度，导致W-MPJPE升至92.32（1.6 $\times$）：缺少逐通道的质量信息后，该过程会从噪声中重新生成每个通道，而非以高质量观测结果为锚点。若将每帧的四个标记替换为单个逐帧标记，从而让AdaLN失去逐通道调节能力，会对模型性能造成最严重的影响，此时W-MPJPE达到118.61（2.1 $\times$）；这一结果证实，四标记拆分机制对于AdaLN分别调整手腕和手指的更新参数是必不可少的。
推理时的质量源（表3(c)）。将$\hat{q}$替换为数据集中位数或二值化检测掩码后，W-MPJPE分别升至104.62和135.35，这证实逐组件的分级质量无法用常数或检测阈值来近似。理想状态下的q值为48.16（$-9.7$毫米），仅略低于我们预测的$\hat{q}$；这一结果表明质量网络已经捕捉到了大部分可用信号。关于Wasserstein损失消融实验、RBF带宽敏感性分析、QN校准与输入扰动分析，以及推理效率相关内容，详见补充材料。
## 5 结论
我们提出了StableHand——一种面向世界空间4D双手运动估计的质量感知流匹配框架，在该框架中，四值质量信号会用于调控前向调度、速度目标、ODE初始化以及DiT的AdaLN调节参数。在HOT3D和ARCTIC数据集上，StableHand在所有报告的指标上均取得了最优性能，且在受遮挡影响最严重的片段上优势最为明显。
---
质量信号是针对特定上游估计器校准的；在长时间低质量输入的情况下，模型可能会偏离真实情况，生成看似合理但缺乏实际依据的姿势配置。联合物体-手部建模与端到端训练是下一步的自然研究方向。
## 参考文献
[^1]: Luigi Ambrosio, Nicola Gigli, and Giuseppe Savare. Gradient flows: in metric spaces and in the space of probability measures. Springer, 2005.
[^2]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Fan Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, et al. Introducing hot3d: An egocentric dataset for 3d hand and object tracking. arXiv preprint arXiv:2406.09598, 2024.
[^3]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10843–10852, 2019.
[^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12417–12426, 2021.
[^5]: Enes Duran, Muhammed Kocabas, Vasileios Choutas, Zicong Fan, and Michael J Black. Hmp: Hand motion priors for pose and shape estimation from video. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 6353–6363, 2024.
[^6]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12943–12954, 2023.
[^7]: Hongming Fu, Wenjia Wang, Xiaozhen Qiao, Rolandos Alexandros Potamias, Taku Komura, Shuo Yang, Zheng Liu, and Bo Zhao. Eggrasp: World-space hand-object interaction estimation from egocentric videos. arXiv preprint arXiv:2601.01050, 2026.
[^8]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris M Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 23600–23611, 2023.
[^9]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafylos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 19383–19400, 2024.
[^10]: Irmak Guzey, Haozhi Qi, Julen Urain, Changhao Wang, Jessica Yin, Krishna Bodduluri, Mike Lambda, Lerrel Pinto, Akshara Rai, Jitendra Malik, et al. Dexterity from smart lenses: Multi-fingered robot manipulation with in-the-wild human demonstrations. arXiv preprint arXiv:2511.16661, 2025.
[^11]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in neural information processing systems, 33:6840–6851, 2020.
[^12]: Ryan Hoque, Peide Huang, David J Yoon, Mouli Sivapurapu, and Jian Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709, 2025.
## [^13]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7):1325–1339, 2013
---
[^14]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. Egomimic: Scaling imitation learning via egocentric video. In 2025 IEEE International Conference on Robotics and Automation (ICRA), pages 13226–13233. IEEE, 2025.
[^15]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10138–10148, 2021.
[^16]: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, and Siyuan Huang. Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6991–7003, 2025.
[^17]: Qixiu Li, Yu Deng, Yaobo Liang, Lin Luo, Lei Zhou, Chengtang Yao, Lingqi Zeng, Zhiyuan Feng, Huizhi Liang, Sicheng Xu, et al. Scalable vision-language-action model pretraining for robotic manipulation with real-life human activity videos. arXiv preprint arXiv:2510.21571, 2025.
[^18]: Haotong Lin, Sili Chen, Junhao Liew, Donny Y Chen, Zhenyu Li, Guang Shi, Jiashi Feng, and Bingyi Kang. Depth anything 3: Recovering the visual space from any views. arXiv preprint arXiv:2511.10647, 2025.
[^19]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1954–1963, 2021.
[^20]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 12939–12948, 2021.
[^21]: Yaron Lipman, Ricky TQ Chen, Heli Ben-Hamu, Maximilian Nickel, and Matt Le. Flow matching for generative modeling. arXiv preprint arXiv:2210.02747, 2022.
[^22]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 14687–14697, 2021.
[^23]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022.
[^24]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017.
[^25]: Andreas Lugmayr, Martin Danelljan, Andres Romero, Fisher Yu, Radu Timofte, and Luc Van Gool. Repaint: Inpainting using denoising diffusion probabilistic models. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11461–11471, 2022.
[^26]: Chenlin Meng, Yutong He, Yang Song, Jiaming Song, Jiajun Wu, Jun-Yan Zhu, and Stefano Ermon. Sdedit: Guided image synthesis and editing with stochastic differential equations. arXiv preprint arXiv:2108.01073, 2021.
[^27]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision, pages 548–564. Springer, 2020.
### [^28]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffaloini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, et al. A dataset of relighted 3d interacting hands. Advances in Neural Information Processing Systems, 36:17689–17701, 2023
---
[^29]: Yuxuan Mu, Hung Yu Ling, Yi Shi, Ismael Baira Ojeda, Pengcheng Xi, Chang Shu, Fabio Zinno, and Xue Bin Peng. Stablemotion: Training motion cleanup models with unpaired corrupted data. In Proceedings of the SIGGRAPH Asia 2025 Conference Papers, pages 1–12, 2025.
[^30]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handocnet: Occlusion-robust 3d hand mesh estimation network. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1496–1505, 2022.
[^31]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024.
[^32]: William Peebles and Saining Xie. Scalable diffusion models with transformers. In Proceedings of the IEEE/CVF international conference on computer vision, pages 4195–4205, 2023.
[^33]: Toby Perrett, Ahmad Darkhalil, Saptarshi Sinha, Omar Emara, Sam Pollard, Kranti Kumar Parida, Kaiting Liu, Prajwal Gatti, Siddhant Bansal, Kevin Flanagan, et al. Hd-epic: A highly-detailed egocentric video dataset. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 23901–23913, 2025.
[^34]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12242–12254, 2025.
[^35]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3d hand pose estimation in everyday egocentric images. In European Conference on Computer Vision, pages 183–202. Springer, 2024.
[^36]: Ryan Punamiya, Simar Kareer, Zeyi Liu, Josh Citron, Ri-Zhao Qiu, Xiongyi Cai, Alexey Gavryushin, Jiaqi Chen, Davide Liconti, Lawrence Y Zhu, et al. Egoverse: An egocentric human dataset for robot learning from around the world. arXiv preprint arXiv:2604.07607, 2026.
[^37]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), November 2017.
[^38]: Subham S Sahoo, Aaron Gokaslan, Chris De, and Volodymyr Kuleshov. Diffusion models with learned adaptive noise. Advances in Neural Information Processing Systems, 37:105730–105779, 2024.
[^39]: Bernhard Schölkopf and Alexander J Smola. Learning with kernels: support vector machines, regularization, optimization, and beyond. MIT Press, 2002.
[^40]: Noam Shazeer. Glu variants improve transformer. arXiv preprint arXiv:2002.05202, 2020.
[^41]: Jianlin Su, Murtadha Ahmed, Yu Lu, Shengfeng Pan, Wen Bo, and Yunfeng Liu. Roformer: Enhanced transformer with rotary position embedding. Neurocomputing, 568:127063, 2024.
[^42]: Zhihao Sun, Tong Wu, Ruirui Tu, Daoguo Dong, and Zuxuan Wu. Unihand: A unified model for diverse controlled 4d hand motion modeling. arXiv preprint arXiv:2602.21631, 2026.
[^43]: Zachary Teed and Jia Deng. Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras. Advances in neural information processing systems, 34:16558–16569, 2021.
[^44]: Eugene Valassakis and Guillermo Garcia-Hernando. Handdgp: Camera-space hand mesh prediction with differentiable global positioning. In European Conference on Computer Vision, pages 479–496. Springer, 2024.
### [^45]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017
---
[^46]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, et al. Egovla: Learning vision-language-action models from egocentric human videos. arXiv preprint arXiv:2507.12440, 2025.
[^47]: Vickie Ye, Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Decoupling human and camera motion from videos in the wild. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 21222–21232, 2023.
[^48]: Yufei Ye, Jiaman Li, Ryan Rong, and C Karen Liu. Whole: World-grounded hand-object lifted from egocentric videos. arXiv preprint arXiv:2602.22209, 2026.
[^49]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dyn-hamr: Recovering 4d interacting hand motion from a dynamic camera. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 27716–27726, 2025.
[^50]: Huajian Zeng, Lingyun Chen, Jiaqi Yang, Yuantai Zhang, Fan Shi, Peidong Liu, and Xingxing Zuo. Flowhoi: Flow-based semantics-grounded generation of hand-object interactions for dexterous robot manipulation. arXiv preprint arXiv:2602.13444, 2026.
[^51]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. Hawor: World-space hand motion reconstruction from egocentric videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 1805–1815, 2025.
[^52]: Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, et al. Egoscale: Scaling dexterous manipulation with diverse egocentric human data. arXiv preprint arXiv:2602.16710, 2026.
[^53]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 5745–5753, 2019.
#### [^54]: Lawrence Y Zhu, Pranav Kuppili, Ryan Punamiya, Patcharapong Aphiwetsa, Dhruv Patel, Simar Kareer, Sehoon Ha, and Danfei Xu. Emma: Scaling mobile manipulation via egocentric human data. IEEE Robotics and Automation Letters, 2026
---
#### 补充材料
本补充文档提供了补充主论文的额外细节与结果。第A节总结了完整的架构与训练超参数；第B节报告了额外的鲁棒性与校准分析结果，包括预测质量与真实值的校准情况、质量网络输入扰动测试，以及不同上游姿态估计器下的估计器通用性测试；第C节给出了补充消融研究结果，涵盖径向基带宽分析（C.1节）与质量网络架构分析（C.2节）；第D节介绍了推理效率相关数据，包括各阶段的运行时间明细与ODE步长扫描结果；第E节说明了用于扩充质量网络训练分布的合成扰动分类体系；第F节详细介绍了用于预训练质量网络的八种第一人称视角数据集；第G节给出了评估指标的形式化定义；第H节则展示了额外的定性结果与故障案例分析。
#### A 实现细节
DiT去噪器由8个隐藏维度为512的模块堆叠而成，每个模块包含8个注意力头以及4倍扩宽的GeGLU前馈网络[^40]。每一帧被拆分为四个标记（左右手腕、左右手指），而时间维度的RoPE[^41]自注意力机制会覆盖全部4T个标记。质量网络是一个由4层组成的Transformer编码器，隐藏维度为256，拥有4个注意力头，并包含相机状态交叉注意力机制，且两只手之间的权重是共享的。总参数数量为70.7M（DiT占66.8M，QN占3.6M，辅助头占0.3M）。
这两个网络均在单张NVIDIA H100 GPU上训练，采用bfloat16自动混合精度模式，优化器为AdamW[^24]（学习率为$1 \times 10^{-4}$，权重衰减为0.01，批量大小为16，先进行1000步线性预热，随后采用余弦退火策略，梯度裁剪阈值为$\|\nabla\| \leq 1.0$，随机种子设为42）。单次基准测试在评估指标W-MPJPE上达到提前停止条件时，耗时约为6–8小时（基于H100 GPU）。通过DiT去噪器进行20步欧拉ODE求解，每段视频的处理时间为$\sim$230毫秒。包含上游估计器在内的完整流程详见第D节。姿态估计器和几何模型分别采用了已开源的WiLoR[^34]与Depth-Anything-V3[^18]模型 checkpoint，且未进行微调。
### B 质量网络与估计器的补充分析
本节报告了三项鲁棒性与校准分析，用以补充主论文中的消融研究。B.1节针对预测质量信号与真实值之间的逐通道校准情况进行了分析；B.2节探究了质量网络对其各输入流中受控噪声的反应，以及由此产生的下游影响；B.3节则检验了该框架是否能迁移至其他上游姿态估计器（如HaMeR）。B.2节与B.3节采用了16关节MANO MPJPE指标，以便与主论文中的表1直接对比；而B.1节则根据每帧手腕关节的W-MPJPE对散点图进行颜色编码，从而与手腕质量通道形成视觉上的对应关系。
#### B.1 预测质量的校准
图5展示了在HOT3D测试集上，预测质量信号与真实值之间的逐通道校准分析结果。由于QN是生成模型的核心条件信号，其校准效果直接决定了后续行为的准确性。对于四个质量通道（$q_{W}^{L}$、$q_{F}^{L}$、$q_{W}^{R}$、$q_{F}^{R}$），我们绘制了所有有效帧中（预测值，真实值）对的散点图，并根据每帧下游腕关节的W-MPJPE值进行颜色编码；图中还包含一个内嵌的$4\times4$混淆矩阵，该矩阵将两个坐标轴均划分为四个区间。左手指通道的斯皮尔曼等级相关系数$\rho(\hat{\mathbf{q}},\mathbf{q})$为0.734，右手指通道为0.735，左腕通道为0.570，右腕通道为0.502。腕部通道的校准难度更大，因为腕部整体轨迹误差涉及世界坐标系下的平移和旋转漂移，而手指误差则局限于局部关节运动范围内。
在四区间网格中，预测质量区间与真实值区间不重合的离对角线帧数占比因通道不同而在22%到44%之间。这些离对角线帧上的下游手腕关节W-MPJPE平均值与对角线上平均值相差仅2到3毫米，这表明QN的校准误差对下游的影响是有限的：即便QN偶尔对某一帧的分类过于乐观或过于保守，生成过程仍能平稳运行，而不会退化为先验分布或依赖于有噪声的观察结果。
---
当模型对某一帧的分类置信度不足时，生成过程仍能平稳运行，而不会退化为先验分布或受噪声观测值的干扰。
E8 — 质量校准：HOT3D测试中预测的$\hat{q}$与真实值q对比（FULL244数据集，共485个手部片段，$\times$ 150帧）
Figure 5: Predicted-quality calibration on HOT3D test. Each panel corresponds to one of the four quality channels. Each scatter point is one (frame, hand) pair, colored by the per-frame wrist-joint W-MPJPE (viridis colormap). The diagonal line marks perfect calibration, and the inset $4\times4$ matrix quantizes both axes into four bins (V-Low, Low, Mid, High) with cell percentages. Spearman rank correlations are reported per channel.
#### B.2 质量网络输入扰动实验
我们通过向质量网络的各输入流中注入可控噪声，来探究其对下游性能的影响，同时测量QN侧的误差退化情况以及手腕轨迹响应。三个QN输入项——单手观测数据$\bar{y}$、二进制检测标志$\delta$以及每帧相机位姿$g_t$——分别被施加四种不同程度的噪声，覆盖从实际部署场景到极端噪声的情况，而其他数据流则保持干净。推理过程采用已冻结的质量网络和冻结的流匹配去噪器，无需重新训练，我们记录预测误差$\Delta\hat{e}$的变化，以及相对于未受扰动基线的下游W-MPJPE变化量；该结果与表1中对应行的数据在四舍五入后基本一致。作为参考，我们还引用了表3(c)中的oracle-q上限和constant-q下限，这些数据来自分别在训练和推理阶段使用真实值和语料库中位数质量指标训练的DiT模型。
表4列出了完整的实验结果，图6则以图形方式总结了相同数据。当没有扰动时，预测q的基线值为57.83毫米，介于表3(c)中的oracle-q上限48.16毫米和constant-q下限104.62毫米之间。这一结果说明，相较于采用恒定质量的消融实验，显式的逐帧质量信号可弥补83%的误差差距，仅剩9.7毫米的残余误差待解决。
---
Table 4: Quality-network input perturbation sweep on HOT3D test. $\hat{e}$ denotes the mean predicted error magnitude across all components, and W-MPJPE is the downstream world space MPJPE under the 16-joint MANO MPJPE convention of Tab. 1. $\Delta$ columns report the change relative to the predicted-q baseline at zero perturbation.
| Stream | Level | $\bar{e}$ (mm) | $\Delta\bar{e}$ (mm) | W-MPJPE (mm) | $\Delta W$ (mm) |
| Reference anchors from Tab. 3(c) (separately trained DiTs) |
| oracle-q (upper bound) | — | — | — | 48.16 | — |
| constant-q (lower bound) | — | — | — | 104.62 | — |
| Predicted-q (Ours) baseline + perturbation sweep |
| baseline (no perturbation) | 0 | 27.36 | +0.00 | 57.83 | +0.00 |
| $\bar{y}$ trans (mm) | 1 | 27.36 | -0.00 | 57.06 | -0.77 |
| 5 | 27.36 | +0.01 | 57.17 | -0.66 |
| 10 | 27.39 | +0.03 | 57.58 | -0.25 |
| 30 | 27.66 | +0.30 | 59.62 | +1.79 |
| $\bar{y}$ rot (deg) | 0.5 | 27.35 | -0.00 | 58.56 | +0.73 |
| 1 | 27.36 | -0.00 | 57.20 | -0.63 |
| 2 | 27.37 | +0.01 | 57.45 | -0.38 |
| 5 | 27.46 | +0.10 | 57.57 | -0.26 |
| $\bar{y}$ AA (rad) | 0.01 | 27.39 | +0.03 | 57.64 | -0.19 |
| 0.05 | 28.14 | +0.79 | 58.57 | +0.74 |
| 0.1 | 30.08 | +2.72 | 65.55 | +7.72 |
| 0.2 | 35.35 | +8.00 | 99.15 | +41.32 |
| $\delta$ flip rate | 0.05 | 27.79 | +0.43 | 57.67 | -0.16 |
| 0.1 | 28.27 | +0.92 | 57.98 | +0.15 |
| 0.2 | 29.09 | +1.73 | 58.22 | +0.39 |
| 0.5 | 31.08 | +3.72 | 60.90 | +3.07 |
| $g_t$ trans (mm) | 1 | 27.36 | -0.00 | 57.77 | -0.06 |
| 5 | 27.36 | +0.00 | 57.67 | -0.16 |
| 10 | 27.36 | +0.00 | 57.02 | -0.81 |
| 30 | 27.40 | +0.04 | 59.64 | +1.81 |
| $g_t$ rot (deg) | 0.5 | 27.36 | +0.00 | 56.88 | -0.95 |
| 1 | 27.36 | +0.01 | 56.89 | -0.94 |
| 2 | 27.39 | +0.04 | 57.56 | -0.27 |
| 5 | 27.59 | +0.24 | 63.34 | +5.51 |
| combined moderate | all level-2 | 29.19 | +1.84 | 59.38 | +1.55 |
这一残余误差源于QN的预测误差，而非质量感知路径的结构性局限，它反映了QN的预测误差而非架构本身的不足。
在表4中，除每个输入流的最极端扰动水平外，下游W-MPJPE与未受扰动基线的偏差均不超过1毫米。
在极端噪声环境下，敏感度最高的是手指轴角扰动，误差达到0.2弧度（+41.3毫米），这种扰动会破坏DiT无法恢复的关节活动模式。当相机旋转角度为$5^\circ$时（+5.5毫米），该扰动会直接作用于DiT的交叉注意力机制，同样会导致图6中推理交换后的oracle-q参考线出现退化，这表明瓶颈出在DiT端而非QN本身。本实验涵盖了可控损坏的$\hat{q}$探测实验，因为所有现实场景下的$\hat{q}$损坏均由上游输入噪声引起，而输入端的扰动曲线正好为其设定了上限。
### B.3 基于HaMeR观测数据的估计器通用性验证
该框架能够根据通用的MANO观测数据、二进制检测标志以及头部相机位姿，以物理单位（毫米）预测各组件的误差，这些输入均与特定估计器无关，因此原则上质量感知流程可迁移至任何能输出MANO预测的姿态估计器。我们通过在相同的HOT3D测试数据上运行HaMeR模型进行直接推理，对比WiLoR和HaMeR的各组件误差分布，以此实证验证这种通用性。
---
Figure 6: Quality-network input perturbation sweep. Top row: change in predicted error $\Delta\epsilon$ (mm) under controlled perturbation of each QN input stream; bottom row: downstream W-MPJPE (mm) under the same perturbations, with horizontal references for the predicted-q baseline (57.83 mm), the oracle-q upper bound (48.16 mm), and the constant-q lower bound (104.62 mm) from Tab. 3(c). Columns correspond to the per-hand observation $\bar{y}$, the detection flag $\delta$, and the camera pose $g_t$, with sub-streams plotted within each column. The $g_t$ panel additionally overlays oracle-q and constant-q reference curves to disentangle DiT-side from QN-side bottlenecks under camera-pose noise. See Tab. 4 for the full numerical sweep.
我们在两种校准设置下（零样本校准和带宽重新校准）开展观测实验，并基于HaMeR观测数据对整个流程进行端到端重新训练。
图7展示了在15个HOT3D测试片段上，两种估计器生成的各组件误差直方图，此时两种估计器的缓存均可用，总共包含约3,125个手腕样本和3,125个手指样本。两种估计器在这两类组件上产生的分布均呈相似的长尾形态。针对WiLoR，自适应径向基带宽分别设为$\hat{\sigma}_W = 24.95$毫米和$\hat{\sigma}_F = 4.32$毫米；对于HaMeR而言，该数值则为$\hat{\sigma}_W = 28.68$毫米和$\hat{\sigma}_F = 4.33$毫米。HaMeR中稍大的$\hat{\sigma}_W$数值与其略高的第80百分位手腕误差相对应。
我们在完整的HOT3D测试集上评估了四种上游估计器处理配置（见表5），并报告标准的16关节MANO MPJPE值以便与表1直接对比。第1行作为以WiLoR训练的基准配置，第2行和第3行分别单独测试零样本直接替换以及基于HaMeR观测结果重新校准带宽后的效果，第4行则是在HaMeR观测数据上对整个流程（DiT + QN + 自适应$\hat{\sigma}$）进行端到端重新训练。
Table 5: HaMeR drop-in and full-retrain evaluation on HOT3D. Same Ours pipeline architecture, four configurations of the upstream observation source and training scheme: WiLoR-trained baseline, HaMeR zero-shot at inference, HaMeR with bandwidth recalibration, and HaMeR end-to-end retraining. Numbers are reported on the full HOT3D test set (244 clips, n=485 hand-clips) under the 16-joint MANO MPIPE convention of Tab. 1.
| Method | W-MPJPE (mm) | WA-MPJPE (mm) | PA-MPJPE (mm) | AccEr ( $m/s^{{2}}$) |
| Ours (WiLoR) | 57.83 | 19.90 | 3.65 | 3.53 |
| Ours (HaMeR, zero-shot) | 104.81 (+46.98) | 38.50 | 5.83 | 4.10 |
| Ours (HaMeR, $\delta$-recalib.) | 103.84 (+46.01) | 38.49 | 5.81 | 4.09 |
| Ours (HaMeR, full retrain) | 62.16 (+4.33) | 21.15 | 3.71 | 3.49 |
与WiLoR基准相比，HaMeR的零样本直接替换会使W-MPJPE增加约47毫米，这一差异在意料之中，因为可部署的流程是基于WiLoR分布的观测数据训练的。在HaMeR数据上重新计算$\hat{\sigma}$后，下游W-MPJPE仅降低0.97毫米（在$\pm1$毫米范围内），这表明带宽适配机制在此范围内处于平坦区运作。
---
Figure 7: Per-component error distributions on HOT3D under two upstream pose estimators. Histograms of $e_{W}$ (wrist error) and $e_{F}$ (finger MPJPE in the wrist frame) for WiLoR and HaMeR, computed on the same 15 HOT3D test clips with both estimators cached. Vertical lines mark the 80th-percentile error per estimator.
在此范围内，该机制对特定估计器的带宽变化具有鲁棒性，但仅靠它无法缩小训练集与测试集之间的差距。
在HaMeR观测数据上对整个流程进行端到端重新训练后，零样本差距被缩小了91%，此时W-MPJPE降至62.16毫米（仅比WiLoR基准高出4.33毫米）。剩余的4.33毫米差距源于回归器质量的差异而非框架限制：HaMeR的训练集不包含Aria风格的自中心图像，而WiLoR的训练集则包含H2O [^15]，后者能提供类似的自中心监督信息。在HaMeR重新训练后，PA-MPJPE基本保持不变（+0.06毫米，在误差范围内），这证实差距主要集中在手腕的绝对定位而非手指关节活动上。HaMeR重新训练后的AccEr数值略好（$-0.04 m/s^{2}$），说明时间平滑性相当。
### C 补充消融研究
本节是对主论文第4.3节研究的补充消融分析。C.1节中的RBF带宽敏感性测试围绕公式3的自适应校准值扫描固定的$\sigma$；C.2节的质量网络消融实验则报告了不同架构和语料库变体下的各语料库斯皮尔曼相关系数及综合指标。
### C.1 RBF带宽敏感性
表6围绕主论文中使用的自适应值$\sigma$扫描RBF带宽$\sigma_{\star} = p_{80}(e_{\star})/\ln 10$。每一行都使用指定的$\sigma$对公式1–2重新训练生成模型，并在推理阶段采用同$\mathbf{q}$下的组件级最优$\sigma$，从而将生成模型对带宽选择的响应与质量网络的预测区分开来。
随着$\sigma$的增大，W-MPJPE会单调下降。在HOT3D上，自适应$\sigma_s$分别解析为$\sigma_W \approx 26.2$毫米和$\sigma_F \approx 6.4$毫米，这一数值虽接近固定的$\sigma = 30$毫米行，但具备固定扫描方式无法实现的逐组件拆分特性。较大的$\sigma$会使$\exp(-e/\sigma)$趋近于1，从而削弱高质量帧与低质量帧之间的对比度，进而消除通道级前向调度所依赖的梯度。AccEr的表现则并非单调：适度加宽的$\sigma = 30$毫米设置能让AccEr降至最低值（3.31），而自适应$3.83\,m/s^2$对应的数值为$\sigma_s$；不过此举会导致W-MPJPE上升$7.7$毫米。这一现象与第D节中ODE步长扫描所呈现的多指标权衡类似——关节位置精度与轨迹平滑度相互制约。
---
Table 6: Sensitivity to the RBF bandwidth $\sigma$ on H013D. Each row retrains the generative model with the labeled $\sigma$ applied to Eqs. 1–2. Inference uses the oracle per-component q computed under the same $\sigma$, isolating the generative-model response to bandwidth choice from quality-network prediction. Per-column best and second best are color-coded.
| Setup | PA-MPJPE $\downarrow$ | W-MPJPE $\downarrow$ | WA-MPJPE $\downarrow$ | AccEr $\downarrow$ |
| $\sigma$ = adaptive $p_{80}$ / ln 10 (Ours) | 4.02 | 57.83 | 21.02 | 3.83 |
| $\sigma$ = fixed 30 mm | 4.54 | 65.52 | 23.36 | 3.31 |
| $\sigma$ = fixed 50 mm | 5.79 | 87.51 | 32.02 | 3.44 |
| $\sigma$ = fixed 80 mm | 6.67 | 118.70 | 41.56 | 3.43 |
| $\sigma$ = fixed 150 mm | 6.86 | 128.04 | 45.48 | 4.40 |
Table 7: Quality-network ablation evaluated by per-corpus Spearman correlation $\rho(\hat{q}, q)$ and aggregate operational metrics. Per-corpus $\rho$ measures rank agreement between predicted and ground-truth per-component quality on each named held-out test split. $\rho=1$ matches the ground-truth ranking and $\rho=0$ is random. Aggregate metrics report q-MAE (mean absolute error of $\hat{q}$ against the ground-truth q on the 8-corpus mixed validation), mm-MAE (best $\hat{e}$ MAE on each ckpt's own training-time validation set, in mm), and gap-closed (the QN-vs-random fraction of the random-to-oracle quality-rejection AUC gap on the mixed validation). (a) Ablates the input cues, temporal architecture, and training loss, holding the pretraining corpus fixed. The Ours and w/o Wasserstein loss rows are evaluated under the v26 protocol while the architectural variants retain their original v22 measurements (cross-protocol comparison on a few cells is therefore loose). (b) Ablates the pretraining corpus, holding the architecture and training loss fixed. The mm-MAE column uses different validation sets for the two rows (HOT3D-only val for the single-corpus row, mixed val for the multi-corpus row), so cross-row comparison on this column is loose. Per-column best and second best within each block are color-coded.
| Setup | Per-corpus Spearman $\rho$ $\uparrow$ | Aggregate |
| HOT3D | H2O | HOI4D | Re:InterHand | ARCTIC | Avg | q-MAE $\downarrow$ | mm-MAE (mm) $\downarrow$ | gap-closed $\uparrow$ |
| (a) Quality-network architecture and training loss |
| Full QN (Ours) | 0.846 | 0.906 | 0.859 | 0.912 | 0.775 | 0.862 | 0.096 | 12.55 | +98.5% |
| + visual feature $E_h^{{1}}$ (no exclusion) | 0.775 | 0.855 | 0.814 | 0.883 | 0.649 | 0.825 | 0.120 | 24.07 | +86.9% |
| w/o camera-pose input $g_e$ | 0.797 | 0.857 | 0.801 | 0.880 | 0.667 | 0.836 | 0.116 | 27.90 | +88.5% |
| w/o detection flag $\delta_{h}^{{1}}$ | 0.847 | 0.887 | 0.834 | 0.917 | 0.613 | 0.859 | 0.104 | 18.64 | +89.6% |
| per-frame MLP (no temporal self-attention) | 0.819 | 0.857 | 0.830 | 0.892 | 0.697 | 0.838 | 0.078 | 22.10 | +89.6% |
| w/o Wasserstein loss (MSE-only training) | 0.831 | 0.880 | 0.840 | 0.907 | 0.754 | 0.844 | 0.096 | 11.04 | +91.7% |
| (b) Pretraining corpus |
| QN pretrained on HOT3D only | 0.850 | 0.707 | 0.766 | 0.704 | 0.623 | 0.757 | 0.162 | 9.48 | +83.9% |
| QN pretrained on full multi-corpus mixture (Ours) | 0.846 | 0.906 | 0.859 | 0.912 | 0.775 | 0.862 | 0.096 | 12.55 | +98.5% |
这种相互制约促使我们在选择关节位置指标时优先考虑$\sigma_{\star}$，同时仍会报告两项指标的结果。每种变体均在相同的$\sigma$条件下进行训练和评估，以匹配实际部署场景；但这种做法混淆了模型对带宽的表征适应能力与其引发的q分布变化。
### C.2 质量网络消融实验
主论文中的表3(a)分析了两种质量网络设计选择对后续世界空间手部恢复效果的影响。本小节进一步探究质量网络自身的预测准确性，通过斯皮尔曼等级相关系数$\rho(\hat{\mathbf{q}}, \mathbf{q})$来衡量多个以自我为中心的语料库测试集上预测质量与真实质量之间的相关性（见表7）。
架构与训练损失（模块(a)）。表7(a)的每一行分别对应一种质量网络设计选择的消融实验。将冻结的WiLoR视觉特征$\hat{t}_h^f$重新加入手部输入标记后，跨语料库平均$\rho$会下降0.037，验证集上的$\hat{e}$ MAE则从12.55毫米升至24.07毫米。即便在数据集无关的对数误差目标下，1280维的ViT特征也会加剧输入冗余，稀释优化信号，而非提供补充性线索。移除相机位姿输入$\mathbf{g}_t$会使平均$\rho$降低0.026，且在每个训练语料库中该数值均会下降0.05至0.10，这证实头部运动上下文对自我中心流中逐组件误差预测具有广泛影响。移除二元手部置信度标志$\delta_t^h$仅使平均$\rho$降低0.003，说明该标志属于近乎冗余的输入，可从提案向量$\bar{y}_t^h$及其时间上下文中恢复。用逐帧MLP替换时序自注意力编码器后，验证集上的$\hat{e}$ MAE从12.55毫米升至22.10毫米，平均$\rho$也下降0.024，尽管等级相关系数几乎不变，但跨帧注意力的幅度精细化功能却丧失了。逐帧MLP变体的q-MAE表现仍具竞争力（0.078 vs. 0.096），这表明更简洁的预测器……
---
Table 8: Inference efficiency on HOT3D (150-frame clips, single H100). We report wall-clock time per clip and peak GPU memory. Optimization-based baselines are an order of magnitude slower than feed-forward generative models. StableHand stays in the feed-forward envelope despite solving a 20-step ODE. Per-column best and second best are color-coded.
| Method | Time / clip (s) $\downarrow$ | Peak GPU mem (GB) $\downarrow$ |
| HaMeR-SLAM [^31] | 125.91 | 12.50 |
| WiLoR-SLAM [^34] | 30.12 | 12.50 |
| Dyn-HaMR [^49] | 347.84 | 9.82 |
| HaWoR [^51] | 28.45 | 14.56 |
| StableHand (Ours) | 27.29 | 10.32 |
它对训练语料库的过拟合程度较低，但代价是幅度细化的效果变差。若移除公式7中的Wasserstein损失项（仅采用MSE训练），验证集上的$\hat{e}$ MAE会略微降至11.04毫米，但“操作间隙闭合”指标会从+98.5%跌至+91.7%，跨语料库平均$\rho$也会从0.862降至0.844。这凸显出Wasserstein项的独特作用：它牺牲了微小的单样本幅度回归精度，换来了分布对齐方面的巨大提升，从而直接保障了部署时预测结果与真实值$\sigma$之间的匹配度。在各类架构消融实验中，每种输入或编码器选择对平均$\rho$的影响范围在0.003到0.037之间，其中受Block (b)的多语料库预训练与单语料库预训练之间0.105的差异影响最为显著。
预训练语料库（Block (b)）。仅在 HOT3D 上预训练的单语料库质量网络在其自身训练分布上略微优于多语料库模型（ $\rho=0.850$ vs. 0.846 on HOT3D）。在所有其他语料库上，单语料库模型均出现退化，在 H2O、HOI4D 和 Re:InterHand 上为 $\rho \in [0.704, 0.766]$，在零样本 ARCTIC 测试划分上为 $\rho=0.623$。多语料库模型将这些分布外单元提升到 H2O、HOI4D 和 Re:InterHand 上的 $\rho \geq 0.859$，以及 ARCTIC 上的 0.775，使跨语料库平均值从 0.757 提高到 0.862。校准退化比排序更严重：单语料库 q-MAE 平均为 0.162，而多语料库模型为 0.096，操作性 gap-closed 指标从 +98.5% 降至 +83.9%。广泛预训练对于质量网络在部署时针对分布外自我中心语料库生成排序良好且校准良好的 $\hat{q}$ 至关重要。
### D 推理效率
表8记录了在单张H100 GPU上处理每段150帧视频剪辑的耗时。基于优化的基线方法（HaWoR、Dyn-HaMR）需要对每个剪辑执行SLAM计算和迭代细化，而StableHand仅需进行一次质量网络的前向传播，随后通过欧拉ODE求解器进行20步计算，无需针对每个剪辑的优化循环。StableHand与基于SLAM的基线方法之间的运行时差异，主要由几何基础模型的选择（DA3前向传播对比DROID-SLAM优化）决定，而非质量感知流匹配路径本身；此处列出该数据仅为完整性考虑，并非本研究的贡献点。
各阶段耗时分解。表9将StableHand的耗时拆分为四个阶段。其中，几何基础模型（Depth-Anything-V3，每个剪辑耗时17.09秒）和逐帧WiLoR估计器（每个剪辑耗时9.96秒）占据了主要耗时；而质量网络（<0.01秒）以及通过DiT去噪器的20步欧拉ODE求解（0.23秒）合计占总耗时的不到1%。相较于上游视觉堆栈，质量感知流匹配路径几乎不占用额外时间。
Table 9: Per-stage inference-time breakdown on a single H100 GPU. Average wall-clock time per T=150 clip, averaged over 10 HOT3D clips with batch size 1. Per-stage values are proportionally aligned to the wall-clock total of Tab. 8.
| Stage | Time per clip (s) | Time per frame (ms) |
| Depth-Anything-V3 [^18] (geometry, 1 call) | 17.09 | 113.93 |
| WiLoR [^34] estimator ( $\times$150 frames) | 9.96 | 66.40 |
| DiT $\times$ 20 ODE steps | 0.23 | 1.51 |
| Quality network (1 forward over T) | <0.01 | <0.10 |
| Total (full pipeline) | 27.29 | 181.93 |
---
ODE 步长扫描。图 8 在 HOT3D 测试集上扫描 Euler ODE 步数 $n_{\text{steps}} \in \{2, 5, 10, 20, 30, 50\}$，联合评估轨迹精度（W-MPJPE）与轨迹平滑度（AccEr）。两项指标随 $n_{\text{steps}}$ 呈现相反的变化趋势：在整个扫描范围内 W-MPJPE 的变动不足 9%（在 $n=2$ 时为 54.04 mm，在 $n=50$ 时为 58.81 mm），而 AccEr 则从 $n=2$ 时的 13.97 降至 $n=20$ 时的 3.53 m/s²，降幅接近 4×，这是因为密集的 Euler 积分将阶梯状轨迹重建替换为平滑轨迹重建。大部分 AccEr 改善在 $n=20$ 时已实现，此后收益递减（在 $n=30$ 和 $n=50$ 时分别为 3.34 和 2.91 m/s²，DiT 算力分别为 $1.5\times$ 和 $2.5\times$）。我们将 $n=20$ 作为默认可部署配置，因为在该设置下时间平滑度已基本收敛，更高步数带来的边际收益不足以抵消额外开销；而剩余的实时瓶颈位于上游姿态估计器与几何基础模型，而非本文提出的质量感知 flow-matching 通路。
Figure 8: ODE-step sweep on HOT3D test, multi-metric view. $n_{\text{steps}} \in \{2, 5, 10, 20, 30, 50\}$ evaluated on (a) trajectory accuracy (W-MPJPE) and (b) trajectory smoothness (AccEr), with the n=20 row anchored to the main paper Tab. 1. Lower step counts attain marginally lower W-MPJPE (under 9% range) but degrade AccEr by nearly 4× at n=2, motivating n=20 as the deployable default where AccEr is largely converged.
### E 合成扰动分类
本节对第3.1节中介绍的质量一致性观测增强方法进行了形式化描述。我们将这种增强定义为作用于$(\overline{\mathbf{y}}_t^h, \mathbf{q}_t^h)$对的随机算子，推导出了能保持公式3校准关系的联合更新规则，并详细说明了五种扰动类型及其所模拟的上游数据流故障模式。
增强算子。设$\mathcal{A}$表示增强算子，它在每个训练步骤中对每只手$h \in \{L, R\}$独立应用。以$\frac{1}{2}$的概率，$\mathcal{A}$会保持输入不变；否则，$\mathcal{A}$会从包含五种类型的池子中均匀采样一种扰动类型，并将其应用于每只手观测数据$\bar{\mathbf{y}}_t^h \in \mathbb{R}^{54}$中指定的通道子集，这些通道被划分为$\bar{\mathbf{y}}_t^h = [\bar{\theta}_{\mathrm{wrist}}^h; \bar{\theta}_{\mathrm{fingers}}^h; \bar{\mathbf{p}}^h]$，具体包括$\bar{\boldsymbol{\theta}}_{\mathrm{wrist}}^h \in \mathbb{R}^6$（旋转六维向量）、$\bar{\boldsymbol{\theta}}_{\mathrm{fingers}}^h \in \mathbb{R}^{45}$（手指轴角）以及$\bar{\mathbf{p}}^h \in \mathbb{R}^3$（手腕平移）。视觉特征$\mathbf{f}_t^h$、相机姿态$\mathbf{g}_t$和场景几何标记$\mathbf{s}_t$永远不会被扰动。
联合质量更新。连续的扰动会以乘法方式削弱受影响的质量通道。
$$ q_{\star}^{h\prime}\;=\;q_{\star}^{h}\cdot\exp(-\Delta e_{\star}/\sigma_{\star}),\qquad\star\in\{W,F\}, $$
其中$\sigma_W$、$\sigma_F$为公式3中对应的每类带宽，$\Delta e_* \geq 0$是由扰动引起的公式1–2中对应分量误差的增加量。公式12源于径向基函数形式$q = \exp(-e / \sigma)$：将扰动后的误差$e_* + \Delta e_\star$代入因子$q_*$，再代入$q_*$和$\exp(-\Delta e_* / \sigma_*)$中即可得到。离散扰动则会把受影响的质量通道值直接置零。
$$ q_{\star}^{h\prime}\;=\;0, $$
这一处理方式与推理时对那些手部置信度标志$\delta_{t}^{h}=0$为低或姿态退化为畸形情况的帧的处理方式一致。
高斯噪声。我们选取一个噪声尺度$\sigma_g \sim \text{Unif}\{10^{-2}, 2 \times 10^{-2}, 5 \times 10^{-2}\}$，并将标准差为$\sigma_g$的零均值各向同性高斯噪声添加到$\bar{y}_t^h$的所有54个通道中。无论是手腕还是手指通道均如此处理。
---
误差会增大，进而通过公式12削弱$q_{W}^{h}$和$q_{F}^{h}$。这种类型模拟了MANO回归头在纹理背景上产生的残差预测噪声。
深度缩放。我们采样一个缩放因子$s \sim \text{Unif}(0.5, 2.0)$，并将手腕平移量重新缩放为$\bar{\mathbf{p}}^{h'} = s\bar{\mathbf{p}}^{h}$，同时保持手腕旋转和手指关节活动不变。只有手腕误差会增大，进而通过公式12削弱$q_{W}^{h}$的影响。这种类型模拟了以自我为中心的视频中单目几何估计器所固有的深度度量歧义现象。在我们的可部署流程中，这表现为在全新场景下出现DA3 [^18]漂移，导致手腕位置偏移数百毫米。
手腕旋转抖动。我们向手腕旋转的rot6d表示$\sigma_R = 0.05$中添加标准差为$\bar{\theta}_{\text{wrist}}^{h}$弧度的零均值高斯噪声，同时保持手腕平移和手指关节活动不变。由于公式1中定义的手腕误差仅针对平移量，因此我们通过角度变量$q_W^h$来削弱$q_W^{h/}=q_W^h \cdot \exp(-\theta_R / \sigma_R)$的影响，其中$\theta_R$表示受扰动与未受扰动的手腕旋转之间的测地距离。这种类型模拟了头部快速转动时跟踪器出现的混淆现象。
手指卡滞。我们采样一段连续的$L \sim \text{Unif}(5, 30)$帧窗口，并将该窗口内$\bar{\theta}_{\text{fingers}}^{h}$的45个手指轴角通道值强制设为零。手指质量通道则通过公式13被限制为$q_{F}^{h'} = 0$。这种类型模拟了抓取物体时被遮挡导致的短时间关节活动失效现象。
单手数据丢失。我们采样一段连续的$L \sim \text{Unif}(5, 30)$帧窗口，将$\bar{y}_t^h$的所有54个通道值置零，同时在该窗口内将手部置信度标志重置为$\delta_t^h = 0$。两个质量通道均通过公式13被限制为$q_{W}^{h'} = q_F^{h'} = 0$。这种类型模拟了双手操作过程中某一只手离开以自我为中心的摄像头视野而产生的长时间数据缺失现象。
对训练分布的影响。未经增强处理时，根据公式3的校准结果，按构造而言仅有约$\sim$20%的训练帧会落在每个q分量的低质量区域内$q<0.1$。经过增强算子A处理后，在$q_{W}^{h}$和$q_{F}^{h}$上，这一比例会升至50%以上。因此，第3.3节所述的逐通道前向过程在增强后会接触到更广泛范围的低质量数据。这种提升无需额外的标注帧：每个受扰动样本都从原始数据集中继承其真实运动目标。
### F 训练数据集详情
质量网络在八个以自我为中心的双手手部姿态数据集上预训练，这些数据集共包含1000万帧，根据标注类型分为两个层级。第一层级（原生MANO真值）包含五个数据集，质量标签直接根据MANO关节回归误差计算得出。第二层级（仅有3D关节标注）包含三个数据集，质量标签根据3D关节MPJPE计算得出，无需进行MANO拟合。所有八个数据集均限定于以自我为中心的视角：对于ARCTIC和Ego-Exo4D数据集，仅使用以自我为中心的流；对于Re:InterHand数据集，则使用已发布的以自我为中心的摄像头划分。表10总结了每个数据集的规模、视角和标注类型。
Table 10: Training corpora for quality-network pretraining. All eight datasets are restricted to egocentric viewpoints. Tier 1 datasets provide native MANO parameters. Tier 2 datasets provide 3D joint positions only and supervise the quality label through joint MPJPE without MANO fitting.
| Tier | Dataset | Frames | Subjects | View | GT type |
| 1 | HOT3D [^2] | 1.5M | 19 | ego | MANO |
| ARCTIC [^6] | 0.24M | 10 | ego (stream) | MANO |
| Re:InterHand [^28] | 0.15M | 26 | ego (synth.) | MANO |
| H2O [^15] | 2.0M | 4 | ego | MANO |
| HOI4D [^23] | 0.7M | 9 | ego | MANO |
| 2 | EgoDex [^12] | 2.3M | - | ego | 25 joints |
| EgoVerse [^36] | 1.5M | 2087 | ego | 21 joints |
| Ego-Exo4D [^9] | 1.6M | 740 | ego (stream) | 21 joints |
| Total | 10M | | | |
Tier 1 datasets.
---
HOT3D [^2]是主要基准数据集：由Project Aria和Quest 3拍摄的以自我为中心的视频片段，其MANO标注来自光学标记动作捕捉系统。该数据集在动态以自我为中心的摄像头运动中经常出现手部超出视野以及手与物体相互遮挡的现象。
ARCTIC [^6]数据集记录了使用一只以自我为中心的摄像头和八只非自我中心的摄像头对关节物体（剪刀、笔记本电脑）进行的双手操作过程。我们仅使用以自我为中心的视频流。在灵巧操作过程中，两只手经常相互遮挡，导致每只手的操作质量存在较大差异。我们采用ARCTIC官方规定的P2协议，将10名录制受试者（s01–s10）分为8名训练受试者（s01、s02、s04、s06、s07、s08、s09、s10）、1名验证受试者（s05）以及1名测试受试者（s03）；其中测试受试者的真实标签不对外公开，用于私有排行榜评估。由于s03的真实标签并未公开，我们所有关于ARCTIC的数据均基于验证受试者s05的结果（共34个序列，被切分为155个片段，每个片段包含$T=150$帧，帧率为30 fps）。同一名受试者s05也被排除在多数据集质量网络预训练之外。
Re:InterHand [^28]数据集在随机光照和摄像头布置条件下，提供了经过照片级真实感重新渲染的InterHand2.6M [^27]双手交互动作。我们仅采用已发布的以自我为中心的摄像头视频片段（约147K帧）。原始MANO参数直接源自源动作捕捉数据，该数据集还提供了以自我为中心视角下的密集双手交互监督信息，这类场景在其他数据集中较为少见。
H2O [^15]数据集记录了4名受试者、8种动作类型及36种物体下的以自我为中心的双手物体操作过程，数据集包含原生MANO标注以及每帧物体的6自由度位姿信息。
HOI4D [^23]数据集包含了来自9个室内场景、16类物体的4000个以自我为中心的类别级人机交互序列，数据采集使用的是头戴式Kinect Azure设备，数据集提供了原生MANO参数以及在自然头部运动下的3D关节位置信息。HOI4D数据集存在明显的右手偏好现象（仅有$\sim10\%$的有效手部帧属于左手），这主要为质量网络提供了右手以自我为中心的监督信息。
### 第二类数据集
EgoDex [^12]数据集提供了来自Apple Vision Pro的829小时以自我为中心的视频，涵盖了194种桌面任务，且具备高精度25关节手部追踪功能。
EgoVerse [^36]数据集汇总了来自2087名参与者、240个场景的1362小时以自我为中心的演示数据，拥有最丰富的人群和环境多样性。
Ego-Exo4D [^9]数据集提供了来自13个城市的、由以自我为中心和外部摄像头同步采集的2100万个自动3D手部关节标注数据。我们仅使用以自我为中心的视频流。
第二类数据集仅用于质量网络的预训练：质量标签$q=\exp(-e/\sigma)$是根据视觉编码器预测结果与数据集真实标签之间的3D关节MPJPE计算得出的，无需进行MANO参数拟合。
### G评估指标
本节给出了主论文中所报告的评估指标的正式定义。设$\hat{\mathbf{J}} \in \mathbb{R}^{T \times K \times 3}$和$\mathbf{J} \in \mathbb{R}^{T \times K \times 3}$分别表示单只手在T帧内、包含K个关节的预测关节位置和真实关节位置。所有指标均在具有有效真实标注的帧上按手分别计算，随后再对所有手和片段取平均值。
Procrustes对齐MPJPE（PA-MPJPE）。PA-MPJPE通过在测量关节误差前应用逐帧Procrustes对齐（旋转、平移和统一缩放），将关节活动质量与全局轨迹偏移分离开来。在每一帧t，需计算出最优相似变换$s_t$、$\mathbf{R}_t$、$\mathbf{t}_t =$，即Procrustes( $\hat{\mathbf{J}}_t$、$\mathbf{J}_t$)，该指标的计算方式为
$$ \begin{array}{c} PA-MPJPE~=~\frac{1}{T}\displaystyle\sum_{t=1}^{T}\frac{1}{K}\displaystyle\sum_{k=1}^{K}\|s_{t}\mathbf{R}_{t}\hat{\mathbf{J}}_{t,k}+\mathbf{t}_{t}-\mathbf{J}_{t,k}\|_{2}.\end{array} $$
世界MPJPE（W-MPJPE）。根据[^51]和[^49]的定义，W-MPJPE是指在第一帧上经过相似性对齐$(s^*, \mathbf{R}^*, t^*)$之后的世界空间MPJPE，它反映了从初始状态开始累积的轨迹漂移。
---
Figure 9: Additional qualitative results on HOT3D [^2]. Two further HOT3D clips with long missing-hand spans, comparing WiLoR [^34]+DROID-SLAM [^43], HaWoR [^51], our StableHand, and the Ground Truth. Layout, color, and temporal-shading conventions follow Fig. 3.
共享锚点：
$$ \mathrm{W-MPJPE~=~}\frac{1}{T}\sum_{t=1}^{T}\frac{1}{K}\sum_{k=1}^{K}\|s^{*}\mathbf{R}^{*}\hat{\mathbf{J}}_{t,k}+\mathbf{t}^{*}-\mathbf{J}_{t,k}\|_{2}. $$
世界对齐MPJPE（WA-MPJPE）。WA-MPJPE采用相同的表达式，但使用$(s^{*}, \mathbf{R}^{*}, \mathbf{t}^{*})$单一的全局相似性变换，该变换能最小化所有T帧上的总MPJPE，从而捕捉全局轨迹对齐后各关节的残余姿态误差。
加速度误差（AccEr）。AccEr用于衡量预测轨迹与真实轨迹在$f=30$帧率下的平均关节加速度差异：
$$ \mathbf{a}_{t}=\mathbf{J}_{t+1}-2\mathbf{J}_{t}+\mathbf{J}_{t-1},\qquad\mathrm{A c c E r}~=~\frac{1}{(T-2)K}\sum_{t=2}^{T-1}\sum_{k=1}^{K}\frac{\Vert\hat{\mathbf{a}}_{t,k}-\mathbf{a}_{t,k}\Vert_{2}}{(1/f)^{2}}. $$
平均相对根部位置误差（MRRPE）。MRRPE通过比较两只手预测与真实的腕部偏移量来衡量其空间一致性，这一计算方式遵循[^6]和[^27]的定义。设$\hat{\mathbf{j}}_{t,0}^{L}, \hat{\mathbf{j}}_{t,0}^{R} \in \mathbb{R}^{3}$和$\hat{\mathbf{j}}_{t,0}^{L}, \hat{\mathbf{j}}_{t,0}^{R} \in \mathbb{R}^{3}$分别表示第t帧时预测的左右腕部位置；$\mathcal{B} \subseteq \{1, \ldots, T\}$则表示两只手均有有效真实标注的帧集合。
$$ \mathrm{M R R P E~=~}\frac{1}{|\mathcal{B}|}\sum_{t\in\mathcal{B}}\big\|\big(\hat{\mathbf{j}}_{t,0}^{L}-\hat{\mathbf{j}}_{t,0}^{R}\big)-\big(\mathbf{j}_{t,0}^{L}-\mathbf{j}_{t,0}^{R}\big)\big\|_{2}. $$
MRRPE仅在ARCTIC数据集上报告，因为在该数据集中，灵巧的双手操作使得两只手之间的相对空间关系成为核心评估维度。
### H 额外的定性结果
本节展示了补充主论文图3的定性对比结果。图9和图10分别展示了HOT3D和ARCTIC数据集上的额外视频片段，其布局与主定性图保持一致。图11展示了我们的方法在HOT3D上的两种典型失效模式：在大部分甚至整个视频片段中，一只手未被上游视觉流观测到，对应的通道完全由先验信息合成。图12展示了ARCTIC上的两种类似失效模式：在长时间接触阶段，持续的双手与物体遮挡会同时损害对两只手的观测效果。
---
Figure 10: Additional qualitative results on ARCTIC [^6]. Two further ARCTIC clips with persistent hand-object occlusion, comparing WiLoR [^34]+DROID-SLAM [^43], HaWoR [^51], our StableHand, and the Ground Truth. Layout, color, and temporal-shading conventions follow Fig. 3.
### I 零样本野外推理
除了在HOT3D和ARCTIC上进行的分布内评估外，我们还在HD-EPIC[^33]上对StableHand进行零样本测试。HD-EPIC是一个最新的野外场景第一人称视频数据集，既不在生成模型的训练集中，也不属于八个数据集组成的质量网络预训练混合集（见第F节）。图13展示了一个代表性视频片段，其中第一人称摄像头穿行于光线昏暗的走廊和各种室内场景，这些场景在训练时从未出现过。恢复出的世界空间双手网格轨迹仍保持空间连贯性，这表明组件级的质量调节机制能够迁移应用到误差分布不同于任何单一训练集的上游观测数据上。
---
Figure 11: Failure cases of StableHand on HOT3D [^2]. Each row shows three input frames (left) together with our prediction and the Ground Truth, with color and temporal-shading conventions following Fig. 3. Top: the left hand leaves the egocentric view for an extended span, leaving its channel unobserved for tens of consecutive frames. Bottom: the right hand never enters the camera frustum across the entire clip, leaving its channel unobserved at every frame. In both cases the generative process synthesizes a plausible but incorrect trajectory from the prior alone, illustrating the limit of our method when the upstream visual stream provides no observation to anchor a channel.
---
Figure 12: Failure cases of StableHand on ARCTIC [^6]. Each row shows three input frames (left) together with our prediction and the Ground Truth, with color and temporal-shading conventions following Fig. 3. Top: a bimanual contact phase in which the manipulated object simultaneously occludes both hands' fingers, leaving both finger channels with degraded observations across the contact span. Bottom: a bimanual manipulation phase in which the object covers both hands intermittently, leaving the two-hand spatial relationship without a reliable observation to anchor against. In both cases simultaneous degradation of both per-hand quality channels forces the generative process to recover from the prior, illustrating the structural limit of per-component quality conditioning when no hand provides a reliable observation across the contact phase.
---
Figure 13: Zero-shot in-the-wild inference on HD-EPIC [^33]. Four input frames sampled from a single HD-EPIC clip (left) span dim corridors, kitchens, and dining rooms outside our training distribution. The right panel shows the recovered world space dual-hand mesh trajectory (left hand magenta, right hand blue, mesh shading dark→light encoding temporal order). Neither the generative model (trained on HOT3D and ARCTIC) nor the quality network (pretrained on the eight-corpus mixture of Sec. F) was exposed to HD-EPIC during training, yet the recovered trajectory remains spatially coherent.