余正迪、Stefanos Zafeiriou和Tolga Birdal。2025年。Dyn-HaMR：从动态摄像头恢复4D交互式手部运动。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，第27716–27726页。doi:10.1109/CVPR52734.2025.02581
张静雷、邓建康、马超和Rolandos Alexandros Potamias。2025年。HaWoR：从第一人称视频重建世界空间手部运动。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，第1805–1815页。
---
Fig. 3. Comparison on heavily occluded DexYCB frames: GT vs. HaMeR, HaWoR, and HandFlow. Each method is shown in four columns (from left to right: the mesh overlaid on the input, the camera-space mesh alone, a top-down view, and a side view); the last three columns expose depth errors that the overlay hides. Color: green GT, blue HandFlow, orange HaWoR, red HaMeR.
Fig. 4. HandFlow tracking on heavily occluded clips from DexYCB and HOT3D (eight sampled frames per sequence, overlaid on input views), with plausible poses inferred where the hand is largely unseen.
---
Fig. 5. HOT3D sequences rendered for HaMeR, HaWoR, HandFlow, and GT from a shared 3D viewpoint. HandFlow best matches GT in completeness and accuracy. Green denotes GT, blue HandFlow, orange HaWoR, and red HaMeR.
Fig. 6. For each sequence, four sampled frames show wrist acceleration arrows (length encodes magnitude), with a time-series plot of acceleration magnitude for GT and all methods beneath. HandFlow best matches GT in both magnitude and direction. Green denotes GT, blue HandFlow, orange HaWoR, and red HaMeR.
---
## A 评估指标
我们采用以下评估指标：
- MPJPE衡量的是未经几何对齐的关节位置误差平均值，单位为毫米。该指标在相机空间（表3）和基于SLAM的相机位姿恢复后的世界空间中均有报告（表2）；这两个数值无法直接比较，因为后者还反映了相机位姿误差。
PA-MPJPE在计算误差前会先进行Procrustes对齐（平移、旋转和缩放）。
RA-MPJPE仅对根部方向进行对齐。
- W-MPJPE和WA-MPJPE与MPJPE的区别仅在于对齐方式。W-MPJPE仅对前两帧进行对齐，因此轨迹漂移会在序列的其余部分累积，该指标直接反映了全局轨迹的准确性。WA-MPJPE则将整个序列视为单个点云，并对所有帧应用Procrustes对齐，从而消除了漂移的影响，能更好地反映序列级别的形状一致性。与MPJPE类似，这两种指标既可以在相机空间中报告，也可以在世界空间中报告。
- 加速度误差衡量的是预测关节加速度与真实关节加速度之间差异的平均幅度（$m/s^{2}$），用于反映时间上的平滑性。
- RTE（根节点平移误差）衡量的是经过刚性对齐后手部轨迹总位移归一化的全局平移误差，按照[Zhang等人，2025年]的方法以百分比形式报告。
- AUC是MPJPE阈值曲线下的面积；我们报告了$AUC_{RA}$和$AUC_{PA}$，它们分别由RA-MPJPE和PA-MPJPE计算得出。
- F@v表示MPJPE低于v毫米的帧所占的比例（我们取v=5和v=15）。
对于DexYCB数据集，我们报告RA-MPJPE、PA-MPJPE及其对应的AUC值（表1）；消融实验中额外使用了F@5指标，而在前端通用性分析中则同时使用了F@5和F@15指标。对于HOT3D数据集，我们报告MPJPE、PA-MPJPE、W-MPJPE、WA-MPJPE、加速度误差以及RTE，其中W-MPJPE和WA-MPJPE用于衡量世界空间中的准确性。
## B 实现细节
我们采用的隐藏层大小为$D=512$，注意力头数为16个，先使用8个双流模块，随后是16个单流模块，窗口大小设为$T=16$帧。模型采用AdamW优化器进行训练（参数分别为$\beta_1=0.9$、$\beta_2=0.999$，权重衰减为$10^{-4}$），学习率为$10^{-4}$，前5,000步为热身阶段，之后采用余弦退火策略；每张GPU的批量大小为16（4张GPU下的有效批量为64），共训练200个周期。所有辅助损失的缩放因子为采样时间步的平均值$\tilde{t}$。各辅助损失的权重分别为：$\mathcal{L}_{\beta}=1.0$、$\mathcal{L}_{\text{vel}}=0.5$、$\mathcal{L}_{\text{acc}}=0.5$、$\mathcal{L}_{\text{reproj}}=0.5$、$\mathcal{L}_{\text{j3d}}=0.05$。
训练数据。HandFlow在DexYCB和HOT3D的训练集上进行训练，这两个数据集也是评估时使用的基准数据集，评估序列被排除在训练之外。对于DexYCB数据集，我们采用标准的s0协议：训练时使用全部10名受试者的数据以及80%序列的8个相机视角，而s0评估集（受试者1–2，每5个序列中的1个）则不纳入训练。HOT3D数据集的官方验证片段没有公开的真实标签，因此我们自行对官方训练集进行划分：针对每位参与者，将序列按字母顺序排序，每第七个序列留作验证用（共13个序列，169个片段，约占训练片段的11%），剩余的1,347个片段用于训练。所有重新评估的基线模型也采用相同的划分方式。遵循先前的研究[Pavlakos等人，2024年]，每个手部都由HaMeR检测并裁剪为$256 \times 256$大小的右手区域；MANO参数以轴角形式存储，并按T=16帧的窗口进行分组，若窗口内有效帧占比不足50%则予以丢弃。完整的数据集构建和预处理脚本将会发布。
所有模型均在4块NVIDIA H100-80 GB GPU上训练。训练HandFlow模型200个周期大约需要24小时。在计算效率评估中（表3），由于基线方法的推理成本较高，我们对50个验证序列的结果取平均值。
## C ODE步骤扫描分析
我们分析了推理过程中不同常微分方程积分步数对结果的影响。使用固定的模型检查点和欧拉求解器，我们在完整的验证集（DexYCB s0 + HOT3D验证剪辑，共42,384帧）上测试了从1到10步的不同设置。图7展示了在不同步数下五种MPJPE指标的变化情况。
Fig. 7. ODE steps vs. MPJPE. Five MPJPE variants (M, PA-M, RA-M, W-M, WA-M) across 1–10 Euler integration steps.
主要观察结果如下：(1) 仅采用1步积分时，由于欧拉截断误差的存在，结果较差（MPJPE $\approx$ 达到43毫米），因为单步积分无法准确还原连续的流动轨迹。(2) 从第2步开始，性能便进入稳定平台期：MPJPE从第1步的$\approx$43毫米骤降至第2步的$\approx$27毫米，此后基本保持平稳。PA-MPJPE在测试过程中几乎保持不变（4.83–5.21毫米），这证明每帧的姿态质量与步数关系不大。我们最终选择第3步而非第2步，因为第2步处于平台期的边缘，对分布偏移的容错空间较小。
## D 噪声敏感性分析
HandFlow具备完全生成能力：推理时它从随机初始噪声$\bar{\mathbf{x}}_0 \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$出发，利用欧拉求解器确定性地积分流动常微分方程（详见第3.1节）。给定$\bar{\mathbf{x}}_0$后，整个积分过程便被固定下来，因此推理阶段唯一的随机因素就是初始噪声本身。一个自然的问题是：恢复出的手部状态是否会依赖于这一随机采样结果？为了量化这一点，我们进行了如下实验：
---
我们在完整的DexYCB（s0）和HOT3D（验证集）混合验证集（482个序列，42,384帧）上，使用不同的初始噪声样本（随机种子0–9）进行10次独立的推理测试，所用模型检查点及欧拉积分步数与我们报告结果中的设置一致（参见第C节）。表5列出了10次运行中各项指标的平均值、标准差、取值范围以及变异系数（CV）。
Table 5. Sensitivity to the initial noise. We run 10 independent inferences with different initial noise samples (random seeds 0–9) on the full combined DexYCB (s0) and HOT3D (val) validation set (482 sequences, 42,384 frames), using the fixed checkpoint and 3-step Euler setting of our reported results. For each metric we report the mean, standard deviation, range (max–min), and coefficient of variation (CV = std/mean, in %) across the 10 runs. MPJPE variants are in mm and acceleration error in m/s $^2$. The combined mean is not directly comparable to the per-benchmark Tables 1 and 2; only the dispersion (std, range, CV) is meaningful here. Rows are ordered by CV; lower CV indicates lower sensitivity to the random initial noise.
| Metric | mean | std | range | CV (%) $\downarrow$ |
| PA-MPJPE | 4.76 | 0.008 | 0.025 | 0.16 |
| RA-MPJPE | 10.30 | 0.032 | 0.104 | 0.31 |
| WA-MPJPE | 13.46 | 0.072 | 0.222 | 0.53 |
| MPJPE | 18.51 | 0.133 | 0.382 | 0.72 |
| W-MPJPE | 38.02 | 0.312 | 0.779 | 0.82 |
| Accel | 3.98 | 0.045 | 0.148 | 1.12 |
姿态精度几乎不受噪声影响。在10种噪声样本下，PA-MPJPE的变化仅为0.025毫米（CV为0.16%），RA-MPJPE的变化为0.104毫米（CV为0.31%）。不同的初始噪声样本最终会收敛到几乎相同的解，这说明修正流轨迹足够平直，以至于最终预测结果对初始噪声的依赖性很弱。这一结果从实证角度支持了修正流背后的平直路径假设 [Liu et al. 2023]。
全局平移的敏感性略高一些，但仍在1%以内。包含全局平移的指标——MPJPE（CV为0.72%）和W-MPJPE（CV为0.82%）——其波动幅度比姿态对齐后的PA-MPJPE大出一个数量级。这反映出绝对全局位置比关节姿态更难以精确确定，这与平移是MANO状态中约束最弱的组成部分这一结论相符。不过，所有空间相关的CV值均低于1%。
时间相关指标的CV值因分母较小而被放大。加速度误差的CV值较高（1.12%），RTE的CV值甚至更高（1.75%，未列入表格），但它们的绝对取值范围极小（分别为0.15 m/s²和0.09%）；较大的CV值只是因为标准差除以更小的均值所产生的统计假象。实际而言，表1和表2中所报告的相对于基线的改进幅度达到毫米级，这比由随机种子引起的波动要大出数个数量级，因此这些差异反映的是方法本身的真正区别，而非随机初始化的噪声所致。
结合前文提到的常微分方程步数扫描结果（第C节），此次分析表明HandFlow的推理过程在两个独立维度上都具有鲁棒性：即求解器资源消耗和随机起点。
## E 前端通用性分析
默认情况下，HandFlow 以 HaMeR [Pavlakos et al. 2024] 为基础，这是一个专门针对手部建模的网络（采用 ViT-Huge 骨干网络，参数规模约 600M，在大规模手部数据上预训练），能够同时提供密集视觉特征以及 21 个 2D 关键点。
Table 6. Frontend generality. HandFlow accuracy when the HaMeR frontend is replaced by a generic DINOv3-Base backbone and MediaPipe skeleton detector (cf. Tables 2 and 1 for specialized baselines).
| Frontend | Params | HOT3D | DexYCB (s0) |
| M $\downarrow$ | PA $\downarrow$ | W-M $\downarrow$ | Accel $\downarrow$ | PA $\downarrow$ | AUC $\uparrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ |
| HaMeR (ViT-H) + HaMeR Skel. | ~600M | 72.00 | 5.49 | 43.00 | 4.18 | 3.88 | 0.922 | 80.30 | 99.82 |
| DINOv3-Base + MediaPipe | ~88M | 85.35 | 6.37 | 57.28 | 5.61 | 4.46 | 0.917 | 75.81 | 97.20 |
为了测试对前端模块的鲁棒性，我们将整个模块替换为非专为手部设计、且在各方面性能都更弱的现成组件：DINOv3-Base [Siméoni et al. 2025]（参数规模约 86M，一种在自然图像上做自监督训练的通用 ViT 模型，没有针对手部的预训练）负责提供视觉特征，MediaPipe [Lugaresi et al. 2019] 手部检测器（参数规模约 2M）则负责提供 2D 关键点。组合后的前端模块参数规模约为 88M（大约仅为 HaMeR 的 1/7），且这两个组件是独立训练而非联合训练。其他所有组件（帧压缩器、骨骼投影模块、cmask 机制、双流去噪器和损失函数）均保持不变。
表 6 报告了在两个基准测试上的结果。尽管前端模块性能明显更弱，HandFlow 的表现依然稳定：性能下降幅度适中，且在各项指标上表现一致（DexYCB 上的 PA-MPJPE 增加 15%，HOT3D 上增加 16%；HOT3D 上的 MPJPE 增加 18%）。更重要的是，即便采用这种通用前端模块，HandFlow 的性能仍优于强大的基于视频的基线模型（参见表 2 和表 1）：在 DexYCB 数据集上，PA-MPJPE 为 4.46 毫米，而 HaWoR 为 4.76 毫米；在 HOT3D 数据集上，W-MPJPE 为 57.28 毫米，Dyn-HaMR 则为 69.11 毫米。由于 HaMeR 将骨干网络和关键点头集成在单个网络中，我们将前端模块视为可替换的整体，不再进一步拆分性能下降的原因。这些结果表明，HandFlow 的准确性并不依赖于参数规模达 600M 的专用手部模型：修正流框架和双流条件机制贡献了大部分性能，即便在采用参数规模仅为其 1/7、且没有针对手部预训练的通用前端模块时，性能也仅出现适度下降。
## F 重叠推理分析
我们分析了第 3.5 节中提到的重叠窗口推理策略，在 DexYCB（s0）和 HOT3D（val）测试集的随机子集上，对比了不同重叠尺寸 $o \in \{0, 1, 2, 4\}$ 下的融合方法。我们将加速误差分解为 $c_1$（单个窗口覆盖的帧）和 $c_{>1}$（重叠区域的帧）；表 7 报告了相关结果。
事后平均法会引入边界伪影。为每个窗口独立运行常微分方程并平均重叠帧的最终状态，会导致误差集中在重叠边界处（当 o=2 时，$c_{>1}=18.9$ 与 $c_{1}=4.46$ 的差异明显）：独立演化的常微分方程轨迹会发生发散，对其端点取平均值会引入非物理的速度跳变。
速度融合则在积分过程中完成。通过为每个全局帧维护一个共享状态，并在每个常微分方程步骤中融合速度（见第 3.5 节），速度融合方法能够实现最低的整体
---
Table 7. Overlap inference analysis. We compare fusion strategies across overlap sizes $o \in \{0, 1, 2, 4\}$ on a random subset of the combined DexYCB (s0) and HOT3D (val) test set; all metrics are computed over this same mixed subset. $c_1$ and $c_{>1}$ denote acceleration error for frames covered by one and more-than-one window, respectively. Absolute values are not directly comparable to the single-benchmark Tables 1 and 2, but the comparison across fusion strategies is fair. Velocity blending eliminates boundary artifacts ( $c_1 \approx c_{>1}$) and improves reconstruction accuracy over the no-overlap baseline. Best per column in bold. Selected configuration (o=2) highlighted in light green.
| Setting | o | Accel $\downarrow$ | $c_1$ | $c_{>1}$ | RA-MPJPE $\downarrow$ | WA-MPJPE $\downarrow$ |
| No overlap | 0 | 4.49 | 4.49 | - | 8.24 | 12.76 |
| Post-hoc avg | 1 | 5.23 | 4.48 | 12.8 | 8.28 | 13.37 |
| 2 | 6.74 | 4.46 | 18.9 | 8.38 | 13.59 |
| 4 | 9.12 | 4.45 | 26.1 | 8.55 | 17.19 |
| Velocity blend (ours) | 1 | 4.35 | 4.30 | 5.18 | 8.19 | 13.23 |
| 2 | 4.26 | 4.19 | 5.43 | 8.13 | 12.30 |
| 4 | 4.18 | 4.08 | 5.86 | 8.16 | 11.97 |
加速误差，同时使边界帧误差接近内部帧水平（$c_1 \approx c_{>1}$），这证实了逐步骤融合能够防止轨迹发散，而非仅仅平滑其后续效应。采用 $o > 0$ 的速度融合方法在加速误差和 RA-MPJPE 两项指标上均优于无重叠基线，表明重叠观测提供了互补信息：窗口边缘附近的帧能受益于相邻窗口更丰富的时间上下文。我们选用 $o = 2$，它能在较低的窗口数量开销下，发挥出较大重叠尺寸带来的大部分优势。
## G 局限性
首先，$c_{mask}$机制将手部遮挡与手离开相机视野这两种情况混为一谈，因为两者都表现为HaMeR检测置信度较低。这两种场景存在本质差异：在部分遮挡情况下，生成式先验能够合理地补全缺失信息；但当手完全超出画面时，没有视觉证据可供参考，预测结果会显著变差，然而模型却无法检测到或标记这种故障模式。其次，重建质量取决于相机内参的准确性。当内参并非事先已知、必须通过ViPE在线估计时，相机运动有限的序列无法提供足够的几何约束来实现精确估计，从而导致重建质量大幅下降。
第三，由于HandFlow仅在MANO参数空间而非密集表面表示中运行，其精度既受限于MANO模型有限的表达能力，也受限于MANO格式标注的精确度——而这些标注本身就是对真实手部几何的有损近似。