# HMP：基于视频的姿势与形状估计的手部运动先验

埃内斯·杜兰$^{1,2}$ 穆罕默德·科卡巴斯$^{1,3}$ 瓦西里奥斯·乔塔斯$^{1,\dagger}$ 范子聪$^{1,3}$ 迈克尔·J·布莱克$^{1}$

$^{1}$德国图宾根智能系统研究所 $^{2}$德国图宾根大学 $^{3}$瑞士苏黎世联邦理工学院

$^{*}$通讯作者：<mailto:enes.duran@tue.mpg.de>

<div style="text-align: center;">VIDEO INPUT</div>

![Image](images/b9eb0da6aa4cc48480dfdfe7f2a26fd6446190eb76699ebf84839421a45e2f6d.jpg)

图1. 面对具有挑战性的手部交互视频（顶部），近期最先进的手部姿势估计方法[^64]（中间）无法生成准确的3D手部姿势。为解决这一问题，我们利用大规模动作捕捉数据集AMASS[^37]来训练运动先验，并通过潜变量优化从视频中恢复手部姿势。我们的模型HMP（底部）对遮挡具有鲁棒性，能生成时间上稳定的结果，在标准基准测试中的表现优于以往的方法。

## 摘要

要理解人类与世界的互动方式，就需要准确的3D手部姿势估计，而这一任务因手部极高的关节活动度、频繁的遮挡、自遮挡以及快速运动而变得复杂。虽然大多数现有方法依赖单张图像作为输入，但视频中包含有助于解决上述问题的有用线索。然而，现有的基于视频的3D手部数据集不足以训练前馈模型，使其能泛化到真实场景。另一方面，我们拥有包含手部运动的大型人体动作捕捉数据集，例如AMASS。因此，我们针对手部开发了一种专门的生成式运动先验，该先验在包含多样且高质量手部运动的AMASS数据集上训练而成。随后，这种运动先验被用于基于视频的3D手部运动估计，采用潜变量优化方法实现。我们的

将鲁棒的运动先验融入模型后，性能显著提升，尤其是在遮挡场景下。它能生成稳定、时间一致的结果，超越传统的单帧方法。我们通过在HO3D和DexYCB数据集上的定性和定量评估验证了该方法的有效性，尤其重点考察了HO3D中聚焦遮挡情况的子集。代码可在<https://hmp.is.tue.mpg.de>获取。

### 1. 引言

手部往往是我们操纵物体、与周围环境互动的主要工具。因此，从RGB图像中准确重建手部的3D姿势和形状具有重要意义。

---

它在包括人机交互、增强/虚拟现实（AR/VR）、机器人技术、生物力学和动画在内的诸多应用中发挥着重要作用。尽管多年来相关研究不断深入，但由于手部运动本身具有极高的关节活动度、手物交互导致的遮挡、自遮挡以及快速运动等特点，这项任务仍然颇具挑战性。

现有方法主要研究从单张图像中估计手部姿势和形状[^5] [^6] [^11] [^26] [^33] [^34] [^40] [^42] [^48] [^59] [^70]。然而，这类方法生成的手部运动重建结果往往在时间上不一致。它们常存在抖动、预测缺失问题，生成的运动结果也较为嘈杂（见图1中间行）。

与上述场景不同，视频是手部运动分析的重要数据来源。与单张图像相比，视频包含时间信息，能够通过学习相邻帧之间的相关性来预测随时间变化的连贯手部重建结果。视频中蕴含着大量与手部运动相关的线索，这些线索有助于提升手部姿态和形状的估计精度。然而，这一宝贵特性尚未得到充分探索，利用视频数据的尝试寥寥无几 [^14] [^21] [^57] [^69]。最近，Fu等人 [^14] 提出了一种前馈模型，该模型以视频为输入并重建观测到的手部序列。不过，由于现有的基于视频的3D手部运动数据集 [^8] [^17] 在受试者数量和背景多样性方面存在局限，该方法的泛化能力十分有限。另一方面，大型动作捕捉数据集（如AMASS [^37]）虽然包含精确且多样的三维手部姿态标注，但其中并不包含图像。

受上述观察结果的启发，我们的核心思路是：利用现有的MoCap数据集构建稳健的生成式3D手部运动先验，并利用这种生成式运动先验从单目视频中估计3D手部姿态和形状。在大型AMASS动作捕捉数据集上训练完成后，我们在测试阶段将HMP（手部运动先验）用作运动先验，以便从带噪声且不完整的数据（如RGB视频、2D或3D关节序列）中估计3D手部姿态和形状。具体而言，我们提出了一种潜空间优化框架，该框架可与HMP交互以估计手部运动的参数。这种交互是通过在HMP的潜空间中参数化运动，并利用HMP先验来引导优化过程，使其趋向于合理运动的空间来实现的。

我们在两个现有的手部姿态估计视频数据集——DexYCB [^8] 和HO3D [^17] 上进行了3D手部姿态和形状估计的实验，结果表明我们的方法优于现有最先进的方法。为了分析该方法对遮挡情况的鲁棒性，我们从HO3D中整理出了一个遮挡情况较多的测试集，将其命名为HO3D-OCC，实验证明与现有方法相比，我们的方法对遮挡的鲁棒性更强。此外，我们还证明，我们的方法优于传统的运动先验（如高斯混合模型、基于PCA的时间先验），也优于直接优化手部姿态和形状参数的方法。

综上所述，我们的贡献包括：

• 我们提出了一种从大规模MoCap数据集AMASS [^37] 中学习得到的生成式手部运动先验。

- 我们提出了一种基于潜空间优化的方法，能够从单目视频中准确估计手部姿态和形状。

- 我们证明了得益于稳健的生成式运动先验，我们的方法在部分遮挡或严重遮挡情况下能重建出更精确的3D手部运动；我们在HO3D-OCC（HO3D数据集中的遮挡特定子集）上验证了这一点。

- 我们证明，与传统的时间先验或直接优化手部姿态和形状的方法相比，我们的框架能实现更好的手部重建效果。

### 2. 相关工作

#### 2.1. 基于单张图像的手部姿态估计

从单张图像估计3D手部姿态的方法可分为无模型和基于模型两类。

无模型方法通过直接预测3D关节位置[^33] [^34] [^42] [^48] [^59]或关节热图[^70] [^6] [^10] [^50]来直接估计手部姿态[^52] [^70] [^5] [^11] [^26] [^40]。例如，Zimmermann等人[^70]提出了首个用于检测2D手部关节并将其映射到3D空间的卷积网络，该网络还利用了关节先验知识。Iqbal等人[^26]引入了2.5D表示方法，以便利用额外的深度监督信息。同样，Spurr等人[^48]提出了生物力学约束条件，用于在仅有2D标注数据的情况下优化姿态预测结果。由于缺乏3D先验信息，这些方法需要大量标注数据来进行训练。

MANO[^46]是一种参数化的手部模型。在MANO模型中，手部由姿态参数和形状参数来描述。姿态参数决定了手部的关节活动方式，包括手指弯曲及其他运动；而形状参数则定义了手部的整体结构与形态。几种基于模型的方法[^2] [^4] [^11] [^12] [^22] [^35] [^67]可直接预测MANO参数。借助线性混合蒙皮技术，即可根据MANO参数计算出3D手部关节坐标及网格顶点坐标。Zhang等人[^67]提出了一种框架，该框架利用可微重投影损失来实现精确的手部网格恢复。类似地，Hasson等人[^22]采用了接触损失机制，以确保手部与物体之间的交互在预测结果中显得自然逼真。尽管基于图像的技术取得了显著进展，但其结果仍

---

由于单帧图像中存在遮挡和运动模糊现象，这些结果在时间上仍不具备一致性。

#### 2.2. 时序手部姿态估计

近期的一些方法[^21] [^35] [^41] [^49] [^57] [^69]试图利用视频中的时序数据来提升手部姿态估计的性能。Hasson等人[^21]将重投影后的3D手部预测结果与相邻帧的光流之间的光度一致性作为监督信号。Liu等人[^35]先在标注数据集上训练初始模型，再将其部署到大规模视频数据集上以收集伪标签；他们利用这些伪标签来训练单帧模型。与此同时，Ziani等人[^69]采用时序对比学习方法来获取对遮挡和运动模糊具有鲁棒性的特征。他们还验证了所学特征在类似VIBE[^32]的时序模型上的性能，VIBE是一种全身人体姿态与形状估计方法。Fu等人则采用基于Transformer的架构来处理输入视频帧间的时序关系[^14]，从而实现时序连贯且精准的手部姿态估计。该方法的一个局限性在于其训练过程依赖视频手部姿态数据集，但当前数据集中受试者及背景的多样性有限，这阻碍了以视频为输入的方法的泛化能力。

相比之下，我们的方法利用AMASS动作捕捉数据集来学习鲁棒的动作先验，并将该动作先验的潜码与现成算法估算出的2D手部关键点相匹配。与依赖视频输入的现有工作相比，这种方法更具通用性和灵活性。

#### 2.3. 动作先验模型

由于目前尚无专门针对手部的动作先验模型，我们转而关注用于建模人体运动的方法。针对各类任务（包括动作预测与合成），关于3D人体动力学的研究已取得丰硕成果[1,3,7,13,16,20,27,38,43,44,54,56,60–62,68]。近期，人体姿态估计方法开始引入学习到的人体动作先验，以帮助解决姿态歧义问题 [^32] [^45] [^66]。此外，也有研究提出了动作填补方法，旨在从部分观测到的动作中生成完整的动作序列 [^19] [^24] [^28] [^29]。扩散模型 [^47] 也被用作动作合成与填补的先验 [^25] [^53] [^63] [^65]。Rempe等人 [^45] 基于AMASS数据集训练了一种基于自回归VAE的动作先验，名为HuMoR。在测试阶段，他们利用HuMoR作为动作先验，从RGB视频、2D/3D关节点等不同输入模态中获取的含噪且部分缺失的观测数据中恢复3D人体姿态。由于HuMoR属于自回归模型，进行潜码优化时计算成本较高。神经动作场（NeMF）将人体动作表示为随时间变化的连续函数，其在动作合成方面的性能表现优异 [^23]。我们的方法正是通过将其作为手部动作先验来对NeMF进行扩展。

### 3. 方法

我们的方法HMP包含两个阶段（见图2）：在初始化阶段，它会从视频帧中检测手部边界框、2D手部关键点，并初始化MANO手部姿态与形状估计值（详见第3.2节）。在多阶段优化阶段（详见第3.4节），它通过施加手部动作先验约束来优化视频中的这些估计值。

#### 3.1. 预备知识

HMP的输入是一段包含T帧的视频 $I=\{I_1,...,I_T\}$。我们假设摄像机是静止的，即 $\mathbf{R}_{\mathrm{cam}} = \mathbb{I}$ 且 $\mathbf{T}_{\mathrm{cam}} = [0,0,0]$，其中 $\mathbf{R}_{\mathrm{cam}} \in SO(3), \mathbf{T}_{\mathrm{cam}} \in \mathbb{R}^3$。全局坐标系下的手部动作 $\mathbf{Q} = \{Q_t = \{\Phi_t, \tau_t, \theta_t, \beta\}\}_{t=0}^T$ 包含全局朝向 $\Phi_t \in SO(3)$、全局平移 $\tau_t \in \mathbb{R}^3$、手部姿态 $\theta_t \in \mathbb{R}^{15 \times 3}$ 以及所有可见时间步t下的手部形状 $\beta \in \mathbb{R}^{10}$。我们使用MANO模型来表示时间维度上的手部网格 [^46]。与参数化人体模型类似，MANO模型会根据手部动作 $V_t \in \mathbb{R}^{778 \times 3}$ 为每个时间步t输出一个三角化手部网格 $\mathbf{Q}$。

现有的3D手部姿态数据集，如HO3D [^17]、DexYCB [^8]，虽然包含手部图像，但缺乏足够多且标注准确的多样化3D手部姿态数据。另一方面，AMASS [^37]等大规模动作捕捉数据集虽然拥有在精确的动作捕捉系统中采集的多样性极高的3D手部运动数据，却不包含图像。我们的核心思路是利用大规模动作捕捉数据集来解决数据稀缺问题。我们首先在AMASS上训练一个手部运动模型，以学习自然手部运动的先验模型。随后我们提出了一种基于优化的新框架，利用这一运动先验来恢复手部运动（见第3.4节）。在该框架下，我们的方法能够以即插即用的方式适配任何姿态回归器和2D手部关键点估计器（见表3和表5）。

#### 3.2. 初始化

我们首先使用现成的手部追踪模型 [^9] 来获取手部的边界框。对于每个边界框，我们利用PyMAF-X $\hat{\mathbf{Q}} = \{\hat{Q}_t\}_{t=0}^{T}$ 估计全局坐标系下的手部姿态和形状 $\hat{Q}_t = \{\hat{\Phi}_t, \hat{\tau}_t, \hat{\theta}_t, \hat{\beta}_t\}$，其中 [^64]。当手部被物体遮挡或处于双手交互状态时，手部边界框检测方法往往会出现失误。为了给这类帧获取初始值，我们对边界框置信度低于阈值的情况采用球面插值（SLERP）处理。我们的优化过程便从这一初始条件开始。

对于2D关键点，我们使用MediaPipe和PyMAF-X结合得到的关键点 [^36] [^64]。如果MediaPipe在某个时间步没有检测到相应结果，

---

![Image](images/d1e91ac1f714aa789a4de858b49c77c7a69139e40731a559f44a6947d8b1bccf.jpg)

<div style="text-align: center;">Figure 2. HMP method overview: Given a video of hand, we first use off-the-shelf methods to obtain initial 2D hand keypoints and MANO hand pose and shape parameters via the regressor. We propose a latent optimization framework that optimizes the hand motion to reduce 2D pose errors and increase motion likelihood under hand motion prior. The final output is temporally stable hand motion.</div>

我们就将PyMAF-X得到的3D关节投影到图像空间，并将其作为关键点来源。我们测试了不同的关键点估计方法，通过实验发现将MediaPipe和PyMAF-X的关键点进行融合效果最佳（详见第4节）。这种关键点融合方法旨在结合不同关键点来源的优势，以实现更精确的估计。更多细节请参阅补充材料。

#### 3.3. 手部运动先验

我们的目标是构建运动先验，以确保估计出的手部运动具有合理性，并在运动优化过程中约束解空间。为此，我们采用了变分自编码器（VAE）[^31]。该VAE学习手部运动的潜在表示，记为 $\mathbf{z}$，并将该潜在编码的分布规整为正态分布。我们希望VAE的解码器 $\mathcal{D}$ 是非自回归的，以便在不牺牲精度的前提下实现更快的采样。这种设计选择尤为重要，尤其是当运动先验在优化过程中被迭代使用时。像HuMoR [^45] 这样的自回归运动先验在处理长运动序列时往往速度过慢；相比之下，非自回归解码器可以并行评估整个序列。基于此，我们采用基于神经运动场（NeMF）[^23] 的解码器，通过类NeRF的MLP [^39] 将人体运动表示为手部姿态的连续向量场。第3.4节将讨论NeMF在潜在优化中的应用。

基于 [^23] 中的方法，我们的系统仅利用该先验对局部手部运动进行建模。具体而言，D

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Stage</td><td style='text-align: center; word-wrap: break-word;'>Variables</td><td style='text-align: center; word-wrap: break-word;'>Loss terms</td><td style='text-align: center; word-wrap: break-word;'>Description</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>1</td><td style='text-align: center; word-wrap: break-word;'>$\Phi,\tau,\beta$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{o},\mathcal{L}_{\mathrm{tr}},\mathcal{L}_{\beta},\mathcal{L}_{os},\mathcal{L}_{ts},\mathcal{L}_{2D}$</td><td style='text-align: center; word-wrap: break-word;'>global translation + rotation</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>2</td><td style='text-align: center; word-wrap: break-word;'>$\Phi,\tau,\beta,\mathbf{z}_{\theta}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{o},\mathcal{L}_{\mathrm{tr}},\mathcal{L}_{\beta},\mathcal{L}_{os},\mathcal{L}_{2D},\mathcal{L}_{MP}$</td><td style='text-align: center; word-wrap: break-word;'>+ local hand pose</td></tr></table>

<div style="text-align: center;">Table 1. Multi-stage optimization variables and loss terms.</div>

是一个MLP，它接收潜在编码 $\mathbf{z}_{\theta}$ 和时间步t作为输入，从而输出对应时间步的局部手部姿态 $\hat{\theta}_{t}$：

 $$ \mathcal{D}:(t,\mathbf{z}_{\theta})\to(\hat{\theta}_{t}), $$

在这里，$\mathbf{z}_\theta$ 用于控制手部的局部姿态 $\theta$。给定特定的 $\mathbf{z}_\theta$，只需改变参数 t 的值，就能并行采样整个序列。为了在潜在空间优化过程中融入运动先验，我们优化的是潜在编码 $\{\mathbf{z}_\theta\}$，而非仅仅优化手部的局部运动 $\{\theta_t\}_{t=0}^T$。我们使用 VAE 的预训练编码器 $\mathcal{E}$ 来初始化该潜在编码；$i.e., z_\theta = \mathcal{E}_\theta(\{\theta\}_{t=0}^T)$。

与 [^23] 中的方法不同，我们在运动先验训练期间省略了全局方向信息。这一决策基于以下观察：手部的全局方向所受约束要少得多。与受重力限制而运动受限的身体全局方向不同，手部可以在空中自由移动。训练过程的详细信息详见补充材料。

#### 3.4. 潜在空间优化

本节将阐述用于估计手部运动的潜在空间优化过程。我们的目标是优化描述手部运动的变量：

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Stages</td><td style='text-align: center; word-wrap: break-word;'>Variables</td><td style='text-align: center; word-wrap: break-word;'>Loss Function</td><td style='text-align: center; word-wrap: break-word;'>Loss Coefficients</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1</td><td style='text-align: center; word-wrap: break-word;'>$\Phi,\tau,\beta$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{o},\mathcal{L}_{\mathrm{tr}},\mathcal{L}_{\beta},\mathcal{L}_{os},\mathcal{L}_{ts},\mathcal{L}_{2\mathrm{D}}$</td><td style='text-align: center; word-wrap: break-word;'>lr = 0.05, $\lambda_{o}$ = 3, $\lambda_{\mathrm{tr}}$ = 1, $\lambda_{os}$ = 1, $\lambda_{ts}$ = 5, $\lambda_{\beta}$ = 3, $\lambda_{2\mathrm{D}}$ = 0.05</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-2</td><td style='text-align: center; word-wrap: break-word;'>$\Phi,\tau,\beta,\mathbf{z}_{\theta}$</td><td style='text-align: center; word-wrap: break-word;'>$\mathcal{L}_{o},\mathcal{L}_{\mathrm{tr}},\mathcal{L}_{\beta},\mathcal{L}_{os},\mathcal{L}_{2\mathrm{D}},\mathcal{L}_{\mathrm{MP}}$</td><td style='text-align: center; word-wrap: break-word;'>lr = 0.05, $\lambda_{o}$ = 2, $\lambda_{\mathrm{tr}}$ = 1, $\lambda_{os}$ = 1, $\lambda_{\beta}$ = 10, $\lambda_{2\mathrm{D}}$ = 0.05, $\lambda_{\mathrm{MP}}$ = 300</td></tr></table>

<div style="text-align: center;">Table 2. Multi-stage optimization loss coefficients.</div>

即全局方向 $\Phi$、全局平移 $\tau$、形状参数 $\beta$，以及运动先验潜在编码 $z_{\theta}$。

目标函数：我们希望最小化的目标函数定义如下：

 $$ \begin{aligned}\mathcal{L}=\lambda_{o}\mathcal{L}_{o}+\lambda_{\mathrm{tr}}\mathcal{L}_{\mathrm{tr}}+\lambda_{\beta}\mathcal{L}_{\beta}+\lambda_{os}\mathcal{L}_{os}+\lambda_{ts}\mathcal{L}_{ts}\\+\lambda_{\mathrm{MP}}\mathcal{L}_{\mathrm{MP}}+\lambda_{2\mathrm{D}}\mathcal{L}_{2\mathrm{D}},\end{aligned} $$

其中我们使用了七个不同的目标项及其对应的系数。这些系数的值见表 2。第一项通过 $\mathcal{L}_{0}$ 确保优化后的全局方向与初始全局方向相近：

 $$ \mathcal{L}_{0}=\sum_{t=0}^{T}g(\Phi_{t},\hat{\Phi}_{t})^{2}. $$

这里 g 表示两次旋转之间的测地距离。第二项 $\mathcal{L}_{\mathrm{tr}}$ 促使全局平移不会偏离其初始值：

 $$ \mathcal{L}_{\mathrm{t r}}=\sum_{t=0}^{T}\|\tau_{t}-\hat{\tau}_{t}\|_{2}^{2}. $$

第三项通过 $\mathcal{L}_{\beta}$ 促使形状参数趋近于零向量：

 $$ \mathcal{L}_{\beta}=\|\beta\|_{2}^{2}. $$

第四项和第五项分别促使全局平移和方向的运动更加平滑：

 $$ \mathcal{L}_{\mathrm{o s}}=\sum_{t=0}^{T-1}g(\Phi_{t+1},\Phi_{t})^{2}, $$

 $$ \mathcal{L}_{\mathrm{t s}}=\sum_{t=0}^{T-1}\left\|\tau_{t+1}-\tau_{t}\right\|_{2}^{2}. $$

二维关键点误差项 $\mathcal{L}_{2D}$ 会约束我们的运动，使其与检测器预测的二维关键点对齐：

 $$ \mathcal{L}_{\mathrm{2D}}=\sum_{i=1}^{21}\sum_{t\in T_{\mathrm{d e t e c t}}}\alpha_{t}^{i}\rho\left(\Pi\left(R_{\mathrm{c a m}}J_{t}^{i}+T_{\mathrm{c a m}}\right)-\mathrm{x}_{t}^{i}\right). $$

此处 $T_{detect}$ 表示有关键点检测结果的时刻步。$J_t^i$ 代表时刻 t 下关节 i 的位置。$\mathbf{x}_t^i$ 是图像空间中对应的检测到的关键点，$\Pi$ 表示利用相机内参 K 将三维点投影到图像空间的过程，$\alpha_t^i$ 代表关节 i 的检测置信度，而 $\rho$ 就是 German-McClure 函数 [^15]。最后一项通过最小化潜在编码的负对数似然，来约束手部运动的有效性。

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{M P}}=-\log\mathcal{N}\left(\mathbf{z}_{\theta};\boldsymbol{\mu}_{\theta}\left(\left\{\theta_{t}\right\}\right),\boldsymbol{\sigma}_{\theta}\left(\left\{\theta_{t}\right\}\right)\right).}\end{array} $$

多阶段优化：从二维视频中估计三维姿态和形状本身是一个病态问题。若试图同时优化所有参数，可能会陷入局部最优。为缓解这一问题，我们采用了从粗到精的逐步优化流程。这种方法旨在每个阶段都对优化问题加以约束。

我们的优化策略分为两个不同阶段。在第一阶段，我们的目标是仅通过优化全局方向 $\Phi$、全局平移 $\tau$ 和形状 $\beta$，来使 PyMAF-X 的初始手部估计结果与视频数据对齐。在第二阶段，我们引入运动先验隐码 z 以优化局部姿态，这一阶段涉及更精细的优化过程。我们使用 Adam 优化器 [^30]。

遮挡处理：对于被遮挡的帧，用于初始化的现成方法（即 2D 关键点和边界框检测器、PyMAF-X）无法提供任何结果。为了在不依赖检测结果的情况下稳健地处理这类帧，我们会屏蔽对应时间步中的目标项，从而仅用观测到的时间步来优化隐码 $z_\theta$。在这种情况下，运动先验起到了运动填充的作用，能够利用可见帧的线索来推断被遮挡帧的内容。这是我们方法的关键部分，使其对遮挡具有鲁棒性。

并行优化：HuMoR [^45] 是运动先验建模的自然选择。然而，其自回归特性使得它难以应用于长序列处理。因此，我们希望获得适用于批量优化的运动先验。我们的架构基于近期的研究工作 NeMF [^23]。其公式支持并行优化，因此可应用于长运动序列。

### 4. 实验

#### 4.1. 数据集与评价指标

HO3D 是一个专注于捕捉手与物体之间时序交互的数据集。该数据集包含 10 名受试者与 10 种不同 YCB 物体的交互场景，

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Methods</td><td colspan="3">HO3D-v3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-ACC $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>TempCLR $^{\dagger}$ [^69]</td><td style='text-align: center; word-wrap: break-word;'>10.6</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>3.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HandOccNet $^{\dagger}$ [^41]</td><td style='text-align: center; word-wrap: break-word;'>9.1</td><td style='text-align: center; word-wrap: break-word;'>24.9</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>METRO [^34]</td><td style='text-align: center; word-wrap: break-word;'>12.1</td><td style='text-align: center; word-wrap: break-word;'>38.7</td><td style='text-align: center; word-wrap: break-word;'>17.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PyMAF-X [^64]</td><td style='text-align: center; word-wrap: break-word;'>10.8</td><td style='text-align: center; word-wrap: break-word;'>29.6</td><td style='text-align: center; word-wrap: break-word;'>9.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^34] + HMP (Ours)</td><td style='text-align: center; word-wrap: break-word;'>10.8</td><td style='text-align: center; word-wrap: break-word;'>31.3</td><td style='text-align: center; word-wrap: break-word;'>2.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^64] + HMP (Ours)</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>26.7</td><td style='text-align: center; word-wrap: break-word;'>2.2</td></tr></table>

<div style="text-align: center;">Table 3. State-of-the-art comparison on the HO3D-v3 dataset [^18]. Methods denoted with † uses HO-3D as their training dataset.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Methods</td><td colspan="3">DexYCB</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-ACC $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ArtiBoost $^{\dagger}$ [^58]</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>12.8</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Deformer $^{\dagger}$ [^14]</td><td style='text-align: center; word-wrap: break-word;'>5.2</td><td style='text-align: center; word-wrap: break-word;'>-</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PyMAF-X [^64]</td><td style='text-align: center; word-wrap: break-word;'>11.6</td><td style='text-align: center; word-wrap: break-word;'>38.1</td><td style='text-align: center; word-wrap: break-word;'>17.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^64] + HMP (Ours)</td><td style='text-align: center; word-wrap: break-word;'>8.9</td><td style='text-align: center; word-wrap: break-word;'>34.1</td><td style='text-align: center; word-wrap: break-word;'>3.6</td></tr></table>

<div style="text-align: center;">Table 4. State-of-the-art comparison on the DexYCB dataset [^8]. Methods denoted with † uses DexYCB as their training dataset.</div>

这些场景是从多个视角采集的 [^17] [^55]。在该数据集中，手持物体的操作常常会导致严重的遮挡现象，给分析带来挑战。我们采用该数据集的第 3 版进行评估。

HO3D-OCC：我们选择 HO3D 中特定于遮挡的序列，以凸显不同方法在遮挡情况下的性能表现。该子集源自 HO3D 的训练部分，包含 1736 帧。

DexYCB [^8]：该数据集包含 10 名受试者抓取 YCB-Video 数据集 [^55] 中 20 种不同物体的场景。真实值是通过利用手工标注的 2D 关键点以及多视角 RGB-D 数据进行的优化过程得到的。与 HO3D 相比，这些序列较短（2-3 秒），且动作复杂度更低 [^17]。评估时采用默认的划分方式（S0）。

AMASS [^37] 是一个从多种基于标记的数据集中整理而来的大型 3D 人体运动捕捉数据集。在 AMASS 仓库收录的众多数据集中，GRAB [^51]、TCDHands 和 SAMP [^20] 包含了手部关节信息。我们利用这些数据集来训练我们的运动先验模型。

评价指标：我们报告经过 Procrustes 对齐（PA-MPJPE）和根部对齐（RA-MPJPE）后的平均关节投影误差，单位为毫米（mm）。我们还报告根部对齐的加速度误差（RA-ACC），单位为 $mm/s^{2}$。加速度误差反映了估计运动的平滑程度。

#### 4.2. 与最先进方法的比较

我们的目标是找到一种能很好地泛化到不同来源视频的方法。确保这一点的一种方式是采用在真实场景中表现最佳的方法。PyMAF-X [^64] 是当前最先进的手部姿态与形状估计方法。我们以 PyMAF-X 作为主要基准，并基于它报告其他结果。

本文的主要目标是恢复连贯的手部运动。

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Methods</td><td colspan="3">HO3D-v3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-ACC $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PyMAF-X [^64]</td><td rowspan="2">10.7</td><td rowspan="2">29.4</td><td rowspan="2">5.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>+ SLERP</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>No Motion Prior</td><td style='text-align: center; word-wrap: break-word;'>10.5</td><td style='text-align: center; word-wrap: break-word;'>28.0</td><td style='text-align: center; word-wrap: break-word;'>1.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PCA-based Prior</td><td style='text-align: center; word-wrap: break-word;'>13.8</td><td style='text-align: center; word-wrap: break-word;'>31.1</td><td style='text-align: center; word-wrap: break-word;'>10.7</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GMM-based Prior</td><td style='text-align: center; word-wrap: break-word;'>10.4</td><td style='text-align: center; word-wrap: break-word;'>27.5</td><td style='text-align: center; word-wrap: break-word;'>3.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1 (PyMAF-X)</td><td style='text-align: center; word-wrap: break-word;'>10.5</td><td style='text-align: center; word-wrap: break-word;'>26.8</td><td style='text-align: center; word-wrap: break-word;'>2.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1 (MediaPipe)</td><td style='text-align: center; word-wrap: break-word;'>10.3</td><td style='text-align: center; word-wrap: break-word;'>27.0</td><td style='text-align: center; word-wrap: break-word;'>1.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1 (MMPose)</td><td style='text-align: center; word-wrap: break-word;'>10.3</td><td style='text-align: center; word-wrap: break-word;'>27.1</td><td style='text-align: center; word-wrap: break-word;'>1.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1 (Blend)</td><td style='text-align: center; word-wrap: break-word;'>10.2</td><td style='text-align: center; word-wrap: break-word;'>27.7</td><td style='text-align: center; word-wrap: break-word;'>1.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-2 (Blend)</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>26.7</td><td style='text-align: center; word-wrap: break-word;'>2.2</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PyMAF-X [^64]</td><td style='text-align: center; word-wrap: break-word;'>10.8</td><td style='text-align: center; word-wrap: break-word;'>29.6</td><td style='text-align: center; word-wrap: break-word;'>9.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^64] + HMP (Ours)</td><td style='text-align: center; word-wrap: break-word;'>10.1</td><td style='text-align: center; word-wrap: break-word;'>26.7</td><td style='text-align: center; word-wrap: break-word;'>2.2</td></tr></table>

<div style="text-align: center;">Table 5. Ablation studies on the HO3D-v3 dataset [^18].</div>

因此，我们希望重点强调能够衡量估计运动质量的指标，例如 RA-ACC。遗憾的是，HO3D 数据集的评估服务器并不提供此类指标。因此，在表 3 中，我们使用训练集来报告这些指标，并与采用类似方式的方法进行比较。DexYCB 表 4 中列出的所有结果均使用 S0 子集。

近期的一些方法，如 Deformer [^14] 和 Arti-Boost [^58]，将 HO3D 和 DexYCB 作为主要的训练数据集。然而，由于 HO3D 和 DexYCB 本身背景和受试者多样性有限，仅基于这些数据集训练的方法难以有效泛化到真实场景的视频中。相比之下，PyMAF-X 和我们的运动先验均不依赖这些数据集进行训练，从而增强了它们在真实场景中的泛化能力。因此，直接将我们的方法与那些在 HO3D 和 DexYCB 上训练的方法进行比较颇具挑战性。为了体现这种差异，我们在相应表格中用 † 标记这类方法。总体而言，我们的方法在 HO3D 和 DexYCB 数据集上的表现优于现有的最先进技术（SOTA）。此外，我们的方法还提升了用于初始化的 PyMAF-X 方法在这两类数据集上的性能。

此外，我们在图 3 中展示了 DexYCB 的定性结果，在图 4 中展示了真实场景视频的结果，在图 5 中展示了 HO3D 的结果。更多结果请参见补充材料。与 PyMAF-X 方法相比，我们的方法对手部与物体交互导致的遮挡具有更强的鲁棒性。

为了展示第 3.2 节所述即插即用特性的适用性，我们也在表 3 中报告了使用不同初始化方法进行优化的定量数据。

#### 4.3. 消融研究

我们在表 5 和表 6 中分别报告了在 HO3D 和 DexYCB 数据集上的消融实验。在本节中，我们分析了我们方法的关键组成部分。

运动先验：除了我们使用的基于 NeMF 的运动先验外，我们还报告了不使用运动先验、基于 PCA 的运动先验以及基于 GMM 的运动先验的结果，分别记为“无运动先验”、“基于 PCA 的运动先验”和“基于 GMM 的运动先验”。在“无运动先验”实验中，我们直接优化 MANO 手部姿态，而非运动先验的潜码。我们在姿态优化过程中引入了姿态平滑项，以替代运动先验的似然项。我们在 AMASS 数据集上训练的运动先验，在 HO3D 和 DexYCB 数据集上的表现均优于这些运动先验基线。

---

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Methods</td><td colspan="3">DexYCB</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-ACC $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PyMAF-X [^64] + SLERP</td><td style='text-align: center; word-wrap: break-word;'>11.5</td><td style='text-align: center; word-wrap: break-word;'>36.5</td><td style='text-align: center; word-wrap: break-word;'>6.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>No Motion Prior</td><td style='text-align: center; word-wrap: break-word;'>10.9</td><td style='text-align: center; word-wrap: break-word;'>36.4</td><td style='text-align: center; word-wrap: break-word;'>3.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PCA-based Prior</td><td style='text-align: center; word-wrap: break-word;'>16.9</td><td style='text-align: center; word-wrap: break-word;'>41.6</td><td style='text-align: center; word-wrap: break-word;'>15.3</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GMM-based Prior</td><td style='text-align: center; word-wrap: break-word;'>10.8</td><td style='text-align: center; word-wrap: break-word;'>38.7</td><td style='text-align: center; word-wrap: break-word;'>4.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1 (PyMAF-X)</td><td style='text-align: center; word-wrap: break-word;'>10.8</td><td style='text-align: center; word-wrap: break-word;'>35.1</td><td style='text-align: center; word-wrap: break-word;'>3.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1 (MediaPipe)</td><td style='text-align: center; word-wrap: break-word;'>10.8</td><td style='text-align: center; word-wrap: break-word;'>39.1</td><td style='text-align: center; word-wrap: break-word;'>3.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1 (MMPose)</td><td style='text-align: center; word-wrap: break-word;'>10.8</td><td style='text-align: center; word-wrap: break-word;'>39.4</td><td style='text-align: center; word-wrap: break-word;'>3.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1 (Blend)</td><td style='text-align: center; word-wrap: break-word;'>10.8</td><td style='text-align: center; word-wrap: break-word;'>35.5</td><td style='text-align: center; word-wrap: break-word;'>3.4</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-2 (Blend)</td><td style='text-align: center; word-wrap: break-word;'>8.9</td><td style='text-align: center; word-wrap: break-word;'>34.1</td><td style='text-align: center; word-wrap: break-word;'>3.6</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PyMAF-X [^64]</td><td style='text-align: center; word-wrap: break-word;'>11.6</td><td style='text-align: center; word-wrap: break-word;'>38.1</td><td style='text-align: center; word-wrap: break-word;'>17.1</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>[^64] + HMP (Ours)</td><td style='text-align: center; word-wrap: break-word;'>8.9</td><td style='text-align: center; word-wrap: break-word;'>34.1</td><td style='text-align: center; word-wrap: break-word;'>3.6</td></tr></table>

<div style="text-align: center;">Table 6. Ablation studies on the DexYCB dataset [^8].</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Methods</td><td colspan="3">HO3D-OCC</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-MPJPE $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RA-ACC $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PyMAF-X [^64]</td><td style='text-align: center; word-wrap: break-word;'>15.3</td><td style='text-align: center; word-wrap: break-word;'>48.9</td><td style='text-align: center; word-wrap: break-word;'>26.0</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PyMAF-X [^64] + SLERP</td><td style='text-align: center; word-wrap: break-word;'>14.4</td><td style='text-align: center; word-wrap: break-word;'>41.3</td><td style='text-align: center; word-wrap: break-word;'>7.9</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-1</td><td style='text-align: center; word-wrap: break-word;'>13.0</td><td style='text-align: center; word-wrap: break-word;'>38.2</td><td style='text-align: center; word-wrap: break-word;'>2.8</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Stage-2</td><td style='text-align: center; word-wrap: break-word;'>12.6</td><td style='text-align: center; word-wrap: break-word;'>38.1</td><td style='text-align: center; word-wrap: break-word;'>3.0</td></tr></table>

<div style="text-align: center;">Table 7. Performances on occlusion specific HO3D-OCC subset</div>

我们还在 HO3D 和 DexYCB 数据集上进行了消融实验，结果分别见表 5 和表 6。在本节中，我们分析了我们方法的关键组成部分。

多阶段：我们开展消融研究以展示优化过程不同阶段的结果。结果表明，通过潜码优化来优化局部姿态的第 2 阶段相较于第 1 阶段能进一步提升效果。

关键点融合：我们分析了使用不同2D手部关键点检测算法时的性能，这些算法包括MM-Pose [^9]、MediaPipe [^36]和PyMAF-X [^64]。我们还测试了一种将MediaPipe [^36]和PyMAF-X [^64]的关键点进行融合的变体。我们发现，与MMPose相比，融合MediaPipe和PyMAF-X能得到更优的2D手部关键点检测结果。其中，将MediaPipe与PyMAF-X融合后能得到最佳的整体效果。

### 5. 结论与讨论

在这项工作中，我们提出了HMP——一种基于隐式优化的视频三维手部姿态与形状估计方法。鉴于现有的基于视频的三维手部数据集不足以训练前馈模型以使其能泛化到真实场景，我们针对手部开发了一种专门的生成式运动先验，该先验在AMASS数据集上训练而成；随后采用这种运动先验，结合隐式优化方法来完成基于视频的三维手部运动估计。

![Image](images/be94e6491cdb3c104867647d344f14a965203bcc5426b9abd655a923641f674d.jpg)

<div style="text-align: center;">Figure 3. 3D hand pose and shape estimation on DexYCB videos: input video (top), PyMAF-X (middle), HMP (bottom)</div>

![Image](images/279590ac5185fd4a509383b51e30e6de7a968ceb6194dac7f49f73d1302b1334.jpg)

![Image](images/d5d0694df8bfcaad3b24d3ae4cd1f159f581a4e21590987b6ed83ca1fc4e3ad9.jpg)

![Image](images/45424fdc06d6468e0bac8320fad34a679b56b92b73dc8d5d869f9e21d0248098.jpg)

![Image](images/5409cd0357ef757a5a8705b488d10ab3fd0866e0a4bcebb6867f4529eb2fbbc5.jpg)

![Image](images/f681ff1934d6e31bcdc121ff4548710c7c049b304c4a26a64349e081ccb3663b.jpg)

![Image](images/4eaf678d467b1db49790ef6679fa00bcbacc252bb414efeae9a825661c9c9637.jpg)

![Image](images/2790a0abe09a56f6eb4d6e9e452adf7470adfc75b13bc3d6681ef08ad0a239b1.jpg)

![Image](images/d1d233af2ac582463f653da62eab0e379d29fed4287323c71e027b018377962a.jpg)

![Image](images/3f36f19cf00fbffc0b48702979dcc600ee5d5f70b999f500ea315076a9ffefad.jpg)

<div style="text-align: center;">Figure 4. 3D hand pose and shape estimation on an in-the-wild video: input video (top), PyMAF-X (middle), HMP (bottom)</div>

我们融入的鲁棒运动先验显著提升了性能，尤其是在遮挡场景下。它能产生稳定且时间一致的结果，优于传统的单帧处理方法。通过在HO3D和DexYCB数据集上的定性与定量评估，尤其是针对HO3D中侧重遮挡情况的子集进行评估，证明了该方法的有效性。我们的方法可以与任何单阶段姿态与形状回归器即插即用，进一步改善其性能。凭借这种灵活性，与现有的视频手部姿态与形状估计方法不同，HMP也能应用于真实场景的视频。

局限性：我们方法的一个局限性在于其对2D关键点估计质量的依赖。在严重遮挡或运动模糊的情况下，现有的2D关键点预测器可能会出现误差。

致谢：我们感谢Nikos Athanasiou、Peter Kulits以及Perceiving Systems部门的所有成员提供的宝贵反馈与富有洞见的讨论。

声明：<https://files.is.tue.mpg.de/black/CoI_ICCV_2023.txt>

---

![Image](images/1f6928f765e65628b50de3fccefb566a6a541ccddc9ea133bc336d02d2e8d501.jpg)

![Image](images/c1e64d5379ee9382e1cfc5116f618a5970a3b344ee5755a5c7cf1b927c390dfc.jpg)

<div style="text-align: center;">RGB INPUT</div>

![Image](images/9fd6c6f15b92b6eb4ba8760d84522d20fca9c8d2050b60cc65ddf6134b4759ac.jpg)

![Image](images/4d277e277cbeaaed40d596a3a77e506d60a7ce6bc51378760c457aaf7fe9cc71.jpg)

![Image](images/ec32235c3909dd7661dac96a51fcf91174649e5d9ea143894b1cfff88604ae2d.jpg)

最先进的方法

![Image](images/7aec018ff0a7059abdfb6c6e0e68cddedbc9fa76b4a78bc38d7fea4e05f3c6ca.jpg)

![Image](images/480fe4cd6f569f0317373a757eebfc19a422553dde72dfbd8e07367edcbe537b.jpg)

![Image](images/c250abd3ac2e2670ad4cf5774f7fd394da5ef7cab5ddbda5272f130bc2123337.jpg)

![Image](images/5cea1e7d7b0f18f9543fa411826ee0112e87fce2298c794bc013860edbba5199.jpg)

HMP（我们的方法）

![Image](images/53f857e381e1c568c7e2a714921f8c8aa743de9b44e1bfd4e32dde97c29e837b.jpg)

![Image](images/58a93d0f374370d685f475685106fb81b82e00b2348ed6e223d1c22a8a3f0c7c.jpg)

![Image](images/6ed0737fc472f14f464ed490ebbbeda076e8158b91bf36e5f26f82b996d121f5.jpg)

![Image](images/06790ba5e7c95a47eafdca8fa8f5c40522ddc7cfbdbccb89adfe1b0d0e20a98e.jpg)

![Image](images/356ce78afdb3d06bec33d486878dd329bb84d41572b202a56eedd80375e57730.jpg)

![Image](images/cd9de14165c7c69b36bad8f7ad0073dd6fb5907bef5b5b8fa6f8537109314748.jpg)

<div style="text-align: center;">RGB INPUT</div>

![Image](images/acac59de52ad4e3485c4de74a2f24a4a4df153e2e62792826f2ff6d7f42f7f5c.jpg)

![Image](images/d89db36d35a4922c7261d307d826a4d3b467e87925d87b7457555720c3936dbe.jpg)

![Image](images/853cf1874576b900bff8e4af2bb148939227fdc6354df21c2e6fdca545192be2.jpg)

![Image](images/54721dfe467969dadd47b4736f935f509c3172629b718199c2a6413a484de1db.jpg)

![Image](images/de703120a66dd0083a7702a323f547c50d9b5f84c7c23985931f092a71fd5c43.jpg)

最先进的方法

![Image](images/992fb7d2897f92be141045ac5499e13e432fd1a1b56923fe6435a16e60573d4d.jpg)

![Image](images/95204dd5857a41d4a3bd778b24e08246134ddd31145505ea48f1091648be5495.jpg)

![Image](images/3984207c535ab66eec1492a7f16132ba288afbf0ef68ff7cfccf0ee3055efc15.jpg)

![Image](images/31940395d2770549f16fb71c92c10bf85e5583da1e5a8fd4c9cbcaedc49debc7.jpg)

HMP（我们的方法）

![Image](images/77970c5bdf641c0304cba52b283fbb2c3fe117c24a72ff9bc72be3971c02552c.jpg)

![Image](images/56e936fcc64116908c2f9cbf288c7c02cf357412ecaf8dc4f533bb422e6d72df.jpg)

![Image](images/a25c368d3a813397b65b09e06e755ec462c06ea4f13ad4f6404905af3d13be27.jpg)

![Image](images/2c12d00c6b60d6af9f0bca46519989841e522711e82661d306c66feaf85d5114.jpg)

![Image](images/d8ca5911561d7dd3292766048d9ce478a2a02e71b772556bbbbeb490fc325db8.jpg)

![Image](images/f0cac5ce1aaa4f30e77dd2ff666b4bddb970f4d379c49b61e7935c7acc322d24.jpg)

<div style="text-align: center;">Figure 5. 3D hand pose and shape estimation on HO3D videos: input video (top), PyMAF-X (middle), HMP (bottom)</div>

---

## 参考文献

[^1]: Emre Aksan, Manuel Kaufmann, and Otmar Hilliges. Structured prediction helps 3D human motion modelling. In ICCV, 2019.

[^2]: Seungryul Baek, Kwang In Kim, and Tae-Kyun Kim. Pushing the envelope for RGB-based dense 3D hand pose estimation via neural rendering. In CVPR, pages 1067–1076, 2019.

[^3]: Emad Barsoum, John Kender, and Zicheng Liu. HP-GAN: Probabilistic 3D human motion prediction via gan. In CVPR Workshops, 2018.

[^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3D hand shape and pose from images in the wild. In CVPR, pages 10843–10852, 2019.

[^5]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3D hand pose estimation from monocular RGB images. In ECCV, pages 666–682, 2018.

[^6]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. Exploiting spatial-temporal relationships for 3D pose estimation via graph convolutional networks. In ICCV, pages 2272–2281, 2019.

[^7]: Zhe Cao, Hang Gao, Karttikeya Mangalam, Qi-Zhi Cai, Minh Vo, and Jitendra Malik. Long-term human motion prediction with scene context. In ECCV, pages 387–404. Springer, 2020.

[^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In CVPR, pages 9044–9053, 2021.

[^9]: MMPose Contributors. Openmmlab pose estimation toolbox and benchmark. <https://github.com/openmmlab/mmpose>, 2020.

[^10]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J Crandall. Hope-net: A graph-based model for hand-object pose estimation. In CVPR, pages 6608–6617, 2020.

[^11]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J. Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In 3DV, 2021.

[^12]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In CVPR, 2023.

[^13]: Katerina Fragkiadaki, Sergey Levine, Panna Felsen, and Jitendra Malik. Recurrent network models for human dynamics. In ICCV, 2015.

[^14]: Qichen Fu, Xingyu Liu, Ran Xu, Juan Carlos Niebles, and Kris Kitani. Deformer: Dynamic fusion transformer for robust hand pose estimation. ArXiv, abs/2303.04991, 2023.

[^15]: Stuart Geman and Donald E McClure. Statistical methods for tomographic image reconstruction. Bulletin of the International Statistical Institute, 1987.

[^16]: Anand Gopalakrishnan, Ankur Mali, Dan Kifer, Lee Giles, and Alexander G Ororbia. A neural temporal model for human motion prediction. In CVPR, 2019.

[^17]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3D annotation of hand and object poses. In CVPR, pages 3196–3206, 2020.

[^18]: Shreyas Hampali, Sayan Deb Sarkar, and Vincent Lepetit. HO-3D-v3: Improving the accuracy of hand-object annotations of the HO-3D dataset, 2021.

[^19]: Félix G Harvey, Mike Yurick, Derek Nowrouzezahrai, and Christopher Pal. Robust motion in-betweening. ACM Trans-actions on Graphics (TOG), 39(4):60–1, 2020.

[^20]: Mohamed Hassan, Duygu Ceylan, Ruben Villegas, Jun Saito, Jimei Yang, Yi Zhou, and Michael J. Black. Stochastic scene-aware motion prediction. In ICCV, 2021.

[^21]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In CVPR, pages 571–580, 2020.

[^22]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, pages 11807–11816, 2019.

[^23]: Chengan He, Jun Saito, James Zachary, Holly Rushmeier, and Yi Zhou. NeMF: Neural motion fields for kinematic animation. In NeurIPS, 2022.

[^24]: Alejandro Hernandez, Jurgen Gall, and Francesc Moreno-Noguer. Human motion prediction via spatio-temporal in-painting. In CVPR, 2019.

[^25]: Siyuan Huang, Zan Wang, Puhao Li, Baoxiong Jia, Tengyu Liu, Yixin Zhu, Wei Liang, and Song-Chun Zhu. Diffusion-based generation, optimization, and planning in 3D scenes. In CVPR, 2023.

[^26]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, and Jan Kautz. Hand pose estimation via 2.5D latent heatmap regression. In ECCV, 2018.

[^27]: Ashesh Jain, Amir R Zamir, Silvio Savarese, and Ashutosh Saxena. Structural-RNN: Deep learning on spatio-temporal graphs. In CVPR, 2016.

[^28]: Manuel Kaufmann, Emre Aksan, Jie Song, Fabrizio Pece, Remo Ziegler, and Otmar Hilliges. Convolutional autoencoders for human motion infilling. In 3DV, 2020.

[^29]: Tarasha Khurana, Achal Dave, and Deva Ramanan. Detecting invisible people. In ICCV, pages 3174–3184, 2021.

[^30]: Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2014.

[^31]: Diederik P. Kingma and Max Welling. Auto-encoding variational bayes. In ICLR, 2014.

[^32]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. VIBE: Video inference for human body pose and shape estimation. In CVPR, 2020.

[^33]: Sijin Li and Antoni B Chan. 3D human pose estimation from monocular images with deep convolutional neural network. In ACCV, pages 332–347. Springer, 2014.

[^34]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, pages 1954–1963, 2021.

## [^35]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In CVPR, pages 14687–14697, 2021

---

[^36]: Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, Wan-Teh Chang, Wei Hua, Manfred Georg, and Matthias Grundmann. MediaPipe: A framework for building perception pipelines, 2019.

[^37]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. AMASS: Archive of motion capture as surface shapes. In ICCV, 2019.

[^38]: Julieta Martinez, Michael J. Black, and Javier Romero. On human motion prediction using recurrent neural networks. In CVPR, 2017.

[^39]: Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020.

[^40]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In CVPR, 2018.

[^41]: JoonKyu Park, Yeonguk Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Handoccnet: Occlusion-robust 3D hand mesh estimation network. In CVPR, pages 1496–1505, 2022.

[^42]: Sungheon Park, Jihye Hwang, and Nojun Kwak. 3D human pose estimation using convolutional neural networks with 2D pose information. In ECCV, pages 156–169. Springer, 2016.

[^43]: Dario Pavllo, David Grangier, and Michael Auli. Quaternet: A quaternion-based recurrent model for human motion. In BMVC, 2018.

[^44]: Mathis Petrovich, Michael J. Black, and Gül Varol. Action-conditioned 3D human motion synthesis with transformer VAE. In ICCV, 2021.

[^45]: Davis Rempe, Tolga Birdal, Aaron Hertzmann, Jimei Yang, Srinath Sridhar, and Leonidas J. Guibas. HuMoR: 3d human motion model for robust pose estimation. In ICCV, 2021.

[^46]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. Siggraph Asia, 36(6):245:1–245:17, Nov. 2017.

[^47]: Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In ICML, 2015.

[^48]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In ECCV, pages 211–228. Springer, 2020.

[^49]: Adrian Spurr, Pavlo Molchanov, Umar Iqbal, Jan Kautz, and Otmar Hilliges. Adversarial motion modelling helps semi-supervised hand pose estimation. arXiv preprint arXiv:2106.05954, 2021.

[^50]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In CVPR, pages 89–98, 2018.

[^51]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In ECCV, pages 581–600, 2020.

[^52]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In CVPR, pages 4511–4520, 2019.

[^53]: Guy Tevet, Sigal Raab, Brian Gordon, Yoni Shafir, Daniel Cohen-or, and Amit Haim Bermano. Human motion diffusion model. In ICLR, 2023.

[^54]: Ruben Villegas, Jimei Yang, Yuliang Zou, Sungryull Sohn, Xunyu Lin, and Honglak Lee. Learning to generate long-term future via hierarchical prediction. In ICML, 2017.

[^55]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. 2018.

[^56]: Xinchen Yan, Akash Rastogi, Ruben Villegas, Kalyan Sunkavalli, Eli Shechtman, Sunil Hadap, Ersin Yumer, and Honglak Lee. MT-VAE: Learning motion transformations to generate multimodal human dynamics. In ECCV, 2018.

[^57]: John Yang, Hyung Jin Chang, Seungeui Lee, and Nojun Kwak. Seqhand: RGB-sequence-based 3D hand pose and shape estimation. In ECCV, pages 122–139. Springer, 2020.

[^58]: Lixin Yang, Kailin Li, Xinyu Zhan, Jun Lv, Wenqiang Xu, Jiefeng Li, and Cewu Lu. ArtiBoost: Boosting articulated 3D hand-object pose estimation via online exploration and synthesis. In CVPR, 2022.

[^59]: Linlin Yang and Angela Yao. Disentangling latent hands for image synthesis and pose estimation. In CVPR, pages 9877–9886, 2019.

[^60]: Ye Yuan and Kris Kitani. Dlow: Diversifying latent flows for diverse human motion prediction. In ECCV, 2020.

[^61]: Ye Yuan and Kris Kitani. Residual force control for agile human behavior imitation and extended motion synthesis. In NeurIPS, 2020.

[^62]: Ye Yuan and Kris M. Kitani. Diverse trajectory forecasting with determinantal point processes. In ICLR, 2020.

[^63]: Ye Yuan, Jiaming Song, Umar Iqbal, Arash Vahdat, and Jan Kautz. PhysDiff: Physics-guided human motion diffusion model. In ICCV, 2023.

[^64]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, and Yebin Liu. Pymaf-x: Towards well-aligned full-body model regression from monocular images. IEEE TPAMI, 2023.

[^65]: Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. Motion-diffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022.

[^66]: Siwei Zhang, Yan Zhang, Federica Bogo, Marc Pollefeys, and Siyu Tang. Learning motion priors for 4D human body capture in 3D scenes. In ICCV, 2021.

[^67]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular RGB image. In ICCV, pages 2354–2364, 2019.

[^68]: Yi Zhou, Zimo Li, Shuangjiu Xiao, Chong He, Zeng Huang, and Hao Li. Auto-conditioned recurrent networks for extended complex human motion synthesis. In ICLR, 2018.

## [^69]: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, and Otmar Hilliges. TempCLR: Reconstructing hands via time-coherent contrastive learning. In 3DV, 2022

---

[^70]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, pages 4903–4911, 2017.