# DiffHPE：基于扩散模型的鲁棒一致三维人体姿态提升 塞德里克·罗梅尔 $^{1}$ 爱德华多·瓦莱 $^{1,4}$ 米卡埃尔·陈 $^{1}$ 苏海尔·哈利法维 $^{2}$ 勒诺·马尔莱 $^{1,5}$ 马蒂厄·科尔代 $^{1,3}$ 帕特里克·佩雷斯 $^{1}$ $^{1}$法国巴黎 Valeo.ai $^{2}$法国巴黎 法雷奥应用机器学习部门 $^{3}$法国巴黎 索邦大学 $^{4}$巴西坎皮纳斯大学电气与计算机工程学院 Recod.ai 实验室 $^{5}$法国马恩拉瓦莱 法国国家科学研究中心 古斯塔夫·埃菲尔大学 巴黎路桥学院 LIGM 实验室 ## 摘要 我们提出了一种面向三维人体姿态估计（3D-HPE）的创新方法，融入了目前已给多个领域带来变革的前沿扩散模型，而扩散模型在三维人体姿态估计领域尚缺乏充分探索。我们证明扩散模型能够提升人体姿态估计的准确性、鲁棒性与一致性。我们推出DiffHPE，这是一种在三维人体姿态估计中利用扩散模型的全新策略，并验证了它可以优化标准监督式三维人体姿态估计的效果。我们还展示了扩散模型如何在存在遮挡的情况下得到更鲁棒的估计结果，提升预测的时间一致性与矢状面对称性。我们基于Human 3.6M数据集开展实验，证明了本文方法的有效性以及相对于现有模型的优越性，即使在训练遮挡模式与推理阶段不匹配的不利场景下依然表现出色。我们的研究结果表明，尽管独立使用扩散模型就能获得可观的性能，将其与监督模型结合后准确性更优，这为三维人体姿态估计研究开辟了令人振奋的新方向。 ### 1. 引言 三维人体姿态估计（3D-HPE）领域发展迅速，近年方法的准确率提升迅速[^8] [^33]。本文加入这一研究浪潮，展示了将扩散模型融入现有最优模型后，不仅能如已有认知提升模型准确率，还能增强鲁棒性与一致性，我们将在实验中对此进行验证。 尽管扩散模型已在人体姿态预测中展现出出色性能，对遮挡具备很强的鲁棒性[^29]，但它在三维人体姿态估计（以及其他纯预测任务）中的应用仍未被充分探索。本文中我们展示，扩散模型解决歧义的能力可以从姿态预测任务迁移到三维人体姿态估计任务中。 扩散模型作为一种前沿生成技术，目前在多个领域都引发了变革，包括计算机视觉[^23] [^28] [^31] [^27] [^19] [^30]、自然语言处理[^2] [^17] [^5]以及时间序列分析[^16] [^36] [^29]。 尽管少数开创性工作已经取得了可观的性能指标[^8] [^33]，目前领域对于扩散模型相比经典监督方法的优势，以及相关关键设计选择的理解仍处于初期阶段。本文中我们解决了这些问题，深入分析了扩散模型对三维人体姿态估计的影响。 我们的贡献分为三点： 1. 我们提出DiffHPE，这是一种将扩散模型应用于3D-HPE的全新策略； 2. 我们的大量分析表明，扩散模型的估计结果具有更出色的双边一致性和时间一致性，对遮挡也更具鲁棒性，即便模型未针对遮挡进行充分训练，依然能保持优势。 3. 我们证明，将扩散模型与有监督3D-HPE结合得到的DiffHPE-Wrapper，性能优于单独训练的每个模型； ### 2. 相关工作 3D人体姿态估计。与2D人体姿态估计相比，3D-HPE的发展远不够成熟，现有成果仍处于初期阶段，尤其是在我们本文研究的单目3D-HPE领域，这也是本文的研究范围。单目3D-HPE的早期工作采用端到端方案，利用深度神经网络直接从图像预测3D关键点 [^25] [^22] [^21] [^35]。由于该方案一直存在诸多难题，且2D-HPE的发展速度快得多，当前最优方法采用两步流水线：先进行2D-HPE，再将2D结果提升到3D空间。 --- 姿态提升的最初方法采用小型多层感知机 [^20] 和最近邻匹配 [^6]。 人体姿态估计最初是在帧层面开展研究，随后该领域迅速引入循环神经网络 [^11] 和卷积神经网络 [^26]，转向视频级预测。这使得模型可以利用时间相关性提升精度。之后研究者提出图卷积网络来利用关键点的连接结构，在大幅降低计算复杂度的同时提升了结果性能 [^42] [^18] [^4] [^44] [^12] [^38]。 近年来，研究者提出了时空Transformer架构 [^32] [^43]，其中包括MixSTE [^41]；普遍认为，在确定性方法中，MixSTE是当前3D人体姿态提升领域的最优模型。 生成式人体姿态估计。将人体姿态提升到3D本质上是一个存在固有歧义的任务，因为多个不同的3D姿态可能投影得到相同的2D输入。这促使学界研究基于生成模型的多假设方法，例如变分自编码器 [^34]、归一化流 [^15] [^37]，以及近年出现的扩散模型 [^8] [^33]。 DiffPose [^8] 和D3DP [^33] 采用基于MixSTE的去噪器，从零开始训练。D3DP [^33] 将扩散过程以原始2D关键点为条件，该方案与我们的DiffHPE-2D（3.2小节）思路相似。它提出了一种新的假设聚合方案，基于2D重投影，比简单平均更复杂，但该方案依赖于能否获取相机参数。 DiffPose [^8] 近期在3D人体姿态估计领域取得了新的最优性能。它采用一种特殊的扩散过程，该过程基于在上游模型预测生成的2D热图上学习得到的高斯混合模型。除了采用MixSTE作为去噪器，它还使用预训练的MixSTE初始化推理过程中的反向扩散——至少在帧级模型中是如此，而帧级模型是目前唯一公开的版本。 $^{1}$ 我们的方案与上述研究存在显著差异。我们的去噪器架构基于CSDI [^36] 和TCD [^29]，但引入了图卷积层，能够在保证精度的同时，相比CSDI的Transformer结构拥有更低的计算负担。我们采用了精简的标准扩散框架，摒弃了DiffPose的复杂设计。在训练和推理阶段，我们均使用冻结的预训练MixSTE作为扩散过程的条件输入。 去噪扩散概率模型。去噪扩散概率模型（DDPM）[^9] 已经成为新一代最优生成模型 [^40]，在广泛的应用场景中都取得了出色成果，例如文本生成图像 [^23] [^28] [^31] [^27]、图像修复 [^19] [^30]、音频合成 [^16]、时间序列补全 [^36] 以及计算化学 [^10]。 去噪扩散模型近期被应用于3D人体姿态预测 [^29]，并展现出当前最优的性能，即便在存在严重遮挡的场景下也表现良好。我们的工作从该研究中获得了重要启发，旨在为3D人体姿态估计实现同样出色的遮挡鲁棒性。 我们的架构与TCD [^29] 均基于CSDI [^36]，但我们将CSDI中计算密集型的Transformer结构替换为了图卷积层。我们大幅扩展了 [^29] 中的遮挡分析，进一步研究了训练阶段观测到的遮挡与推理阶段遇到的遮挡之间的分布偏移问题。我们还针对扩散过程对姿态一致性的影响开展了全新的分析。 据我们所知，这是首个研究扩散过程对3D人体姿态积极影响的工作，这些影响包括对分布偏移的鲁棒性，以及对姿态对称性和时间一致性的提升。 ### 3. 方法 #### 3.1. 扩散模型背景 我们的工作建立在DDPMs [^9] 的基础上，这是一种独特的生成建模方法，凭借其出色的复杂分布表征能力获得了极高的关注度，同时与GAN相比训练更稳定，与归一化流相比支持更灵活的架构设计。 DDPM的训练目标是逆转扩散过程：该过程会在T个步骤中逐步向训练数据 $\mathbf{x}_{0}$ 添加高斯噪声，直到数据在 $\mathbf{x}_{T}$ 处变为纯噪声。这个前向扩散过程可以形式化为从条件分布 $\mathbf{q}$ 中采样 $$ \mathbf{q}(\mathbf{x}_{t}|\mathbf{x}_{t-1})=\mathcal{N}(\mathbf{x}_{t};\sqrt{1-\beta_{t}}\mathbf{x}_{t-1},\beta_{t}\mathbf{I}), $$ 其中I是单位矩阵，原始数据扩散为噪声的速率由 $\beta_{1}, \ldots, \beta_{T}$ 给出的方差调度控制。 重要的是，前向过程及其调度可以重新参数化为 $$ \alpha_{t}=\prod_{t=1}^{T}(1-\beta_{t}), $$ $$ \mathbf{q}(\mathbf{x}_{t}|\mathbf{x}_{0})=\mathcal{N}(\mathbf{x}_{t};\sqrt{\alpha_{t}}\mathbf{x}_{t-1},(1-\alpha_{t})\mathbf{I}), $$ 从而可以直接对每个步骤t进行采样。该特性对模型的高效训练至关重要。 如果我们已知 $\mathrm{p}(\mathbf{x}_{t-1}|\mathbf{x}_t)$，就可以逆转噪声过程，将高斯样本还原为数据分布中的样本。这个反向条件分布任意复杂，但我们可以通过去噪深度神经网络对其进行近似。具体而言，对于足够小的 --- ![Image](images/959ada6ec715ca37a7492b8048332844131777e0b691638e5a5094f26c44cf56.jpg)
Figure 1. Training procedure of the proposed diffusion-based 2D-to-3D human pose estimation lifting. DiffHPE-Wrapper is composed of a frozen pre-trained lifting backbone $h_*$, a linear encoding layer $w_\theta$ for the 3D data, and noise-predicting deep neural network $\epsilon_\theta$. More details in subsections 3.2 and 3.4. 'Forward diffusion' corresponds to equation (3) and 'concat' to channel-wise concatenation.
$$ \mathrm{p}(\mathbf{x}_{t-1}|\mathbf{x}_{t})\approx\mathcal{N}(\mathbf{x}_{t-1};\mu_{\theta}(\mathbf{x}_{t},t),\Sigma_{t}), $$ 去噪步骤，我们可以设置 其中$\mu_{\theta}(\mathbf{x}_{t},t)$是一个经过学习得到的深度神经网络，其输入同时包含带噪数据$\mathbf{x}_{t}$和对应的步骤t（通常经过位置编码）；$\Sigma_{t}$依赖于方差调度，但除此之外不需要训练学习。 在实际应用中，相比直接对$\mu_{\theta}(\mathbf{x}_{t}, t)$建模，研究者通常更倾向于等价地推断添加到$\mathbf{x}_{t}$中的噪声： $$ \mu_{\theta}(\mathbf{x}_{t},t)=k_{1,t}(\mathbf{x}_{t}-k_{2,t}\epsilon_{\theta}(\mathbf{x}_{t},t)), $$ 其中$\epsilon_{\theta}$是噪声预测神经网络，$k_{.,t}$是依赖于方差调度项的常数。 条件扩散模型在去噪过程中添加了一个额外项，为纯预测任务提供了契机： $$ \mathrm{p}(\mathbf{x}_{t-1}|\mathbf{x}_{t},c)\approx\mathcal{N}(\mathbf{x}_{t-1};\mu_{\theta}(\mathbf{x}_{t},c,t),\Sigma_{t}), $$ $$ \mu_{\theta}(\mathbf{x}_{t},c,t)=k_{1,t}(\mathbf{x}_{t}-k_{2,t}\epsilon_{\theta}(\mathbf{x}_{t},c,t)), $$ 其中添加到$\epsilon_{\theta}$中的条件输入c可以从预测任务的输入中得到。条件化让我们能够将扩散模型的能力用于3D-HPE提升任务。 #### 3.2. 用扩散模型封装2D-to-3D提升 如前所述，面向3D-HPE的提升方法是从上游流程预先得到的对应2D位置$\mathbf{x}^{\mathrm{3D}}$中，预测人体关键点的3D位置$\mathbf{x}^{\mathrm{2D}}$。$\mathbf{x}^{\mathrm{3D}}$处于相机参考坐标系中，而$\mathbf{x}^{\mathrm{2D}}$位于高度为h、宽度为w的图像像素空间中。 我们假设在长度为L的帧序列中可获取2D和3D姿态，每个帧包含J个关节，满足$\mathbf{x}^{\mathrm{2D}} \in (\{1, \ldots, h\} \times \{1, \ldots, w\})^{L \times J} \subset \mathbb{R}^{L \times J \times 2}$和$\mathbf{x}^{\mathrm{3D}} \in \mathbb{R}^{L \times J \times 3}$。 传统提升方法等同于在包含N个样本对$f_\theta : \mathbb{R}^{L \times J \times 2} \to \mathbb{R}^{L \times J \times 3}$的数据集上训练一个确定性监督回归模型$\{(x_i^{2D}, x_i^{3D}) : 1 \leq i \leq N\}$，估计条件期望$\mathbb{E}[x^{3D} | x^{2D}]$，通常使用标准均方误差损失。 生成式提升方法不仅从数据集中学习期望，还学习完整的条件分布$\mathrm{p}(\mathbf{x}^{3\mathrm{D}}|\mathbf{x}^{2\mathrm{D}})$，可以从中采样候选3D姿态。我们提出使用扩散模型，将3D关键点$\mathbf{x}^{3\mathrm{D}}$作为去噪过程的目标，将2D关键点$\mathbf{x}^{2\mathrm{D}}$作为该过程的条件，由此得到条件DDPM形式如下： $$ \mathrm{p}(\mathbf{x}_{T}^{\mathrm{3D}}|\mathbf{x}^{\mathrm{2D}})=\mathcal{N}(\mathbf{x}_{T}^{\mathrm{3D}};0,\mathbf{I}), $$ $$ \begin{array}{r}{\mathrm{p}(\mathbf{x}_{t-1}^{\mathrm{3D}}|\mathbf{x}_{t}^{\mathrm{3D}},\mathbf{x}^{\mathrm{2D}})\approx\mathcal{N}(\mathbf{x}_{t-1}^{\mathrm{3D}};\mu_{\theta}(\mathbf{x}_{t}^{\mathrm{3D}},\mathbf{x}^{\mathrm{2D}},t),\Sigma_{t}).}\end{array} $$ 基于输入2D像素坐标的条件化。用于提升任务的直接扩散模型将$\mathbf{x}^{3D}$的去噪直接条件化在原始2D数据$\mathbf{x}^{2D}$上，如式(9)所示。在实际中这一目标通过在每个扩散步骤t将$\mathbf{x}_{t}^{3D}$和$\mathbf{x}^{2D}$一同输入去噪网络$\epsilon_{\theta}$实现。我们将该策略称为DiffHPE-2D。 基于预训练模型特征的条件化。另一种替代基于原始2D输入条件化的方法是利用预训练确定性提升模型的内部表示（特征向量）。 --- 假设$f_* = g_* \circ h_*$是一个冻结的预训练提升神经网络，由骨干网络$h_* : \mathbb{R}^{L \times J \times 2} \to \mathbb{R}^{L \times J \times C}$和线性回归输出头$g_* : \mathbb{R}^{L \times J \times C} \to \mathbb{R}^{L \times J \times 3}$组成。 我们可以在式(9)中使用$h_*$的输出替代$\mathbf{x}^{2\mathrm{D}}$。这种丰富的特征向量比$g_*$的3D输出包含多得多的信息。然而，由于通常满足$C \gg 3$，条件项在$\mathbf{x}_t^{3\mathrm{D}}$中占比远大于$\mu_\theta$，导致性能不佳。我们通过将$\mathbf{x}_t^{3\mathrm{D}}$也嵌入到更高维层中来缓解该问题，由此扩散框架变为： $$ \mathbf{E}^{\mathrm{2D}}=\mathrm{h}_{*}(\mathbf{x}^{\mathrm{2D}}),\mathbf{E}_{t}^{\mathrm{3D}}=\mathrm{w}_{\theta}(\mathbf{x}_{t}^{\mathrm{3D}}), $$ $$ \begin{array}{r}{\mathrm{p}(\mathbf{x}_{t-1}^{\mathrm{3D}}|\mathbf{x}_{t}^{\mathrm{3D}},\mathbf{x}^{\mathrm{2D}})\approx\mathcal{N}(\mathbf{x}_{t-1}^{\mathrm{3D}};\boldsymbol{\mu}_{\theta}(\mathbf{E}_{t}^{\mathrm{3D}},\mathbf{E}^{\mathrm{2D}},t),\boldsymbol{\Sigma}_{t})}\end{array} $$ $$ \mu_{\theta}(\mathbf{E}_{t}^{\mathrm{3D}},\mathbf{E}^{\mathrm{2D}},t)=k_{1,t}(\mathbf{x}_{t}^{\mathrm{3D}}-k_{2,t}\epsilon_{\theta}(\mathbf{E}_{t}^{\mathrm{3D}},\mathbf{E}^{\mathrm{2D}},t)) $$ 其中$w_\theta(\mathbf{x}^{3D})$是单个可训练线性层，$\epsilon_\theta$是DDPM的可训练噪声预测模型。整体方案如图1-2所示。 由于该策略可以看作是用扩散模型封装原提升模型$f_*$，因此我们将其命名为DiffHPE-Wrapper。该扩散模型专注于细化提升结果，无需承担直接处理原始$\mathbf{x}^{2D}$输入的负担。 #### 3.3 噪声预测器架构 我们的噪声预测网络$\epsilon_{\theta}$采用了与CSDI[^36]类似的架构，该架构在时间序列插补[^36]（包括人体姿态预测[^29]）任务中已取得出色效果。CSDI继承了DiffWave[^16]的部分设计思路，DiffWave是一种用于音频合成的架构。 我们的设计包含16个残差块，每个残差块包含两个带批量归一化、ReLU激活函数和dropout的GCN层，之后接一个图非局部层[^42]。我们使用了带解耦自连接的预聚合图卷积[^18]，并采用64维嵌入。每个块中的两个图卷积层替换了CSDI中原有的两个Transformer层[^36] [^29]，大幅提升了训练和推理速度。与CSDI的Transformer层类似，这两个图层交替处理时间维度（跨时间对每个特征执行独立卷积）和特征维度（对每个时间步跨特征执行独立卷积）。在我们的设计中，人体姿态的骨骼连接始终通过图卷积连接得到内在利用。残差块通过门控激活单元连接生成残差，我们采用了与CSDI完全相同的块间连接和块输出连接。 #### 3.4 训练DiffHPE 我们按照标准DDPM的流程训练DiffHPE[^9]。对于给定的样本对$(\mathbf{x}^{2\mathrm{D}}, \mathbf{x}^{3\mathrm{D}})$： 1. 采样一个时间步$t \sim \mathcal{U}(\{1, \ldots, T\}$； ![Image](images/e67f7c90282134af7d996de0c62225402a8f5b4beb3173e50e8d6fda4f89774f.jpg)
Figure 2. Human pose lifting by diffusion on 3D pose, conditioned on 2D pose. Sampling is done by following the reverse process where the noise is estimated by the trained DiffHPE model.
2. 采样得到$\varepsilon \in \mathbb{R}^{L \times J \times 3} \sim \mathcal{N}(0, \mathbf{I})$，并用它推导得到带噪声的3D数据$\mathbf{x}_t^{\mathrm{3D}};$ 3. 计算$\mathbf{E}^{2\mathrm{D}} = \mathrm{h}_*\left(\mathbf{x}^{2\mathrm{D}}\right)$和$\mathbf{E}_t^{3\mathrm{D}} = \mathrm{w}_\theta\left(\mathbf{x}_t^{3\mathrm{D}}\right)$，并用它们预测噪声$\hat{\varepsilon} = \epsilon_\theta\left(\mathbf{E}_t^{3\mathrm{D}}, \mathbf{E}^{2\mathrm{D}}, t\right)$； 4. 我们使用$\varepsilon$损失比较$\hat{\varepsilon}$和$L_2$，将梯度反向传播到$\epsilon_\theta$和$w_\theta$以学习模型参数$\theta$。 整体方案如图1所示。步骤1–2对应公式(2–3)，这两个步骤可以实现训练步骤的高效采样。我们对训练数据集中的所有样本执行上述步骤，重复迭代直到模型收敛。 #### 3.5 推理阶段的DiffHPE 推理遵循标准DDPM流程（图2）： 1. 采样得到$\mathbf{x}_T^{\mathrm{3D}} \in \mathbb{R}^{L \times J \times 3} \sim \mathcal{N}(0, \mathbf{I})$； ---
Batch sizeLearning rateDropoutEpochs
MixSTE[^41]1024$4.0 \times 10^{-5}$0.10500
DiffHPE-2D200$8.0 \times 10^{-4}$0.031000
DiffHPE-Wrapper200$2.7 \times 10^{-4}$0.271000
Table 1. Training hyperparameters used in experiments. When possible, we used hyperparameters reported in [^41] for MixSTE, while the diffusion models' were tuned with random search.
2. 计算得到$\mathbf{E}^{2\mathrm{D}} = \mathrm{h}_* (\mathbf{x}^{2\mathrm{D}})$； 3. 对于所有时间步t，按从T到1的逆序，我们： (a) 计算$\mathbf{E}_t^{\mathrm{3D}} = \mathrm{w}_\theta(\mathbf{x}_t^{\mathrm{3D}})$，并用它预测噪声$\hat{\varepsilon}_t = \epsilon_\theta(\mathbf{E}_t^{\mathrm{3D}}, \mathbf{E}^{2\mathrm{D}}, t)$； (b) 根据公式(12)，由$\mu_t$和$\mathbf{x}_t^{\mathrm{3D}}$计算得到$\hat{\varepsilon}_t$； (c) 采样得到$\mathbf{x}_{t-1}^{\mathrm{3D}} \sim \mathcal{N}(\mu_t, \Sigma_t)$， 其中步骤3.b和3.c依赖于由方差调度计算得到的非可学习常量。 该过程显然是非确定性的，从单个$\mathbf{x}^{2\mathrm{D}}$输入就可以采样得到多个3D姿态$\mathbf{x}^{3\mathrm{D}}$。我们可以将这些采样结果看作可参数化数量H个估计姿态的假设，最终将这些假设聚合得到预测结果。 在生成技术领域的研究中，最常见的“聚合”方法就是直接挑选出最佳姿态（最接近真值的那个），以此评估性能的上界。这显然不符合实际情况，并且当对比对象包含确定性方法时，这种做法并不公平。本文采用的最简单解决方案是对采样结果取平均。当可以获取相机的内参和外参、能够将采样得到的3D姿态重投影到2D图像空间时，也可以使用更复杂的策略，例如基于逐关节重投影的聚合方法[^33]。 ### 4. 实验设置 #### 4.1. 数据集与评估指标 我们使用Human 3.6M数据集[^13]，它是3D人体姿态估计领域应用最广泛的数据集。该数据集包含7名演员完成15种不同动作的360万张图像，提供了4个静态相机视角下的2D和3D真值关键点位置。 遵循已有工作[^41] [^8] [^42]的设置，我们在受试者S1、S5、S6、S7、S8上训练模型，在受试者S9和S11上进行测试。 和大多数已有工作[^8] [^41] [^42] [^20]一致，我们使用基于17关节骨架的平均每关节位置误差（MPJPE）作为主要评估指标。我们按照1号协议计算该指标，即先将预测得到的根关节平移到其正确位置，再计算误差。 #### 4.2. 实现细节 模型。我们使用在同一Human 3.6M数据[^41]上预训练的MixSTE [^13]，作为固定的升维特征提取器$h_{*}$。需要注意的是，在所有实验中，模型训练和测试阶段的2D输入，都是由在同一数据上训练的CPN [^7]模型预测得到的2D关键点。这一点非常重要，因为有些研究公布的结果是基于2D真值标注得到的，得到的结果会更乐观。所有模型均在PYTORCH中实现[^24]。 训练。我们使用Adam优化器[^14]训练扩散模型，最多训练1000个epoch，使用默认参数$\beta_1 = 0.9$、$\beta_2 = 0.999$以及权重衰减$= 10^{-6}$。我们通过在HYDRA [^3]和OPTUNA [^39]中实现的随机搜索[^1]，对所有扩散模型的学习率和dropout进行调参（表1）。我们使用了高原学习率调度器，缩放因子为2，耐心值为50个epoch。我们为所有实验设定了扩散步数$T = 50$。 遵循当前领域研究惯例以及在Human 3.6M上做基准测试的相关官方代码仓库的做法，我们同时使用测试集性能来选择超参数和挑选训练过程中的最佳检查点。 我们遵循官方代码仓库的设置，使用原始参数重新训练了有监督MixSTE基线模型[^41]。$^{2}$ 我们将MixSTE最多训练500个epoch，远多于原论文中报告的120个epoch，以确保模型完全收敛。 ### 5. 实验结果 #### 5.1. 扩散模型提升预训练升维模型 DiffHPE-Wrapper 在 MixSTE 的基础上实现了性能提升，证明了它优化预训练模型预测结果的能力（表2）。在同一张表格中，对比两种DiffHPE模型的消融实验展现了使用MixSTE这类强基线作为条件的权衡取舍。一方面，组合模型DiffHPE-Wrapper拥有最优的准确率性能；另一方面，“更纯粹”的DiffHPE-2D模型在姿态对称性和时间连贯性上取得了最优指标。DiffHPE-Wrapper大幅改善了MixSTE在这些指标上的表现，而从头开始训练的DiffHPE-2D不会继承MixSTE的偏差。我们将在第5.4小节深入分析连贯性结果，并详细说明本文所用的评估指标。 我们为MixSTE给出了两个性能数值：一个直接从原论文逐字摘录，另一个是在与DiffHPE完全一致的训练和测试条件下复现该方法得到的结果，以此实现更公平的比较。该表格中的所有实验都采用长度为27帧的视频。 ---
DiffusionConditionHSequence lengthMPJPE [mm] $\downarrow$Symmetry gap [mm] $\downarrow$Segments length std [mm] $\downarrow$
MixSTE [^41] $^{\dagger}$✗N/A12751.8--
MixSTE $^{\ddagger}$✗N/A12754.818.25.2
DiffHPE-2D (ours)✓$\mathbf{x}^{2D}$52751.87.02.1
DiffHPE-Wrapper (ours)✓$\mathbf{E}^{2D}$52751.212.43.2
Table 2. Comparison between MixSTE and DiffHPE. DiffHPE-2D and MixSTE‡ act as an ablation (respectively of the conditioning on pre-trained MixSTE, and of the diffusion refinement) for DiffHPE-Wrapper. H is the number of samples used to average the predicted pose. MixSTE† is verbatim from [^41], while MixSTE‡ is reproduced from the same official code, but without the hand-tuned weighted loss and test-time augmentation, for better comparison. (Best and second best results as indicated.)
表3汇总了现有文献中针对长度为243帧的更长序列开展的最新实验结果，其准确率变化趋势与表2一致。遗憾的是，双边连贯性和时间连贯性尚未得到学界的足够关注，因此我们无法在该汇总结果中分析这些指标的变化趋势。
DiffusionConditionHSeq. lengthMPJPE [mm] $\downarrow$
MixSTE [^41]✗N/A124340.9
D3DP [^33]✓$\mathbf{x}^{2D}$2024339.5
DiffPose [^8]✓$\mathbf{E}^{2D}$524336.9
Table 3. Compilation of state-of-art human-pose lifting models. We observe the same trends as in Table 2, i.e., the diffusion models (D3DP and DiffPose) outperform the deterministic model (MixSTE), and DiffPose (which uses diffusion + MixSTE) outperforms D3DP, even with the latter using the camera parameters to aggregate 3D poses in a more sophisticated way. (Best in bold.)
#### 5.2. 扩散模型提升遮挡条件下的姿态升维效果 鉴于扩散模型已成功解决图像补全 [^30] [^19] 和时间序列插补 [^36] 等任务，它们自然成为应对遮挡问题的合适候选方案，而遮挡是人体姿态分析领域的一大核心挑战。已有研究证实，扩散模型确实具备处理遮挡下人体姿态预测的能力 [^29]。本文中，我们在 [^29] 所提出的相同挑战性遮挡模式下，对三维人体姿态升维方法进行评估，具体如下： 1. 随机遮挡：任意帧中的任意二维关键点都以相等概率p = 0.2被剔除； 2. 随机肢体遮挡：任意帧都有概率$p = 0.4$剔除所有左臂和右腿的全部关键点； 3. 连续肢体遮挡：随机均匀选取一段长度为10帧的连续序列（$\sim$占总序列长度的40%），该序列中所有右腿关键点都被剔除； 4. 连续帧遮挡：随机均匀选取一段长度为5帧的连续序列（$\sim$占总序列长度的20%），该序列中所有关键点全部被剔除。 剔除关键点即将其值设置为0。 我们在包括无遮挡在内的所有遮挡模式下，训练并评估了三个模型：1个有监督基线MixSTE和两个版本的DiffHPE-Wrapper。在两个DiffHPE-Wrapper模型中，一个以普通MixSTE（未经过遮挡数据训练）为条件，另一个以经过遮挡数据训练的MixSTE为条件。实验结果（表4）表明，经过遮挡训练的DiffHPE在所有遮挡模式下的表现都优于同样经过遮挡训练的MixSTE。令人惊讶的是，搭配普通MixSTE的DiffHPE-Wrapper除随机遮挡模式外，在其他所有模式下的性能都可与经过遮挡训练的MixSTE不相上下。
MixSTE[^41]DiffHPE-Wr.
With diffusion✗✓✓
Conditioning trained w/ occ.N/A✗✓
No occlusion54.851.251.2
Random54.560.353.2
Random leg and arm54.455.253.0
Consecutive leg55.154.152.6
Consecutive frames55.852.253.5
Table 4. Impact of occlusions. Performance (MPJPE in mm) with and without diffusion under different known occlusion patterns. (Best and $\underline{\text{second best}}$ results as indicated.)
#### 5.3. 扩散模型提升对遮挡模式误设的鲁棒性 承接第5.2小节的内容，需要说明的是，使用模拟遮挡进行训练可以被解释为一种数据增强方式。然而，测试阶段遇到的遮挡可能与训练时使用的遮挡并不相同，由此引出了对这类领域差距的鲁棒性问题。 为探究该问题，我们在训练与测试遮挡模式不一定匹配的跨域设置下，对两种经过遮挡训练的模型（MixSTE 和以其为条件的 DiffHPE-Wrapper）进行了评估。相关结果展示在图 3 中。我们发现，总体而言，遮 --- 挡模式设定偏差会损害两个模型的性能。性能对比展现出两个模型之间有趣的差异：扩散模型在大多数情况下鲁棒性更强，但在对完全随机的案例进行测试时，对设定偏差尤其脆弱，这说明结构化模式对生成建模的重要性。另一方面，当训练数据存在连续帧缺失时，扩散模型的鲁棒性尤其出色。 ![Image](images/3a1fbf8ccecf3c4ef569a2419975762f30e8f48f8b59b287ea2614c9494ea338.jpg)
Figure 3. Impact of train/test discrepancy between occlusion patterns. Cross-domain accuracy (MPJPE in mm) with and without diffusion under different occlusion patterns. Rows correspond to occlusion patterns at training, and columns indicate occlusions at test time. The bottom two matrices show the MJPE of each method (lower is better), and the top matrix, their difference, with positive values (blue) favoring DiffHPE-Wrapper.
#### 5.4. 扩散模型提升姿态一致性 表 2 的结果已经表明，扩散模型从两个方面提升了估计姿态的一致性： $$ \frac{1}{K L S_{left}}\sum_{i=1}^{K}\sum_{l=1}^{L}\sum_{s=1}^{S_{left}}\left|y_{i,l,s}-y_{i,l,\tau(s)}\right|, $$ 对称性。我们评估预测骨架的矢状面对称性（即身体两侧对应骨段长度应相等），采用预测得到的左侧与右侧骨段长度的平均绝对差衡量该指标： 其中 K 为测试序列的数量，L 为序列长度，$S_{\mathrm{left}}$ 是左侧骨段的数量，$\tau$ 将左侧骨段索引映射到对应的右侧骨段，$y_{i,l,s}$ 是骨段的长度，由该骨段两个关节之间的欧氏距离计算得到。 时间一致性。我们评估时间一致性（即同一序列内骨段长度不应发生变化），对每个预测骨段序列的时间维度标准差取平均值来衡量该指标： $$ \frac{1}{K S}\sum_{i=1}^{K}\sum_{s=1}^{S}\sqrt{\frac{1}{L}\sum_{l=1}^{L}(y_{i,l,s}-\bar{y}_{i,s})^{2}}, $$ 其中 $\bar{y}_{i,s} = \frac{1}{L} \sum_{l=1}^{L} y_{i,l,s}$，S 为骨段的总数量。 图 4 和图 5 展示了与表 2 类似的改进结果：遵循上一节的实验方案，DiffPose-Wrapper 在所有训练与测试遮挡模式的组合中都提升了一致性，这其中也包括精度结果没有得到提升的组合（参见图 3）。后一个观察结论很有意思，因为它表明扩散模型能够独立于“原始”精度提升来改善估计结果的一致性，这一效果可能来自于模型学习到了数据分布中更细微的特征。 ### 6. 结论 本文研究了如何将扩散模型有效应用于三维人体姿态提升任务。我们发现，尽管直接使用扩散模型（DiffHPE-2D）就能取得不错的效果，将其与当前最优的监督模型结合能得到更优异的结果（即 DiffHPE-Wrapper）。我们的结果表明，扩散模型不仅能输出更准确的预测，还能得到时间一致性更好、更符合人体对称性的姿态。 未来工作中，我们计划将分析拓展到更长序列，并研究缓解扩散模型更高计算负担的方法；计算负担仍然是扩散模型相较于传统方法的主要缺点，在推理阶段尤其突出。 --- ![Image](images/65605cefdbc959a2eb432ee7f351ac188944622757065785fd42d145d00a7804.jpg)
Figure 4. Impact of occlusions on sagittal symmetry of predicted poses. Average symmetry gap (in mm) with and without diffusion across different training and test occlusion patterns. The two bottom matrices show gap for the two methods (lower is better), and the top matrix, their difference, with positive values (blue) favoring DiffHPE-Wrapper.
我们希望本文能起到推动作用，展示扩散模型在预测任务中的潜力，本文提出的问题能够激励和促进这一充满活力的领域诞生更多新研究。 ## 致谢 我们感谢 Saeed Saadatnejad 提供了 TCD 的源代码 [^29]。本工作获准使用高性能计算（HPC）资 ![Image](images/9a12ebfb5208fa21c9e9f6117b6dc4e781b0487125f189967fa8fac268b167da.jpg)
Figure 5. Impact of occlusions on temporal consistency of segments' length. Average time-wise standard deviation of predicted segments lengths (in mm) across different training and test occlusion patterns. The two bottom matrices show the deviation for the two methods (lower is better), and the top matrix, their difference, with positive values (blue) favoring DiffHPE-Wrapper.
源，归 IDRIS 所有，由 GENCI 按照编号为 2023-AD011014073 的分配方案授权本工作使用。 --- ## 参考文献 [^1]: Takuya Akiba, Shotaro Sano, Toshihiko Yanase, Takeru Ohta, and Masanori Koyama. Optuna: A next-generation hyperparameter optimization framework. In Proceedings of the 25rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2019. 5 [^2]: Jacob Austin, Daniel D Johnson, Jonathan Ho, Daniel Tarlow, and Rianne Van Den Berg. Structured denoising diffusion models in discrete state-spaces. Advances in Neural Information Processing Systems, 34:17981–17993, 2021. 1 [^3]: James Bergstra and Yoshua Bengio. Random search for hyper-parameter optimization. Journal of Machine Learning Research, 13:281–305, 2012. 5 [^4]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2272–2281, 2019. 2 [^5]: Andrew Campbell, Joe Benton, Valentin De Bortoli, Thomas Rainforth, George Deligiannidis, and Arnaud Doucet. A continuous time framework for discrete denoising models. Advances in Neural Information Processing Systems, 35:28266–28279, 2022. 1 [^6]: Ching-Hang Chen and Deva Ramanan. 3d human pose estimation=2d pose estimation+ matching. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7035–7043, 2017. 2 [^7]: Yilun Chen, Zhicheng Wang, Yuxiang Peng, Zhiqiang Zhang, Gang Yu, and Jian Sun. Cascaded pyramid network for multi-person pose estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7103–7112, 2018. 5 [^8]: Jia Gong, Lin Geng Foo, Zhipeng Fan, Qiuhong Ke, Hossein Rahmani, and Jun Liu. DiffPose: Toward More Reliable 3D Pose Estimation. arXiv preprint arXiv:2211.16940, 2022. 1, 2, 5, 6 [^9]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems, 33:6840–6851, 2020. 2, 4 [^10]: Emiel Hoogeboom, Victor Garcia Satorras, Clément Vignac, and Max Welling. Equivariant diffusion for molecule generation in 3d. In International Conference on Machine Learning, pages 8867–8887. PMLR, 2022. 2 [^11]: Mir Rayat Imtiaz Hossain and James J Little. Exploiting temporal information for 3d human pose estimation. In Proceedings of the European conference on computer vision (ECCV), pages 68–84, 2018. 2 [^12]: Wenbo Hu, Changgong Zhang, Fangneng Zhan, Lei Zhang, and Tien-Tsin Wong. Conditional directed graph convolution for 3d human pose estimation. In Proceedings of the 29th ACM International Conference on Multimedia, pages 602–611, 2021. 2 [^13]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environ- ments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7):1325–1339, July 2014. 5 [^14]: Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014. 5 [^15]: Nikos Kolotouros, Georgios Pavlakos, Dinesh Jayaraman, and Kostas Daniilidis. Probabilistic modeling for human mesh recovery. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11605–11614, 2021. 2 [^16]: Zhifeng Kong, Wei Ping, Jiaji Huang, Kexin Zhao, and Bryan Catanzaro. Diffwave: A versatile diffusion model for audio synthesis. arXiv preprint arXiv:2009.09761, 2020. 1, 2, 4 [^17]: Xiang Li, John Thickstun, Ishaan Gulrajani, Percy S Liang, and Tatsunori B Hashimoto. Diffusion-lm improves controllable text generation. Advances in Neural Information Processing Systems, 35:4328–4343, 2022. 1 [^18]: Kenkun Liu, Rongqi Ding, Zhiming Zou, Le Wang, and Wei Tang. A comprehensive study of weight sharing in graph networks for 3d human pose estimation. In European Conference on Computer Vision, pages 318–334. Springer, 2020. 2, 4 [^19]: Andreas Lugmayr, Martin Danelljan, Andres Romero, Fisher Yu, Radu Timofte, and Luc Van Gool. Repaint: Inpainting using denoising diffusion probabilistic models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 11461–11471, 2022. 1, 2, 6 [^20]: Julieta Martinez, Rayat Hossain, Javier Romero, and James J Little. A simple yet effective baseline for 3d human pose estimation. In Proceedings of the IEEE international conference on computer vision, pages 2640–2649, 2017. 2, 5 [^21]: Dushyant Mehta, Srinath Sridhar, Oleksandr Sotnychenko, Helge Rhodin, Mohammad Shafiei, Hans-Peter Seidel, Weipeng Xu, Dan Casas, and Christian Theobalt. Vnect: Real-time 3d human pose estimation with a single rgb camera. Acm transactions on graphics (tog), 36(4):1–14, 2017. [^22]: Francesc Moreno-Noguer. 3d human pose estimation from a single image via distance matrix regression. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2823–2832, 2017. 1 [^23]: Alex Nichol, Prafulla Dhariwal, Aditya Ramesh, Pranav Shyam, Pamela Mishkin, Bob McGrew, Ilya Sutskever, and Mark Chen. Glide: Towards photorealistic image generation and editing with text-guided diffusion models. arXiv preprint arXiv:2112.10741, 2021. 1, 2 [^24]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, 32, 2019. ## [^25]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G Derpanis, and Kostas Daniilidis. Coarse-to-fine volumetric prediction for single-image 3D human pose. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7025–7034, 2017. 1 --- [^26]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7753–7762, 2019. 2 [^27]: Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, and Mark Chen. Hierarchical text-conditional image generation with clip latents. arXiv preprint arXiv:2204.06125, 2022. 1, 2 [^28]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10684–10695, 2022. 1, 2 [^29]: Saeed Saadatnejad, Ali Rasekh, Mohammadreza Mofayez, Yasamin Medghalchi, Sara Rajabzadeh, Taylor Mordan, and Alexandre Alahi. A generic diffusion-based approach for 3D human pose prediction in the wild, Oct. 2022. 1, 2, 4, 6, 8 [^30]: Chitwan Saharia, William Chan, Huiwen Chang, Chris Lee, Jonathan Ho, Tim Salimans, David Fleet, and Mohammad Norouzi. Palette: Image-to-image diffusion models. In ACM SIGGRAPH 2022 Conference Proceedings, pages 1–10, 2022. 1, 2, 6 [^31]: Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily L Denton, Kamyar Ghasemipour, Raphael Gontijo Lopes, Burcu Karagol Ayan, Tim Salimans, et al. Photorealistic text-to-image diffusion models with deep language understanding. Advances in Neural Information Processing Systems, 35:36479–36494, 2022. 1, 2 [^32]: Wenkang Shan, Zhenhua Liu, Xinfeng Zhang, Shanshe Wang, Siwei Ma, and Wen Gao. P-STMO: Pre-Trained Spatial Temporal Many-to-One Model for 3D Human Pose Estimation, July 2022. 2 [^33]: Wenkang Shan, Zhenhua Liu, Xinfeng Zhang, Zhao Wang, Kai Han, Shanshe Wang, Siwei Ma, and Wen Gao. Diffusion-based 3d human pose estimation with multi-hypothesis aggregation. arXiv preprint arXiv:2303.11579, 2023. 1, 2, 5, 6 [^34]: Saurabh Sharma, Pavan Teja Varigonda, Prashast Bindal, Abhishek Sharma, and Arjun Jain. Monocular 3d human pose estimation by generation and ordinal ranking. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2325–2334, 2019. 2 [^35]: Xiao Sun, Jiaxiang Shang, Shuang Liang, and Yichen Wei. Compositional human pose regression. In Proceedings of the IEEE International Conference on Computer Vision, pages 2602–2611, 2017. 1 [^36]: Yusuke Tashiro, Jiaming Song, Yang Song, and Stefano Ermon. CSDI: Conditional score-based diffusion models for probabilistic time series imputation. Advances in Neural Information Processing Systems, 34:24804–24816, 2021. 1, 2, 4, 6 [^37]: Tom Wehrbein, Marco Rudolph, Bodo Rosenhahn, and Bastian Wandt. Probabilistic monocular 3d human pose estimation with normalizing flows. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11199–11208, 2021. 2 [^38]: Tianhan Xu and Wataru Takano. Graph stacked hourglass networks for 3d human pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 16105–16114, 2021. 2 [^39]: Omry Yadan. Hydra - a framework for elegantly configuring complex applications. Github, 2019. 5 [^40]: Ling Yang, Zhilong Zhang, Yang Song, Shenda Hong, Runsheng Xu, Yue Zhao, Yingxia Shao, Wentao Zhang, Bin Cui, and Ming-Hsuan Yang. Diffusion models: A comprehensive survey of methods and applications. arXiv preprint arXiv:2209.00796, 2022. 2 [^41]: Jinlu Zhang, Zhigang Tu, Jianyu Yang, Yujin Chen, and Junsong Yuan. Mixste: Seq2seq mixed spatio-temporal encoder for 3d human pose estimation in video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13232–13242, 2022. 2, 5, 6 [^42]: Long Zhao, Xi Peng, Yu Tian, Mubbasir Kapadia, and Dimitris N Metaxas. Semantic graph convolutional networks for 3d human pose regression. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3425–3435, 2019. 2, 4, 5 [^43]: Ce Zheng, Sijie Zhu, Matias Mendieta, Taojiannan Yang, Chen Chen, and Zhengming Ding. 3D Human Pose Estimation with Spatial and Temporal Transformers. In 2021 IEEE/CVF International Conference on Computer Vision (ICCV), pages 11636–11645, Montreal, QC, Canada, Oct. 2021. IEEE. 2 [^44]: Zhiming Zou and Wei Tang. Modulated graph convolutional network for 3d human pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11477–11487, 2021. 2