# 基于扩散模型与多假设聚合的三维人体姿态估计单文康$^{1}$, 刘振华$^{3}$, 张新峰$^{2}$, 王钊$^{1}$, 韩凯$^{3}$, 王姗姗$^{1,4}$, 马思伟$^{1,4}$, 高文$^{1,4}$ $^{1}$北京大学国家工程视觉计算研究中心 $^{2}$中国科学院大学 $^{3}$华为诺亚方舟实验室 $^{4}$鹏城实验室 {wkshan, zhaowang, sswang, swma, wgao}@pku.edu.cn, , {liu.zhenhua, kai.han}@huawei.com ## 摘要本文针对概率三维人体姿态估计任务，提出了一种结合基于关节重投影的多假设聚合（JPMA）的新型基于扩散模型的三维姿态估计（D3DP）方法。一方面，D3DP可为单个二维观测生成多个合理的三维姿态假设。该方法逐步将真实三维姿态扩散为随机分布，再学习以二维关键点为条件的去噪器来还原干净的三维姿态。所提出的D3DP可与现有三维姿态估计器兼容，支持用户通过两个可自定义参数在推理阶段平衡效率与精度。另一方面，本文提出JPMA，将D3DP生成的多个假设整合为单个三维姿态以满足实际使用需求。JPMA将三维姿态假设重投影回二维相机平面，基于重投影误差逐关节选择最优假设，再将选中的关节组合得到最终姿态。所提出的JPMA在关节层面进行聚合，并且利用了二维先验信息，这两点均被以往方法所忽略。在Human3.6M和MPI-INF-3DHP数据集上开展的大量实验表明，本文方法相比当前最优的确定性方法和概率方法，性能分别提升1.5%和8.9%。代码已公开于。 ### 1. 引言单目三维人体姿态估计的目标是从二维图像或视频中定位人体关节的三维位置。它在人机交互、元宇宙、自动驾驶等诸多领域都发挥着关键作用。该任务可分解为两个步骤：首先使用现成的 ![Image](images/16cca9ef0c7d13a1af3922dd398cebb66da09d4ac56222637baccbf1f27ad737.jpg)

Figure 1: Thumbnail of our D3DP approach with multi-hypothesis aggregation. (a) Training: we gradually destroy the ground truth 3D pose and reverse this process by a denoiser to obtain a clean 3D prediction. (b) Inference: multiple Gaussian noises are passed through the denoiser, which is conditioned on 2D keypoints, to generate plausible 3D pose hypotheses. Then, the proposed multi-hypothesis aggregation method is utilized to yield the final output.

二维关键点检测器（如CPN [^11]、OpenPose [^6]）估计人体关节的二维位置；再将这些二维位置映射到对应的三维位置。与近期研究一致，本文工作聚焦于第二步，也就是通常所说的二维到三维提升过程 [^14] [^42] [^64] [^47]。现有研究可分为两类：确定性方法和概率方法。确定性方法 [^61] [^36] [^65] [^47] [^34] 旨在为每张图像输出单个确定的三维姿态，适用于实际应用场景。概率方法 [^59] [^30] [^24] [^49] [^40] 将二维到三维提升建模为概率分布，为每张图像输出一组可能的解，能够处理提升过程中的不确定性和模糊性。本文聚焦于概率方法研究。 --- ods，但它结合了确定性方法的优势，即我们将多个姿态假设聚合为单个更高质量的3D姿态，以供实际使用。以往的概率方法使用生成模型（例如生成对抗网络 [^17] 或归一化流 [^43]）来预测多个3D姿态假设。尽管已经取得了巨大进展，但它们仍存在以下两个缺点：1）它们要么（i）依赖特殊的网络设计，兼容性较差 [^33] [^59] [^31] [^52]，要么（ii）无法根据实际需求指定假设的数量 [^33] [^30] [^40]。2）尽管这些方法生成了多个可能的假设，但实际使用中仍然需要单个3D姿态。它们通常在姿态层级对多个假设取平均来得到最终输出 [^49] [^30]，这种做法没有考虑关节之间的差异以及2D关键点的先验分布。因此，平均后的结果比所有假设中的最优结果差得多。为了解决第一个问题，我们将去噪扩散概率模型（DDPMs）[^18] 用于3D人体姿态估计，并提出了一种名为基于扩散的3D姿态估计（D3DP）的新方法。如图1所示，我们的方法在训练过程中对真值3D姿态添加不同程度的噪声，学习一个去噪器来预测原始数据。推理阶段，我们通过对高斯分布中的纯噪声进行采样来生成初始3D姿态，再将这些姿态输入以2D关键点为条件的去噪器，预测得到多个3D姿态假设。与以往方法相比，我们的方法在两个方面更具优势。(i) 去噪器兼容现有3D人体姿态估计器作为骨干网络，能够轻松将确定性方法改造为概率版本。(ii) 可以在推理阶段自定义假设的数量。此外，所提出的方法逐步优化生成结果，支持额外的可调参数（迭代次数）。更多的假设和迭代次数会带来更好的结果，但代价是更高的计算开销。这两个参数有助于在有限计算资源下平衡性能与效率。为了解决第二个问题，我们聚焦于如何将多个3D姿态假设聚合为单个更准确的3D预测。研究发现，关节层级聚合的性能上限远高于姿态层级聚合（第4.5节），因为前者在更细的粒度上进行聚合。这一发现促使我们提出了基于关节重投影的多假设聚合（JPMA）方法，该方法将3D姿态假设重投影回2D相机平面，基于重投影误差在关节层级选择最优假设，再将选中的关节组装为完整的3D姿态作为最终输出。该方法以关节为粒度，允许假设组合更加多样化。此外，该方法考虑了2D关键点的边缘分布，因此有助于对最终3D姿态的后验分布进行建模。与以往使用平均姿态的方法相比，JPMA将关节层级的几何先验整合到多假设聚合中，因此提升了预测性能。我们的贡献可以总结如下： - 我们提出了一种基于扩散模型的三维人体姿态估计（D3DP）方法，该方法具备兼容性和可定制性。 - 当将多个假设融合为单个预测时，我们观察到关节级聚合的性能上限显著高于姿态级聚合的性能上限。这一观察结果促使我们采用逐关节聚合方案。据我们所知，我们是首个从关节视角解决该问题的研究工作。 - 我们提出了一种基于重投影的逐关节多假设聚合（JPMA）方法，该方法利用关节级的二维先验信息提升最终三维预测的准确率。实验证明所提方法比现有姿态级聚合方法更有效。 - 在三维人体姿态估计基准测试中，我们的方法性能优于现有最先进的确定性方法和概率方法。 ### 2. 相关工作 #### 2.1. 扩散模型扩散模型 [^51] 是一类生成模型，通过逐步添加噪声解构观测数据，再通过逆转该过程恢复原始数据。去噪扩散概率模型（DDPMs） [^18] 建立了扩散模型与去噪分数匹配之间的联系，引发了近年来该方向的研究热潮。DDPMs已在众多领域取得显著进展，包括图像生成 [^19] [^38] [^3] [^44] [^45] [^46], 跨模态生成 [^1] [^15] [^22] [^26] [^29], 图生成 [^55] [^39] [^25] [^60], 语义分割 [^2] [^5], 目标检测 [^8], 等。例如，SR3 [^46] 将DDPMs适配用于超分辨率任务。DiffusionDet [^8] 将扩散模型应用于目标检测，从噪声中恢复边界框。Pix2Seq-D [^10] 利用基于模拟比特的扩散模型完成全景分割任务。三维人体姿态估计存在固有的深度歧义性，因此概率生成方法适用于该任务。由于扩散模型以生成高保真样本的能力著称，我们将DDPMs应用于三维人体姿态估计任务。 --- ![Image](images/dec361abc934399eaade08be821e8c186b68064e1ed37d3d200a1d8e5ce5cbef.jpg)

Figure 2: Overview of the proposed D3DP method. Left: Training. t-step Gaussian noise is added to the ground truth 3D pose $y_0$, resulting in the noisy pose $y_t$. $y_t$ is then fed to a denoiser conditioned on 2D keypoints x and timestep t to yield the final prediction $\widetilde{y}_0$. Right: Inference. H samples are drawn from a Gaussian distribution to initialize 3D poses $y_{0:H,T}$, which are utilized to yield the noiseless 3D pose hypotheses $\widetilde{y}_{0:H,0}$. Besides, we can iterate the above reverse process K times to refine the final results by sending DDIM-generated 3D poses $y_{0:H,t}$ with different levels of noise to the denoiser.

#### 2.2. 概率三维人体姿态估计早期概率方法 [^50] [^28] 依赖启发式方法对多个可能产生相似二维投影的合理三维姿态进行采样。近年来，基于混合密度网络（MDN） [^4], 归一化流（NF） [^43], 条件变分自编码器（CVAE） [^52] 和生成对抗网络（GAN） [^17] 的方法相继被提出。Li和Lee [^30] 引入MDN生成姿态假设，Oikarinen等人 [^40] 进一步将MDN与融入图结构信息的图神经网络结合。Sharma等人 [^49] 使用CVAE获取多样化的三维姿态样本。Wehrbein等人 [^59] 和Li等人 [^31] 分别利用NF和GAN完成该任务。此外，MHFormer [^33] 使用Transformer [^54] 生成三个特征来分别表示三个独立假设。为了克服现有方法兼容性差（MHFormer、NF、GAN、MDN、CVAE）、假设数量不可调整（MHFormer、MDN）等缺陷，我们提出了D3DP——这是一种简洁且兼容性强的架构，仅需少量修改即可轻松集成到现有3D姿态估计器中。我们的方法在推理过程中支持自定义迭代次数K和假设数量H，以平衡性能与效率。值得注意的是，同期研究方法[^20] [^16] [^13]也将扩散模型用于该任务，但它们要么未使用任何聚合方法，要么仅采用姿态级的平均方法。相比之下，我们提出了一种名为JPMA的关节级聚合方法，以实现更精准的预测。 #### 2.3. 多假设聚合概率3D姿态估计方法通常会生成多个假设，但如何将这些假设合成为单个3D姿态仍是一个开放的研究问题。许多方法[^59] [^30] [^40] [^31]仅对所有姿态假设做简单平均，这往往会得到不理想的结果。其他研究则探索了更复杂的多假设聚合方案。Sharma等人[^49]利用深度序数关系对候选3D姿态打分并进行加权平均。Oikarinen等人[^40]选择MDN输出的混合系数最高的3D姿态。但这些工作都忽略了不同关节之间的差异，此外也没有利用2D关键点中包含的信息。因此，我们提出JPMA方法，将重投影假设与输入2D关键点之间的误差作为关节级假设选择的指导。尽管已有其他方法[^42] [^57] [^12] [^7] [^27]在确定性3D人体姿态估计中使用了3D到2D重投影方法，但我们的方法是首次将其应用到概率估计中的工作。具体而言，我们将重投影融入多假设聚合（MHA），为该问题提供了新的研究视角。 ### 3. 方法给定输入2D关键点$\boldsymbol{x} = \{p_n^{2d_1}n_0, p_n^{2d_2} \in \mathbb{R}^{J \times 2}\}$，我们的目标是预测所有关节对应的3D位置$\tilde{\boldsymbol{y}} = \{p_n^{3d_1}n_0, p_n^{3d_2} \in \mathbb{R}^{J \times 3}\}$。其中N为帧数，J为每一帧中的人体关节数量。由于扩散模型能够生成高质量样本，我们将其应用于概率3D人体姿态估计，提出了D3DP方法，该方法可为单个2D观测生成多个3D姿态假设。随后，我们提出的JPMA方法会利用这些假设得到单个准确的3D姿态，供实际使用。 #### 3.1. 基于扩散的3D姿态估计（D3DP） D3DP使用两个马尔可夫链：1）扩散过程，逐步将原始数据扰动为噪声；2）逆过程，通过去噪器重构未受污染的原始数据。有关扩散模型的更多信息，请参见附录A。下文将详细介绍D3DP的训练与推理阶段。训练阶段。如图2（左）所示，我们首先采样一个时间步$t \sim U(0, T)$，其中T为最大时间步数。随后，真实3D姿态$y_0$被扩散 --- 为损坏姿态$\boldsymbol{y}_t$，该过程通过添加t步独立高斯噪声$\epsilon \sim \mathcal{N}(0, I)$实现。遵循DDPMs [^18]，该过程可以公式化为 $$ q(\boldsymbol{y}_{t}\mid\boldsymbol{y}_{0}):=\sqrt{\bar{\alpha}_{t}}\boldsymbol{y}_{0}+\epsilon\sqrt{1-\bar{\alpha}_{t}} $$ 其中 $\bar{\alpha}_t := \prod_{s=0}^{t} \alpha_s$ 和 $\alpha_t := 1 - \beta_t$。$\beta_t$ 是余弦噪声方差调度。当T足够大时，$q(\boldsymbol{y}_T)$ 的分布近似为各向同性高斯分布。随后，$y_t$ 被送入以二维关键点x和时间步t为条件的去噪器 $\mathfrak{D}$，重构不含噪声的三维姿态 $\widetilde{y}_0$： $$ \tilde{\boldsymbol{y}}_{0}=\mathfrak{D}\left(\boldsymbol{y}_{t},\boldsymbol{x},t\right) $$ 整个框架由简单的MSE损失进行监督： $$ \mathcal{L}=\left|\left|y_{0}-\widetilde{y}_{0}\right|\right|_{2} $$ 推理阶段。由于扩散过程后退化数据可以很好地用高斯分布近似，我们可以通过从单位高斯分布中采样噪声得到H个初始三维姿态 $y_{0:H,T}$。如图2（右）所示，将 $\widetilde{y}_{0:H,0}$ 输入去噪器 $y_{0:H,T}$（式2），即可预测得到可行的三维姿态假设 $\mathfrak{D}$。之后，通过DDIM $\tilde{y}_{0:H,0}$，使用 $\tilde{y}_{0:H,t'}$ 生成带噪声的三维姿态 [^53]，作为下一时间步去噪器的输入，该过程可以表示为 $$ \pmb{\mathscr{y}}_{0:H,t^{\prime}}=\sqrt{\bar{\alpha}_{t^{\prime}}}\cdot\tilde{\pmb{\mathscr{y}}}_{0:H,0}+\sqrt{1-\bar{\alpha}_{t^{\prime}}-\sigma_{t}^{2}\cdot\epsilon_{t}}+\sigma_{t}\epsilon $$ 其中 $t, t'$ 分别是当前时间步和下一时间步。初始值为 $t = T$。$\epsilon \sim \mathcal{N}(0, I)$ 是独立于 $\boldsymbol{y}_{0:H,t}$ 的标准高斯噪声，且 $$ \begin{aligned}\epsilon_{t}&=\left(\boldsymbol{y}_{0:H,t}-\sqrt{\bar{\alpha}_{t}}\cdot\widetilde{\boldsymbol{y}}_{0:H,0}\right)/\sqrt{1-\bar{\alpha}_{t}}\\\sigma_{t}&=\sqrt{\left(1-\bar{\alpha}_{t^{\prime}}\right)/\left(1-\bar{\alpha}_{t}\right)}\cdot\sqrt{1-\bar{\alpha}_{t}/\bar{\alpha}_{t^{\prime}}}\end{aligned} $$ 其中 $\epsilon_t$ 是时间步t处的噪声（由式1推导得到）。$\sigma_t$ 控制扩散过程的随机性程度。随后，我们将 $\widetilde{y}_{0:H,0}$ 作为去噪器的输入，重新生成 $y_{0:H,t'}$。该过程会迭代K次。由于我们初始从时间步T开始，每次迭代的时间步可以写为 $t = T \cdot (1 - k/K)$，$k \in [0, K)$。详细算法在附录C中给出。通过这种方式，所提方法通过从高斯分布中多次采样，支持自定义假设数量H。此外，去噪器只需训练一次，即可在推理阶段被多次使用，逐步优化最终预测结果。该优化过程支持额外的可调参数（迭代次数K），用于控制生成假设的多样性和质量。因此，我们可以在推理阶段指定任意的H和K（训练阶段两者均设为1），方便用户平衡性能与效率。这一特性解决了以往方法 [^33] [^30] [^40] 面临的假设数量不可调整的问题。 ![Image](images/9fb1d9ea3e729ca472a3511c5417e857fb3c4123a302a2cdef43240117546640.jpg)

Figure 3: Top: Comparison between the pose-level (existing methods) and joint-level (proposed method) selections. The selected joint is drawn in the color of the hypothesis it belongs to. Bottom: Our JPMA method. 3D pose hypotheses are reprojected to the 2D camera plane and compared with the input 2D keypoints. For each joint, we select the best hypothesis that has the minimum distance to the 2D input. Dashed line: predicted 3D pose hypotheses. Each color represents an individual hypothesis. Solid blue line: ground truth 3D poses.

#### 3.2. 基于联合重投影的多假设聚合（JPMA）以往的概率三维姿态估计方法 [^24] [^43] [^30] 主要聚焦于生成三维姿态假设，极少关注如何聚合多个假设以得到单个高保真的预测结果。这类方法通常会报告最优三维姿态（即最接近真值的姿态）的误差，以此凸显自身方法的优越性。然而，该指标仅能体现方法性能的上界，在实际应用中并不可行，因为真实标注是无法提前获取的。因此现有方法一般将平均后的三维姿态作为最终预测，但其性能远差于最优结果。少量研究 [^40] [^49] 探索了多假设聚合方法，这类方法在野生视频测试中比平均聚合更有效。但它们以整个姿态为粒度，忽略了不同关节之间的差异，也没有建立三维预测结果与二维观测之间的对应关系。因此，仍需进一步改进才能得到更准确、可靠的结果。为缓解上述问题，我们首先通过选择最接近真值的最优假设，验证了聚合方法在两个层级上的性能上界。在姿态层级，选择最优姿态作为最终预测；在关节层级，选择最优 --- 关节，再将所有选中的关节组合得到最终预测。实验结果表明，后者的性能上界高于前者（第4.5节），因为关节级聚合允许更灵活的假设组合。图3（上半部分）直观对比了关节级选择（聚合）与姿态级选择（聚合）的性能上界。当使用姿态级选择时，绿色假设（最优姿态）会被用作所有关节的结果，但同一个假设在不同关节上的性能可能存在差异。因此，关节级选择不再将每个三维姿态视为一个整体，而是在关节层级对假设进行分解重组。每个假设中只有一部分性能更优的关节会被关节级选择采用，之后这些选中的关节会被组装成一个独立的三维姿态。通过这种方式，每个假设的优势都得到了最大化利用。此外，推理过程中，输入的二维关键点可作为几何先验引导模型选择后验概率最大的最可能三维姿态 $\widetilde{y}_0$ $q(\widetilde{y}_0|\boldsymbol{x}, \widetilde{y}_{0:H,0})$ 作为最终预测。尽管二维关键点不包含三维姿态的深度信息，但它们指示了人体关节在三维空间中的可能位置（即关节应当位于从相机光心指向二维关键点的射线上）。因此，二维关键点在多假设聚合中仍然发挥着重要作用。基于上述两个思路，我们提出了一种基于关节级重投影的多假设聚合（JPMA）方法，其示意图如图3（下半部分）所示。我们使用已知或估计得到的相机内参（针孔相机为4个参数，畸变针孔相机为9个参数）将三维假设 $\widetilde{y}_{0:H,0}$ 重投影到二维相机平面。随后，对每个关节，我们计算每个假设与输入二维关键点x之间的距离，选择距离（重投影误差）最小的关节假设。该过程允许我们为不同关节选择不同的假设（例如脊柱用绿色假设，右脚用紫色假设），再将所有选中的关节组合得到最终预测 $\widetilde{y}_{0}$，该过程可以形式化表示为： $$ \begin{array}{c c}{\widetilde{\mathbf{y}}_{0}^{(i)}=\widetilde{\mathbf{y}}_{h^{\prime},0}^{(i)},\quad h^{\prime}=\underset{h\in[0,H]}{\operatorname{a r g}\operatorname*{m i n}}||\mathcal{P}\left(\widetilde{\mathbf{y}}_{h,0}^{(i)}\right)-\mathbf{x}^{(i)}||_{2}}\\ \end{array} $$ 其中i是关节的索引。$\mathcal{P}(\cdot)$为重投影函数，相关细节详见附录B。 #### 3.3. 架构已有方法[^59] [^33] [^31] [^52]依赖特殊的网络设计，例如，MHFormer [^33]需要使用跨假设交互模块，NF [^59]需要构建双射变换。因此，这类方法无法适配最新的三维人体姿态估计方法。而本文提出的D3DP方法可以兼容现有的确定性三维姿态估计器，将其用作去噪器的骨干网络。本文中，我们采用MixSTE [^64]（一种混合时空Transformer方法）作为骨干网络。只需进行少量修改，我们就能轻松将确定性姿态估计方法改造为概率版本，相关修改将在接下来两段介绍。 2D条件调制。由于我们的目标是从二维关键点估计三维姿态，仅将带噪声的三维姿态$y_{0:H,t}$作为去噪器的输入是不够的。因此，我们将二维关键点x作为额外信息引导去噪过程。我们实现了多种融合二维关键点和带噪声三维姿态的方案，例如交叉注意力、拼接等。根据实验结果（附录B），我们选择将x和$y_{0:H,t}$直接拼接后，输入去噪器。时间步嵌入。由于去噪器需要处理不同噪声水平的三维姿态，因此需要提供当前时间步t的信息，该参数表示高斯噪声的添加次数。遵循DDPM的设置，我们使用正弦函数将t转换为时间步嵌入，并仿照Transformer位置嵌入的方式，将其添加到输入嵌入之后 $^{[54]}$。这两处修改带来的计算量可以忽略不计。此外，JPMA主要由重投影过程构成（不含网络参数），因此它的计算量也可以忽略。因此，本文提出的结合JPMA的D3DP方法（当$H=K=1$时）的计算开销与骨干网络基本一致。 ### 4. 实验 #### 4.1. 数据集与评价指标 Human3.6M (H36M) [^23]是目前规模最大、最常用的室内数据集，包含11名受试者完成的15种活动（例如行走）。视频由4台同步校准的相机以50Hz帧率拍摄。遵循[^33] [^42] [^40]的设置，我们的模型在5个受试者（S1、S5、S6、S7、S8）上训练，在2个受试者（S9、S11）上评估。评价指标方面，我们报告了平均每关节位置误差（MPJPE），该指标计算估计得到的三维关节位置与真值之间的平均欧氏距离，单位为毫米。此外，我们还报告了普洛克路斯忒斯平均每关节位置误差（P-MPJPE），该指标先通过刚性变换将估计姿态与真值对齐，再计算MPJPE。 MPI-INF-3DHP (3DHP) [^37]是近年来流行的数据集，包含室内和室外场景。训练集包含8名受试者完成的8种活动，测试集覆盖7种活动。遵循[^47]的设置，我们使用官方提供的有效帧进行测试。评价指标方面，我们报告了MPJPE、正确关键点百分比（PCK） ---

Deterministic Methods
MPIPE		Dir.	Disc.	Eat	Greet	Phone	Photo	Pose	Pur.	Sit	SitD.	Smoke	Wait	WalkD.	Walk	WalkT.	Avg
TCN [^42] ( $N=243$) $^{*}$	CVPR'19	45.2	46.7	43.3	45.6	48.1	55.1	44.6	44.3	57.3	65.8	47.1	44.0	49.0	32.8	33.9	46.8
SRNet [^61] ( $N=243$) $^{*}$	ECCV'20	46.6	47.1	43.9	41.6	45.8	49.6	46.5	40.0	53.4	61.1	46.1	42.6	43.1	31.5	32.6	44.8
Pose[^38] ( $N=243$) $^{*}$	ICCV'21	41.4	44.8	41.8	42.5	46.5	51.6	42.1	40.3	53.7	60.7	45.5	46.1	31.8	31.2	44.3	44.3
RIE [^48] ( $N=243$) $^{*}$	MM'21	40.8	44.5	41.4	42.7	46.3	55.6	41.8	41.9	53.7	60.8	45.0	41.5	44.8	30.8	32.9	44.3
Anatomy [^9] ( $N=243$) $^{*}$	TCSVT'21	41.4	43.5	40.1	42.9	46.6	51.9	41.7	42.3	53.9	60.2	45.4	41.7	46.0	31.5	32.7	44.1
U-CDGCN [^21] ( $N=96$) $^{*}$	MM'21	38.0	43.3	39.1	39.4	45.8	53.6	41.4	41.4	55.5	61.9	44.6	41.9	44.5	31.6	29.4	43.4
Ray3D [^62] ( $N=9$) $^{*}$	CVPR'22	44.7	48.7	48.7	48.4	51.0	59.9	46.8	46.9	58.7	61.7	50.2	46.4	51.5	38.6	41.8	49.7
STE [^32] ( $N=351$) $^{*}$	TMM'22	39.9	42.4	40.0	40.9	46.4	50.6	42.1	39.8	55.8	61.6	40.0	43.3	44.9	29.9	30.3	43.6
P-STMO [^47] ( $N=243$) $^{*}$	ECCV'22	38.9	42.7	44.4	41.1	45.6	49.7	40.9	39.8	55.5	59.4	44.9	42.2	42.7	29.4	29.4	42.8
MixSTE [^64] ( $N=243$) $^{*}$	CVPR'22	37.9	40.1	37.5	39.4	43.3	50.0	39.8	39.9	52.5	56.6	42.4	40.1	40.5	27.6	27.7	41.0
MixSTE [^64] ( $N=243$) $^{*}$	CVPR'22	37.6	40.9	37.3	39.7	42.3	49.9	40.1	39.8	51.7	55.0	42.1	39.8	41.0	27.9	27.9	40.9
DUE [^63] ( $N=300$) $^{*}$	MM'22	37.9	41.9	36.8	39.5	40.8	49.2	40.1	40.7	47.9	53.3	40.2	41.1	40.3	30.8	28.6	40.6
D3DP ( $N=243$, $H=1$, $K=1$) $^{*}$		37.7	39.9	35.7	38.2	41.9	48.8	39.5	38.3	50.5	53.9	41.6	39.4	39.8	27.4	27.5	40.0

Probabilistic Methods

PIPE	Dir.	Disc.	Eat	Greet	Phone	Photo	Pose	Pur.	Sit	SitD.	Smoke	Wait	WalkD.	Walk	WalkT.	Avg
CVAE [^49] (N=1, H=200, P-Agg)	ICCV'19	48.6	54.5	54.2	55.7	62.6	72.0	50.5	54.3	70.0	78.3	58.1	55.4	61.4	45.2	49.7	58.0
GAN [^11] (N=1, H=10, P-Agg)	BMVC'20	67.9	75.5	71.8	81.8	81.4	93.7	75.2	81.3	88.8	114.1	75.9	79.1	83.3	74.3	79.0	81.1
GraphMD [^40] (N=1, H=10, P-Agg)	IJCNN'21	51.9	66.1	68.0	63.5	75.1	53.3	55.5	49.4	92.7	64.4	58.0	65.5	48.8	53.6	54.1	58.0
NF [^59] (N=1, H=1, P-Agg)	ICCV'21	52.4	60.2	57.8	57.4	65.7	74.1	56.2	59.1	69.3	78.0	61.2	63.7	67.0	50.0	54.9	61.8
MHFormer [^33] (N=351, H=3, P-Agg)*	CVPR'22	39.2	43.1	40.1	40.9	44.9	51.2	40.6	41.3	53.5	60.3	43.7	41.1	43.8	29.8	30.6	43.0
D3DP (N=243, H=1, K=1, P-Agg)*	37.7	39.9	35.7	38.2	41.9	48.8	39.5	38.3	50.5	53.9	41.6	39.4	39.8	27.4	27.5	40.0	39.9
D3DP (N=243, H=20, K=10, P-Agg)*	37.6	39.7	35.8	38.0	41.7	48.7	39.4	38.2	50.3	53.3	41.4	39.4	39.7	27.4	27.3	39.9	40.0
D3DP (N=243, H=20, K=10, J-Agg)*	37.3	39.5	35.6	37.8	41.3	48.2	39.1	37.6	49.9	52.8	41.2	39.2	39.4	27.2	27.1	39.5	39.5
MDN [^30] (N=1, H=5, P-Best)*	CVPR'19	43.8	48.6	49.1	49.8	57.6	64.5	45.9	48.3	62.0	73.4	54.8	50.6	56.0	43.4	45.5	52.7
CVAE [^49] (N=1, H=200, P-Best)*	ICCV'19	37.8	43.2	43.0	44.3	51.1	57.0	39.7	43.0	56.3	64.0	48.1	45.4	50.4	37.9	39.9	46.8
GAN [^31] (N=1, H=10, P-Best)*	BMVC'20	62.0	69.7	64.3	73.6	75.1	84.8	68.7	75.0	81.2	104.3	70.2	72.0	75.0	67.0	69.0	73.9
GraphMD [^40] (N=1, H=10, P-Best)*	IJCNN'21	40.0	43.4	41.0	53.0	51.6	40.4	41.4	42.6	67.3	48.1	44.2	49.0	39.0	40.2	46.4	46.4
NF [^59] (N=1, H=200, P-Best)*	ICCV'21	38.5	42.5	39.9	41.7	46.5	53.6	39.9	40.8	49.5	56.8	44.3	46.4	46.8	37.8	40.4	44.3
D3DP (N=243, H=1, K=1, P-Best)*	37.7	39.9	35.7	38.2	41.9	48.1	49.8	39.5	38.3	50.5	53.9	41.6	39.4	39.8	27.4	27.5	40.0
D3DP (N=243, H=20, K=10, P-Best)*	37.3	39.4	35.4	37.8	41.3	48.1	39.0	37.9	49.8	52.8	41.1	39.0	39.4	27.3	27.2	39.5	39.5
D3DP (N=243, H=20, K=10, J-Best)*	33.0	34.8	31.7	33.1	37.5	43.7	34.8	33.6	45.7	47.8	37.0	35.0	35.0	24.3	24.1	35.4	35.4

Table 1: Results on Human3.6M in millimeters under MPJPE. N, H, K: the number of input frames, hypotheses, and iterations of the proposed D3DP. $(\dagger)$ - Our implementation. $(\ddagger)$ - Not feasible in real-world applications. $(*)$ - Use CPN [^11] as the 2D keypoint detector to generate the inputs. Red: Best. Blue: Second best. Gray: our method.

位于150mm范围内，以及曲线下面积（AUC）。 3DPW [^56] 是首个包含移动手机相机拍摄视频素材的野外场景数据集。我们在Human3.6M上训练我们的方法，并在该数据集上进行评估以展示定性结果。 #### 4.2. 实现细节我们使用MixSTE [^64] 作为去噪器的主干网络，该网络通过结合多个空间注意力层和时间注意力层实现分解注意力机制。它包含16个交替排列的空间与时间Transformer层 [^54]，通道大小设置为512。我们对MixSTE进行修改以适配扩散框架，具体修改如下：将2D关键点和带噪声的3D姿态拼接作为输入；在第一层的输入嵌入后添加时间步嵌入。去噪器的详细架构如图4所示。本文提出的方法基于PyTorch [^41] 实现，使用AdamW [^35] 优化器，动量参数为 $\beta_1$、$\beta_2 = 0.9$、0.999，权重衰减设置为0.1。我们训练模型共400个轮次，初始学习率为 $6e^{-5}$，每个轮次后学习率乘以0.993的收缩因子。我们将批量大小设置为4，每个样本包含长度为243帧的姿态序列（N=243）。训练阶段，假设数量和迭代次数H、K分别设置为1、1。推理阶段，二者分别设置为20、10。最大时间步数量T设置为1000。所有实验均在两块GeForce RTX 3080 Ti GPU上完成。 ![Image](images/1031f3517ca27f74c3efa0a9f23786daadd23035617f1dc45ca67b80f287cf68.jpg)

Figure 4: Detailed architecture of the denoiser. The tensor sizes are shown in parentheses. The 2D pose sequence (243,17,2) is expanded, repeated, and then concatenated with the noisy 3D pose sequence (20,243,17,3) to get the input sequence (20,243,17,5). 20, 243, 17 are the number of hypotheses H, frames N, and human joints J in each frame, respectively.

#### 4.3. 定量结果 Human3.6M数据集。如表1（上半部分）所示，我们将提出的D3DP与Human3.6M上当前最优的确定性3D人体姿态估计方法进行对比。为保证公平性，我们设置 $H=1$ 生成单一预测结果。我们的D3DP（ $N=243$）在MPJPE指标下达到40.0mm，比DUE [^63]（ $N=300$）低0.6mm，即便我们使用的帧数量更少。此外，我们的方法在MPJPE指标下比我们所用的主干网络MixSTE [^64] 低1mm。尽管我们的方法旨在生成多个3D姿态假设，但在单假设场景下仍然能够提升性能。该结果表明，D3DP（即从受损3D姿态进行条件去噪）能够帮助网络获得更好的泛化能力。 --- ![Image](images/df887d035eb54face6f76bdea565a4cd9056c2087900b9d25d30cd59cdb096e7.jpg)

Figure 5: Qualitative results on three datasets. Dashed line: predicted 3D pose hypotheses. Each color represents an individual hypothesis. Solid blue line: ground truth 3D poses.

更好地适配测试集，从而提升预测准确率。此外，D3DP还与其他概率方法进行了对比，结果如表1（下半部分）所示。我们按照以下四种实验设置汇报结果。 - P-Agg: 使用姿态级聚合方法，该方法将每个3D姿态作为组成最终预测的最小单元，例如深度序数引导 [^49]、均值法 [^40] 和均值漂移法 [^31]。 - J-Agg (本文提出): 使用关节级聚合方法（即我们的JPMA）得到最终预测，将每个关节作为最小单元。 - P-Best#: 选择与真实真值最接近的3D姿态假设，它是P-Agg性能的上界。 • J-Best‡ (本文提出): 选择与真实真值最接近的关节假设，之后将所选关节组合得到最终3D姿态，它是J-Agg性能的上界。 ($\sharp$)指的是不适用于真实场景（in-the-wild）视频的设置。当在传统P-Best和P-Agg设置下测试（我们实验中使用平均值），我们的方法相比NF [^59]（4.8mm）和MHFormer [^33]（3.1mm）分别取得了显著提升。然而，将H从1增加到20后，本文提出的D3DP方法在P-Best设置下的性能并未得到明显提升（40.0→39.5mm）。这一结果促使我们提出新的J-best设置，在该设置下可以观察到明显的性能提升（40.0→35.4mm）。这是因为同一个假设针对不同关节评估时，表现可能存在差异。这一观察启发我们提出J-Agg（使用我们提出的JPMA）来利用不同假设之间的关节级差异。与P-Agg相比，J-Agg设置下的性能得到提升（39.9→39.5mm），该性能与P-Best（39.5mm）持平。关于P-MPJPE指标或以2D真值作为输入的更多结果详见附录E。

Method		PCK $\uparrow$	AUC $\uparrow$	MPJPE $\downarrow$
U-CDGCN [^21] (N=96) $\triangledown$	MM'21	97.9	69.5	42.5
P-STMO [^47] (N=81) $\triangledown$	ECCV'22	97.9	75.8	32.2
TCN [^42] (N=81)	CVPR'19	86.0	51.9	84.0
U-GCN [^58] (N=96)	ECCV'20	86.9	62.1	68.1
Anatomy [^9] (N=81)	TCSVT'21	87.9	54.0	78.8
PoseFormer [^65] (N=9)	ICCV'21	88.6	56.4	77.1
MHFormer [^33] (N=9, H=3, P-Agg)	CVPR'22	93.8	63.3	58.0
MixSTE [^64] (N=27)	CVPR'22	94.4	66.5	54.9
MixSTE [^64] (N=243) $\ddagger$	CVPR'22	96.9	75.8	35.4
D3DP (N=243, H=1, K=1)	97.7	77.8	77.8	30.2
D3DP (N=243, H=20, K=20, P-Agg)	97.7	78.0	30.0	30.0
D3DP (N=243, H=20, K=20, J-Agg)	97.7	78.2	29.7	29.7
D3DP (N=243, H=20, K=20, P-Best $\ddagger$)		97.8	78.2	29.8
D3DP (N=243, H=20, K=20, J-Best $\ddagger$)		98.0	79.1	28.1

Table 2: Results on MPI-INF-3DHP under three evaluation metrics using ground truth 2D keypoints as inputs. ( $\nabla$)- They train and evaluate on 3D poses scaled to the height of the universal skeleton used by H36M, while we use the ground truth 3D poses.

MPI-INF-3DHP数据集。表2展示了我们的方法与其他方法在3DHP数据集上的对比结果。在单假设场景（H=1）下，基于MixSTE [^64]，D3DP将MPJPE进一步降低了5.2mm。当H增加到20时，使用JPMA的J-Agg设置下的性能与P-Best相近，且优于P-Agg。我们的方法在J-Best评估下取得了最佳性能。这些结果呈现出与Human3.6M数据集上一致的规律，证明了我们的方法具有强大的泛化能力。 #### 4.4. 定性结果图5展示了当H、K设置为5时，D3DP在三个数据集上的定性结果。对于2D关键点误检（左上：右膝）、遮挡（左上：下半身，右下：右臂）和深度模糊（左下：上半身）的情况，我们的方法生成高方差的姿态假设，以反映3D姿态估计中的不确定性。对于简单姿态（上/下排中间），D3DP倾向于生成确定性预测。对于罕见姿态（右上），尽管预测得到的3D假设并不准确，但它们在解剖学上是合理的，并且在 ---

Diffusion	JPMA	H	Setting	MPJPE $\downarrow$
		1	N/A	41.0
✓		1	N/A	40.0
✓		20	P-Agg	39.9
✓	✓	20	J-Agg	39.5

Level	Method	MPJPE $\downarrow$
pose	average	39.9
pose	MLPs	42.5
joint	MLPs	41.6
pose	reproj.	39.7
joint	reproj.	39.5

(a) Effectiveness of components. (b) Multi-hypothesis aggregation.

Table 3: Ablation experiments on Human3.6M. H=20, K=10.

Method	H	K	MPJPE $\downarrow$	Params(M)	Train. MACs(G)	Infer. MACs(G)	Infer. FPS
PoseFormer [^65]	1	N/A	44.3	9.5	0.81	1.62	1952
MHFormer [^33]	3	N/A	43.1	24.7	4.81	9.62	598
P-STMO [^47]	1	N/A	42.8	6.7	0.87	1.74	3040
MixSTE [^64]	1	N/A	41.0	33.6	0.57	1.14	4547
D3DP	1	1	40.0	34.6	0.57	1.14	4364
D3DP	5	5	39.7	34.6	0.57	28.5	204
D3DP	20	10	39.5	34.6	0.57	228.2	29

Table 4: Accuracy&speed. MACs are averaged over each frame. The proposed method uses the J-Agg setting.

手臂区域具有多样性，能够逼近正确结果。更多结果详见附录F。 #### 4.5. 消融研究我们在Human3.6M数据集上进行了消融实验，以验证我们方法中各个设计模块对性能的影响。更多结果详见附录D。各组件的有效性。如表3a所示，我们首先以MixSTE [^64]作为主干网络（第一行），然后将其与扩散模型结合得到我们的D3DP（第二行），在单假设场景下取得了1mm的提升。这一结果表明，将扩散模型与现有的确定性姿态估计器简单结合就能带来可观的性能增益。此外，该网络具备生成多姿态假设的能力，这符合3D姿态估计中深度不确定性的特性。在P-Agg设置下，当H提升至20时，MPJPE略有下降（40.0→39.9mm）。通过使用我们的JPMA方法（J-Agg设置下），误差进一步降至39.5mm。这一结果表明，支持细粒度假设选择的关节级多假设聚合，优于姿态级的多假设聚合。多假设聚合。我们在表3b中对比了位姿级和关节级多假设聚合方法，包括1）对所有假设取平均；2）使用4层MLPs为每个位姿/关节生成分数，再用这些分数对假设进行加权平均；3）在位姿级（PPMA，第4行）和关节级（JPMA，第5行）使用我们基于重投影的方法。为保证公平性，我们在两个级别都实现了相同类型的方法（MLPs/基于重投影）。结果表明，关节级方法优于位姿级方法。此外，在位姿级别，PPMA的性能优于MLPs和平均法，并且 ![Image](images/6320549a707bdc104ada4db924122117f8825310f7c414a63709877aaaa93b0b.jpg) ![Image](images/a9337b768b8d79f3ff8dc164f2db049c91205a064da4dd434b45af0598623cd4.jpg)

Figure 6: Ablation experiments on the number of hypotheses and iterations H, K. Top: K=10. Bottom: H=10.

在关节级别，JPMA的性能优于MLPs，这表明2D先验在多假设聚合中是有效的。因此，我们利用2D先验在关节级执行聚合的JPMA方法取得了最佳性能。精度与速度。表4展示了精度与推理速度。实验在单块NVIDIA RTX 3080 Ti GPU上开展。对于已有方法（前四行），由于应用了数据增强，推理阶段的MACs是训练阶段的两倍。D3DP（第5行）对我们的骨干网络MixSTE（第4行）做了少量修改（添加额外输入和时间步嵌入），并新增了一个无参数扩散过程。这仅带来参数量的小幅增加，MACs基本保持不变，FPS略有下降，同时性能提升了1mm。此外，我们可以在推理过程中调整H、K，在计算开销与性能之间做权衡。当H、K增大时，MACs和FPS分别大致呈线性增长和线性下降。假设数量与迭代次数。图6（上）展示了四种设置下性能随假设数量的波动情况。所有设置都以相同的性能起始（H=1），之后逐渐分化。1）P-Best和J-Best：J-Best下的误差远低于P-Best下的误差，这表明关节级聚合（J-Agg）比位姿级聚合（P-Agg）拥有更高的性能上限。2）P-Agg和J-Agg：平均法和JPMA分别被用作位姿级（P-Agg）和关节级（J-Agg）方法。P-Agg下的MPJPE稳定在39.9mm左右。原因在于，随着H增大，所有假设的均值大致保持不变，而方差会上升（附录D.3）。这一观察表明，平均操作抵消了假设多样性提升带来的优势，因此无法带来性能提升。 --- 性能提升。J-Agg的误差会随着H增大而降低，这表明当H增加时，J-Agg比P-Agg能更好地利用假设多样性获得性能增益。当H < 20时，J-Agg的性能非常接近P-Agg的性能上限（即P-Best）。J-Agg具备实用性，而P-Best不具备，因为后者在实际应用中是不可用的，这凸显了J-Agg的优势。此外，J-Agg（39.48mm）和J-Best（33.99mm）之间仍然存在性能差距，这表明JPMA作为基线方法仍有相当大的提升空间。图6（下）展示了性能随迭代次数的波动情况。四种设置下性能曲线的整体趋势与上述实验相似。P-Agg的性能并未随K发生大幅变化。K=10之后，J-Agg和P-Best的性能出现分化。J-Best的性能大幅优于其他三种设置。所有设置的性能都会在K=30时达到饱和。 ### 5. 结论本文针对三维人体姿态估计提出了结合JPMA的D3DP方法，这是一种基于扩散模型、采用基于关节重投影的多假设聚合策略的概率方法。D3DP具备兼容性和可定制性，能够生成多个姿态假设：该方法逐步向干净的三维姿态添加噪声，再通过反转该过程重建原始信号。为了将生成的多个姿态假设聚合为单个三维预测结果，本文提出了JPMA策略，该方法基于重投影误差实现关节级聚合。与现有姿态级聚合方法相比，JPMA能够充分发挥每个关节的优势，因此取得了优异的性能。在两个基准数据集上的实验结果表明，本文方法优于当前最优的概率方法与确定性方法。 ## 致谢本工作部分得到国家自然科学基金（项目编号：62025101、61931014、U21B2012）资助，部分得到绍兴市基础公益类科技计划项目（项目编号：2022A11002）资助，在此深表感谢。 ## 参考文献 [^1]: Omri Avrahami, Dani Lischinski, and Ohad Fried. Blended diffusion for text-driven editing of natural images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 18208–18218, 2022. 2 [^2]: Dmitry Baranchuk, Ivan Rubachev, Andrey Voynov, Valentin Khrulkov, and Artem Babenko. Label-efficient semantic segmentation with diffusion models. arXiv preprint arXiv:2112.03126, 2021. 2 [^3]: Georgios Batzolis, Jan Stanczuk, Carola-Bibiane Schönlieb, and Christian Etmann. Conditional image generation tion结合基于分数的扩散模型。arXiv预印本 arXiv:2111.13606，2021。2 [^4]: Christopher M Bishop. Mixture density networks. 1994. 3 [^5]: Emmanuel Asiedu Brempong, Simon Kornblith, Ting Chen, Niki Parmar, Matthias Minderer, and Mohammad Norouzi. Denoising pretraining for semantic segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4175–4186, 2022. 2 [^6]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7291–7299, 2017. 1 [^7]: Ching-Hang Chen, Ambrish Tyagi, Amit Agrawal, Dylan Drover, Rohith Mv, Stefan Stojanov, and James M Rehg. Unsupervised 3d pose estimation with geometric self-supervision. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5714–5724, 2019. 3 [^8]: Shoufa Chen, Peize Sun, Yibing Song, and Ping Luo. Diffusiondet: Diffusion model for object detection. arXiv preprint arXiv:2211.09788, 2022. 2 [^9]: Tianlang Chen, Chen Fang, Xiaohui Shen, Yiheng Zhu, Zhili Chen, and Jiebo Luo. Anatomy-aware 3d human pose estimation with bone-based pose decomposition. IEEE Transactions on Circuits and Systems for Video Technology, 2021. 6, 7 [^10]: Ting Chen, Lala Li, Saurabh Saxena, Geoffrey Hinton, and David J Fleet. A generalist framework for panoptic segmentation of images and videos. arXiv preprint arXiv:2210.06366, 2022. 2 [^11]: Yilun Chen, Zhicheng Wang, Yuxiang Peng, Zhiqiang Zhang, Gang Yu, and Jian Sun. Cascaded pyramid network for multi-person pose estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7103–7112, 2018. 1, 6 [^12]: Yu Cheng, Bo Yang, Bo Wang, Wending Yan, and Robby T Tan. Occlusion-aware networks for 3d human pose estimation in video. In Proceedings of the IEEE/CVF international conference on computer vision, pages 723–732, 2019. 3 [^13]: Jeongjun Choi, Dongseok Shim, and H Jin Kim. Diffuse: Monocular 3d human pose estimation via denoising diffusion probabilistic model. arXiv preprint arXiv:2212.02796, 2022. 3 [^14]: Hai Ci, Chunyu Wang, Xiaoxuan Ma, and Yizhou Wang. Optimizing network structure for 3d human pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2262–2271, 2019. 1 [^15]: Wan-Cyuan Fan, Yen-Chun Chen, DongDong Chen, Yu Cheng, Lu Yuan, and Yu-Chiang Frank Wang. Frido: Feature pyramid diffusion for complex scene image synthesis. arXiv preprint arXiv:2208.13753, 2022. 2 [^16]: Jia Gong, Lin Geng Foo, Zhipeng Fan, Qiuhong Ke, Hossein Rahmani, and Jun Liu. Diffpose: Toward more reliable 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13041–13051, 2023. 3 ## [^17]: Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and --- Yoshua Bengio. 生成对抗网络。Communications of the ACM，63(11):139–144，2020。2, 3 [^18]: Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems, 33:6840–6851, 2020. 2, 4 [^19]: Jonathan Ho, Chitwan Saharia, William Chan, David J Fleet, Mohammad Norouzi, and Tim Salimans. Cascaded diffusion models for high fidelity image generation. J. Mach. Learn. Res., 23(47):1–33, 2022. 2 [^20]: Karl Holmquist and Bastian Wandt. Diffpose: Multi-hypothesis human pose estimation using diffusion models. arXiv preprint arXiv:2211.16487, 2022. 3 [^21]: Wenbo Hu, Changgong Zhang, Fangneng Zhan, Lei Zhang, and Tien-Tsin Wong. Conditional directed graph convolution for 3d human pose estimation. In Proceedings of the 29th ACM International Conference on Multimedia, pages 602–611, 2021. 6,7 [^22]: Rongjie Huang, Zhou Zhao, Huadai Liu, Jinglin Liu, Chenye Cui, and Yi Ren. Prodiff: Progressive fast diffusion model for high-quality text-to-speech. In Proceedings of the 30th ACM International Conference on Multimedia, pages 2595–2605, 2022. 2 [^23]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7):1325–1339, 2013. 5 [^24]: Ehsan Jahangiri and Alan L Yuille. Generating multiple diverse hypotheses for human 3d pose consistent with 2d joint detections. In Proceedings of the IEEE International Conference on Computer Vision Workshops, pages 805–814, 2017. 1,4 [^25]: Jaehyeong Jo, Seul Lee, and Sung Ju Hwang. Score-based generative modeling of graphs via the system of stochastic differential equations. In International Conference on Machine Learning, pages 10362–10383. PMLR, 2022. 2 [^26]: Sungwon Kim, Heeseung Kim, and Sungroh Yoon. Guided-tts 2: A diffusion model for high-quality adaptive text-to-speech with untranscribed data. arXiv preprint arXiv:2205.15370, 2022. 2 [^27]: Jogendra Nath Kundu, Siddharth Seth, MV Rahul, Mugalodi Rakesh, Venkatesh Babu Radhakrishnan, and Anirban Chakraborty. Kinematic-structure-preserved representation for unsupervised 3d human pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 11312–11319, 2020. 3 [^28]: Mun Wai Lee and Isaac Cohen. Proposal maps driven mcmc for estimating human body pose in static images. In Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004., volume 2, pages II–II. IEEE, 2004. 3 [^29]: Alon Levkovitch, Eliya Nachmani, and Lior Wolf. Zero-shot voice conditioning for denoising diffusion tts models. arXiv preprint arXiv:2206.02246, 2022. 2 [^30]: Chen Li and Gim Hee Lee. Generating multiple hypotheses for 3d human pose estimation with mixture density network. In Proceedings of the IEEE/CVF conference on computer vi- sion与模式识别，页码9887–9895，2019。1, 2, 3, 4, 6 [^31]: Chen Li and Gim Hee Lee. Weakly supervised generative network for multiple 3d human pose hypotheses. BMVC, 2020. 2, 3, 5, 6, 7 [^32]: Wenhao Li, Hong Liu, Runwei Ding, Mengyuan Liu, Pichao Wang, and Wenming Yang. Exploiting temporal contexts with strided transformer for 3d human pose estimation. IEEE Transactions on Multimedia, 2022. 6 [^33]: Wenhao Li, Hong Liu, Hao Tang, Pichao Wang, and Luc Van Gool. Mhformer: Multi-hypothesis transformer for 3d human pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13147–13156, 2022. 2, 3, 4, 5, 6, 7, 8 [^34]: Ruixu Liu, Ju Shen, He Wang, Chen Chen, Sen-ching Cheung, and Vijayan Asari. Attention mechanism exploits temporal contexts: Real-time 3d human pose reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5064–5073, 2020. 1 [^35]: Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101, 2017. 6 [^36]: Julieta Martinez, Rayat Hossain, Javier Romero, and James J Little. A simple yet effective baseline for 3d human pose estimation. In Proceedings of the IEEE International Conference on Computer Vision, pages 2640–2649, 2017. 1 [^37]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 2017 international conference on 3D vision (3DV), pages 506–516. IEEE, 2017. 5 [^38]: Alex Nichol, Prafulla Dhariwal, Aditya Ramesh, Pranav Shyam, Pamela Mishkin, Bob McGrew, Ilya Sutskever, and Mark Chen. Glide: Towards photorealistic image generation and editing with text-guided diffusion models. arXiv preprint arXiv:2112.10741, 2021. 2 [^39]: Chenhao Niu, Yang Song, Jiaming Song, Shengjia Zhao, Aditya Grover, and Stefano Ermon. Permutation invariant graph generation via score-based generative modeling. In International Conference on Artificial Intelligence and Statistics, pages 4474–4484. PMLR, 2020. 2 [^40]: Tuomas Oikarinen, Daniel Hannah, and Sohrob Kazerounian. Graphmdn: Leveraging graph structure and deep learning to solve inverse problems. In 2021 International Joint Conference on Neural Networks (IJCNN), pages 1–9. IEEE, 2021. 1, 2, 3, 4, 5, 6, 7 [^41]: Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, et al. Pytorch: An imperative style, high-performance deep learning library. Advances in neural information processing systems, 32, 2019. 6 ## [^42]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7753–7762, 2019. 1, 3, 5, 6, 7 --- [^43]: Danilo Rezende and Shakir Mohamed. Variational inference with normalizing flows. In International conference on machine learning, pages 1530–1538. PMLR, 2015. 2, 3, 4 [^44]: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10684–10695, 2022. 2 [^45]: Chitwan Saharia, William Chan, Huiwen Chang, Chris Lee, Jonathan Ho, Tim Salimans, David Fleet, and Mohammad Norouzi. Palette: Image-to-image diffusion models. In ACM SIGGRAPH 2022 Conference Proceedings, pages 1–10, 2022. 2 [^46]: Chitwan Saharia, Jonathan Ho, William Chan, Tim Salimans, David J Fleet, and Mohammad Norouzi. Image super-resolution via iterative refinement. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022. 2 [^47]: Wenkang Shan, Zhenhua Liu, Xinfeng Zhang, Shanshe Wang, Siwei Ma, and Wen Gao. P-stmo: Pre-trained spatial temporal many-to-one model for 3d human pose estimation. In Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part V, pages 461–478. Springer, 2022. 1, 5, 6, 7, 8 [^48]: Wenkang Shan, Haopeng Lu, Shanshe Wang, Xinfeng Zhang, and Wen Gao. Improving robustness and accuracy via relative information encoding in 3d human pose estimation. In Proceedings of the 29th ACM International Conference on Multimedia, pages 3446–3454, 2021. 6 [^49]: Saurabh Sharma, Pavan Teja Varigonda, Prashast Bindal, Abhishek Sharma, and Arjun Jain. Monocular 3d human pose estimation by generation and ordinal ranking. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2325–2334, 2019. 1, 2, 3, 4, 6, 7 [^50]: Edgar Simo-Serra, Arnau Ramisa, Guillem Alenya, Carme Torras, and Francesc Moreno-Noguer. Single image 3d human pose estimation from noisy observations. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, pages 2673–2680. IEEE, 2012. 3 [^51]: Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli. Deep unsupervised learning using nonequilibrium thermodynamics. In International Conference on Machine Learning, pages 2256–2265. PMLR, 2015. 2 [^52]: Kihyuk Sohn, Honglak Lee, and Xinchen Yan. Learning structured output representation using deep conditional generative models. Advances in neural information processing systems, 28, 2015. 2, 3, 5 [^53]: Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. arXiv preprint arXiv:2010.02502, 2020. 4 [^54]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pages 5998–6008, 2017. 3, 5, 6 [^55]: Clement Vignac, Igor Krawczuk, Antoine Siraudin, Bo\-han Wang, Volkan Cevher, and Pascal Frossard. Digress: 面向图生成的离散去噪扩散模型。arXiv预印本 arXiv:2209.14734，2022。2 [^56]: Timo von Marcard, Roberto Henschel, Michael Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using imus and a moving camera. In European Conference on Computer Vision (ECCV), sep 2018. 6 [^57]: Bastian Wandt and Bodo Rosenhahn. Repnet: Weakly supervised training of an adversarial reprojection network for 3d human pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 7782–7791, 2019. 3 [^58]: Jingbo Wang, Sijie Yan, Yuanjun Xiong, and Dahua Lin. Motion guided 3d pose estimation from videos. In European Conference on Computer Vision, pages 764–780. Springer, 2020. 7 [^59]: Tom Wehrbein, Marco Rudolph, Bodo Rosenhahn, and Bastian Wandt. Probabilistic monocular 3d human pose estimation with normalizing flows. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11199–11208, 2021. 1, 2, 3, 5, 6, 7 [^60]: Qi Yan, Zhengyang Liang, Yang Song, Renjie Liao, and Lele Wang. Swingnn: Rethinking permutation invariance in diffusion models for graph generation. arXiv preprint arXiv:2307.01646, 2023. 2 [^61]: Ailing Zeng, Xiao Sun, Fuyang Huang, Minhao Liu, Qiang Xu, and Stephen Lin. Srnet: Improving generalization in 3d human pose estimation with a split-and-recombine approach. In European Conference on Computer Vision, pages 507–523. Springer, 2020. 1, 6 [^62]: Yu Zhan, Fenghai Li, Renliang Weng, and Wongun Choi. Ray3d: ray-based 3d human pose estimation for monocular absolute 3d localization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13116–13125, 2022. 6 [^63]: Jinlu Zhang, Yujin Chen, and Zhigang Tu. Uncertainty-aware 3d human pose estimation from monocular video. In Proceedings of the 30th ACM International Conference on Multimedia, pages 5102–5113, 2022. 6 [^64]: Jinlu Zhang, Zhigang Tu, Jianyu Yang, Yujin Chen, and Junsong Yuan. Mixste: Seq2seq mixed spatio-temporal encoder for 3d human pose estimation in video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13232–13242, 2022. 1, 5, 6, 7, 8 [^65]: Ce Zheng, Sijie Zhu, Matias Mendieta, Taojiannan Yang, Chen Chen, and Zhengming Ding. 3d human pose estimation with spatial and temporal transformers. arXiv preprint arXiv:2103.10455, 2021. 1, 6, 7, 8