# 单目3D人体姿态估计的深度运动学分析 徐经纬 $^{*1,2}$, 于振波 $^{*1,2}$, 倪冰冰 $^{\dagger1,2,3}$, 杨建诚 $^{1,2}$, 杨小康 $^{1,2}$, 张文俊 $^{1,2}$ $^{1}$上海交通大学，中国上海 200240 $^{2}$上海交通大学人工智能研究院 MoE人工智能重点实验室 $^{3}$华为海思 {xjwxjw,yuzhenbo,nibbing,jjekyll4168,xkyang,zhangwenjun}@sjtu.edu.cn, ## 摘要 对于以2D检测为条件的单目3D姿态估计，噪声大、不可靠的输入是该任务的核心障碍。以往试图解决该问题的简单结构约束，例如对称损失和关节角度限制，仅能带来小幅提升，通常仅被作为辅助损失使用。如何在该任务中充分利用人体先验知识仍然是一个挑战。本文中，我们从系统视角出发解决上述问题。首先，我们证明优化含噪声2D输入的运动学结构对获得准确3D估计至关重要。其次，基于校正后的2D关节，我们进一步结合人体拓扑对关节运动进行显式分解，得到更紧凑的3D静态结构，更便于估计。最后，我们提出一个时序模块优化3D轨迹，得到了更合理的结果。上述三个步骤被无缝集成到深度神经网络模型中，形成了同时考虑2D输入和3D输出静/动态结构的深度运动学分析流水线。大量实验表明，本文提出的框架在两个广泛使用的3D人体动作数据集上取得了当前最优性能。同时，针对性消融实验证明，每一个前置步骤对后续步骤获得理想结果都至关重要。 ### 1. 引言 姿态估计是计算机视觉研究中的热点课题 [^35] [^51] [^2] [^5]。其中，单目视频3D姿态估计在过去数十年中吸引了大量研究关注 [^21] [^18] [^37] [^33] [^1] [^6]，任务目标是估计三维空间中人体的关键点轨迹。该研究方向拥有多个极具价值的下游应用，例如动作识别 [^3] [^23]、人体重 ![Image](images/e8f564a6e42dda3dbd6cb1ba2c394290fd0e84d335f42bf3e3e3273a7becc672.jpg)
Figure 1: Overview of proposed framework. Our model pursues 3D pose estimation with more reasonable structure and more compact output space, which incorporates kinematics analysis into deep models. Step 1: Noisy/unreliable 2D Inputs (denoted as red dots) are corrected with perspective projection. Step 2: 3D poses are further estimated in a decomposed manner within more compact space. Step 3: Unreliably estimated 3D poses are excluded from previous outputs (denoted by red cross), which are finally refined as a completion task.
构 [^16] [^13] [^47] 和机器人操作 [^34]。 近年来，许多工作 [^11] [^5] 使用2D姿态检测器辅助完成3D人体姿态估计任务。多项已有研究 [^28] [^25] [^46] [^38] [^7] 将检测得到的2D关键点作为输入，从单目视频预测对应的3D关节位置，这类方法取得了不错的效果，且与输入为RGB图像的方法相比，需要的训练资源少得多 [^19] [^42] [^10] [^54]。本文工作属于这一研究分支，显式融入了运动学分析，我们将在后文详细讨论。 尽管基于2D关键点条件 --- ![Image](images/da55858dc0a8d3fae4c77b104438c364ee45f593807d5860e15b53da8ccc82f6.jpg)
Figure 2: Detailed architecture of proposed framework. Three hierarchical modules (from left to right) correspond to 2D pose correction ( $\phi_{2D}$), 3D pose estimation ( $\phi_{3D}^{len}$, $\phi_{3D}^{dir}$) and 3D trajectory refinement ( $\phi_{3D}^{ctn}$) respectively. $\tilde{p}_{2D}$ is corrected 2D pose and $\tilde{f}$, $\tilde{c}$ refer to regressed camera parameters. $\tilde{\gamma}_{3D}$ and $\tilde{r}_{3D}$ are estimated length and direction from $\phi_{3D}^{len}$, $\phi_{3D}^{dir}$. $\tilde{S}_{3D}$ and $\tilde{S}_{3D}$ stand for 3D pose before/after trajectory completion respectively.
提及的三维姿态估计领域，目前仍有若干关键挑战有待解决。一方面，由于视频序列中存在运动模糊和自遮挡，二维检测结果通常带有噪声且可靠性不足。现有方法 [^25] [^46] [^33] 采用简单的结构约束，例如对称骨长 [^33] 和有限关节角度 [^16] 来辅助三维关节预测，这些约束不足以给该任务带来显著提升。另一方面，大多数现有方法直接将该任务建模为坐标回归问题，没有充分考虑人体固有的运动学结构，通常会得到无效的结果。 真实场景中的人体运动遵循包含二维/三维对应关系以及静态/动态结构的运动学规律：(1) 对于相机视角，三维关节与其投影得到的二维关节应当满足透视投影约束。(2) 对于静态结构，由骨架定义的两个相邻三维关节之间的长度在整个运动序列中应当保持恒定。(3) 对于动态结构，同一关节生成的估计三维轨迹应当平滑连续。因此我们受到启发，整合上述所有规律构建了一套从对应关系到结构的系统性分析流程，有助于在更合理的解空间中求解三维姿态。 本文提出将运动学分析系统性地融入深度模型，以有效利用人体先验知识。如图1所示，我们首先对二维输入进行优化使其更可靠，而非仅关注三维关键点的估计精度 [^33] [^1]。我们为二维关键点设计了一种满足透视投影约束的新型优化方案，主要用于对带噪声的二维输入进行运动学结构校正。据我们所知，这是首次将透视投影用于二维关节优化而非三维关节优化。实验结果表明，上述二维优化方案对后续的三维姿态估计至关重要。其次，我们从人体静态结构出发，基于刚体假设对关节运动进行分解，将无约束的三维轨迹拆解为低维二维球面曲线的树结构组合。更具体地说，我们将三维坐标回归问题拆分为两个子任务，即长度估计和方向估计，二者相辅相成，大幅降低了学习难度。最后，我们注意到并非所有关节的估计质量都一致。为了得到有效的动态结构，我们将低可靠性的关节从上述预测中排除，再基于可靠性更高的关节补全整条三维轨迹。上述三个步骤被无缝整合到深度神经网络中，形成了一套系统性的分析流程，即我们的模型同时考虑了二维输入和三维输出的运动学结构。 我们开展了详细的消融实验，验证所提框架中每个组件的贡献。进一步的大量实验表明，我们的模型在两个广泛使用的三维人体运动数据集上取得了当前最优性能。 ### 2. 相关工作 本节我们讨论基于深度神经网络的三维姿态估计方法。 整体三维姿态估计。得益于深度神经网络出色的特征提取能力，众多研究方法[^19] [^31] [^44] [^42] [^26] [^32] [^27] [^10] [^54] [^6]使用深度卷积神经网络直接从图像或其他数据源（例如点云[^50] [^22] [^49]）估计三维姿态。本文聚焦基于图像的三维姿态估计方向。Li等人[^19]首次将CNNs应用于多任务框架，联合估计三维姿态并检测身体部位。Tekin等人[^42]使用过完备自编码器学习高 --- ![Image](images/2e79faa7efc6943b4dea7cd03d43b970e44cfbcbf11c6117375834063d7d63e2.jpg)
Figure 3: Example of perspective projection used to refine 2D inputs. This essentially incorporates 3D supervision signal for 2D pose training, where 2D/3D correspondence is better preserved.
维的潜在姿态表示，并对关节依赖关系进行建模。与之不同的是，[^10]和[^54]均利用中间三维表示及其对应的二维表示来回归三维姿态。但直接从图像训练深度模型需要昂贵的计算资源，还需要细致的超参数调优。与之不同，我们的模型以检测得到的二维关节作为输入，其流程得到了大幅简化，同时仍能取得可媲美的性能。 两阶段姿态估计。为了避免采集二维-三维配对数据，大量研究[^55] [^25] [^43] [^4] [^9] [^53] [^52] [^28] [^38] [^7]将三维姿态估计任务解耦为两个独立阶段：(1) 首先使用成熟的现成二维姿态估计方法预测图像空间中的二维关节位置；(2) 随后学习一个映射将它们提升到三维空间。Moreno等人[^28]学习了从二维距离矩阵到三维距离矩阵的映射。一种简单有效的方法[^25]可通过深度CNNs直接预测三维关节位置。结合人体结构的先验知识，Wang等人[^46]提出了一种渐进式方法，显式地处理身体部位之间不同的自由度（DOF）。Sharma等人[^38]通过基于深度条件变分自编码器的模型，以估计得到的二维姿态为条件，合成多样符合解剖学规律的三维姿态样本。图卷积网络（GCN）与全连接网络（FCN）的通用组合[^7]也可以提升模型的表示能力。这些方法主要聚焦于第二阶段，我们的方法也属于该分支。但目前很少有研究从系统全面的角度关注二维/三维姿态的固有有效性，运动学结构和视角对应关系通常被这类方法忽略。 视频姿态估计。由于大多数以往研究都是单帧设置，近年来越来越多的关注[^14] [^21] [^18] [^8] [^37] [^33] [^1] [^6] [^20] [^36] [^48]被投向单目视频片段的时序信息上。LSTMs[^21]已被用于优化预测得到的三维姿态
Table 1: Influence of 2D accuracy for 3D pose estimation. Both are evaluated by mean squared error. M = 1 is no 2D refinement is applied.
Window Length2D Joints Train/Test3D Joints Train/Test
M=10.058 / 0.0780.027 / 0.053
M=50.042 / 0.0710.024 / 0.052
M=90.033 / 0.0670.023 / 0.052
从单张图像完成姿态估计。也已有研究提出RNN方法[^18]，该方法结合基于身体部位的结构连接性来考虑先验知识。Rayat等人[^37]利用2D关节位置序列的时间平滑约束来估计3D姿态序列。Pavllo等人[^33]通过时间卷积变换2D姿态序列，使得计算复杂度与关键点空间分辨率无关。对于基于图表示的多尺度特征[^1]，局部到全局的网络架构对姿态估计至关重要。与现有基于时间的方法不同，我们的模型明确集成了运动学分析流程用于3D姿态估计。 ### 3. 方法 在本节中，我们详细介绍所提出的方法。整体框架如图2所示。在我们的方法和实验中，我们聚焦于短视频片段上的姿态估计（ $T \leq 9$）。 #### 3.1. 基于投影的2D姿态校正 2D时间细化。给定长度为T个时间戳的单目视频片段，我们首先使用预训练的2D姿态检测器（例如CPN [^5]）获取2D关节。由于运动模糊和遮挡，单帧的2D检测结果通常存在噪声且不可靠[^11]。我们首先使用一个时间CNN模型（记为$\phi_{2D}$，如图2所示）来细化初始2D输入（记为$\mathbf{P} = \{\tilde{\mathbf{p}}_t\}_{t=1}^T, \tilde{\mathbf{K}} = \{\tilde{\mathbf{k}}_t\}_{t=1}^T, \tilde{\mathbf{p}}_t \in \mathbb{R}^{J \times 2}, \tilde{\mathbf{k}}_t \in \mathbb{R}^J$，其中J表示单个人体的关节数量。具体而言，$\tilde{\mathbf{p}}_t = [\tilde{\mathbf{a}}_t, \tilde{\mathbf{b}}_t]$，其中$\tilde{\mathbf{a}}_t$和$\tilde{\mathbf{b}}_t$表示2D坐标，$\tilde{\mathbf{k}}_t$为对应的置信度分数。我们采用置信度加权的MSE损失$\tilde{\mathbf{K}}$进行训练，如下所示： $$ \mathcal{L}_{2D}^{T e m}=\sum_{t=1}^{T}\tilde{\mathbf{k}}_{t}\sqrt{|\mathbf{a}_{t}-\tilde{\mathbf{a}}_{t}|_{2}^{2}+|\mathbf{b}_{t}-\tilde{\mathbf{b}}_{t}|_{2}^{2}}, $$ 其中$a_{t}$、$b_{t}$表示真实2D关节。直观来看，该流程利用时间平滑性来细化检测得到的2D关节。 --- 局限性：训练/测试不平衡。然而，上述优化并不能直接提升最终3D姿态估计的性能。我们开展了验证实验（在Human3.6M数据集[^15]上）来支持我们的结论。具体来说，我们采用以细化后2D关节为输入的单帧3D姿态估计模型[^33]。如表1所示，我们报告了训练集和测试集上2D关节与3D关节的估计准确率。可以观察到，随着窗口长度增加，训练集上2D和3D关节的准确率均有所提升。但3D测试集上的提升十分有限（最后一列）。我们将该问题归因于训练/测试集的输入不平衡。训练输入和测试输入之间存在较大准确率差距（前两列），这一情况并未被后续的3D姿态估计模型考虑，因此导致了次优结果。 解决方案：投影约束。为此，我们从不同角度提出了2D输入的细化方法，即2D/3D对应关系对合理姿态估计至关重要（如图3所示）。我们将3D关节记为$\mathbf{S} = \{\mathbf{s}_t\}_{t=1}^T, \mathbf{s}_t = [\mathbf{x}_t, \mathbf{y}_t, \mathbf{z}_t] \in \mathbb{R}^{J \times 3}$。对于每个时间戳t，投影得到的2D关节$\mathbf{p}$和3D关节$\mathbf{s}$应满足如下透视投影关系： $$ \mathbf{a}=\frac{\mathbf{x}}{\mathbf{z}}f_{x}+c_{x},\mathbf{b}=\frac{\mathbf{y}}{\mathbf{z}}f_{y}+c_{y}, $$ 其中$\mathbf{f} = [f_x, f_y]$和$\mathbf{c} = [c_x, c_y]$分别为焦距和点。为简化表述，我们省略了下标t。我们的核心思路是在训练过程中，从优化后的二维输入和真值三维关节点中恢复出$\mathbf{f}$和$\mathbf{c}$。直观来看，估计准确的$\tilde{\mathbf{f}}$和$\tilde{\mathbf{c}}$说明投影对应关系整体得到了保留。剩余的问题是如何高效得到$\tilde{\mathbf{f}}$和$\tilde{\mathbf{c}}$。 最小二乘回归是解决上述问题简单且高效的方法。以投影后的x轴坐标为例，如公式2所示，包含单个受试者的配对数据点$(\mathbf{a}, \frac{\mathbf{x}}{\mathbf{z}}) = \{(a^j, \frac{x^j}{z^j})\}_{j=1}^J$符合一条直线，该直线的截距和斜率分别对应$f_x$和$c_x$。为简化起见，我们省略了分母，即$\frac{x^j}{z^j} : x^j$。给定优化后的二维检测结果$\tilde{\mathbf{p}}$和真值三维关节点s，我们按如下方式估计$f_x$和$c_x$： $$ \tilde{f}_{x}=\frac{\bar{a}(\sum_{j=1}^{J}x^{j})^{2}-\bar{x}\sum_{j=1}^{J}x^{j}\tilde{a}^{j}}{\sum_{j=1}^{J}(x^{j})^{2}-J\bar{x}^{2}},\tilde{c}_{x}=\bar{a}-\tilde{f}_{x}\bar{x}, $$ 其中$\bar{a} = \frac{1}{J} \sum_{j=1}^{J} \tilde{a}^{j}$、$\bar{x} = \frac{1}{J} \sum_{j=1}^{J} x^{j}$。我们以真值$f_x$和$c_x$为输入，按照公式3的相同方式得到真值$\mathbf{p}$和$\mathbf{s}$。我们在训练中采用L1损失，形式如下： $$ \mathcal{L}_{2D}^{p r o j}=\left|f_{x}-\tilde{f}_{x}\right|+\left|c_{x}-\tilde{c}_{x}\right|. $$ 此外，对于整个单目视频片段而言，每个时间戳估计得到的$\tilde{f}_{x}$和$\tilde{c}_{x}$应当为恒定值，这一约束也被用于训练。具体来说，我们随机 ![Image](images/827253bf71e6316364e5e20e469c613fcc7fa8fc39b73eeac33b3ac56b61af19.jpg)
Figure 4: Illustration of articulated motion for a pair of parent-children joints. The motion trajectory of children joint relative to its parent degenerates to spherical curve.
选取两个时间戳，对这两个时间戳估计得到的$\tilde{f}_x$和$\tilde{c}_x$的L1差值施加惩罚。如图2所示，$\phi_{2D}$采用编解码器架构，输出的时间长度与输入相等。关于详细架构请参考补充材料。 需要注意的是，本文使用的数据集（Human3.6M [^15]和HumanEva [^39]数据集）均由内参(f,c)固定且几乎一致的相机录制，这说明所有二维姿态和三维姿态之间存在全局投影关系。优化模型针对单一投影关系进行训练。如果视频序列由(f,c)变化的相机录制，我们可以将(f,c)作为输入传入模型，保证所提模型的泛化能力。作为内参，(f,c)通常获取成本很低 [^33]。这一部分留作值得研究的未来工作。 #### 3.2 分解式三维姿态估计 基于优化后的二维关节点，我们的第二个模型（记为$\phi_{3D}^{dem}$）预测对应的三维关键点。正如第1节所讨论的，单目视频片段中的三维关节运动存在结构约束。图4更清晰地展示了这一运动学规律：由人体骨骼定义的子关节相对于父关节的运动轨迹形成一条球面曲线。 显式姿态分解。受此启发，我们将原始坐标回归问题分解为两个互补的子任务，即长度回归和方向回归。具体来说，对于一个三维序列$\mathbf{S} \in \mathbb{R}^{T \times J \times 3}$，我们首先根据预定义的骨骼拓扑结构得到相对坐标，即$\Delta \mathbf{S}^{j_c} = \mathbf{S}^{j_c} - \mathbf{S}^{j_p}$，其中$j_c$表示某个子关节，$j_p$表示其父关节（如图4所示）。假设由关节对$\{j_{c}, j_p\}$定义的骨骼长度为$l^{j_c}$，则$\Delta \mathbf{S}^{j_c}$可重写为$\Delta \mathbf{S}^{j_c} = \{l^{j_c} \mathbf{r}_t^{j_c} \}_{t=1}^T$，其中$\mathbf{r}_t^{j_c}$是表示时间步t下$(j_c, j_p)$之间骨骼方向的单位向量。$l^{j_c}$在整个视频片段中保持不变。因此我们将$l^{j_c}$和$\mathbf{r}_t^{j_c}$作为中间结果进行预测，再根据人体骨骼将二者组合得到最终估计结果（公式5）。 全局-局部组合的二维输入。我们对输入进行扩展 --- ![Image](images/79da15e99fe518bc37a9292de4d512b16d6b9f5839108c11a0daf228a89cdb7d.jpg)
Figure 5: Per-joint estimation error in terms of MPJPE. Notably, the estimation error of four limbs (indexed by 0/1/4/5/6/7/10/11 with red bar) is significantly higher than other joints. Dashed black line indicates mean MPJPE for all joints.
$\tilde{\mathbf{P}}$采用与$\mathbf{S}$、$i.e.,[\tilde{\mathbf{P}},\Delta\tilde{\mathbf{P}},||\Delta\tilde{\mathbf{P}}||_2^2]\in\mathbb{R}^{T\times J\times5}$相似的处理方式。$\Delta\tilde{\mathbf{P}}\in\mathbb{R}^{T\times J\times2}$的获取方式与$\Delta\mathbf{S}$相同，$||\Delta\tilde{\mathbf{P}}||_2^2\in\mathbb{R}^{T\times J\times1}$是计算得到的每段骨骼的像素长度。上述操作将全局信息和局部信息结合作为输入，为三维姿态估计提供了更多结构化信息。 长度与方向估计。我们采用双流架构分别进行长度和方向估计，两个子模块分别记为$\phi_{3D}^{len}$和$\phi_{3D}^{dir}$。对于长度估计，我们首先提取每个时间步的姿态特征，然后在中层表示层面进行特征聚合，最终用其预测骨骼长度$\mathbf{I} = \{\tilde{l}^{j}\}_{j=1}^{J}$。相比之下，骨骼方向在每个时间步独立估计，单位向量$\tilde{\mathbf{r}}_{t} = \{\tilde{\mathbf{r}}_{t}^{j}\}_{j=1}^{J}$通过L2归一化层得到。有关$\phi_{3D}^{len}$和$\phi_{3D}^{dir}$的详细架构，请参考补充材料。到目前为止我们得到了$\Delta\tilde{\mathbf{S}} = \tilde{\mathbf{R}}$，其中$\tilde{\mathbf{R}} = \{\tilde{\mathbf{r}}_{t}\}_{t=1}^{T}$。最终估计结果$\tilde{\mathbf{S}}$是根据人体拓扑结构对$\Delta\tilde{\mathbf{S}}$进行迭代累加得到的，过程如下： $$ \begin{array}{r}{\tilde{\mathbf{S}}^{j_{c}}=\Delta\tilde{\mathbf{S}}^{j_{c}}+\tilde{\mathbf{S}}^{j_{p}}.}\end{array} $$ 相应地，我们采用中间损失函数来促进训练过程。对于长度估计，我们使用L1损失（记为 $\mathcal{L}_{3D}^{len} = |\tilde{1} - 1|$）来获得更准确的结果。对于方向估计，余弦相似度损失（记为 $\mathcal{L}_{3D}^{dir} = \langle \tilde{\mathbf{r}}, \mathbf{r} \rangle - 1$）被应用于 $\tilde{\mathbf{R}}$，该损失惩罚角度差异而非距离差异。对于最终组合得到的预测结果，我们使用L2损失（记为 $\mathcal{L}_{3D}^{fin}$）进行训练。三个损失函数如下所示。有关 $\phi_{3D}^{dir}$和 $\phi_{3D}^{len}$的详细架构，请参考补充材料。 $$ \begin{array}{r}{\mathcal{L}_{3D}^{d c m}=\mathcal{L}_{3D}^{l e n}+\mathcal{L}_{3D}^{d i r},\mathcal{L}_{3D}^{f i n}=||\tilde{\mathbf{S}}-\mathbf{S}||_{2}^{2}.}\end{array} $$ 关于姿态分解的讨论。与本文这一部分工作最相关的研究是Sun等人[^41]，他们以组合方式实现姿态估计。但我们的工作与Sun等人[^41]的研究存在以下三点差异：(1) 我们的工作聚焦于单目姿态估计任务，而非单张图像的姿态估计。(2) 我们没有采用直接坐标回归，而是基于刚体结构对输出空间进行显式分解，将维度从$3 \times T \times J$降至$2 \times T \times J + J$，其中第一部分用于方向估计，第二部分对应长度估计。更紧凑的输出空间大幅帮助3D姿态估计模型获得更合理的结果。(3) 我们基于上述长度/方向分解设计了针对性损失函数$\mathcal{L}_{3D}^{dir}$和$\mathcal{L}_{3D}^{len}$，大幅降低了学习难度。 #### 3.3. 作为轨迹补全的姿态精修 基于姿态分解，我们独立估计每个时间戳的骨骼方向，该结果仍需进一步精修。在本节中，我们将上述问题建模为轨迹补全任务，对估计不可靠的关节进行精修处理。 哪些关节需要精修？并非所有关节的估计质量都相同。如图5所示，我们可以观察到四肢（即同样如图4标注的0/1/4/5/6/7/10/11号关节）的估计误差明显高于其他关节。因此我们聚焦于四肢正则化。同时，二维检测器输出的置信度分数$\bar{K}$（在3.1节中提及）是指示关节位置估计不可靠的有效信息。为此，我们对分配了低二维置信度的四肢关节进行优化。 基于可靠估计的轨迹补全。给定估计得到的三维关节$\tilde{\mathbf{S}} \in \mathbb{R}^{T \times J \times 3}$，我们首先对与四肢关联的关节直接应用dropout层[^40]。dropout率为$1 - \tilde{\mathbf{K}}$而非固定值，也就是说，我们将不可靠关节从$\tilde{\mathbf{S}} \in \mathbb{R}^{T \times J \times 3}$中剔除，再利用可靠关节对其进行补全。补全模型记为$\phi_{3D}^{ctn}$，由双向LSTM [^12]网络构成（如图2所示）。我们将补全后的输出记为$\tilde{\mathbf{S}}$，其训练方式如下： $$ \begin{array}{r}{\mathcal{L}_{3D}^{c t n}=||\hat{\mathbf{S}}-\mathbf{S}||_{2}^{2}+||\mathcal{H}(\hat{\mathbf{S}})-\mathcal{H}(\mathbf{S})||_{2}^{2}+||\mathcal{F}(\hat{\mathbf{S}})-\mathcal{F}(\mathbf{S})||_{2}^{2},}\end{array} $$ 其中H和F分别表示时间轴上的一阶和二阶差分。直观来看，高阶连续性更有利于对人体的动态结构进行建模。 #### 3.4. 实现细节 我们的模型是端到端可训练的，总体损失函数为$\mathcal{L}_{2D}^{tem} + 0.1\mathcal{L}_{2D}^{proj} + 0.1\mathcal{L}_{2D}^{pel} + \mathcal{L}_{3D}^{dcm} + \mathcal{L}_{3D}^{fin} + 0.1\mathcal{L}_{3D}^{ctn}$。我们采用PyTorch [^29]实现本文提出的框架。训练阶段，学习率、学习衰减和权重衰减分别设置为$1e^{-3}$、0.93、$1e^{-4}$。除所提及的情况外，dropout率设置为0.25 ---
Protocol 1: MPJPEDir.Disc.EatGreetPhonePhotoPosePurch.SitSitD.SmokeWaitWalkD.WalkWalkT.Avg
Martinez et al. [^25] ICCV'17 (T=1)51.856.258.159.069.578.455.258.174.094.662.359.165.149.552.462.9
Luvizon et al. [^24] CVPR'18 (T=1)49.251.647.650.551.860.348.551.761.570.953.748.957.944.448.953.2
Hossain & Little [^37] ECCV'18 (T=5)48.450.757.255.263.172.653.051.766.180.959.057.362.446.649.658.3
Lee et al. [^18] ECCV'18 (T=3)40.249.247.852.650.175.050.243.055.873.954.155.658.243.343.352.8
Pavllo et al. [^33] CVPR'19 (T=1)47.150.649.051.853.661.449.447.459.367.452.449.555.339.542.751.8
Pavllo et al. [^33] CVPR'19 (T=9)---------------49.8
Cai et al. [^1] ICCV'19 (T=1)46.548.847.650.952.961.348.345.859.264.451.248.453.539.241.250.6
Cai et al. [^1] ICCV'19 (T=7)44.647.445.648.850.859.047.243.957.961.949.746.651.337.139.448.8
Ours, 1-frame40.647.145.746.650.763.145.047.756.363.949.446.551.938.142.349.2
Ours, 7-frames38.244.442.843.747.660.342.045.453.260.846.443.548.534.638.646.3
Ours, 9-frames37.443.542.742.746.659.741.345.152.760.245.843.147.733.737.145.6
Protocol 2: PA-MPJPEDir.Disc.EatGreetPhonePhotoPosePurch.SitSitD.SmokeWaitWalkD.WalkWalkT.Avg
Sun et al. [^41] ICCV'17 (T=1)42.144.345.045.451.553.043.241.359.373.351.044.048.038.344.848.3
Fang et al. [^9] AAAI'18 (T=1)38.241.743.744.948.555.340.238.254.564.447.244.347.336.741.745.7
Pavlakos et al. [^30] CVPR'18 (T=1)34.739.841.838.642.547.538.036.650.756.842.639.643.932.136.541.8
Hossain & Little [^37] ECCV'18 (T=5)35.739.344.643.047.254.038.337.551.661.346.541.447.334.239.444.1
Pavllo et al. [^33] CVPR'19 (T=1)36.038.738.041.740.145.937.135.446.853.441.436.943.130.334.840.0
Cai et al. [^1] ICCV'19 (T=1)36.838.738.241.740.746.837.935.647.651.741.336.842.731.034.740.2
Cai et al. [^1] ICCV'19 (T=7)35.737.836.940.739.645.237.434.546.950.140.536.141.029.633.239.0
Ours, 1-frame33.637.437.037.639.246.434.335.445.152.140.135.542.129.835.338.9
Ours, 7-frames31.735.335.035.336.944.232.033.842.549.337.633.439.627.632.536.7
Ours, 9-frames31.034.834.734.436.243.931.633.542.349.037.133.039.126.931.936.2
Table 2: Quantitative comparisons of Mean Per Joint Position Error (MPJPE) in millimeter between the estimated pose and the ground-truth on Human3.6M under P1 and P2, where T denotes the number of input frames used in each method. Lower is better and best is bold highlighted.
Protocol 2WalkJogBox
PA-MPJPES1S2S3S1S2S3S1S2S3
Pavlakos et al. [^31]22.319.529.728.921.923.8---
Pavlakos et al. [^30]18.812.729.223.515.414.5---
Lee et al. [^18]18.619.930.525.716.817.742.848.153.4
Pavllo et al. [^33]13.910.246.620.913.113.823.833.732.0
Ours,9-frames13.210.229.912.612.313.013.218.120.4
Table 3: Prediction accuracy on HumanEva Dataset [^39] in terms of Protocol \#2 evaluation. Note that we train one model with all three actions (i.e., Walk, Jog and Box) models. Lower is better and best is bold highlighted.
，该情况见3.3节。我们对BN动量衰减采用与[^33]相同的策略。所有模块均使用Adam优化器[^17]。整个模型共训练200个epoch。 ### 4. 实验 #### 4.1. 数据集与评估指标 Human3.6M数据集 [^15]。在本文工作中，我们遵循了前人研究中的实验设置 [^10] [^45] [^33]。更具体地说，我们使用1/5/6/7/8号受试者进行训练，9/11号受试者进行测试。在无法获取动作标签和相机参数的情况下，所有视频序列都被用于训练单个模型。
MPJPE(P1)PA-MPJPE(P2)
Baseline51.840.0
2D Refine49.939.4
2D Refine + 3D Decompose47.137.5
2D Refine + 3D Decompose + 3D Completion45.636.2
Table 4: Ablation study on the contribution of proposed three modules in terms of both P1 and P2. Note that Baseline refers to single-frame results of Pavllo et al. [^33].
HumanEva-I数据集 [^39]。与Human3.6M数据集 [^15] 相比，HumanEva-I [^39] 规模更小，包含三种直立动作：Walk、Jog、Box。我们遵循 [^33] 中使用的相同数据预处理策略进行训练/测试划分，我们报告了T=9时的估计精度。 评估指标。遵循大多数前人工作 [^24] [^37] [^18] [^1] [^33] 的设定，我们使用通常称为方案#1的平均每关节位置误差（mean per joint position error，简称MPJPE，即P1）评估我们的模型。多项研究 [^41] [^9] [^30] [^37] [^33] [^1] 会在经过旋转和平移对齐后估计3D姿态，对应的指标称为对齐后平均每关节位置误差（PA-MPJPE，简称P2），即方案#2。本文工作同时使用了两种评估方案。 --- ![Image](images/15f9f54eab115e7da98fe7248be04523a930d47c4e12a65c1ab4dc7c23d9b5bf.jpg)
Figure 6: Visualization of predicted 3D poses on monocular video clip. Each row corresponds to one action sequence.
#### 4.2 定量评估 Human3.6M数据集上的实验结果 [^15]。如表2所示，我们报告了方案#1和方案#2下的姿态估计结果。需要注意的是，前人工作采用不同的时间长度评估该任务，为保证公平性，我们在相同输入下与它们进行比较。当 $T = 1$ 时，轨迹补全模型 $\phi_{3D}^{ctn}$ 不启用。得益于2D校正和3D分解，我们的模型在 [^1] 条件下的P1和P2评估中均优于现有最优方法（Cai等人 $T = 1$）。在显式运动学分析的加持下，当 [^33] 时，我们模型的估计精度比Pavllo等人 $T = 9$ 高出8.4%（4.2mm）。在 [^1] 条件下，模型性能也较Cai等人 $T = 7$ 有显著提升，即46.3mm对比48.8mm。在按动作类别进行的评估中，我们的最终模型（ $T = 9$）在大多数动作类别上都取得了最佳性能。尤其是在几个相对更难的动作上，例如存在严重遮挡的静坐和坐下动作，我们的模型足够鲁棒，能够比仅考虑时间平滑性而不考虑估计可靠性的Pavllo等人 [^33] 获得更好的结果。这一点在我们模型中得到了进一步验证。从 $T = 1$ 到 $T = 9$，P1和P2两种评估方案下的估计精度都在不断提升，这主要得益于分解式3D姿态估计和3D轨迹补全。 HumanEva数据集上的实验结果 [^39]。如表3所示，我们报告了方案#2下的姿态估计结果。与Human3.6M数据集 [^15] 相比，HumanEva数据集 [^39] 学习难度更低，其估计精度已经接近饱和。尽管如此，我们的模型在所有三个动作上都比Pavllo等人 [^33] 取得了性能提升。通过将显式运动学分析融入深度模型，合理的时空结构得到了很好的保留，输出空间也更加紧凑，最终带来了更高的估计精度。 #### 4.3 定性评估 我们进一步展示了单目三维姿态估计的直接可视化结果。如图6所示，本文展示了三个包含不同动作的序列。同时，对于每个时间戳，我们给出了优化后的二维姿态以及
1-Frame3-Frames5-Frames7-Frames9-Frames
Pavllo et al. [^33]51.80---49.80
Cai et al. [^1]50.6249.0848.8648.78-
Ours49.2147.8746.8346.2645.61
Table 5: Prediction accuracy with different input length and in terms of MPJPE. We compare our model with Pavllo et al. [^33] and Cai et al. [^1].
对应的三维预测结果。我们的模型能够得到视觉上自然的估计结果，这主要得益于显式运动学约束。例如，图6第二行的坐下序列，其二维和三维关节点都得到了准确估计，我们的模型正确处理了四肢结构（这要求模型具备人体拓扑感知能力）。更多可视化结果可参考补充材料。 #### 4.4 消融实验 全模块分析。我们的模型由三个模块组成：$\phi_{2D}$、$\phi_{3D}^{dcm}$和$\phi_{3D}^{ctn}$。为验证每个模块的贡献，我们在Human3.6M数据集[^15]上开展了对应的消融实验。如表4所示，本文报告了P1和P2指标下的准确率。基线方法为Pavllo等人提出的单帧估计模型[^33]。可以看出，在P1和P2评估下，每个模块都能带来正向贡献。值得注意的是，最显著的性能提升来自三维分解模块$\phi_{3D}^{dcm}$，该模块得益于$\phi_{2D}$提供的更合理的二维/三维对应关系，进一步得到了更紧凑的输出空间。 时间长度分析。如表5所示，我们报告了不同输入长度下的估计准确率。可以看出，随着时间窗口长度增加，我们的模型性能始终优于输入长度更短的模型。在相同输入长度下，我们的模型也比现有方法（即Pavllo等人[^33]和Cai等人[^1]）得到更准确的结果。 基于投影的二维校正分析。一个悬而未决但至关重要的问题是：基于投影的 --- ![Image](images/7f1dd95cf4f3eac66a1e436f91cf986f047e5c1bb5c25b69f84c6d3f5923697e.jpg) ![Image](images/2f6f8944d646dceda3617c6579b2c7029c56485461691dd820b663d8d51da817.jpg) ![Image](images/659e9fd2bea5904f56f522a07abf90967ce3d58cd3604860c9ff7d90b1e0c296.jpg) ![Image](images/9bd573e8b7471d9d56c0543a0c5518f50d3cc113563dac829c54263b3c977843.jpg)
Figure 7: Analysis on projection based 2D correction. A/C correspond to $f_x$, $c_x$ estimation without/with constraint of perspective projection. B/D correspond to two typical examples of projection correspondence between 2D and 3D joints without/with constraint of perspective projection.
![Image](images/c0c0a824a59ad7ace5387ab4e7f38aa11be9e870793b6c5b7b1b6f1b182f0148.jpg) ![Image](images/5ab111495830e4aa1e09d963b2c2d325e2a72f6b4c9b47537dab4ba365efd2f1.jpg)
Figure 8: Analysis on decomposed 3D estimation. The length (upper part) and direction (lower part) estimation of left shank (skeleton between joint 4 and joint 5) are presented.
二维校正如何促进三维姿态估计？如图7(A和C)所示，我们在测试集上绘制了估计值/真值焦距$f_x$和点$c_x$进行评估。图7A对应未使用$\mathcal{L}_{2D}^{proj}$训练的结果，图7C对应使用该模块训练的结果。橙色点为真值，蓝色叉为估计结果。在$\mathcal{L}_{2D}^{proj}$的加持下，相机视角下的估计投影结构更加准确。此外，我们在图7(B和D)中给出了两个二维与三维关节点对应关系的典型示例。根据式2，X轴代表$x/z$，Y轴为a。符号表示与图7(A和C)一致。所有关节都
1-Frame3-Frames5-Frames7-Frames9-Frames
Full model w/o $\phi_{3D}^{ctn}$7.805.114.033.573.29
Full model7.803.702.452.132.01
Table 6: Prediction accuracy (Human3.6M Dataset [^15]) with different input length in terms of MPJVE [^33]. The first row corresponds to training without trajectory model $\phi_{3D}^{ctn}$, while the second row refers to full model. Note that $\phi_{3D}^{ctn}$ is nonfunctional when T = 1, whose estimation accuracy is identical to the first row.
属于同一个帧。代表真值的橙色点位于一条直线上。同理，图7D为使用$\mathcal{L}_{2D}^{proj}$训练的测试结果，图7B为未使用该模块训练的结果。结果清楚表明，基于投影对应关系的二维校正更加合理准确。 分解三维估计分析。为了分析$\phi_{3D}^{dem}$的作用，我们同时给出了图8所示的长度与方向结果。红线对应真值，蓝线为单帧估计结果，绿线是Pavllo等人[^33]的结果，橙线为本文方法的结果。在长度估计方面，本文模型对二维姿态的变化具有鲁棒性。相反，单帧估计和Pavllo等人[^33]的模型都无法得到有效的长度估计，而长度在整个视频片段中本应保持恒定。基于准确的长度估计，本文模型能够在更紧凑的空间中找到关节角度。如图8B所示，方向按照左小腿与Y轴之间的夹角计算得到，本文模型的表现大幅优于所有其他基线方法，即估计的方向更接近真值（红线），且变化更小。 三维轨迹补全分析。遵循Pavllo等人[^33]的设置，我们采用MPJVE（即速度误差）评估轨迹估计精度，以进一步验证$\phi_{3D}^{ctn}$的作用。如表6所示，得益于$\phi_{3D}^{ctn}$，本文模型在所有测试的时间长度下（从T = 3到T = 9）都获得了更低的速度误差。 ### 5. 结论 本文针对单目三维人体姿态估计提出了一种深度运动学分析框架。通过将运动学正则化显式融入深度模型，我们在以带噪声的二维关节作为输入时仍能获得更可靠的估计结果。大量实验表明，本文模型在两个广泛使用的三维人体动作数据集上取得了当前最优性能。 致谢 本工作得到了国家自然科学基金（61976137、61527804、U1611461、U19B2035）、STCSM（18DZ1112300）的资助。本工作还得到了中国国家重点研发计划项目（2016YFB1001003）的支持。作者特别感谢上海交通大学学生创新中心提供GPU支持。 --- ## 参考文献 [^1]: Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, and Nadia Magnenat Thalmann. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In ICCV, October 2019. [^2]: Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person 2d pose estimation using part affinity fields. In CVPR, pages 1302–1310, 2017. [^3]: João Carreira and Andrew Zisserman. Quo vadis, action recognition? A new model and the kinetics dataset. In CVPR, pages 4724–4733, 2017. [^4]: Ching-Hang Chen and Deva Ramanan. 3d human pose estimation=2d pose estimation+ matching. In CVPR, pages 7035–7043, 2017. [^5]: Yilun Chen, Zhicheng Wang, Yuxiang Peng, Zhiqiang Zhang, Gang Yu, and Jian Sun. Cascaded pyramid network for multi-person pose estimation. In CVPR, pages 7103–7112, 2018. [^6]: Yu Cheng, Bo Yang, Bo Wang, Wending Yan, and Robby T. Tan. Occlusion-aware networks for 3d human pose estimation in video. In ICCV, October 2019. [^7]: Hai Ci, Chunyu Wang, Xiaoxuan Ma, and Yizhou Wang. Optimizing Network Structure for 3D Human Pose Estimation. In ICCV, October 2019. [^8]: Huseyin Coskun, Felix Achilles, Robert DiPietro, Nassir Navab, and Federico Tombari. Long short-term memory kalman filters: Recurrent neural estimators for pose regularization. In ICCV, pages 5524–5532, 2017. [^9]: Hao-Shu Fang, Yuanlu Xu, Wenguan Wang, Xiaobai Liu, and Song-Chun Zhu. Learning pose grammar to encode human body configuration for 3d pose estimation. In AAAI, 2018. [^10]: Ikhsanul Habibie, Weipeng Xu, Dushyant Mehta, Gerard Pons-Moll, and Christian Theobalt. In the wild human pose estimation using explicit 2d features and intermediate 3d representations. In CVPR, pages 10905–10914, 2019. [^11]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross B. Girshick. Mask R-CNN. In YCCV, pages 2980–2988, 2017. [^12]: Sepp Hochreiter and Jürgen Schmidhuber. Long short-term memory. NC, 9(8):1735–1780, 1997. [^13]: Zhongyue Huang, Jingwei Xu, and Bingbing Ni. Human motion generation via cross-space constrained sampling. In IJCAI, pages 757–763, 2018. [^14]: Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In ICML, pages 448–456, 2015. [^15]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. TPAMI, 36(7):1325–1339, 2014. [^16]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In CVPR, pages 7122–7131, 2018. [^17]: Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In ICLR, 2015. [^18]: Kyoungoh Lee, Inwoong Lee, and Sanghoon Lee. Propagating lstm: 3d pose estimation based on joint interdependency. In ECCV, pages 119–135, 2018. [^19]: Sijin Li and Antoni B Chan. 3d human pose estimation from monocular images with deep convolutional neural network. In ACCV, pages 332–347, 2014. [^20]: Jiahao Lin and Gim Hee Lee. Trajectory space factorization for deep video-based 3d human pose estimation. arXiv preprint arXiv:1908.08289, 2019. [^21]: Mude Lin, Liang Lin, Xiaodan Liang, Keze Wang, and Hui Cheng. Recurrent 3d pose sequence machines. In CVPR, pages 810–819, 2017. [^22]: Jinxian Liu, Bingbing Ni, Caiyuan Li, Jiancheng Yang, and Qi Tian. Dynamic points agglomeration for hierarchical point sets learning. In Proceedings of the IEEE International Conference on Computer Vision, pages 7546–7555, 2019. [^23]: Jun Liu, Gang Wang, Ping Hu, Ling-Yu Duan, and Alex C. Kot. Global context-aware attention LSTM networks for 3d action recognition. In CVPR, pages 3671–3680, 2017. [^24]: Diogo C Luvizon, David Picard, and Hedi Tabia. 2d/3d pose estimation and action recognition using multitask deep learning. In CVPR, pages 5137–5146, 2018. [^25]: Julieta Martinez, Rayat Hossain, Javier Romero, and James J Little. A simple yet effective baseline for 3d human pose estimation. In ICCV, pages 2640–2649, 2017. [^26]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 3DV, pages 506–516, 2017. [^27]: Dushyant Mehta, Srinath Sridhar, Oleksandr Sotnychenko, Helge Rhodin, Mohammad Shafiei, Hans-Peter Seidel, Weipeng Xu, Dan Casas, and Christian Theobalt. Vnect: Real-time 3d human pose estimation with a single rgb camera. TOG, 36(4):44, 2017. [^28]: Francesc Moreno-Noguer. 3d human pose estimation from a single image via distance matrix regression. In CVPR, pages 2823–2832, 2017. [^29]: Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga, and Adam Lerer. Automatic differentiation in PyTorch. In NIPS, 2017. [^30]: Georgios Pavlakos, Xiaowei Zhou, and Kostas Daniilidis. Ordinal depth supervision for 3d human pose estimation. In CVPR, pages 7307–7316, 2018. [^31]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G Derpanis, and Kostas Daniilidis. Coarse-to-fine volumetric prediction for single-image 3d human pose. In CVPR, pages 7025–7034, 2017. [^32]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3d human pose and shape from a single color image. In CVPR, pages 459–468, 2018. ## [^33]: Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3D human pose estimation in video with temporal convolutions and semi-supervised training. In CVPR, pages 7753–7762, 2019. --- [^34]: Xue Bin Peng, Pieter Abbeel, Sergey Levine, and Michiel van de Panne. Deepmimic: example-guided deep reinforcement learning of physics-based character skills. ACM Trans. Graph., 37(4):143:1–143:14, 2018. [^35]: Tomas Pfister, James Charles, and Andrew Zisserman. Flowing convnets for human pose estimation in videos. In ICCV, pages 1913–1921, 2015. [^36]: Huy Hieu Pham, Houssam Salmane, Louahdi Khoudour, Alain Crouzil, Pablo Zegers, and Sergio A Velastin. A unified deep framework for joint 3d pose estimation and action recognition from a single rgb camera. arXiv preprint arXiv:1907.06968, 2019. [^37]: Mir Rayat Imtiaz Hossain and James J Little. Exploiting temporal information for 3d human pose estimation. In ECCV, pages 68–84, 2018. [^38]: Saurabh Sharma, Pavan Teja Varigonda, Prashast Bindal, Abhishek Sharma, and Arjun Jain. Monocular 3d human pose estimation by generation and ordinal ranking. In ICCV, October 2019. [^39]: Leonid Sigal, Alexandru O. Balan, and Michael J. Black. Humaneva: Synchronized video and motion capture dataset and baseline algorithm for evaluation of articulated human motion. IJCV, 87(1-2):4–27, 2010. [^40]: Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Dropout: a simple way to prevent neural networks from overfitting. JMLR, 15(1):1929–1958, 2014. [^41]: Xiao Sun, Jiaxiang Shang, Shuang Liang, and Yichen Wei. Compositional human pose regression. In ICCV, pages 2602–2611, 2017. [^42]: Bugra Tekin, Isinsu Katircioglu, Mathieu Salzmann, Vincent Lepetit, and Pascal Fua. Structured prediction of 3d human pose with deep neural networks. In BMVC, 2016. [^43]: Bugra Tekin, Pablo Márquez-Neila, Mathieu Salzmann, and Pascal Fua. Learning to fuse 2d and 3d image cues for monocular body pose estimation. In ICCV, pages 3941–3950, 2017. [^44]: Bugra Tekin, Artem Rozantsev, Vincent Lepetit, and Pascal Fua. Direct prediction of 3d body poses from motion compensated sequences. In CVPR, pages 991–1000, 2016. [^45]: Bastian Wandt and Bodo Rosenhahn. Repnet: Weakly supervised training of an adversarial reprojection network for 3d human pose estimation. In CVPR, pages 7782–7791, 2019. [^46]: Jue Wang, Shaoli Huang, Xinchao Wang, and Dacheng Tao. Not all parts are created equal: 3d pose estimation by modeling bi-directional dependencies of body parts. In ICCV, October 2019. [^47]: Yichao Yan, Bingbing Ni, Wendong Zhang, Jingwei Xu, and Xiaokang Yang. Structure-constrained motion sequence generation. IEEE Trans. Multimedia, 21(7). [^48]: Yichao Yan, Jingwei Xu, Bingbing Ni, Wendong Zhang, and Xiaokang Yang. Skeleton-aided articulated motion generation. In ACM MM, pages 199–207, 2017. [^49]: Y. Yan, N. Zhuang, b. ni, J. Zhang, M. Xu, Q. Zhang, Z. ZHENG, S. Cheng, Q. Tian, y. xu, X. Yang, and W. Zhang. Fine-grained video captioning via graph-based multi-granularity interaction learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, pages 1–1, 2019. [^50]: Jiancheng Yang, Qiang Zhang, Bingbing Ni, Linguo Li, Jinxian Liu, Mengdie Zhou, and Qi Tian. Modeling point clouds with self-attention and gumbel subset sampling. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3323–3332, 2019. [^51]: Wei Yang, Shuang Li, Wanli Ouyang, Hongsheng Li, and Xiaogang Wang. Learning feature pyramids for human pose estimation. In ICCV, pages 1290–1299, 2017. [^52]: Hashim Yasin, Umar Iqbal, Bjorn Kruger, Andreas Weber, and Juergen Gall. A dual-source approach for 3d pose estimation from a single image. In CVPR, pages 4948–4956, 2016. [^53]: Long Zhao, Xi Peng, Yu Tian, Mubbasir Kapadia, and Dimitris N Metaxas. Semantic graph convolutional networks for 3d human pose regression. In CVPR, pages 3425–3435, 2019. [^54]: Kun Zhou, Xiaoguang Han, Nianjuan Jiang, Kui Jia, and Jiangbo Lu. Hemlets pose: Learning part-centric heatmap triplets for accurate 3d human pose estimation. In ICCV, October 2019. [^55]: Xiaowei Zhou, Menglong Zhu, Spyridon Leonardos, Konstantinos G Derpanis, and Kostas Daniilidis. Sparseness meets deepness: 3d human pose estimation from monocular video. In CVPR, pages 4966–4975, 2016.