# 基于距离矩阵回归的单幅图像三维人体姿态估计
Francesc Moreno-Noguer
西班牙巴塞罗那机器人与工业研究所（CSIC-UPC），邮编08028
## 摘要
本文研究单幅图像三维人体姿态估计问题。我们遵循标准的两步流程：首先检测N个人体关节的二维位置，再利用这些观测结果推断三维姿态。第一步我们采用近期提出的基于CNN的检测器。对于第二步，现有大多数方法针对笛卡尔关节坐标执行2N到3N的回归。我们证明，通过使用$N \times N$距离矩阵表示二维和三维人体姿态，并将该问题建模为二维到三维距离矩阵回归，可以获得更精确的姿态估计结果。为学习这类回归器，我们利用简单的神经网络架构，该架构从结构上就能保证预测矩阵的正性与对称性。该方法还具备可自然处理缺失观测的优势，能够推断未被观测关节的位置。在Humaneva和Human3.6M数据集上的定量结果表明，本文方法相比现有最优方法获得了稳定的性能提升。使用在Human3.6M上学习得到的回归器，对LSP数据集的野生图像进行定性评估，结果展现出非常可观的泛化性能。
### 1. 引言
从单张RGB图像估计三维人体姿态是一个公认的严重不适定问题，因为多种不同的人体构型几乎可以产生完全相同的投影。典型的解决方案是采用判别策略直接学习从图像特征（例如HOG、SIFT）到三维姿态的映射[^1] [^9] [^32] [^36] [^44]。近年来，该思路已经被扩展为使用CNN的端到端映射[^23] [^46]。但这类方法要取得良好效果，需要大量带三维姿态真值标注的训练图像。虽然二维姿态获取这类标注非常简单，哪怕是对于“野生”图像（例如FLIC [^35]或LSP [^18]数据集），但三维情况需要使用复杂的动作捕捉（MoCap）系统才能获得标注。此外，通过这种方式采集的数据集（例如Humaneva [^37]、Human3.6M [^17]）大多是在室内采集的，其图像无法代表实验室外真实场景的图像外观。
因此，将问题分解为两个阶段是非常自然的思路：首先使用鲁棒的基于图像的二维关节检测器，再利用从MoCap数据学到的先验，从这些观测结果中推断三维姿态。该流程已经被大量研究采用[^10] [^31] [^39] [^40] [^50] [^52]，也是本文采用的策略。具体来说，我们首先使用一个近期提出的CNN检测器估计二维关节[^51]。对于第二阶段，以往大多数方法在笛卡尔空间中进行二维到三维的推理，基于N个人体关节的$2N$维和$3N$维向量表示。与之不同，我们提出使用$N \times N$矩阵存储每对关节之间的欧氏距离，以此表示二维和三维姿态，并将三维人体姿态估计问题建模为二维到三维距离矩阵回归问题$^{1}$。图1展示了本文的整体流程。
尽管欧几里得距离矩阵（Euclidean Distance Matrices，EDM）计算极其简单，但相较于向量表示它拥有多个突出优势，尤其适配我们研究的问题。具体而言，EDM的特点如下：1）可自然编码姿态的结构信息，而基于向量表示的推理需要对这类约束进行显式建模；2）对图像平面内的旋转和平移具有不变性，经归一化操作后还可获得尺度不变性；3）能够捕捉所有人体关节之间的成对相关性与依赖关系。
为了学习一个实现二维到三维EDM映射的回归函数，我们研究了全连接（Fully Connected，简称FConn）和全卷积（Fully Convolutional，简称FConv）两种网络架构。由于我们的数据维度较小（ $N \times N$ 方阵，我们的模型中N = 14个关节），输入到输出的映射可通过浅层架构实现：FConn仅需要2个隐藏层，FConv仅需要4个卷积层。最重要的一点是，用于训练网络的距离矩阵仅由点构型构建而成，因此我们可以很方便地合成人造数据，让网络在存在二维检测器噪声和身体部位遮挡的条件下训练。
我们在包含Humaneva-I和Human3.6M数据集在内的标准基准测试上取得了当前最优结果，并且证明我们的方法对大规模二维检测器er
---
Figure 1. Overview. We formulate the 3D human pose estimation problem as a regression between two Euclidean Distance Matrices (EDMs), encoding pairwise distances of 2D and 3D body joints, respectively. The regression is carried out by a Neural Network, and the 3D joint estimates are obtained from the predicted 3D EDM via Multidimensional Scaling.
ors具备鲁棒性，同时（对于FConv的情况）还能对被遮挡的人体肢体做出相当合理的推测。此外，在Leeds Sports Pose数据集上开展的实验（使用在Human3.6M上训练得到的网络）证明，该方法在"野外"图像上具备良好的泛化能力。
### 2. 相关工作
从单张图像估计三维人体姿态的方法大致可分为三大类：依赖生成模型约束可能姿态空间的方法、直接从图像证据预测三维姿态的判别式方法，以及介于上述两类之间的方法。
最简单直接的生成模型是将人体姿态表示为从训练数据中学习得到的模态的线性组合 [^5]。能够表示更大形变的更复杂模型包括谱嵌入 [^43]、欧几里得或黎曼流形上的高斯混合模型 [^15] [^41] 以及高斯过程 [^22] [^48] [^54]。但探索这些生成模型定义的解空间需要迭代策略和足够好的初始化，这使得这类方法更适合用于跟踪任务。
早期的判别方法 [^1] [^9] [^32] [^36] [^44] 专注于从SIFT、HOG滤波器这类图像描述符直接预测三维姿态，近年来，这类方法转而使用编码身体部位信息的丰富特征 [^16]，以及深度架构中从整幅图像提取的特征 [^23] [^46] 进行预测。由于特征空间和姿态空间之间的映射很难学习，这类技术的成功依赖于大量带有真实三维姿态标注的训练图像。Humaneva [^37] 和Human3.6M [^17] 是用于该目的的两个常用MoCap数据集。但这些数据集都是在实验室环境下采集的，导致仅使用这些数据训练的方法无法很好地泛化到无约束的真实图像上。[^33] 通过使用自动合成的带有真实纹理的图像扩充CNN的训练数据，解决了这一局限。
介于前述两类方法之间，存在一系列方法先使用判别公式估计二维关节位置，随后通过回归森林、期望最大化或进化算法等方式推断三维姿态 [^10] [^26] [^31] [^39] [^40] [^50] [^52]。这两个步骤可以迭代优化 [^39] [^50] [^52]，也可以独立建模 [^10] [^26] [^31] [^40]。通过这种方式，我们可以充分发挥当前基于CNN的二维检测器的全部性能，例如DeepCut [^28] 或卷积姿态机（CPM） [^51]，这类检测器已经在大规模“野生”图像数据集上完成训练。
在三维人体姿态参数化方面，绝大多数方法采用关节数量N在14到20之间的骨架，由笛卡尔空间中的 $3N$ 向量表示。近期，[^10] 提出了一种全身生成体积模型。为了在二维转三维推理过程中约束关节依赖关系，[^17] 和 [^46] 采用了通过核依赖估计和自编码器得到的潜在关节表示。本文中，我们提出使用 $N \times N$ 欧氏距离矩阵来捕获这类关节依赖关系。
EDM早已应用于多个相似领域，例如模态分析中的形状基估计 [^2]、蛋白质结构表示 [^20]、传感器网络定位 [^7] 以及运动学约束求解 [^29]。值得指出的是，在三维形状识别任务中，测地线距离矩阵（GDM）比EDM更受青睐，因为GDM对等距变换具有不变性 [^42]。但也正因如此，GDM并不适用于我们的问题：不同的形状变形可以得到相同的GDM。与之相反，生成特定EDM的形状是唯一的（仅差平移、旋转和反射变换），并且可以通过多维缩放方法估计得到 [^7] [^11]。
最后，用距离矩阵表示二维和三维关节位置，让我们可以用简单的神经网络完成推理。与近期基于CNN的三维人体姿态估计方法 [^23] [^46] 不同，我们不需要显式修改网络来对潜在的关节依赖关系建模，依赖关系已经直接编码在距离矩阵中。
---
Figure 2. EDMs vs Cartesian representations. Left: Distribution of relative 5D and 2D distances between random pairs of poses, represented as Cartesian vectors (first plot) and EDM matrices (second plot). Cartesian representations show a more decorrelated pattern (Pearson correlation coefficient of 0.09 against 0.60 for the EDM), and in particular suffer from larger ambiguities, i.e. poses with similar 2D projections and dissimilar 3D shape. Red circles indicate the most ambiguous such poses, and green circles the most desirable configurations (large 2D and 3D differences). Note that red circles are more uniformly distributed along the vertical axis when using EDM representations, favoring larger differences and better discriminability. Right: Pairs of dissimilar 3D poses with similar (top) and dissimilar (bottom) projections. They correspond to the dark red and dark green ‘asterisks’ in the left-most plots.
### 3. 方法
图1展示了我们从单张RGB图像估计三维人体姿态方法的主要模块。给定输入图像，我们首先使用当前最优的检测器检测人体关节。随后，对二维关节进行归一化并将其表示为EDM，输入神经网络回归得到三维人体坐标的EDM。最后，通过“感知反射”多维缩放方法估计三维关节的位置 [^7]。接下来我们详细描述每一个步骤。
#### 3.1. 问题建模
我们将三维姿态表示为一个包含$N=14$个关节的骨架，由$3N$维向量$\mathbf{y} = [\mathbf{p}_1^\top, \ldots, \mathbf{p}_N^\top]^\top$参数化，其中$\mathbf{p}_i$是第i个关节的三维位置。同理，二维姿态由$2N$维向量$\mathbf{x} = [\mathbf{u}_1^\top, \ldots, \mathbf{u}_N^\top]^\top$表示，其中$\mathbf{u}_i$为像素坐标。给定一张全身人物图像，我们的目标是估计三维姿态向量$\mathbf{y}$。为此，我们采用了基于回归的判别方法。该问题最通用的表述是：使用一组训练图像学习一个函数，将输入图像或其特征映射为三维姿态。但正如前文所讨论的，这样的流程需要海量数据才能获得良好的泛化效果。
作为替代方案，我们首先使用卷积姿态机（Convolutional Pose Machine）检测器[^51]计算二维关节位置。我们将CPM的输出记为$\tilde{x}$，它是真实二维姿态x含噪声的观测结果。
随后我们可以将问题正式表述为：给定标注完备且干净的训练数据集$f : \mathbb{R}^{2N} \to \mathbb{R}^{3N}$，学习一个从可能存在误差的二维关节观测$\tilde{x}$到三维姿态$\mathbf{y}$的映射函数$\{\mathbf{x}_i, \mathbf{y}_i\}_{i=1}^D$。
#### 3.2. 使用EDM表示人体姿态
为了获得深度尺度不变性，我们首先将投影得到的二维姿态$\mathbf{x}_i$的纵向坐标归一化到区间$[-1, 1]$内。三维关节位置$\mathbf{y}_i$以米为单位表示，不做额外预处理。随后我们使用欧氏距离矩阵（Euclidean Distance Matrix）来同时表示二维和三维姿态。对于三维姿态$\mathbf{y}$，我们定义$\text{edm}(\mathbf{y})$为$N \times N$矩阵，其$(m, n)$项的计算公式为：
$$ \operatorname{e d m}(\mathbf{y})_{m,n}=\|\mathbf{p}_{m}-\mathbf{p}_{n}\|_{2}\;. $$
同理，$\text{edm}(\mathbf{x})$是由归一化后的二维关节坐标两两之间的距离构建得到的$N \times N$矩阵。如果部分关节被遮挡，我们将$\text{edm}(\mathbf{x})$中对应的行和列全部置零。
尽管定义简单，EDM相比笛卡尔坐标表示有多个优势：EDM不依赖特定坐标系，对旋转、平移和反射具有不变性。此前基于回归的方法[^33] [^39] [^52]需要预先将训练三维姿态$y_i$对齐到全局坐标系（通常由特定人体关节定义），以此补偿这种不变性带来的影响。此外，EDM不仅可以编码普通三维向量表示的基础结构，还能捕获所有人体关节之间两两关联的更丰富信息。这两个优势带来的直接结果是，基于EDM的表示能够减少二维到三维人体姿态估计问题本身固有的歧义性。
为了从经验上验证这一结论，我们从Humaneva-I数据集中随机选取样本对，分别使用笛卡尔坐标表示和EDM表示绘制了它们三维姿态和二维姿态之间相对距离的分布（见图2）。对于笛卡尔坐标的情况（最左侧图），图中的每个条目对应$[\text{dist}(\mathbf{y}_i, \mathbf{y}_j), \text{dist}(\mathbf{x}_i, \mathbf{x}_j)]$，其中$\text{dist}(\cdot)$是归一化距离，i、j是两个随机索引。同理，对于EDM的情况（第二张图），图中每个条目对应$[\text{dist}(\text{edm}(\mathbf{y}_i), \text{edm}(\mathbf{y}_j)), \text{dist}(\text{edm}(\mathbf{x}_i), \text{edm}(\mathbf{x}_j))]$。可以看到，在EDM的情况下三维和二维的成对差异相关性强得多。这种模式的解释是
---
Figure 3. Neural Network Architectures used to perform 2D-to-3D regression of symmetric Euclidean Distance Matrices.
距离矩阵会为大多数差异较大的2D姿态产生更大的3D姿态差异。图中的红色圆圈对应最模糊的形状，即不同姿态对$\{y_i, y_j\}$拥有非常相似的图像投影$\{u_i, u_j\}$。可以看到，使用EDM时，这些关键样本在纵轴（也就是2D表示）上呈现出更大的差异。这种特性让后续学习2D到3D映射的任务变得更加容易。
#### 3.3. 2D-to-3D 距离矩阵回归
3.1节中提出的问题现在可以重新表述为：在给定训练集$f : \mathbb{R}^{N \times N} \to \mathbb{R}^{N \times N}$的条件下，寻找从可能存在噪声的距离矩阵$\text{edm}(\tilde{\mathbf{x}})$到编码3D姿态的矩阵$\text{edm}(\mathbf{y})$的映射$\{\text{edm}(\mathbf{x}_i), \text{edm}(\mathbf{y}_i)\}_{i=1}^D$。输入输出数据（$14 \times 14$矩阵）兼具良好的表达能力和低维度的特性，因此我们可以用规模相对很小的神经网络架构来学习这个映射，我们接下来将对此进行介绍。
全连接网络。由于距离矩阵是对称的，我们首先考虑一个简单的FConn架构，该架构拥有4万个自由参数，用于回归$N(N-1)/2 = 91$对角线上方的$\text{edm}(\mathbf{y})$个元素。如图3左侧所示，该网络由三个全连接（FC）层组成，神经元数量分别为128、128和91。每个全连接层后都接一个整流线性单元（ReLU）。为了减少过拟合，我们在前两个层后使用dropout，dropout率为0.5（即有50%的概率将神经元的输出值置零）。
输出得到的91维向量用于构建输出EDM $14 \times 14$，根据构造方法，该矩阵可以保证是对称的。此外，最后一层的ReLU层强制要求矩阵所有元素均为正值，这是EDM的另一个必要（但不充分）条件。
全卷积网络。受全卷积网络近期在语义分割[^24]、光流估计[^13]和变化检测[^4]等任务上取得成功的启发，我们也采用了图3右侧所示的架构来回归整个$14 \times 14$距离矩阵。
FConv网络最初被设计用于对具有一定空间连续性的图像或二维数组进行映射。然而EDM并不具备这种连续性，此外，EDM的定义会随骨骼关节的随机排列而变化。无论如何，对于人体运动场景，距离矩阵实际上是高度结构化的，尤其是在处理被遮挡的关节时，这会导致输入EDM中出现零行零列的模式。我们将在实验部分证明，FConv网络在这类场景下也非常有效。
基于先前研究[^4] [^24]，我们探索了一种包含压缩部分和扩张部分的架构。压缩部分由两个卷积块组成，每个卷积块包含$7 \times 7$个卷积核和64个特征图。卷积层后接带有可学习参数的批量归一化（BN）层，无需在测试阶段从数据中计算统计量。BN的输出被送入非线性ReLU激活函数，之后是步长为2的$2 \times 2$最大池化层完成实际压缩，最后连接一个dropout率为0.5的dropout层。
扩张部分同样包含两个主要模块，均以反卷积层开头，该层在内部执行$\times 2$上采样，之后再次进行卷积操作，使用$7 \times 7$个卷积核，输出64个特征。反卷积后连接ReLU激活层和dropout比率为0.5的dropout层。在第二个模块中，dropout被替换为一个卷积层，该卷积层将64个$14 \times 14$特征压缩为单个$14 \times 14$通道。
需要注意的是，我们无法保证扩张部分的输出是EDM所要求的对称正矩阵。因此，在计算实际损失之前，我们设计了一个名为「矩阵对称化（Matrix Symmetrization, MS）」的层来强制输出满足对称性。若我们用$\mathbf{Z}$表示扩张部分的输出，MS层只需计算$(\mathbf{Z} + \mathbf{Z}^\top)/2$即可得到对称矩阵。最后的ReLU层保证所有输出值均为正。
该全卷积网络共有60.6万个参数。训练部分：我们会在实验部分给出多种训练设置下的实验结果。在所有设置中，两个网络均从零开始训练，采用随机初始-
---
| Method | Walking (Action 1, Camera 1) | Jogging (Action 2, Camera 1) | Boxing (Action 5, Camera 1) |
| S1 | S2 | S3 | Average | S1 | S2 | S3 | Average | S1 | S2 | S3 | Average |
| Taylor CVPR'10 [^45] | 48.80 | 47.40 | 49.80 | 48.70 | 75,35 | - | - | - | - | - | - | - |
| Bo IJCV'10 [^8] | 45.40 | 28.30 | 62.30 | 45.33 | - | - | - | - | 42.50 | 64.00 | 69.30 | 58.60 |
| Sigal IJCV'12 [^38] | 66.00 | 69.00 | - | - | - | - | - | - | - | - | - | - |
| Ramakrishna ECCV'12 [^31](*) | 161.80 | 182.00 | 188.60 | 177.47 | - | - | - | - | 151.00 | 170.00 | 158.00 | 159.67 |
| Simo-Serra CVPR'12 [^40] | 99.60 | 108.30 | 127.40 | 111.77 | - | - | - | - | - | - | - | - |
| Simo-Serra CVPR'13 [^39] | 65.10 | 48.60 | 73.50 | 62.40 | 74.20 | 46.60 | 32.20 | 51.00 | - | - | - | - |
| Radwan ICCV'13 [^30] | 75.10 | 99.80 | 93.80 | 89.57 | 79.20 | 89.80 | 99.40 | 89.47 | - | - | - | - |
| Wang CVPR'14 [^50] | 71.90 | 75.70 | 85.30 | 77.63 | 62.60 | 77.70 | 54.40 | 64.90 | - | - | - | - |
| Belagiannis CVPR'14 [^6] | 68.30 | - | - | - | - | - | - | - | 62.70 | - | - | - |
| Kostrikov BMVC'14 [^21] | 44.00 | 30.90 | 41.70 | 38.87 | 57.20 | 35.00 | 33.30 | 41.83 | - | - | - | - |
| Elhayek CVPR'15 [^12] | 66.50 | - | - | - | - | - | - | - | 60.00 | - | - | - |
| Akhter CVPR'15 [^3](*) | 186.10 | 197.80 | 209.40 | 197.77 | - | - | - | - | 165.50 | 196.50 | 208.40 | 190.13 |
| Tekin CVPR'16 [^47] | 37.50 | 25.10 | 49.20 | 37.27 | - | - | - | - | 50.50 | 61.70 | 57.50 | 56.57 |
| Yasin CVPR'16 [^52] | 35.80 | 32.40 | 41.60 | 36.60 | 46.60 | 41.40 | 35.40 | 41.13 | - | - | - | - |
| Zhou PAMI'16 [^55](*) | 100.00 | 98.90 | 123.10 | 107.33 | - | - | - | - | 112.50 | 118.60 | 110.00 | 113.70 |
| Bogo ECCV'16 [^10] | 73.30 | 59.00 | 99.40 | 77.23 | - | - | - | - | 82.10 | 79.20 | 87.20 | 82.83 |
| Our Approach, Fully Connected Network |
| Train 2D: GT, Test: CPM | 35.70 | 36.80 | 41.34 | 37.95 | 41.25 | 27.96 | 34.34 | 34.52 | 47.26 | 50.52 | 67.64 | 55.14 |
| Train 2D: CPM, Test: CPM | 20.16 | 14.00 | 28.76 | 20.97 | 38.12 | 17.95 | 21.42 | 25.83 | 44.05 | 48.52 | 57.00 | 49.86 |
| Train 2D: GT+CPM, Test: CPM | 19.72 | 13.52 | 26.46 | 19.90 | 34.64 | 17.85 | 20.05 | 24.18 | 45.67 | 47.52 | 57.63 | 50.27 |
| Our Approach, Fully Convolutional Network |
| Train 2D: GT, Test: CPM | 28.35 | 27.75 | 38.93 | 31.68 | 47.75 | 27.82 | 30.21 | 35.26 | 42.40 | 49.15 | 59.17 | 50.24 |
| Train 2D: CPM, Test: CPM | 19.82 | 12.64 | 26.19 | 19.55 | 43.83 | 21.79 | 22.10 | 29.24 | 45.55 | 47.64 | 46.52 | 46.57 |
| Train 2D: GT+CPM, Test: CPM | 19.68 | 13.02 | 24.89 | 19.20 | 39.69 | 20.04 | 21.04 | 26.92 | 46.63 | 47.56 | 46.45 | 46.88 |
Table 1. Results on the Humaneva-I dataset. Average error (in mm) between the ground truth and the predicted joint positions. 'indicates that the results for that specific 'action' and 'subject' are not reported. The results of all approaches are obtained from the original papers, except for (*), which were obtained from [^10].
化，使用[^14]中提出的策略进行初始化。两种场景下我们都使用标准L2损失函数。使用Adam优化器[^19]完成优化，Humaneva-I数据集的批量大小为7个EDM，Human3.6M数据集的批量大小为200个EDM。FConv通常需要约500个epoch收敛，另一个FConv需要约1500个epoch收敛。除步长$\alpha$外，我们使用Adam的默认参数：步长初始化为0.001，在FConv训练250个epoch、另一个FConv训练750个epoch后降至0.0001。模型定义和训练均在MatconvNet框架下运行[^49]。
#### 3.4. 从距离矩阵到3D姿态
从神经网络估计得到、可能存在噪声的距离矩阵$\mathbf{y} = [\mathbf{p}_1^\top, \ldots, \mathbf{p}_N^\top]^\top$中恢复出3D关节位置$\text{edm}(\mathbf{y})$，可以表述为如下误差最小化问题：
$$ \arg\min_{\mathbf{p}_{1},\ldots,\mathbf{p}_{N}}\sum_{m,n}\left|\|\mathbf{p}_{m}-\mathbf{p}_{n}\|_{2}^{2}-\operatorname{edm}(\mathbf{y})_{m,n}^{2}\right|. $$
我们使用[^7]求解该最小化问题，这是一种MDS算法，对非凸的式2进行半定规划松弛，再通过梯度下降法细化结果。
但需要注意，我们从$\text{edm}(\mathbf{y})$中恢复得到的形状y存在反射变换歧义，即y和它的反射版本$\mathbf{y}^*$会得到相同的距离矩阵。为了解决这个歧义，我们根据两者的拟人化程度选择保留y或$\mathbf{y}^*$：拟人化程度由关节角度位于物理先验定义范围内的关节数量衡量，该物理先验由[^3]提供。
### 4. 实验
我们在两个公开可用数据集上对所提方法进行了全面评估，即Humaneva-I [^37]和Human3.6M [^17]。除了与当前最优方法进行定量比较之外，我们还评估了本文方法对带噪声2D观测和关节遮挡的鲁棒性。我们还给出了在LSP数据集上的定性结果[^18]
除非特别说明，本文方法使用的2D关节位置均由CPM检测器[^51]得到，输入为全身人物图像的边界框。按照文献[^39] [^52]中的通用做法，我们报告的重建误差指的是平均3D欧氏关节误差（单位：毫米），该误差是在将估计姿态与真值（若存在）进行刚性对齐后计算得到的。
#### 4.1. 在Humaneva-I上的评估
对于Humaneva-I数据集的相关实验，我们在1号、2号和3号受试者的训练序列上训练我们的EDM回归器，在“验证”序列上进行评估。这一评估协议与我们所对比的基线方法使用的协议完全一致 [^3] [^6] [^8] [^10] [^12] [^21] [^30] [^31] [^38] [^39] [^40] [^45] [^47] [^50] [^52] [^55] [^56]。我们报告“行走（Walking）”“慢跑（Jogging）”和“拳击（Boxing）”序列上的性能表现。对于我们提出的方法，我们根据回归器类型设计了多种不同配置：全连接网络或全卷积网络；同时根据训练使用的2D源类型分为：真实值（GT）、CPM或GT+CPM。
---
Figure 4. Hypothesysing Occluded Body Parts. Ground truth and hypothesized body parts obtained using the Fully Convolutional distance matrix regressor (Subject 3, action 'Jogging' from Humaneva-I). The network is trained with pairs of occluded joints and is able to predict one occluded limb (2 neighboring joints) at a time. Note how the generated tracks highly resemble the ground truth ones.
| NN Arch. | Occl. Type | Error | Walking (Action 1, Camera 1) | Jogging (Action 2, Camera 1) | Boxing (Action 5, Camera 1) |
| S1 | S2 | S3 | Average | S1 | S2 | S3 | Average | S1 | S2 | S3 | Average |
| FConn | 2 Rand. Joints | Avg. Error | 53.30 | 59.49 | 51.99 | 54.93 | 49.93 | 27.91 | 37.07 | 38.30 | 49.63 | 60.74 | 64.53 | 58.30 |
| Error Occl. Joints | 53.95 | 60.24 | 53.65 | 55.95 | 54.06 | 30.61 | 43.25 | 42.64 | 56.32 | 68.74 | 72.04 | 65.70 |
| FConn | Right Arm | Avg. Error | 55.55 | 59.16 | 49.31 | 54.67 | 54.45 | 31.30 | 36.73 | 40.83 | 49.48 | 69.59 | 68.26 | 62.44 |
| Error Occl. Joints | 59.38 | 55.02 | 45.32 | 53.24 | 72.48 | 37.25 | 41.33 | 50.35 | 100.57 | 127.29 | 134.75 | 120.87 |
| FConn | Left Leg | Avg. Error | 53.51 | 55.87 | 60.04 | 56.47 | 49.83 | 30.90 | 41.16 | 40.63 | 46.68 | 64.85 | 62.04 | 57.86 |
| Error Occl. Joints | 83.15 | 86.73 | 88.25 | 86.04 | 85.58 | 61.38 | 82.04 | 76.33 | 38.43 | 72.66 | 55.12 | 55.40 |
| FConv | 2 Rand. Joints | Avg. Error | 31.56 | 28.00 | 38.49 | 32.68 | 46.63 | 26.61 | 34.34 | 35.86 | 50.00 | 54.19 | 56.12 | 53.44 |
| Error Occl. Joints | 32.96 | 30.22 | 45.79 | 36.32 | 48.04 | 29.57 | 40.32 | 39.31 | 58.60 | 60.59 | 66.34 | 61.84 |
| FConv | Right Arm | Avg. Error | 37.96 | 27.70 | 35.27 | 33.64 | 51.00 | 28.11 | 31.81 | 36.97 | 58.09 | 59.74 | 62.78 | 60.20 |
| Error Occl. Joints | 48.06 | 27.57 | 29.72 | 35.12 | 69.59 | 32.78 | 34.79 | 45.72 | 111.61 | 101.49 | 132.76 | 115.29 |
| FConv | Left Leg | Avg. Error | 34.42 | 38.64 | 41.69 | 38.25 | 39.72 | 29.22 | 33.62 | 34.19 | 50.68 | 53.85 | 50.14 | 51.56 |
| Error Occl. Joints | 61.03 | 64.79 | 71.48 | 65.77 | 59.3 | 59.24 | 67.11 | 61.88 | 44.59 | 61.23 | 46.48 | 50.77 |
Table 2. Results on the Humaneva-I under Occlusions. Average overall joint error and average error of the occluded and hypothesized joints (in mm) using the proposed Fully Connected and Fully Convolutional regressors. We train the two architectures with 2D GT+CPM and with random pairs of occluded joints. Test is carried out using the CPM detections with specific occlusion configurations.
评估过程使用的2D源始终为CPM。
表1对实验结果进行了总结，结果表明我们方法的所有配置都显著优于当前最优方法。当我们直接使用CPM的2D检测结果训练回归器，对CPM的潜在偏差建模时，性能提升尤为突出。值得注意的是，FConn和FConv得到的结果非常相近，而FConn是结构简单得多的架构。但正如我们接下来将展示的，在处理遮挡问题时，FConv的性能提升非常显著。
遮挡鲁棒性。我们估计得到的3D姿态显然依赖于2D CPM检测的质量。尽管我们使用的CPM观测结果本身已经包含一定误差，我们仍然专门评估了我们的方法在人工噪声和遮挡伪影下的鲁棒性。我们接下来分析遮挡的影响，将2D噪声的研究留到下一节。
我们考虑双关节遮挡，通过移除投影骨架的两个节点合成这类遮挡。为了让我们的网络对这类遮挡具备鲁棒性，同时能够推断未观测关节的3D位置，我们使用成对数据重新训练网络$\{\mathrm{edm}(\mathbf{x}_i^{\mathrm{occ}}), \mathrm{edm}(\mathbf{y}_i)\}_{i=1}^D$，其中$\mathrm{edm}(\mathbf{x}_i^{\mathrm{occ}})$与$\mathrm{edm}(\mathbf{x}_i)$相同，但将两个随机的行和列设置为零。测试阶段，我们考虑两种情况：随机关节遮挡和结构化遮挡，结构化遮挡指我们完全移除一个肢体（整条腿或整条手臂）的所有观测。
表2给出了FConn和FConv的重建误差。整体结果清晰一致地展现了FConv网络的优势，其误差值甚至可以和观测全部关节时的当前最优方法结果相当（见表1）。此外可以看到，推断关节的误差也处于非常合理的范围内，仅在“拳击”活动的右臂位置误差超过100 mm。这一结果符合已有研究的结论，已有工作证明卷积层与反卷积层的组合对图像重建和分割任务非常有效 [^27] [^53]。图4展示了关节推断的一个具体示例。
##### 4.2. 在Human3.6M数据集上的评估
Human3.6M数据集包含11名受试者在4个不同视角下完成15种不同动作的360万个三维人体姿态。我们在现有文献中找到了三种不同的评估协议。对于1号协议，5名受试者（S1、S5、S6、S7和S8）用于训练，2名受试者（S9和S11）用于测试。训练和测试针对每个动作独立开展，并且使用所有相机视角，测试在全部图像上进行。该协议被应用于[^17] [^23] [^34] [^46] [^47] [^56]。2号协议与1号协议的唯一区别是测试仅考虑正面视角，该协议最近被应用于[^10]，该文献同时也评估了[^3] [^31] [^55]。最后，在3号协议中，训练数据包含所有动作和所有视角，6名
---
| Method | Direct. | Discuss | Eat | Greet | Phone | Pose | Purch. | Sit | SitD | Smoke | Photo | Wait | Walk | WalkD | WalkT | Avg |
| Protocol #1 |
| Ionescu PAMI'14 [^17] | 132.71 | 183.55 | 133.37 | 164.39 | 162.12 | 205.94 | 150.61 | 171.31 | 151.57 | 243.03 | 162.14 | 170.69 | 177.13 | 96.60 | 127.88 | 162.20 |
| Li ICCV'15 [^23] | - | 136.88 | 96.94 | 124.74 | - | 168.08 | - | - | - | - | - | - | 132.17 | 69.97 | - | - |
| Tekin BMVC'16 [^46] | - | 129.06 | 91.43 | 121.68 | - | - | - | - | - | - | - | 162.17 | - | 65.75 | 130.53 | - |
| Tekin CVPR'16 [^47] | 102.41 | 147.72 | 88.83 | 125.28 | 118.02 | 112.38 | 129.17 | 138.89 | 224.90 | 118.42 | 182.73 | 138.75 | 55.07 | 126.29 | 65.76 | 124.97 |
| Zhou CVPR'16 [^56] | 87.36 | 109.31 | 87.05 | 103.16 | 116.18 | 143.32 | 106.88 | 99.78 | 124.52 | 199.23 | 107.42 | 118.09 | 114.23 | 79.39 | 97.70 | 112.91 |
| Sanzari ECCV'16 [^34] | 48.82 | 56.31 | 95.98 | 84.78 | 96.47 | 66.30 | 107.41 | 116.89 | 129.63 | 97.84 | 105.58 | 65.94 | 92.58 | 130.46 | 102.21 | 93.15 |
| Ours, FConv, Test 2D: CPM | 67.48 | 79.01 | 76.48 | 83.12 | 97.43 | 74.58 | 71.96 | 102.40 | 116.68 | 87.70 | 100.37 | 94.57 | 75.21 | 82.72 | 74.92 | 85.64 |
| Protocol #2 |
| Ramakrishna ECCV'12 [^31](*) | 137.40 | 149.30 | 141.60 | 154.30 | 157.70 | 141.80 | 158.10 | 168.60 | 175.60 | 160.40 | 158.90 | 161.70 | 174.80 | 150.00 | 150.20 | 156.03 |
| Akhter CVPR'15 [^33](*) | 1199.20 | 177.60 | 161.80 | 197.80 | 176.20 | 195.40 | 167.30 | 160.70 | 173.70 | 177.80 | 186.50 | 181.90 | 198.60 | 176.20 | 192.70 | 181.56 |
| Zhou PAMI'16 [^55](*) | 99.70 | 95.80 | 87.90 | 116.80 | 108.30 | 93.50 | 95.30 | 109.10 | 137.50 | 106.00 | 107.30 | 102.20 | 110.40 | 106.50 | 115.20 | 106.10 |
| Bogo ECCV'16 [^10] | 62.00 | 60.20 | 67.80 | 76.50 | 92.10 | 73.00 | 75.30 | 100.30 | 137.30 | 83.40 | 77.00 | 77.30 | 86.80 | 79.70 | 81.70 | 82.03 |
| Ours, FConv, Test 2D: CPM | 64.11 | 76.58 | 70.59 | 80.81 | 93.01 | 74.01 | 65.45 | 87.93 | 109.49 | 83.81 | 96.31 | 93.08 | 73.51 | 81.57 | 72.59 | 81.52 |
| Protocol #3 |
| Yasin CVPR'16 [^52] | 88.40 | 72.50 | 108.50 | 110.20 | 97.10 | 81.60 | 107.20 | 119.00 | 170.80 | 108.20 | 142.50 | 86.90 | 92.10 | 165.70 | 102.00 | 110.18 |
| RogeZ NIPS'16 [^33] | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | 88.10 |
| Ours, FConv, Test 2D: CPM | 66.05 | 61.69 | 84.51 | 73.73 | 65.23 | 67.17 | 60.85 | 67.29 | 103.48 | 74.75 | 92.55 | 69.59 | 71.47 | 78.04 | 73.23 | 73.98 |
Table 3. Results on the Human3.6M dataset. Average joint error (in mm) considering the 3 evaluation protocols described in the text. The results of all approaches are obtained from the original papers, except for (*), which are from [^10].
| Occ. Type | Error | Direct. | Discuss | Eat | Greet | Phone | Pose | Purch. | Sit | SitD | Smoke | Photo | Wait | Walk | WalkD | WalkT | Avg |
| 2 Rnd.Joints | Avg. Error | 88.53 | 97.83 | 139.99 | 99.57 | 106.13 | 102.78 | 92.97 | 113.35 | 126.62 | 111.73 | 122.74 | 109.85 | 95.1 | 96.76 | 97.97 | 106.79 |
| Err.Occcl. Joints | 94.77 | 104.37 | 155.66 | 110.48 | 119.62 | 103.83 | 91.04 | 141.31 | 135.35 | 137.76 | 146.68 | 131.41 | 116.16 | 96.11 | 99.73 | 118.95 |
| Left Arm | Avg. Error | 197.86 | 101.88 | 123.91 | 109.72 | 93.00 | 106.15 | 100.55 | 113.19 | 129.50 | 111.15 | 135.72 | 118.07 | 99.21 | 100.73 | 100.94 | 109.44 |
| Err.Occcl. Joints | 177.44 | 177.68 | 152.06 | 220.28 | 145.93 | 180.42 | 143.24 | 192.42 | 154.62 | 184.24 | 253.88 | 213.6 | 176.11 | 160.44 | 188.38 | 181.38 |
| Right Leg | Avg. Error | 79.94 | 82.23 | 132.64 | 92.05 | 100.77 | 97.32 | 76.37 | 126.95 | 125.51 | 106.66 | 109.82 | 95.92 | 94.88 | 89.82 | 91.60 | 100.17 |
| Err.Occcl. Joints | 81.23 | 92.57 | 177.80 | 103.69 | 148.45 | 120.74 | 92.63 | 200.56 | 183.03 | 146.10 | 145.29 | 107.36 | 133.11 | 105.9 | 120.12 | 130.57 |
Table 4. Results on Human3.6M under Occlusions. Average overall joint error and average error of the hypothesized occluded joints (in mm). The network is trained and evaluated according to the 'Protocol #3' described in the text.
| 2D Input | Direct. | Discuss | Eat | Greet | Phone | Pose | Purch. | Sit | SitD | Smoke | Photo | Wait | Walk | WalkD | WalkT | Avg |
| GT | 53.51 | 50.52 | 65.76 | 62.47 | 56.9 | 60.63 | 50.83 | 55.95 | 79.62 | 63.68 | 80.83 | 61.80 | 59.42 | 68.53 | 62.11 | 62.17 |
| GT+ N(0.5) | 57.05 | 56.05 | 70.33 | 65.46 | 60.39 | 64.49 | 59.06 | 58.62 | 82.80 | 67.85 | 83.97 | 70.13 | 66.76 | 75.04 | 68.62 | 67.11 |
| GT+ N(0.10) | 76.46 | 70.74 | 77.18 | 77.25 | 73.42 | 81.94 | 64.65 | 71.05 | 97.08 | 76.91 | 93.45 | 77.12 | 85.14 | 80.96 | 83.47 | 79.12 |
| GT+ N(0.15) | 90.72 | 91.99 | 96.54 | 94.99 | 87.43 | 101.81 | 89.39 | 84.46 | 107.26 | 93.31 | 106.01 | 95.96 | 100.38 | 96.59 | 104.41 | 96.08 |
| GT+ N(0.20) | 109.84 | 110.21 | 117.13 | 115.16 | 107.08 | 116.92 | 107.14 | 101.82 | 131.43 | 114.76 | 115.07 | 112.54 | 125.50 | 118.93 | 129.73 | 115.55 |
Table 5. Results on the Human3.6M dataset under 2D Noise. Average 3D joint error for increasing levels of 2D noise. The network is trained with 2D Ground Truth (GT) data and evaluated with GT+ $\mathcal{N}(0,\sigma)$. where $\sigma$ is the standard deviation (in pixels) of the noise.
受试者（S1、S5、S6、S7、S8和S9）用于训练，S11正面视角中每隔$64^{th}$帧被用于测试。该协议就是[^33] [^52]中所采用的协议。
我们将在这三种协议上评估我们的方法。与HumanEva实验不同，CPM检测不用于训练（该过程非常耗时），我们使用真实二维位置进行训练，不过CPM检测会在测试阶段使用。对于3号协议，我们从所有姿态和相机视角中随机挑选40万个样本作为训练集，样本数量与[^52]中的设置相近。其余实验我们仅考虑FConv回归器，它在Humaneva数据集上的整体性能优于FConn。结果汇总在表3中。对于1号协议和3号协议，我们的方法大幅提升了现有最优性能，对于2号协议，我们的结果与[^10]非常相近，后者是一种依赖高质量人体形状体积先验的最新方法。
对遮挡的鲁棒性。我们进行了与Humaneva-I中相同的遮挡分析：在关节随机被遮挡的条件下重新训练网络，并在随机遮挡和结构化遮挡条件下进行测试。结果（基于3号协议）报告在表4中。可以看到，平均人体误差仍然保持在合理范围内。但对于某些特定动作（例如“Sit”“Photo”），被遮挡的腿部或手臂预测效果并不理想。我们认为这是因为在这些动作中，肢体所处的构型在训练集中只有少量样本。实际上，即使能观测到所有关节，现有最优方法在这些动作上也同样表现不佳。
对二维噪声的鲁棒性。我们进一步分析了我们的方法（在干净数据上训练）对二维噪声的鲁棒性。为此，我们不在测试中使用CPM检测，而是向二维真实测试姿态中加入强度逐渐增大的高斯噪声进行实验。该分析的结果展示在表5中。可以看到，三维误差随二维噪声增大逐渐上升，但整个系统并没有崩溃，即使噪声水平达到标准差20像素，系统仍能给出合理的结果。作为参考，表3和表4中CPM检测的平均二维误差为10.91像素。还需要说明的是，该方法仍有改进空间，更精确的二维检测可以大幅提升三维姿态的精度。
#### 4.3 在Leeds Sports Pose数据集上的评估
我们最后在LSP数据集上探究了我们方法的泛化能力。对于每张输入图像，我们使用CPM检测器定位二维关节，开展
---
Figure 5. Results on the LSP dataset. The first six columns show correctly estimated poses. The right-most column shows failure cases.
| Error Type | Feet | Knees | Hips | Hands | Elbows | Should. | Head | Neck | Avg. |
| CPM | 5.66 | 4.22 | 4.27 | 7.25 | 5.24 | 3.17 | 3.55 | 2.65 | 4.77 |
| Reproj. 2D CPM | 12.68 | 8.71 | 10.32 | 9.50 | 8.05 | 5.79 | 7.61 | 5.24 | 8.83 |
| Reproj. 2D GT | 9.75 | 7.33 | 7.47 | 6.05 | 6.14 | 4.52 | 6.24 | 4.09 | 6.67 |
Table 6. Reprojection Error (in pixels) on the LSP dataset.
基于在Human3.6M数据集（协议#3）上训练得到的全卷积网络进行二维到三维EDM回归，并通过MDS计算三维姿态。此外，在估计出三维姿态后，我们使用PnP算法求解出使该姿态与输入图像对齐的刚性旋转和平移参数[^25]。由于相机内参数未知，我们遍历焦距配置空间，保留使重投影误差最小的解。
由于缺乏三维标注，我们无法对三维形状的准确性进行定量评估。因此，我们在表6中给出了数据集2000张图像上按身体部位平均得到的三类二维重投影误差：1）CPM检测误差；2）使用CPM二维检测估计形状时的重投影误差；3）使用二维GT标注估计形状时的重投影误差。尽管这些结果无法保证估计形状具备良好精度，但能够说明本文方法运行正常。对估计得到的三维姿态的目视检查显示，即使是训练用Human3.6M数据集未包含的姿态，本文方法也能得到非常理想的结果（见图5）。该方法仍存在失败案例（显示在最右列），原因包括检测器误检、极端身体姿态或与Human3.6M数据集差异极大的相机视角等。
### 5. 结论
本文将三维人体姿态估计问题建模为编码二维和三维关节距离的矩阵之间的回归任务。我们证明，这类矩阵通过自然融入人体结构信息并捕捉关节相关性，能够帮助降低该问题固有的歧义性。距离矩阵回归由简单的神经网络架构实现，该架构对二维检测关节的噪声和遮挡具备鲁棒性。对于存在遮挡的情况，全卷积网络可以对未观测到的身体部分进行推测。在标准基准数据集上的定量评估表明，本文方法相比现有最优方法取得了显著提升。此外，在野生图像上的定性结果显示，该方法能够很好地泛化到未训练过的数据。由于距离矩阵仅依赖关节位置，因此可以轻松合成来自新视角和新形状配置的新训练数据。未来我们计划利用这一特性探索在线训练策略。
### 6. 致谢
本研究部分得到西班牙MINECO项目RobInstruct TIN2014-58178-R以及ERA-Net Chistera项目I-DRESS PCIN-2015-147的资助。作者感谢英伟达在GPU资助计划下提供的硬件捐赠，感谢Germán Ros开展的富有成效的讨论，正是这些讨论开启了本研究。
---
## 参考文献
[^1]: A. Agarwal and B. Triggs. 3D Human Pose from Silhouettes by Relevance Vector Regression. In Conference on Computer Vision and Pattern Recognition. 1,2
[^2]: A. Agudo, J. M. M. Montiel, B. Calvo, and F. Moreno-Noguer. Mode-Shape Interpretation: Re-Thinking Modal Space for Recovering Deformable Shapes. In Winter Conference on Applications of Computer Vision, 2016. 2
[^3]: I. Akhter and M. Black. Pose-conditioned Joint Angle Limits for 3D Human Pose Reconstruction. In Conference on Computer Vision and Pattern Recognition, 2015. 5, 6, 7
[^4]: P. F. Alcantarilla, S. Stent, G. Ros, R. Arroyo, and R. Gherardi. Street-View Change Detection with Deconvolutional Networks. In Robotics: Science and Systems Conference, 2016. 4
[^5]: A. O. Balan, L. Sigal, M. J. Black, J. E. Davis, and H. W. Haussecker. Detailed Human Shape and Pose from Images. In Conference on Computer Vision and Pattern Recognition, 2007. 2
[^6]: V. Belagiannis, S. Amin, M. Andriluka, B. S. N. Navab, and S. Ilic. 3D Pictorial Structures for Multiple Human Pose Estimation. In Conference on Computer Vision and Pattern Recognition, 2014. 5
[^7]: P. Biswas, T. Liang, K. Toh, T. Wang, and Y. Ye. Semidefinite Programming Approaches for Sensor Network Localization With Noisy Distance Measurements. IEEE Transactions on Automation Science and Engineering, 3:360–371, 2006. 2, 3, 5
[^8]: L. Bo and C. Sminchisescu. Twin Gaussian Processes for Structured Prediction. International Journal of Computer Vision, 87:28–52, 2010. 5
[^9]: L. Bo, C. Sminchisescu, A. Kanaujia, and D. Metaxas. Fast Algorithms for Large Scale Conditional 3D Prediction. In Conference on Computer Vision and Pattern Recognition, 2008. 1,2
[^10]: F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero, and M. J. Black. Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image. In European Conference on Computer Vision, 2016. 1, 2, 5, 6, 7
[^11]: I. Borg and P. Groenen. Modern Multidimensional Scaling: Theory and Applications. Springer, 2005. 2
[^12]: A. Elhayek, E. Aguiar, A. Jain, J. Tompson, L. Pishchulin, M. Andriluka, C. Bregler, B. Schiele, and C. Theobalt. Efficient Convnet-Based Marker-Less Motion Capture in General Scenes with a Low Number of Cameras. In Conference on Computer Vision and Pattern Recognition, 2015. 5
[^13]: P. Fischer, A. Dosovitskiy, E. Ilg, C. H. P. Hausser, V. Golkov, P. v.d. Smagt, D. Cremers, and T. Brox. FlowNet: Learning Optical Flow with Convolutional Networks. In International Conference on Computer Vision, 2015. 4
[^14]: K. He, X. Zhang, S. Ren, and J. Sun. Delving Deep into Rec-
类器：在ImageNet上超越人类水平性能
分类。收录于国际计算机视
觉会议，2015年。5
[^15]: N. R. Howe, M. E. Leventon, and W. T. Freeman. Bayesian Reconstruction of 3D Human Motion from Single-Camera Video. In Neural Information Processing Systems, 1999. 2
[^16]: C. Ionescu, J. Carreira, and C. Sminchisescu. Iterated Second-Order Label Sensitive Pooling for 3D Human Pose. In Conference on Computer Vision and Pattern Recognition, 2014. 2
[^17]: C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu. Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7):1325–1339, 2014. 1, 2, 5, 6, 7
[^18]: S. Johnson and M. Everingham. Clustered Pose and Nonlinear Appearance Models for Human Pose Estimation. In British Machine Vision Conference, 2010. 1,5
[^19]: P. Kingma and J. Ba. Adam: A Method for Stochastic Optimization. In International Conference in Learning Representations, 2015. 5
[^20]: A. Kloczkowski, R. L. Jernigan, Z. Wu, G. Song, L. Yang, A. Kolinski, and P. Pokarowski. Distance Matrix-based Approach to Protein Structure Prediction. Journal of Structural and Functional Genomics, 10(1):67–81, 2009. 2
[^21]: I. Kostrikov and J. Gall. Depth Sweep Regression Forests for Estimating 3D Human Pose from Images. In British Machine Vision Conference, 2014. 5
[^22]: N. D. Lawrence and A. J. Moore. Hierarchical Gaussian Process Latent Variable Models. In International Conference in Machine Learning, 2007. 2
[^23]: S. Li, W. Zhang, and A. Chan. Maximum-Margin Structured Learning with Deep Networks for 3D Human Pose Estimation. In International Conference on Computer Vision, 2015. 1, 2, 6, 7
[^24]: J. Long, E. Shelhamer, and T. Darrell. Fully convolutional networks for semantic segmentation. In Conference on Computer Vision and Pattern Recognition, 2015. 4
[^25]: C.-P. Lu, G. D. Hager, and E. Mjolsness. Fast and Globally Convergent Pose Estimation from Video Images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(5):610–622, 2000. 8
[^26]: G. Mori and J. Malik. Recovering 3D Human Body Configurations Using Shape Contexts. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28:1052–1062, 2006. 2
[^27]: H. Noh, S. Hong, and B. Han. Learning deconvolution network for semantic segmentation. In International Conference on Computer Vision, 2015. 6
[^28]: L. Pishchulin, E. Insafutdinov, S. Tang, B. Andres, M. Andriluka, P. Gehler, and B. Schiele. Deepcut: Joint subset partition and labeling for multi person pose estimation. In Conference on Computer Vision and Pattern Recognition, 2016. 2
[^29]: J. Porta, L. Ros, F. Thomas, and C. Torras. A Branch-and-Prune Solver for Distance Constraints. IEEE Transactions on Robotics, 21:176–187, 2005. 2
[^30]: I. Radwan, A. Dhall, and R. Goeckle. Monocular Image 3D Human Pose Estimation Under Self-Occlusion. In International Conference on Computer Vision, 2013. 5
## [^31]: V. Ramakrishna, T. Kanade, and Y. A. Sheikh. Reconstructing 3D Human Pose from 2D Image Landmarks. In European Conference on Computer Vision, 2012. 1, 2, 5, 6, 7
---
[^32]: G. Rogez, J. Rihan, S. Ramalingam, C. Orrite, and P. Torr. Randomized Trees for Human Pose Detection. In Conference on Computer Vision and Pattern Recognition, 2008. 1, 2
[^33]: G. Rogez and C. Schmid. MoCap-guided Data Augmentation for 3D Pose Estimation in the Wild. In Neural Information Processing Systems, 2016. 2, 3, 7
[^34]: M. Sanzari, V. Ntouskos, and F. Pirri. Bayesian image based 3d pose estimation. In European Conference on Computer Vision, 2016. 6,7
[^35]: B. Sapp and B. Taska. Modec: Multimodal Decomposable Models for Human Pose Estimation. In Conference on Computer Vision and Pattern Recognition, 2013. 1
[^36]: G. Shakhnarovich, P. Viola, and T. Darrellr. Fast pose estimation with parameter-sensitive hashing. In Conference on Computer Vision and Pattern Recognition, 2003. 1, 2
[^37]: L. Sigal, A. O. Balan, and M. J. Black. HumanEva: Synchronized Video and Motion Capture Dataset and Baseline Algorithm for Evaluation of Articulated Human Motion. International Journal of Computer Vision, 87(1-2), 2010. 1, 2, 5
[^38]: L. Sigal, M. Isard, H. W. Haussecker, and M. J. Black. Loose-limbed People: Estimating 3D Human Pose and Motion Using Non-parametric Belief Propagation. International Journal of Computer Vision, 98(1):15–48, 2012. 5
[^39]: E. Simo-Serra, A. Quattoni, C. Torras, and F. Moreno-Noguer. A Joint Model for 2D and 3D Pose Estimation from a Single Image. In Conference on Computer Vision and Pattern Recognition, 2013. 1, 2, 3, 5
[^40]: E. Simo-Serra, A. Ramisa, G. Alenyà, C. Torras, and F. Moreno-Noguer. Single Image 3D Human Pose Estimation from Noisy Observations. In Conference on Computer Vision and Pattern Recognition, 2012. 1, 2, 5
[^41]: E. Simo-Serra, C. Torras, and F. Moreno-Noguer. 3D Human Pose Tracking Priors using Geodesic Mixture Models. International Journal of Computer Vision, pages 1–21, 2016. 2
[^42]: D. Smeets, J. Hermans, D. Vandermeulen, and P. Suetens. Isometric Deformation Invariant 3D Shape Recognition. Pattern Recognition, 45(7):2817–2831, 2012. 2
[^43]: C. Sminchisescu and A. Jepson. Generative Modeling for Continuous Non-Linearly Embedded Visual Inference. In International Conference in Machine Learning, 2004. 2
[^44]: C. Sminchisescu, A. Kanaujia, Z. Li, and D. N. Metaxas. Generative Modeling for Continuous Non-Linearly Embedded Modeling
深度视觉推理。收录于计算机视觉与模式识别会议，2005年。1, 2
[^45]: G. Taylor, L. Sigal, D. Fleet, and G.E. Hinton. Dynamical Binary Latent Variable Models for 3D Human Pose Tracking. In Conference on Computer Vision and Pattern Recognition, 2010. 5
[^46]: B. Tekin, I. Katircioglu, M. Salzmann, V. Lepetit, and P. Fua. Structured Prediction of 3D Human Pose with Deep Neural Networks. In British Machine Vision Conference, 2016. 1, 2, 6, 7
[^47]: B. Tekin, X. Sun, X. Wang, V. Lepetit, and P. Fua. Predicting People's 3D Poses from Short Sequences. In Conference on Computer Vision and Pattern Recognition, 2016. 5, 6, 7
[^48]: R. Urtasun, D. J. Fleet, and P. Fua. 3D People Tracking with Gaussian Process Dynamical Models. In Conference on Computer Vision and Pattern Recognition, 2006. 2
[^49]: A. Vedaldi and K. Lenc. Matconvnet: Convolutional neural networks for matlab. In International Conference on Multimedia, 2015. 5
[^50]: C. Wang, Y. Wang, Z. Lin, A. L. Yuille, and W. Gao. Robust estimation of 3d human poses from a single image. In Conference on Computer Vision and Pattern Recognition, 2014. 1,2,5
[^51]: S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh. Convolutional pose machines. In Conference on Computer Vision and Pattern Recognition, 2016. 1, 2, 3, 5
[^52]: H. Yasin, U. Iqbal, B. Kruger, A. Weber, and J. Gall. A Dual-Source Approach for 3D Pose Estimation from a Single Image. In Conference on Computer Vision and Pattern Recognition, 2016. 1,2,3,5,7
[^53]: M. D. Zeiler, G. W. Taylor, and R. Fergus. Adaptive deconvolutional networks for mid and high level feature learning. In International Conference on Computer Vision, 2011. 6
[^54]: X. Zhao, Y. Fu, and Y. Liu. Human Motion Tracking by Temporal-Spatial Local Gaussian Process Experts. IEEE Transactions on Image Processing, 20(4):1141–1151, 2011. 2
[^55]: X. Zhou, M. Zhu, S. Leonardos, and K. Daniilidis. Sparse Representation for 3D Shape Estimation: A Convex Relaxation Approach. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016. 5, 6, 7
[^56]: X. Zhou, M. Zhu, S. Leonardos, K. Derpanis, and K. Daniilidis. Sparseness Meets Deepness: 3D Human Pose Estimation from Monocular Video. In Conference on Computer Vision and Pattern Recognition, 2016. 5, 6, 7