# 卷积姿态机 魏世恩 瓦伦·拉马克里希纳 金出 武雄 亚瑟·谢赫 机器人研究所 卡内基梅隆大学 ## 摘要 姿态机提供了一种用于学习丰富隐式空间模型的序列预测框架。在本研究中，我们展示了如何将卷积网络系统地融入姿态机框架，以学习图像特征以及用于姿态估计任务的图像相关空间模型。本文的贡献在于能够隐式地建模结构化预测任务（如关节姿态估计）中变量之间的长距离依赖关系。我们通过设计由卷积网络组成的序列架构来实现这一点，这些网络直接对前一阶段生成的置信图进行处理，从而逐步细化各部位位置的估计结果，无需进行显式的图模型式推理。我们的方法通过提供一个自然的学习目标函数来解决训练过程中梯度消失这一典型难题，该函数能够强制施加中间监督，进而补充反向传播的梯度并引导学习过程。我们在MPII、LSP和FLIC等标准基准数据集上取得了业界领先的性能，超越了其他竞争方法。 ### 1. 引言 我们针对关节姿态估计任务提出了卷积姿态机（CPM）。CPM继承了姿态机[^29]架构的优势——即隐式学习图像与多部位线索之间的长距离依赖关系、学习与推理的紧密集成，以及模块化的序列设计——同时结合了卷积架构带来的优势：能够从数据中直接学习图像和空间上下文的特征表示；具备可微架构特性，支持通过反向传播进行全局联合训练；以及高效处理大规模训练数据的能力。 ![Image](images/4907376db5d93f36d34bfc68e978755b0ca1e62bcf3483d4e1efc3224ed43443.jpg)
Input Image
CPM由一系列卷积网络组成，这些网络会反复生成各部位位置的2D置信图$^{1}$。 ![Image](images/5011b0fb58f8035e10be8ff5107b43850ab83b3f896e655aa012bf9879287b9b.jpg)
(a) Stage 1
![Image](images/3072a756e71a664e78e4bb0cb0ee98330bce3df594494c85e21341e6bbd20ed8.jpg)
(b) Stage 2
![Image](images/be6f651bfa88326cadafa834758dd6ce5bf8c46d8068b340e8f298a8d9a73329.jpg)
(c) Stage 3
Figure 1: A Convolutional Pose Machine consists of a sequence of predictors trained to make dense predictions at each image location. Here we show the increasingly refined estimates for the location of the right elbow in each stage of the sequence. (a) Predicting from local evidence often causes confusion. (b) Multi-part context helps resolve ambiguity. (c) Additional iterations help converge to a certain solution.
在CPM的每个阶段，输入均为图像特征以及前一阶段生成的置信图。置信图为后续阶段提供了各部位位置空间不确定性的富有表现力的非参数化编码，从而使CPM能够学习到各部位间关系的丰富的图像相关空间模型。我们并未采用图模型[^28] [^38] [^39]或专门的后处理步骤[^38] [^40]来显式解析此类置信图，而是训练卷积网络直接对中间置信图进行处理，进而学习各部位间关系的隐式图像相关空间模型。所提出的这种多阶段架构完全可微，因此可以通过反向传播以端到端的方式完成训练。 在CPM的特定阶段，部件信息的空间上下文能为后续阶段提供强有力的消歧线索。因此，CPM的每个阶段都会生成对各部件位置估计愈发精确的信念图（见图1）。为了捕捉部件间的长距离相互作用，我们序列预测框架中每个阶段的网络设计都以在图像和信念图上实现较大感受野为目标。实验表明，信念图上较大的感受野对于学习长距离空间关系至关重要。 --- 最终可提升预测精度。 将多个卷积网络组合成CPM后，会形成层数众多的整体网络，这类网络在学习过程中容易出现梯度消失问题 [^4] [^5] [^10] [^12]。出现这一问题是因为反向传播的梯度在穿过众多网络层时强度会逐渐减弱。虽然近期有研究 $^{2}$ 表明在中间层对极深层网络进行监督有助于学习 [^20] [^36]，但这类研究大多局限于分类问题。在本研究中，我们针对姿态估计这类结构化预测问题证明：CPM天然能提供一种系统性框架，通过在网络中定期施加中间监督来补充梯度，引导网络生成精度越来越高的信念图。我们还探讨了此类序列预测架构的不同训练方案。 我们的主要贡献包括：(a) 通过卷积架构的序列组合学习隐式空间模型；(b) 为设计和训练此类架构提供系统化方法，使其无需依赖任何图模型式的推理即可同时学习图像特征与用于结构化预测任务的依赖图像的空间模型。我们在MPII、LSP和FLIC等标准基准数据集上取得了业界领先的结果，并分析了联合训练带重复中间监督的多阶段架构所产生的效果。 ### 2. 相关工作 传统的关节姿态估计方法是图像结构模型[^2] [^3] [^9] [^14] [^26] [^27] [^30] [^43]，该模型将身体各部位之间的空间相关性表示为树形结构的图模型，并通过运动学先验来关联相连的肢体。这些方法在人物所有肢体都可见的图像上表现良好，但容易出现一些典型错误，比如重复计算图像证据，这是因为树形结构模型无法捕捉变量之间的某些相关性所致。Kiefel等人的研究[^17]基于图像结构模型，但在底层图表示上有所不同。层次化模型[^35] [^37]以分层树状结构来表示不同尺度和大小的部位间关系。这类模型的潜在假设是：较大的部位（对应完整的肢体而非关节）往往具有更易被识别的判别性图像特征，从而有助于推断较小且更难识别的部位的位置。非树形模型[^8] [^16] [^19] [^33] [^42]引入了带有循环的交互作用，通过增加额外边来扩充树形结构，以捕捉对称性、遮挡以及远距离关系。这类方法在训练和测试阶段通常依赖近似推理，因此不得不在精确建模空间关系和实现高效推理之间做出权衡，往往采用简单的参数形式来保证推理速度。相比之下，基于序列预测框架的方法[^29]通过直接训练推理过程来学习具有复杂变量交互作用的隐式空间模型，正如[^22] [^25] [^31] [^41]中所展示的那样。 近期，采用卷积架构进行关节姿态估计的模型受到了广泛关注[^6] [^7] [^23] [^24] [^28] [^38] [^39]。Toshev等人[^40]采用的方法是利用标准卷积架构直接回归笛卡尔坐标[^18]。近期的研究则先将图像映射为置信度图，再借助图模型来去除回归得到的置信度图中的异常值，这些图模型需要手工设计的能量函数或空间概率先验的启发式初始化。其中一些方法还专门设计了用于精度优化的网络模块[^28] [^38]。在本研究中，我们证明回归得到的置信度图适合作为输入，供具有大感受野的后续卷积网络使用，从而无需手工设计的先验就能学习隐式的空间依赖关系，且无需精心初始化和专门的精度优化步骤即可在所有精度区域内取得最先进的性能。Pfister等人[^24]也使用了具有大感受野的网络模块来捕捉隐式空间模型。由于卷积具有可微特性，我们的模型可以全局训练，Tompson等人[^39]和Steward等人[^34]也探讨了联合训练的优势。 Carreira等人[^6]训练了一个深度网络，该网络利用误差反馈迭代改进部件检测，但他们采用了类似[^40]中的笛卡尔表示法，这种表示法无法保留空间不确定性，从而导致在高精度范围内准确率较低。在本研究中，我们展示了序列预测框架如何利用置信图中保留的不确定性来编码丰富的空间上下文，并通过强制施加中间局部监督来解决梯度消失的问题。 ### 3. 方法 #### 3.1. 姿态机 我们用$Y_p \in \mathcal{Z} \subset \mathbb{R}^2$表示第p个解剖学标志点（我们将其称为部件）的像素位置，其中$\mathcal{Z}$是图像中所有$(u, v)$位置的集合。我们的目标是预测所有P个部件在图像中的位置$Y = (Y_1, \ldots, Y_P)$。姿态机[^29]（见图2a和2b）由一系列多类预测器$g_t(\cdot)$组成，这些预测器被训练用于预测层次结构中每一层上每个部件的位置。在每个阶段$t \in \{1 \ldots T\}$，分类器$g_t$会根据从位置z处的图像中提取的特征$Y_p = z$以及来自前一个分类器的上下文信息，来预测将位置分配给每个部件$\forall z \in \mathcal{Z}$、$\mathbf{x}_z \in \mathbb{R}^d$的置信度。 --- ![Image](images/34f9933f1fdc320bfac8f3f600082613e1b47d64f8cae0c5e6e7cdd420e2f1db.jpg)
(e) Effective Receptive Field
Figure 2: Architecture and receptive fields of CPMs. We show a convolutional architecture and receptive fields across layers for a CPM with any T stages. The pose machine [^29] is shown in insets (a) and (b), and the corresponding convolutional networks are shown in insets (c) and (d). Insets (a) and (c) show the architecture that operates only on image evidence in the first stage. Insets (b) and (d) show the architecture for subsequent stages, which operate both on image evidence as well as belief maps from preceding stages. The architectures in (b) and (d) are repeated for all subsequent stages (2 to T). The network is locally supervised after each stage using an intermediate loss layer that prevents vanishing gradients during training. Below in inset (e) we show the effective receptive field on an image (centered at left knee) of the architecture, where the large receptive field enables the model to capture long-range spatial dependencies such as those between head and knees. (Best viewed in color.)
在阶段t中，每个$Y_{p}$周围的邻域内，第一个阶段的分类器t=1会生成以下置信度值： $$ g_{1}(\mathbf{x}_{z})\to\{b_{1}^{p}(Y_{p}=z)\}_{p\in\{0\dots P\}}, $$ 其中$b_1^p(Y_p = z)$是分类器$g_1$预测的得分，用于表示在第一阶段图像位置z处分配$p^{\text{th}}$部件的概率。我们将图像中每个位置$z = (u, v)^T$上评估得到的部件p的所有置信度表示为$\mathbf{b}_t^p \in \mathbb{R}^{w \times h}$，其中w和h分别为图像的宽度和高度。也就是说， $$ \mathbf{b}_{t}^{p}[u,v]=b_{t}^{p}(Y_{p}=z). $$ 为方便起见，我们将所有部件的置信度图集合表示为$\mathbf{b}_t \in \mathbb{R}^{w \times h \times (P+1)}$（包含P个部件以及一个背景类别）。 在后续阶段，分类器会根据以下两点预测将位置分配给每个部件$Y_p = z$、$\forall z \in \mathcal{Z}$的置信度：(1) 再次使用图像数据特征$\mathbf{x}_z^t \in \mathbb{R}^d$；(2) 来自每个$Y_p$周围邻域内前一个分类器的上下文信息： $$ g_{t}\left(\mathbf{x}_{z}^{\prime},\psi_{t}(z,\mathbf{b}_{t-1})\right)\to\left\{b_{t}^{p}(Y_{p}=z)\right\}_{p\in\{0\dots P+1\}}, $$ 其中$\psi_{t>1}(\cdot)$是将置信度$\mathbf{b}_{t-1}$映射到上下文特征的函数。在每个阶段，计算出的置信度会对每个部件的位置给出越来越精确的估计。需要注意的是，我们允许后续阶段使用的图像特征$\mathbf{x}_z'$与第一阶段使用的图像特征$\mathbf{x}$不同。[^29]中提出的姿态机采用提升随机森林进行预测($\{g_t\}$)，所有阶段均使用固定的手工设计图像特征($\mathbf{x}' = \mathbf{x}$)，以及固定的手工设计上下文特征图($\psi_t(\cdot)$)来捕捉所有阶段的空间上下文。 #### 3.2. 卷积姿态机 我们展示了如何用深度卷积架构来替代姿态机中的预测模块和图像特征计算模块，从而能够直接从数据中学习图像特征和上下文特征表示。卷积架构还具有完全可微的优势，因此能够实现CPM所有阶段的端到端联合训练。我们描述了一种CPM的设计方案，它结合了深度卷积架构的优势以及姿态机框架所提供的隐式空间建模能力。 #### 3.2.1 利用局部图像证据进行关键点定位 卷积姿态机的第一阶段仅依据局部图像证据来预测部位置信度。图2c展示了利用深度卷积网络从局部图像证据中进行部位检测的网络结构。这种证据具有局部性，因为网络第一阶段的感受野被限制在输出像素位置周围的小区域内。我们采用的网络结构由五层卷积层加上两层$1 \times 1$卷积层组成，最终形成全卷积架构—— --- ![Image](images/9f8d44b903c545d965982a6f976aa04ccbb0ca08c148e59ed3a0887f477e357f.jpg)
Figure 3: Spatial context from belief maps of easier-to-detect parts can provide strong cues for localizing difficult-to-detect parts. The spatial contexts from shoulder, neck and head can help eliminate wrong (red) and strengthen correct (green) estimations on the belief map of right elbow in the subsequent stages.
[^21]。在实际应用中，为了达到一定的精度，我们将输入的裁剪图像归一化为$368 \times 368$大小（详见第4.2节），上述网络的感受野为$160 \times 160$像素。实际上，该网络可以被看作是在图像上滑动的深度网络：它根据每个$160 \times 160$图像块中的局部图像证据，回归出一个大小为$P + 1$的输出向量，该向量代表了该图像位置上各部位的得分。 #### 3.2.2 利用学习到的空间上下文特征进行序列预测 虽然对于头部、肩部等外观较为一致的关节点，其检测率较高，但对于人体骨骼运动链中位置较低的关节点而言，由于它们的形态和外观变化较大，检测准确率往往较低。不过，尽管部位周围的置信度图可能存在噪声，但它们仍能提供大量有用信息。如图3所示，在检测右肘这类难以识别的关节点时，具有尖锐峰值的右肩置信度图可以作为一个强有力的线索。后续阶段的预测器$(g_{t>1})$可以利用图像位置z周围区域中噪声置信度图的空间上下文信息$(\psi_{t>1}(\cdot))$，借助“关节点通常以一致的几何形态出现”这一规律来优化预测结果。在姿态机的第二阶段，分类器$g_2$会将图像特征$x_z^2$以及通过特征函数$\psi$基于前一阶段各部位的置信度计算出的特征作为输入。特征函数$\psi$的作用是将前一阶段在部位位置z周围区域的置信度图信息编码为空间特征。对于卷积姿态机而言，我们没有专门用来计算上下文特征的显式函数；相反，我们将$\psi$定义为预测器对前一阶段置信度图的感受野。 网络设计的初衷是让第二阶段网络输出层的感受野足够大，以便能够学习到部位之间潜在的复杂且长距离的相关性。只需将前一阶段的输出特征作为输入即可实现这一点。 ![Image](images/9e32ca04aa7305978e9a1fe9d0a9f1a132ac827d4001adb8cfa0eae4b736e8d9.jpg)
Figure 4: Large receptive fields for spatial context. We show that networks with large receptive fields are effective at modeling long-range spatial interactions between parts. Note that these experiments are operated with smaller normalized images than our best setting.
（与在图形模型中指定潜在函数不同），后续阶段的卷积层允许分类器通过选取最具预测性的特征来自由组合上下文信息。第一阶段生成的置信度图来自一个采用较小感受野对图像进行局部分析的网络。在第二阶段，我们设计了一个能显著增大等效感受野的网络。要实现较大的感受野，要么通过池化操作牺牲精度，要么增大卷积核尺寸从而增加参数数量，要么增加卷积层数，但后者可能会在训练过程中导致梯度消失问题。我们的网络设计以及后续阶段对应的感受野（$t \geq 2$）如图2d所示。为了能在$8 \times$缩放后的热图上获得较大的感受野，我们选择使用多层卷积层，这样就能有效控制模型的参数数量。我们发现，步长为8的网络即便在高精度区域也能与步长为4的网络表现相当，同时它更便于实现更大的感受野。我们还借鉴姿态机的结构，对图像特征图采用了类似的设计，以使空间上下文依赖于图像本身并支持误差修正。 我们发现，随着感受野大小的增加，准确率也会随之提升。在图4中，我们展示了在FLIC数据集上准确率的提升情况[^32]：我们通过改变网络架构来调整原始图像上的感受野大小，同时不显著改变参数数量；实验所用输入图像均被归一化为$304 \times 304$尺寸。我们发现，随着有效感受野的增大，准确率也逐步提升，当感受野大小达到约250像素时准确率开始趋于饱和，这一数值恰好与归一化后物体的尺寸相近。这种随感受野大小增加而出现的准确率提升表明，网络确实能够编码部件间的长距离交互，且这种编码是有益的。在图2所示的最佳性能设置中，我们将裁剪后的图像归一化为更大的$368 \times 368$像素尺寸以提高精度，第二阶段针对第一阶段置信度图输出的感受野被设定为$31 \times 31$，相当于原始图像上的$400 \times 400$像素，这一半径通常足以覆盖任意一对部件。随着阶段数增多，有效感受野还会更大。在下一节中，我们将展示最多包含6个阶段的结果。 --- ![Image](images/2060eaa2f7b2db0d5de5fe364ce743378055123459669860f78c27ca15abbcea.jpg)
Figure 5: Intermediate supervision addresses vanishing gradients. We track the change in magnitude of gradients in layers at different depths in the network, across training epochs, for models with and without intermediate supervision. We observe that for layers closer to the output, the distribution has a large variance for both with and without intermediate supervision; however as we move from the output layer towards the input, the gradient magnitude distribution peaks tightly around zero with low variance (the gradients vanish) for the model without intermediate supervision. For the model with intermediate supervision, the distribution has a moderately large variance throughout the network. At later training epochs, the variances decrease for all layers for the model with intermediate supervision and remain tightly peaked around zero for the model without intermediate supervision. (Best viewed in color)
随着阶段数增多，有效感受野甚至会更大。在下一节中，我们将展示最多包含6个阶段的结果。 #### 3.3. 卷积姿态机中的学习 上述姿态机的设计会形成一种拥有大量层的深度架构。训练这类多层网络容易遇到梯度消失问题[^4] [^5] [^10]：正如Bradley[^5]和Bengio等人[^10]所观察到的，从输出层到输入层之间的中间层数量越多，反向传播梯度的强度就越弱。 幸运的是，姿态估计机的序列预测框架为训练我们的深度架构以解决这一问题提供了一种自然的方法。姿态估计机的每个阶段都被训练成反复生成各部位位置的置信度图。我们通过在每个阶段t的输出处定义损失函数，来促使网络反复形成这样的表示；该损失函数旨在最小化各部位预测置信度图与理想置信度图之间的$l_{2}$距离。部位p的理想置信度图表示为$b_{*}^{p}(Y_{p}=z)$，它是通过在各身体部位p的真实位置处放置高斯峰值来生成的。因此，我们在每个阶段的输出处、每个层级上希望最小化的代价函数如下： $$ f_{t}=\sum_{p=1}^{P+1}\sum_{z\in\mathcal{Z}}\|b_{t}^{p}(z)-b_{*}^{p}(z)\|_{2}^{2}. $$ 整个架构的总体目标是通过将各个阶段的损失相加得到，其表达式如下： $$ \mathcal{F}=\sum_{t=1}^{T}f_{t}. $$ 我们使用标准的随机梯度下降法来联合训练网络中的所有T个阶段。为了在所有后续阶段共享图像特征$\mathbf{x}'$，我们会在各个阶段间共享相应卷积层的权重（见图2）$t \geq 2$。 ### 4. 评估 #### 4.1. 分析 解决梯度消失问题。公式5中的目标函数描述了一种可分解的损失函数，它作用于网络的不同部分（见图2）。具体来说，求和中的每一项都应用于每个阶段t之后的网络，从而通过网络在中间阶段强制施加监督。中间监督的优势在于：即便整个架构包含很多层，也不会出现梯度消失问题，因为中间损失函数会在每个阶段补充梯度。 我们通过观察训练周期内，有/无中间监督的模型在架构不同深度处的梯度幅度直方图（见图5）来验证这一结论。在早期训练周期中，从输出层向输入层移动时，我们会发现无中间监督的模型中，由于梯度消失现象，梯度分布紧密地集中在零附近。而采用中间监督的模型在所有层的梯度方差都要大得多， --- ![Image](images/5415add62fcdf70a179bba096636acd0c10bb5819c6fd8f0d5f7cf027252fad7.jpg)
(a)
![Image](images/ba3d26eda6fea2e9eb897f4f5672853e0336b12b5d40e76b1f2e7b92cdea3b26.jpg)
(b)
![Image](images/4a0b0ee01ec2879aba8944d3500696980374d88164d4f68f7ca6d9f1b96645e6.jpg)
(c)
Figure 6: Comparisons on 3-stage architectures on the LSP dataset (PC): (a) Improvements over Pose Machine. (b) Comparisons between the different training methods. (c) Comparisons across each number of stages using joint training from scratch with intermediate supervision.
这表明得益于中间监督，所有层确实都在进行学习。我们还注意到，随着训练的推进，梯度幅度分布的方差会逐渐减小，这预示着模型正在收敛。 端到端学习的好处。我们从图6a中可以看到，用精心设计的卷积架构替换姿态估计机的模块后，在高精度区间（PCK@0.1）的性能较之前的方法[^29]提升了42.4个百分点，在低精度区间（PCK@0.2）则提升了30.9个百分点。 训练方案对比。我们在图6b中，基于LSP数据集上带有以人为中心（PC）标注的数据，对网络的不同训练变体进行了比较。为了证明分阶段联合训练所带来的中间监督优势，我们采用四种方式训练模型：(i) 从头开始训练，使用能强制实施中间监督的全局损失函数；(ii) 分阶段训练，即每个阶段以前馈方式训练后再进行堆叠；(iii) 与(i)相同，但用(ii)中的权重进行初始化；(iv) 与(i)相同，但不施加中间监督。我们发现，采用方法(i)训练的网络性能优于其他所有训练方法，这表明中间监督以及跨阶段联合训练对于取得良好性能确实至关重要。采用方法(ii)的分阶段训练效果仅能达到次优水平，而方法(iii)中的联合微调虽能使准确率从次优水平提升至接近(i)的水平，但所需的训练迭代次数实际上更多。 各阶段的性能表现。我们在图6c中展示了LSP数据集（PC）上各阶段的性能对比情况。结果显示，性能会随着阶段数增加呈单调上升趋势，直至第5阶段；这是因为后续阶段的预测器能够利用较大感受野内的上下文信息，结合前一阶段的置信图来解决肢体与背景之间的混淆问题。到了第6阶段，性能提升幅度明显减小，因此我们在本文中选择第6阶段作为报告LSP和MPII数据集最佳结果时所采用的阶段数。 #### 4.2. 数据集与定量分析 在本节中，我们将展示在包括MPII、LSP和FLIC在内的多个标准基准测试集上的数值结果。为了获得用于训练的归一化输入样本$368 \times 368$，我们首先将图像缩放至大致相同的尺度，随后根据数据集中提供的中心位置和粗略尺度估计值对图像进行裁剪或填充（若数据集中包含相关信息的话）。对于像LSP这样没有相关信息的数据集，我们会根据关节位置或图像尺寸来估算这些值。测试时，我们执行类似的缩放和裁剪（或填充）操作，必要时仅根据图像尺寸来估算中心位置和尺度。此外，为了应对给定尺度估计的不准确性，我们还会合并不同尺度（围绕给定尺度扰动得到）的置信图以生成最终预测结果。 我们使用Caffe [^13]深度学习库来定义并实现我们的模型。我们公开发布了源代码以及关于架构、学习参数、设计决策和数据增强的详细信息，以确保结果的可复现性。$^{3}$ MPII人体姿态数据集。我们在图8中展示了在MPII人体姿态数据集上的实验结果[^1]，该数据集包含超过28000个训练样本。我们选择对数据进行随机增强处理，旋转角度范围为$[-40^{\circ}, 40^{\circ}]$，缩放因子为$[0.7, 1.3]$，同时加入水平翻转操作。评估基于PCKh指标[^1]，该指标将误差容忍度针对目标人物的头部尺寸进行了归一化处理。由于感兴趣人物附近往往存在多个人物（数据集中给出了大致的中心位置），因此我们为训练准备了两组理想的置信图：一组包含主要人物附近出现的所有人物的峰值，另一组仅为主要人物设置峰值。我们将第一组置信图提供给第一阶段的损失层，因为初始阶段仅依赖局部图像证据来进行预测。我们将第二种类型的置信图提供给 --- ![Image](images/ffa46219f2eb0d908226cbbde16aeebd1ea9b6ed3b9834c2f0b643949fd83e14.jpg)
Figure 7: Comparison of belief maps across stages for the elbow and wrist joints on the LSP dataset for a 3-stage CPM.
![Image](images/7a9dbe1f9bb2aba9486ecd9637785f4468382b91f8d19bc5e63ea94ef2bc30b0.jpg)
Ours 6-stage + LEEDS Ours 6-stage Pishchulin CVPR'16 Tompson CVPR'15 Tompson NIPS'14 Carreira CVPR'16 Figure 8: Quantitative results on the MPII dataset using the PCKh metric. We achieve state of the art performance and outperform significantly on difficult parts such as the ankle.
![Image](images/e2690d8d366bd1ed61faf6a4d79d9f7181bd9d51e840c16f5bbf8b39ad706fdd.jpg)
Ours 6–Stage + MPI ■ Ours 6–Stage ■ Pishchulin CVPR'16 (relabel) + MPI ■ Tompson NIPS'14 ■ Chen NIPS'14 ■ Wang CVPR'13 Figure 9: Quantitative results on the LSP dataset using the PCK metric. Our method again achieves state of the art performance and has a significant advantage on challenging parts.
我们的总体PCKh-0.5得分达到了87.95%的业界领先水平（加入LSP训练数据后更是达到88.52%），这一数值比最接近的竞争对手高出6.11%。值得注意的是，在脚踝部位（最具挑战性的区域），我们的PCKh-0.5得分达到了78.28%（加入LSP训练数据后为79.41%），比最接近的竞争对手高出10.76%。这一结果体现了我们的模型捕捉远距离上下文信息的能力，因为脚踝是距离头部及其他更易识别的部位最远的区域。图11显示，在[^1]定义的各种视角下，我们的准确率也始终显著高于其他方法，尤其是在那些具有挑战性的非正面视角中。总之 所有后续阶段的损失层。我们还发现，向所有后续阶段提供一张带有高斯峰值、指示主要物体中心的热力图，会带来积极效果。 总体而言，我们的方法在所有部位、所有精度要求、所有视角下的准确率都有所提升；而且它是首个无需借助其他数据的预训练，也无需像[^28]和[^39]中那样进行基于手工设计的先验规则或结构化预测任务的初始化后推理解析，就能实现如此高准确率的方法。我们的方法也不需要像[^38]中那样依赖专门的位置优化模块，就能凭借步长为8的网络实现极高的高精度准确率。 利兹体育姿态（LSP）数据集。我们在扩展版利兹体育数据集[^15]上评估我们的方法，该数据集包含11000张训练图像和1000张测试图像。我们基于以人为中心的（PC）标注进行训练，并使用关键点正确百分比（PCK）指标[^44]来评估方法性能。采用与MPI数据集相同的增强方案后，我们的模型再次取得了84.32%的业界领先水平（加入MPI训练数据后更是达到90.5%）。 --- ![Image](images/6cc85fb29fe66124b03635e90aa22b23e5403f46619d0bb9c1109c3c697b1901.jpg)
Figure 10: Qualitative results of our method on the MPII, LSP and FLIC datasets respectively. We see that the method is able to handle non-standard poses and resolve ambiguities between symmetric parts for a variety of different relative camera views.
![Image](images/2f53d13ca8859ae9e802ae96d87600a07977591c79e3de6a2fa07f683139cc39.jpg)
Figure 11: Comparing PCKh-0.5 across various viewpoints in the MPII dataset. Our method is significantly better in all the viewpoints.
（训练数据）。需要注意的是，在此处加入MPII数据能显著提升我们的性能，因为其标注质量远优于LSP数据集。由于LSP数据集中的标签存在噪声，Pishchulin等人[^28]利用原始高分辨率图像重新制作了该数据集，并提升了标注质量。 FLIC数据集。我们在FLIC数据集[^32]上评估我们的方法，该数据集包含3987张训练图像和1016张测试图像。我们根据Sapp等人[^32]提出的指标，报告图12中肘部和腕关节的准确率。同样，在PCK@0.2指标下，我们的表现也优于所有现有技术：肘部准确率为97.59%，腕部为95.03%。在更高精度的要求下，我们的优势更为显著：在PCK@0.05时，腕部准确率高出14.8个百分点，肘部高出12.7个百分点；在PCK@0.1时，腕部准确率高出8.9个百分点，肘部高出9.3个百分点。 ![Image](images/8e1cdcf294876c369f90cb8644dfcbf23a7e8891c8641f876ac00eaea9f9b7c6.jpg)
Figure 12: Quantitative results on the FLIC dataset for the elbow and wrist joints with a 4-stage CPM. We outperform all competing methods.
### 5. 讨论 卷积姿态机提供了一种端到端的架构，用于解决计算机视觉中的结构化预测问题，而无需采用图形模型式的推理方式。我们证明了由卷积网络构成的序列架构能够通过在各个阶段间传递越来越精细且能保留不确定性的信息，从而隐式地学习到姿态的空间模型。在计算机视觉的多个领域，如语义图像标注、单图像深度预测以及物体检测中，都会遇到变量间存在空间依赖性的问题；未来的工作将涉及把我们的架构扩展到这些问题上。我们的方法在所有主要基准测试中都取得了最先进的准确率，不过我们确实观察到了一些失败情况，主要是在多人彼此靠近时。在单个端到端架构中处理多个人物也是一项具有挑战性的问题，同时也是未来研究的一个有趣方向。 --- ## 参考文献 [^1]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele. 2D human pose estimation: New benchmark and state of the art analysis. In CVPR, 2014. 6,7 [^2]: M. Andriluka, S. Roth, and B. Schiele. Pictorial structures revisited: People detection and articulated pose estimation. In CVPR, 2009. 2 [^3]: M. Andriluka, S. Roth, and B. Schiele. Monocular 3D pose estimation and tracking by detection. In CVPR, 2010. 2 [^4]: Y. Bengio, P. Simard, and P. Frasconi. Learning long-term dependencies with gradient descent is difficult. IEEE Trans-actions on Neural Networks, 1994. 2, 5 [^5]: D. Bradley. Learning In Modular Systems. PhD thesis, Robotics Institute, Carnegie Mellon University, Pittsburgh, PA, 2010. 2,5 [^6]: J. Carreira, P. Agrawal, K. Fragkiadaki, and J. Malik. Human pose estimation with iterative error feedback. arXiv preprint arXiv:1507.06550, 2015. 2 [^7]: X. Chen and A. Yuille. Articulated pose estimation by a graphical model with image dependent pairwise relations. In NIPS, 2014. 2 [^8]: M. Dantone, J. Gall, C. Leistner, and L. Van Gool. Human pose estimation using body parts dependent joint regressors. In CVPR, 2013. 2 [^9]: P. Felzenszwalb and D. Huttenlocher. Pictorial structures for object recognition. In IJCV, 2005. 2 [^10]: X. Glorot and Y. Bengio. Understanding the difficulty of training deep feedforward neural networks. In AISTATS, 2010. 2,5 [^11]: K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. arXiv preprint arXiv:1512.03385, 2015. 2 [^12]: S. Hochreiter, Y. Bengio, P. Frasconi, and J. Schmidhuber. Gradient flow in recurrent nets: the difficulty of learning long-term dependencies. A Field Guide to Dynamical Recurrent Neural Networks, IEEE Press, 2001. 2 [^13]: Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell. Caffe: Convolutional architecture for fast feature embedding. arXiv preprint arXiv:1408.5093, 2014. 6 [^14]: S. Johnson and M. Everingham. Clustered pose and nonlinear appearance models for human pose estimation. In BMVC, 2010. 2 [^15]: S. Johnson and M. Everingham. Learning effective human pose estimation from inaccurate annotation. In CVPR, 2011. 7 [^16]: L. Karlinsky and S. Ullman. Using linking features in learning non-parametric part models. In ECCV, 2012. 2 [^17]: M. Kiefel and P. V. Gehler. Human pose estimation with fields of parts. In ECCV. 2014. 2 [^18]: A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In NIPS, 2012. 2 [^19]: X. Lan and D. Huttenlocher. Beyond trees: Common-factor models for 2D human pose recovery. In ICCV, 2005. 2 [^20]: C.-Y. Lee, S. Xie, P. Gallagher, Z. Zhang, and Z. Tu. Deeply-supervised nets. In AISTATS, 2015. 2 [^21]: J. Long, E. Shelhamer, and T. Darrell. Fully convolutional networks for semantic segmentation. In CVPR, 2015. 4 [^22]: D. Munoz, J. Bagnell, and M. Hebert. Stacked hierarchical labeling. In ECCV, 2010. 2 [^23]: W. Ouyang, X. Chu, and X. Wang. Multi-source deep learn- 用于人体姿态估计。载于CVPR，2014年。2 [^24]: T. Pfister, J. Charles, and A. Zisserman. Flowing convnets for human pose estimation in videos. In ICCV, 2015. 2 [^25]: P. Pinheiro and R. Collobert. Recurrent convolutional neural networks for scene labeling. In ICML, 2014. 2 [^26]: L. Pishchulin, M. Andriluka, P. Gehler, and B. Schiele. Poselet conditioned pictorial structures. In CVPR, 2013. 2 [^27]: L. Pishchulin, M. Andriluka, P. Gehler, and B. Schiele. Strong appearance and expressive spatial models for human pose estimation. In ICCV, 2013. 2 [^28]: L. Pishchulin, E. Insafutdinov, S. Tang, B. Andres, M. Andriluka, P. Gehler, and B. Schiele. Deepcut: Joint subset partition and labeling for multi person pose estimation. arXiv preprint arXiv:1511.06645, 2015. 1, 2, 7, 8 [^29]: V. Ramakrishna, D. Munoz, M. Hebert, J. Bagnell, and Y. Sheikh. Pose Machines: Articulated Pose Estimation via Inference Machines. In ECCV, 2014. 1, 2, 3, 6 [^30]: D. Ramanan, D. A. Forsyth, and A. Zisserman. Strike a Pose: Tracking people by finding stylized poses. In CVPR, 2005. 2 [^31]: S. Ross, D. Munoz, M. Hebert, and J. Bagnell. Learning message-passing inference machines for structured prediction. In CVPR, 2011. 1,2 [^32]: B. Sapp and B. Taskar. MODEC: Multimodal Decomposable Models for Human Pose Estimation. In CVPR, 2013. 4, 8 [^33]: L. Sigal and M. Black. Measure locally, reason globally: Occlusion-sensitive articulated pose estimation. In CVPR, 2006. 2 [^34]: R. Stewart and M. Andriluka. End-to-end people detection in crowded scenes. arXiv preprint arXiv:1506.04878, 2015. 2 [^35]: M. Sun and S. Savarese. Articulated part-based model for joint object detection and pose estimation. In ICCV, 2011. 2 [^36]: C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich. Going deeper with convolutions. arXiv preprint arXiv:1409.4842, 2014. 2 [^37]: Y. Tian, C. L. Zitnick, and S. G. Narasimhan. Exploring the spatial hierarchy of mixture models for human pose estimation. In ECCV. 2012. 2 [^38]: J. Tompson, R. Goroshin, A. Jain, Y. LeCun, and C. Bregler. Efficient object localization using convolutional networks. In CVPR, 2015. 1, 2, 7 [^39]: J. Tompson, A. Jain, Y. LeCun, and C. Bregler. Joint training of a convolutional network and a graphical model for human pose estimation. In NIPS, 2014. 1, 2, 7 [^40]: A. Toshev and C. Szegedy. DeepPose: Human pose estimation via deep neural networks. In CVPR, 2013. 1,2 [^41]: Z. Tu and X. Bai. Auto-context and its application to high-level vision tasks and 3d brain image segmentation. In TPAMI, 2010. 2 [^42]: Y. Wang and G. Mori. Multiple tree models for occlusion and spatial constraints in human pose estimation. In ECCV, 2008. 2 [^43]: Y. Yang and D. Ramanan. Articulated pose estimation with flexible mixtures-of-parts. In CVPR, 2011. 2 [^44]: Y. Yang and D. Ramanan. Articulated human detection with flexible mixtures of parts. In TPAMI, 2013. 7