# 学习从点云估计三维人体姿态
周宇凡（Yufan Zhou）、董海威（Haiwei Dong），IEEE高级会员，阿卜杜勒莫塔莱卜·埃尔·萨迪克（Abdulmotaleb El Saddik），IEEE会士
摘要——三维姿态估计是计算机视觉中一个极具挑战性的问题。现有大多数基于神经网络的方法都通过卷积神经网络（CNN）处理彩色或深度图像。本文研究基于深度图像的三维人体姿态估计任务。与现有基于CNN的人体姿态估计方法不同，我们提出一种用于三维姿态估计的深度人体姿态网络，以点云数据作为输入对复杂人体结构的表面进行建模。我们首先将二维深度图像的三维人体姿态估计转换为三维点云形式，直接预测三维关节位置。我们在两个公开数据集上的实验表明，我们的方法精度优于以往的最优方法。在ITOP和EVAL数据集上得到的结果证明了我们的方法在目标任务上的有效性。
关键词——边缘特征、姿态回归网络、深度图像。
## 一、引言
姿态估计旨在识别和定位图像中所有人体的关键点[^1]。这是众多视觉应用的基础研究课题，例如人体运动识别和人机交互。随着近年来神经网络的发展，许多基于CNN的方法取得了优异的表现，包括堆叠沙漏网络[^2]和多尺度结构感知网络[^3]。部分研究者基于热图估计二维人体姿态，其他方法[^4]、[^5]、[^6]通过回归热图实现三维姿态估计。此外，Shotton等人[^7]和Junget等人[^8]以深度图像作为输入进行三维估计。部分方法不仅适用于手部姿态估计，还可对人体关节进行回归，例如区域集成网络[^9]和体素对体素网络[^10]。与彩色图像相比，深度图像包含场景物体与相机视点之间距离的三维信息。凭借这一显著优势，利用三维信息可以得到更优的三维预测结果。
英特尔RealSense、微软Kinect传感器等三维交互设备以及其他类型的深度/红外相机，为人机交互（HCI）技术的发展带来了积极推动 [^11], [^12]。深度传感器捕获的图像被广泛应用于机器人领域和自动驾驶中。点云图作为深度图像的一种数据结构形式，同时包含几何位置信息和强度信息。点云图的研究已经从几何特征提取逐步发展到更高层次的语义理解，例如点云分割 [^13] 和点云识别 [^14]。与普通图像感知不同，基于点云的位姿估计颇具挑战性。首先，点云的数据结构是由三维空间中的点坐标构成的点集合，这些点仅提供片面的几何信息，有限的信息无法支撑提取足够的特征。其次，点云具有稀疏性：当不同三维设备从不同位置扫描同一物体时，得到的三维点的排序差异很大，这类数据难以直接通过端到端模型处理。第三，执行实时任务时需要考虑时间和空间复杂度，近年那些直接逐个处理点云中每个点的网络计算成本都很高。第四，大多数数据集的三维骨骼关节都是由深度相机捕获的，而非使用高精度的Vicon相机进行标记跟踪。
Fig. 1. The 3D point cloud has a one-to-one relation with a 3D pose. Our approach is based on point clouds, converting depth images into point clouds before pose estimation.
将深度图像转换为点云后得到的并非真正的三维数据，而是来自物体表面的2.5维数据，因此并不适合直接用2D CNN或3D CNN处理点云。而3D CNN的时间和空间复杂度会随着输入三维体的分辨率呈三次方增长。如图1所示，我们
---
旨在直接从三维点云学习人体关键关节的三维位置。PointNet++ [^15] 和DGCNN（动态图CNN，Dynamic Graph CNN）[^16] 的研究灵感来自PointNet [^14] 的最新相关工作，PointNet可直接在点云上同时完成三维目标分类和三维目标分割任务。
本文方法进行位姿估计的思路如下：首先，我们将图像作为输入，将其转换为三维点云；借助深度阈值处理和欧氏聚类提取，我们从三维点中分离出人体区域。在将人体点云输入深度学习网络之前，我们会根据该人体的身高和幅宽对点云进行归一化处理。我们的网络基于改进的动态图CNN模型和PointNet设计，输出为三维关键点的低维表征。本文工作能够捕获人体的三维结构，实现精准的三维人体位姿估计。
本文的贡献可总结如下。
- 据我们所知，我们首次基于DGCNN和PointNet的网络架构，提出了直接从三维点云估计人体关键关节的方法。不同于其他从深度图像回归三维关键点的方法，我们将单张深度图的三维位姿估计问题转换为了基于点云的问题。
• 我们使用两个现有代表性3D人体姿态数据集EVAL [^17]和ITOP [^18]完成了实验。我们将本文方法与其他基于CNN [^18]、基于RF/RTW [^7]、[^8]、[^19]的深度图像人体姿态估计方法进行了对比。实验结果表明，我们提出的3D姿态估计网络具备显著优异的精度表现。
### 二、相关工作
### A. 基于深度图的3D姿态估计
基于深度图的3D姿态估计方法可分为两类：生成式模型和判别式模型。生成式模型的原理类似模板匹配，这类模型需要预先有人体模板，再寻找输入数据与模板之间的对应关系。迭代最近点算法 [^17]常被用于3D人体跟踪。与生成式模型不同，判别式模型可以直接估计姿态。下文我们将重点介绍传统判别式模型。
大多数判别式模型都基于随机森林（RF）。Shotton等人 [^7]基于随机森林分类器对单张深度图像中的身体部位进行分类，进而估计出3D关节位置。Jung等人 [^8]使用随机游走树算法（RTW）回归关节位置，同时降低了算法运行时间。在深度学习领域，Haque等人 [^18]提出了一种利用CNN和循环网络的视角不变模型用于人体姿态估计，Guo等人 [^9]则提出了用于3D位置回归的树结构区域集成网络。这些深度学习模型都基于图像特征。此外，文献 [^10]提出了体素对体素网络（V2V-PoseNet），该网络以点云作为输入，对每个体素估算其包含各个人体关节的概率，最终从生成的热图中提取出3D关节位置。
### B. 面向点云的三维深度学习
一系列PointNet模型，包括PointNet [^14]和PointNet++ [^15]，是近年提出的用于点云分类和分割的方法。点云本质上是不规则数据，且对数据的输入排列不敏感，这意味着处理点云数据的模型需要对数据的不同排列具备不变性。研究人员设计了名为T-Net的空间变换网络（它是PointNet [^14]的一部分），用于保证模型对特定空间变换的不变性：先将点与空间变换网络学习得到的变换矩阵相乘，完成点对齐。PointNet模型单独处理每个点，学习从三维坐标到潜在特征的映射，没有利用几何结构信息；模型仅使用一个最大池化层处理所有采样点的特征，该操作会丢失大量局部特征，仅保留全局特征，因此该网络提取局部信息的能力远不如卷积神经网络。PointNet++在不同尺度上提取特征，通过多层级联网络得到深度特征，它包含采样、分组和特征学习三个主要模块，可以同时提取局部特征和全局特征。但PointNet++在处理局部点集时仍然只考虑单个点，没有考虑点对之间的关系。
与以往网络不同，Wang等人[^16]基于卷积神经网络（CNN）图像分析的思路，成功开发了动态图CNN模型（DGCNN），用于处理点云。该方法的原理与卷积网络一致，即考虑相互连接的像素集合而非单个像素。作为DGCNN的核心部分，EdgeConv将中心点及其最近邻点作为多层感知器（MLP）层的输入。EdgeConv在构建邻域时对点间距离和几何结构进行建模。通过搜索邻点得到局部特征，而全局特征可通过堆叠或循环EdgeConv层提取。但与PointNet和PointNet++不同，EdgeConv层同时考虑了全局特征和局部特征。
### 第三章 深度学习模型
我们的姿态估计方法以深度图像转换得到的点云作为输入，处理包含N个点的F维点云。点云被下采样至N个点，定义为一组向量$P = \{p_1, p_2, ..., p_N\}$。输出为一组人体关键关节的3D位置$J = \{j_1, ..., j_M\}$，其中M是人体关键关节的数量，$j_i$包含相机坐标系下的$x_i, y_i, z_i$，满足$i \in \{1, ..., M\}$。输入深度学习模型的数据为$(P, J)$。结合深度图像的分辨率，我们将N设为5000，F设为3。我们的模型利用这些采样点云，通过提取全局和局部特征回归得到人体3D姿态。为进一步优化结果，我们对DGCNN模型进行了改进。本节中，我们将介绍预处理过程，随后阐述我们的3D姿态估计方法。
---
Fig. 2. The point cloud is converted from the depth image. We define distance thresholds to identify the subject and segment the human body from the background. After sampling the point cloud into the same size, it is fed into the regression network. The output is the 3D coordinates of the skeleton joints.
### A. 预处理
首先，我们的方法尽可能清晰地将人体从背景中分割出来。图2展示了分割和采样的过程。由于数据由深度相机采集，点云中可能包含大量深度值无效或深度值为零的点，我们移除了所有这类无效点和零值点。利用深度信息，通过设定深度阈值可以轻松去除大部分背景点。但仅设置深度阈值不足以提取完整的人体，点云中仍会残留噪声和其他背景物体，可能影响结果，这些干扰大多来自光子散粒噪声以及人体与相机距离较远。
结合图2可知，设置边界框和深度阈值可以去除大量背景物体。在更通用的场景下，我们可以利用最近邻点实现一种本质上与泛洪填充算法类似的聚类技术[^20]。点云中去除背景目标的核心思路是使用欧几里得聚类提取滤波器，如算法1所示。$Search(n_i, d_{th})$用于搜索$n_i$半径$r < d_{th}$范围内的邻点，距离阈值$d_{th}$设置为10厘米，$Size(x)$返回聚类x的大小。我们会检查点云中每个点与其邻点的距离是否低于阈值，如果满足条件，则该点与其邻点属于同一个聚类。由于点云属于高维数据，可提取的信息十分丰富。在我们提出的方法中，基于欧几里得距离的分割通过移除小型噪声聚类完成。
完成上述步骤后，考虑到原始点云的点数各不相同，我们将原始点云下采样到统一尺寸。针对不同尺寸的数据，我们利用该点云中人体的高度$(b_{h})$和宽度$(b_{w})$对点云进行归一化处理。由于关节坐标是绝对图像坐标，实践证明使用包含人体高度$(b_{h})$和宽度$(b_{w})$的边界框b对关节坐标进行归一化处理十分有益。在最简单的情况中，该边界框可以指代整张图像。这类边界框由其中心点定义，点云中的中心点即为人体中心$b_{c}$。$b_{c}$可由真值中所有关节坐标的平均值计算得到。如公式1和公式2所示，$NOR(p_{i}, b)$即为点云归一化函数。
$$ NOR(p_{i},b)=(p_{i}-b_{c})\begin{bmatrix}\frac{1}{b_{w}}&0&0\\ 0&\frac{1}{b_{h}}&0\\ 0&0&1\end{bmatrix} $$
$$ b_{c}=\frac{\sum_{i=0}^{N}p_{i}}{N} $$
其中N是人体点云的总点数，$p_{i}$是人体点云P中的一个点。
Fig. 3. An example of edge features from the chest. We define an arbitrary center query point from the chest and its neighborhoods. Depending on the distance, we can find the K neighbor points. The edge features are composed of these $K+1$ points. The point clouds with edge features are the input to the neural network. We set K to 16 in this work.
```pseudo
// Algorithm 1: Euclidean Cluster Extraction
Input: Point cloud P
Output: A point set of human body $C_{body}$
1: set an empty queue Q and an empty list C
2: for $p_{i} \in P$ do
3: add $p_{i}$ to Q
4: for $q_{i} \in Q$ do
5: Neighbors = Search($q_{i}$, $d_{th}$)
6: for $n_{i} \in Neighbors$ do
7: if $n_{i} \notin Q$ then
8: add $n_{i}$ into Q
9: end if
10: end for
11: end for
12: add Q to C
13: set Q to empty
14: end for
15: $C_{body} = Argmax_{x \in C} Size(x)$
16: return $C_{body}$
```
---
Human pose network
Fig. 4. The architecture of the pose regression network contains a spatial transform network and two units which are composed of EdgeConv layers. The normalized 3D point clouds are fed into the regression network. The dimension of input is the $N \times 3$ point clouds while the dimension of output is $M \times 3$. M represents the number of keypoint positions. The normalized 3D point clouds are input to $N \times 3$. $\oplus$ represents the process of concatenation. Spatial transform networks are part of PointNet [^14], while EdgeConv is a part of the DGCNN [^16]. FC is the fully connected layer. Our network is trained in an end-to-end manner to extract body features and regress 3D joint locations.
### B. 姿态回归网络
我们通过修改DGCNN和PointNet，设计了一个可直接从输入点云估计姿态三维坐标的三维姿态回归网络。在我们的模型中，我们使用T-Net作为空间变换网络实现点的置换不变性，并堆叠EdgeConv层从变换后的点云中提取和学习特征。原始DGCNN模型用于分类和分割任务，我们通过修改中间层和全连接层调整了分类模型的架构，修改后模型的架构如图4所示。与原始模型不同，我们使用1个包含128个卷积核的EdgeConv层，替代原有的3个各包含64个卷积核的EdgeConv层。EdgeConv是DGCNN的基础组件，它通过结合点及其邻域信息捕捉人体的局部结构。在我们的模型中，EdgeConv是特征提取的核心部分。如图3所示，我们对一个作为局部特征的边缘特征进行了可视化。该特征由通过欧氏距离计算得到的K近邻构成。EdgeConv以局部特征作为输入，将点坐标和点到邻域点的距离作为局部邻域信息。通过堆叠或循环堆叠EdgeConv层，可以提取全局形状信息。
对于每个点$p_i \in P$，我们找到它的K个近邻点，将近邻点与原始点拼接得到边缘特征，再由EdgeConv层完成计算。我们的网络包含两个由EdgeConv层构成的单元。第一个单元由两个EdgeConv层（128个卷积核）组成，后接MLP层（1024个卷积核），MLP层的输入是前两个EdgeConv层输出的拼接结果。第二个单元的结构与第一个单元完全相同。为了对关节位置进行回归，我们将最后三个全连接层修改为1024维、512维、$3 \times M$。由于我们的研究目标是单个人体目标，因此空间变换网络非常适用。尽管从深度图像转换得到的点云是有序的，但经过预处理后点会变为无序形式。空间变换网络通过应用一个估计得到的$3 \times 3$变换矩阵，将输入点集对齐并正则化到特定空间中。为了估计$3 \times 3$矩阵，网络利用点云中每个点的坐标及其K近邻的坐标差。经过矩阵乘法后，姿态网络以变换后的点云作为输入。
### C. 网络训练
训练过程分为两个部分。首先，点云经过预处理后被采样为一组包含5000个点的集合。我们每一步都以随机排列的点云作为输入训练整个模型，通过这种方式让空间变换网络得到良好的训练。其次，我们固定空间变换网络的权重，训练剩余的网络部分。此时模型的输入同样是一组5000个点，但每次输入并非随机排列。位姿回归网络的输入是一组归一化后的点 $X^{nor} = \{x_i^{nor}\}_{i=1}^N = \{p_i^{nor}\}_{i=1}^N$，其中 $p_i^{nor}$ 是归一化后点的三维坐标，且
---
真实标签$Y^{nor} = \{y_i^{nor}\}_{i=1}^M = \{j_i^{nor}\}_{i=1}^M$，其中$j_i^{nor}$是归一化后对应的人体关键关节点。给定T个包含归一化点云的训练样本，我们最小化以下目标函数：
$$ \omega^{*}=\underset{w}{\mathrm{a r g m i n}}\sum_{t=0}^{T}||Y_{t}^{n o r}-F(X_{t}^{n o r},\omega)||^{2}+\lambda||\omega||^{2} $$
其中$\omega$表示位姿回归网络的参数，F代表位姿回归网络，$\lambda$是正则化强度。
### 四、实验
本节中，我们在两个公开的三维人体姿态估计数据集EVAL [^17]和ITOP [^18]上评估了所提方法，并将我们的方法与现有最优方法进行了对比。
### A. 实现细节
所有实验均在搭载一颗Intel Core i7-9700K CPU、一块12GB显存的Nvidia GTX1080ti GPU以及64GB内存的计算机上完成。位姿回归网络和预处理工作基于TensorFlow框架和点云库（PCL）实现。两个训练步骤均采用Adam优化器 [^21]。在第一步训练空间变换网络时，初始学习率设为0.001，衰减率（ $\beta_1$, $\beta_2$）分别为0.9和0.999，Adam的epsilon值为 $1e^{-08}$。训练到50个epoch后学习率降为原来的1/10。大约80个epoch后，我们停止第一阶段训练，开始第二阶段训练步骤。第二阶段训练的初始学习率为0.00001，正则化强度设为0.0005，邻域点数量K设为16。除最后一层外，所有MLP和全连接层均使用ReLU激活函数。我们训练网络的批量大小为4。为了更深入地训练空间变换网络，我们在每个训练步骤都对数据进行随机采样。评估时，估计得到的三维人体关键关节位置由网络输出重构得到：
$$ J=F(X_{t}^{n o r},\omega^{*})\begin{bmatrix}b_{w}&0&0\\ 0&b_{h}&0\\ 0&0&1\end{bmatrix}+b_{c} $$
### B. 数据准备与评估指标
我们在EVAL和ITOP数据集上评估了所提基于点云的人体位姿回归网络的性能。ITOP和EVAL数据集的示例如图5所示。图5(a)为ITOP数据集的顶视角视图，(b)和(c)为ITOP数据集的前视角视图。根据不同数据集的设置，我们在EVAL数据集上估计14个主要人体关键关节，在ITOP数据集上估计15个。为了得到最具说服力的测试结果并验证模型的泛化能力，所有训练和测试数据均按受试者划分。
ITOP三维人体姿态估计数据集包含两种视角的轨迹：前视角和顶视角。每个轨迹
ITOP
Fig. 5. An example of ITOP and EVAL dataset. There are 15 key joints in the ITOP dataset, which are head, neck, torso, shoulders, elbows, hands, hips, knees and feet. There are 14 key joints in the EVAL dataset, which are head, chest, shoulders, elbows, hands, hips, knees and feet.
包含约4万张训练深度图像和4千张测试深度图像。图像分辨率为$320 \times 240$（宽$\times$×高）。该数据集由20名受试者构成，每名受试者完成15组动作序列，由两台华硕Asus Xtion Pro相机录制完成。该数据集的真值为15个人体关节的三维坐标，包含头、颈、肩、肘、手、躯干、髋、膝和脚。三维关节位置直接取自相机接口。我们移除无效数据后，该数据集的训练集和测试集分别约有1.7万张和4千张深度数据。我们从训练数据中取出3千张作为验证集。正视图和顶视图深度数据及其对应的关节数据都用于评估。
EVAL三维人体姿态估计数据集包含3名受试者：1名女性和2名男性，总共有约1万帧数据。每一帧都配有30个标记点的Vicon动捕数据。图像分辨率为$320 \times 240$（宽$\times$×高）。该数据集被划分为三个部分（训练集、验证集和测试集）。我们移除了部分超出Vicon数据范围的无效数据，最终得到8158张朝前的深度图像。我们选取1名受试者的数据作为测试集（约2千帧），另外两名受试者的数据（约5千帧）作为训练集，保留约800帧作为验证集。该数据集的真值为
---
TABLE I
PERFORMANCE COMPARISON OF THE PROPOSED METHOD WITH STATE-OF-THE-ART METHODS. (RF [^7], RTW [^8], IEF [^19], VI [^18]) ON THE ITOP DATASET AND EVAL DATASET
| Dataset | ITOP(front-view) | ITOP(top-view) | EVAL |
| Body part | RF | RTW | IEF | VI | Ours | RF | RTW | IEF | VI | Ours | RTW | VI | Ours |
| Head | 63.8 | 97.8 | 96.2 | 98.1 | 96.73 | 95.4 | 98.4 | 83.8 | 98.1 | 96.13 | 90.9 | 93.9 | 88.93 |
| Neck/Chest | 86.4 | 95.8 | 85.2 | 97.5 | 98.05 | 98.5 | 82.2 | 50.0 | 97.6 | 97.61 | 87.4 | 94.7 | 96.87 |
| Shoulders | 83.3 | 94.1 | 77.2 | 96.5 | 94.38 | 89.0 | 91.8 | 67.3 | 96.1 | 93.08 | 87.8 | 87.0 | 86.14 |
| Elbows | 73.2 | 77.9 | 45.4 | 73.3 | 73.67 | 57.4 | 80.1 | 40.2 | 86.2 | 70.83 | 27.5 | 45.5 | 75.11 |
| Hands | 51.3 | 70.5 | 30.9 | 68.7 | 54.95 | 49.1 | 76.9 | 39.0 | 85.5 | 48.41 | 32.3 | 39.6 | 63.07 |
| Torso | 65.0 | 93.8 | 84.7 | 85.6 | 98.35 | 80.5 | 68.2 | 30.5 | 72.9 | 95.58 | - | - | - |
| Hips | 50.8 | 80.3 | 83.5 | 72.0 | 91.77 | 20.0 | 55.7 | 38.9 | 61.2 | 84.50 | - | - | 83.20 |
| Knees | 65.7 | 68.8 | 81.8 | 69.0 | 90.74 | 2.6 | 53.9 | 54.0 | 51.6 | 79.19 | 83.4 | 86.0 | 82.68 |
| Feet | 61.3 | 68.4 | 80.9 | 60.8 | 86.30 | 0.0 | 28.7 | 62.4 | 51.5 | 67.76 | 90.0 | 92.3 | 82.94 |
| Upper Body | 70.7 | 84.8 | 61.0 | 84.0 | 80.10 | 73.1 | 84.8 | 51.7 | 91.4 | 77.30 | 59.2 | 73.8 | 79.31 |
| Lower Body | 59.3 | 72.5 | 82.1 | 67.3 | 89.60 | 7.5 | 46.1 | 53.3 | 54.7 | 77.15 | 86.7 | 89.2 | 82.94 |
| Mean | 65.8 | 80.5 | 71.0 | 77.4 | 85.11 | 47.4 | 68.2 | 51.2 | 75.5 | 78.46 | 68.3 | 74.1 | 80.86 |
14个人体关节的三维坐标，包含胸部、髋部、肩部、肘部、膝部、脚部、头部和手部。每个关节配置了不同数量的Vicon标记点：胸部1个标记点，髋部2个标记点，肩部2个标记点，肘部2个标记点，膝部3个标记点，脚部3个标记点，头部1个标记点，手部3个标记点。我们取每个关节对应所有标记点的平均位置作为关节位置。与ITOP数据集不同，该数据集的关节坐标由Vicon系统和标记点计算得到，精度很高。
我们采用均值平均精度（mean average precision, mAP）指标，其定义为所有人体部位的平均精度。我们遵循[^8]、[^18]设置了10厘米规则来展示各类关节的检测结果，即当预测关节与真值之间的距离小于10厘米时，判定为检测成功。评价指标如下。
$$ AP(x,y)=\begin{cases}1,&if distance(x,y)<10cm\\0,&otherwise\end{cases} $$
$$ m A P=\frac{\sum_{i=0}^{M}A P(J_{i},G T_{i})}{M} $$
式中$distance(x, y)$表示三维空间中x和y之间的欧氏距离；J和GT分别表示预测关节和真值关节，M为关节总数。
### C. 与现有最优方法的对比
我们在ITOP数据集上将所提方法与现有最优方法进行了对比，对比方法包括随机森林（random forest, RF）[^7]、随机游走树算法（random tree walk, RTW）[^8]、迭代误差反馈（iterative error feedback, IEF）[^19]以及视点不变特征方法（viewpoint-invariant feature-based method, VI）[^18]。随后，我们在EVAL数据集上训练了模型，并将我们的方法与RTW和VI进行对比。表I给出了上肢和下肢的mAP结果。上肢包含头、颈/胸、肩、肘和手，下肢包含髋、膝和脚。我们的方法在ITOP正视图、ITOP顶视图和EVAL数据集上的定性结果如图6所示，图6中的动作包括转身、站立、举手、拳击和晃动。
上述大多数方法在人体主要部位（头部、颈部/胸部、肩部和躯干）上都表现良好，这些主要部位能够提供最丰富的深度信息。在三维人体姿态估计任务中，预测手和脚的三维位置难度最大，因为手和脚在人体中所占的比例相对较小。与以往方法不同，我们的方法在脚和膝盖关节上表现优异。受人体动作影响，部分关节（比如膝盖、手、肘部、髋部和脚）可能无法被深度相机捕捉到，这会导致估计结果出现偏差。但从表I中我们依然可以看出，我们的方法能够很好地应对该问题。
在ITOP数据集的正面视角测试部分，RTW在上身关节估计中取得了最好成绩，平均精度均值（mAP）为84.8。除手部外，我们对其他部位的预测结果与当前最优方法差异不大，原因在于手部这类人体边缘部位能提供的深度信息始终有限。在预测脚和膝盖关节时，RF、RTW、IEF和VI的得分都低于我们的方法。我们的方法在下身关节预测中取得了较高得分，mAP为89.60。从表I可以看出，我们的方法在全身预测中表现优于其他方法，mAP达到85.11。
对于ITOP数据集的俯视视角部分，数据集采集时的视角造成了深度信息的大量损失。ITOP数据集俯视视角部分的深度信息损失比正面视角部分和EVAL数据集更严重，图5(a)就是这种情况的典型示例。因此，在所有实验中，ITOP数据集俯视视角部分的结果精度最低。尽管VI在上身评估中取得了最高得分，mAP为91.4，但我们的人体姿态网络mAP得分为77.15，高于其他所有方法。在全身关节估计中，我们的方法取得了不错的成绩，mAP为78.46，高于排名第二的VI方法。从我们方法的结果来看，上身部分的估计精度与下身部分相当，主要差异出现在手部预测上。
尽管ITOP和EVAL都包含正面视角数据，但EVAL数据集包含的动作比ITOP更复杂。在EVAL数据集的实验中，VI在下身评估中取得了更高的得分，mAP为89.2。对于
---
## ITOP：俯视视角
## ITOP：正面视角
EVAL
Fig. 6. Qualitative results of our pose net on EVAL and ITOP (both front-view and top-view) datasets. A segmented point cloud of a human is shown with its corresponding joints. The motions in ITOP are turning around, standing, raising hands and boxing, while the motions in EVAL are standing, shaking, and raising hand.
---
## 参考文献
全身估计而言，我们的方法是首个全身mAP达到80.86的方法，远高于其他方法（RTW和VI），这得益于我们对手部和肘部关节的精准估计。
在我们的实验中，最具挑战性的关节是手部和肘部，两个数据集上这两个关节的平均精度均值都低于75。主要原因是缺乏足够的深度信息：这两个关节的运动范围都很大，容易超出相机的捕获范围；此外，从相机视角来看，这两个关节很容易被其他身体部位遮挡。一旦这两个部位被部分遮挡，就会导致点云图像中提取出的身体部位不连通，进而使深度信息在分割处理过程中被过滤掉。
### D. 讨论
本文提出的方法应用场景广泛，包括康复训练、运动指导、运动员追踪等。在康复训练场景中，多数环境为可控的结构化环境，设计的训练通常是针对单个患者的慢速追踪动作。在该场景下，本文提出的方法非常适配该任务。在运动指导场景中，动作速度可能较快，要求本文提出的方法具备足够高的效率来追踪动作。在这种情况下，我们可以对模型进行定制，得到轻量化的简化版本：剔除权重较小的神经连接，增加聚类连接间的共享权重数量。在运动员追踪场景中，任务通常是多运动员追踪，往往会涉及遮挡问题。为解决遮挡问题，我们可以利用极大似然原理或后验估计，通过充分利用相邻关节间约束的先验知识，完成正确的关节关联和姿态估计。更具体来说，基于计算几何原理，遮挡可以被建模为两条线段的相交，随后我们会结合人体运动约束，从概率层面比较运动序列的不同组合 [^22].
### 五、结论
我们提出了一种人体姿态模型，可利用单张深度图像从点云估计人体姿态。该方法将2.5D深度图像转换为3D点云，输入经直接修改的动态图CNN网络和PointNet，回归得到关节的三维位置。为处理背景物体的影响，我们采用欧氏聚类提取算法分割出人体点云。点云经高度和宽度归一化后，输入到我们修改后的动态图CNN网络。在两个公开深度数据集上与其他现有最优方法的对比实验结果表明，我们的方法在三维人体姿态估计任务上表现良好。未来我们将进一步提升快速运动和遮挡运动场景下的估计精度。此外，我们还将在面向任务的数据集（如康复训练、运动指导、团队运动员追踪）上验证本文方法的效果 [^23], [^24].
[^1]: L. Yang, B. Yang, H. Dong, and A. El Saddik, "3D markerless tracking of human gait by geometric trilateration of multiple Kinects," IEEE Systems Journal, vol. 12, no. 2, pp. 1393–1403, 2018.
[^2]: A. Newell, K. Yang, and J. Deng, "Stacked hourglass networks for human pose estimation," in Proceedings of European Conference on Computer Vision, pp. 483–499, 2016.
[^3]: L. Ke1, M.-C. Chang, H. Qi, and S. Lyu, “Multi-scale structure-aware network for human pose estimation,” in Proceedings of European Conference on Computer Vision, pp. 731–746, 2018.
[^4]: X. Zhou, Q. Huang, X. Sun, X. Xue, and Y. Wei, “Towards 3D human pose estimation in the wild: A weakly-supervised approach,” in Proceedings of IEEE International Conference on Computer Vision, pp. 398–407, 2017.
[^5]: M. Wang, X. Chen, W. Liu, C. Qian, L. Lin, and L. Ma, "Drpose3D: Depth ranking in 3D human pose estimation," in Proceedings of International Joint Conference on Artificial Intelligence, pp. 978–984, 2018.
[^6]: C. Ionescu, D. Papava, V. Olaru, and C. Sminchisescu, “Human3.6m: Large scale datasets and predictive methods for 3D human sensing in natural environments,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, pp. 1325–1339, 2014.
[^7]: J. Shotton, A. Fitzgibbon, M. Cook, T. Sharp, M. Finocchio, R. Moore, A. Kipman, and A. Blake, "Real-time human pose recognition in parts from single depth images," in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1297–1304, 2011.
[^8]: H. Y. Jung, S. Lee, Y. S. Heo, and I. D. Yun, “Random tree walk toward instantaneous 3D human pose estimation,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 2467–2474, 2015.
[^9]: H. Guo, G. Wang, X. Chen, C. Zhang, F. Qiao, and H. Yang, "Towards good practices for deep 3D hand pose estimation," in Proceedings of IEEE International Conference on Image Processing, pp. 4512–4516, 2017.
[^10]: G. Moon, J. Y. Chang, and K. M. Lee, “V2V-Posenet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 5079–5088, 2018.
[^11]: L. Yang, L. Zhang, H. Dong, A. Alelaiwi, and A. E. Saddik, “Evaluating and improving the depth accuracy of Kinect for Windows v2,” IEEE Sensors Journal, vol. 15, no. 8, pp. 4275–4284, 2015.
[^12]: C. Chen, R. Jafari, and N. Kehtarnavaz, “A real-time human action recognition system using depth and inertial sensor fusion,” IEEE Sensors Journal, vol. 16, no. 3, pp. 773–781, 2016.
[^13]: B. Nagy and C. Benedek, "3D CNN-based semantic labeling approach for mobile laser scanning data," IEEE Sensors Journal, vol. 19, no. 9, pp. 10034–10045, 2019.
[^14]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3D classification and segmentation,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 77–85, 2017.
[^15]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” in Proceedings of Advances in Neural Information Processing Systems, pp. 5099–5108, 2017.
[^16]: Y. Wang, Y. Sun, Z. Liu, S. E. Sarma, M. M. Bronstein, and J. M. Solomon, “Dynamic graph CNN for learning on point clouds,” ACM Transactions on Graphics, vol. 1, no. 1, pp. 1–13, 2019.
[^17]: V. Ganapathi, C. Plagemann, D. Koller, and S. Thrun, “Real-time human pose tracking from range data,” in Proceedings of European Conference on Computer Vision, pp. 738–751, 2012.
[^18]: A. Haque, B. Peng, Z. Luo, A. Alahi, S. Yeung, and L. Fei-Fei, “Towards viewpoint invariant 3D human pose estimation,” in Proceedings of European Conference on Computer Vision, pp. 160–177, 2016.
[^19]: J. Carreira, P. Agrawal, K. Fragkiadaki, and J. Malik, “Human pose estimation with iterative error feedback,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 4733–4742, 2016.
[^20]: P. M. Chu, S. Cho, Y. W. Park, and K. Cho, “Fast point cloud segmentation based on flood-fill algorithm,” in Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent System, 2017.
## [^21]: D. P. Kingma and J. L. Ba, “Adam: A method for stochastic optimization,” in Proceedings of International Conference for Learning Representations, 2015.
---
[^22]: B. Yang, H. Dong, and A. El Saddik, “Development of a self-calibrated motion capture system by nonlinear trilateration of multiple Kinects v2,” IEEE Sensors Journal, vol. 17, no. 8, pp. 2481–2491, 2017.
[^23]: M. Capecci, M. G. Ceravolo, F. Ferracuti, S. Iarlori, A. Monteriu, L. Romeo, and F. Verdini, “The KIMORE dataset: Kinematic assessment of movement and clinical scores for remote monitoring of physical rehabilitation,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 27, no. 7, pp. 1436–1448, 2019.
[^24]: F. Negin, F. Ozdemir, C. B. Akgül, K. A. Yüksel, and A. Erçil, "A decision forest based feature selection framework for action recognition from RGB-depth cameras," in Proceedings of International Conference on Image Analysis and Recognition, pp. 648–657, 2013.
周宇凡于2017年在中国西南交通大学获得铁路交通信号与控制专业B.Eng.学位，目前正在渥太华大学电气与计算机工程专业攻读M.A.Sc.学位，研究兴趣包括人工智能和多媒体。
董海伟（M'12-SM'16）分别于2010年和2008年获得对应学位：2010年在日本神户神户大学获得计算机科学与系统工程专业Dr.Eng.学位，2008年在中国上海交通大学获得控制理论与控制工程专业M.Eng.学位。他曾担任加拿大安大略省渥太华大学研究科学家、美国纽约州纽约市纽约大学博士后研究员、加拿大安大略省多伦多大学副研究员、日本东京日本学术振兴会研究员（PD）。目前他担任加拿大安大略省渥太华华为技术加拿大有限公司首席工程师，是安大略省注册专业工程师，研究兴趣包括人工智能、机器人学和多媒体。
阿卜杜勒-莫塔莱布·埃尔·萨迪克（M'01-SM'04-F'09）是渥太华大学电气工程与计算机科学学院的杰出大学教授，同时担任该校大学研究主席。他的研究核心方向是构建数字孪生，结合AI、IoT、AR/VR和5G技术赋能公民福祉，实现人与人之间、以及人与自身智能数字表示的实时交互。他合著了10部著作，发表了550余篇学术成果，主持过50余场会议和研讨会。他累计获得的研究资助与合同总额超过2000万美元。他已指导过120余名研究人员，斩获多项国际奖项，包括ACM杰出科学家、加拿大工程研究院院士、加拿大工程院院士、IEEE会士，还获得IEEE仪器与测量技术成就奖、IEEE加拿大C.C.戈特利布（计算机）奖章，以及A.G.L.麦克诺顿金奖，以表彰他对计算机工程与科学领域做出的重要贡献。