# 基于点云的连续三维人体姿态与形状估计
王康侃 $^{*1,2}$, 谢谨 $^{1,2}$, 张国锋 $^{3,4}$, 刘磊 $^{1}$, 杨健 $^{1,2}$
$^{1}$教育部高维信息智能感知与系统重点实验室
$^{2}$江苏省社会安全图像与视频理解重点实验室，
中国南京理工大学计算机科学与工程学院
$^{3}$中国浙江大学CAD&CG国家重点实验室
$^{4}$ZJU-商汤科技三维视觉联合实验室
## 摘要
本文研究从点云序列估计三维人体姿态与形状的问题。现有连续三维人体形状估计方法主要聚焦于从深度图像序列进行模板模型拟合，或是从RGB图像序列进行参数化模型回归。本文提出了一种面向点云序列的全新连续三维人体姿态与形状估计框架。具体而言，所提框架能够从点云的潜在特征中回归得到不同分辨率下网格顶点的三维坐标。基于低分辨率下估计得到的三维坐标与特征，我们设计了时空网格注意力卷积（MAC）来预测高分辨率下网格顶点的三维坐标。通过为空间域和时间域中的不同邻域点分配特定的注意力权重，我们提出的时空MAC可以捕获点云的结构化时空特征。我们进一步通过弱监督微调方法将该框架推广到人体真实数据上。在SURREAL、Human3.6M、DFAUST以及真实精细数据上的实验结果表明，本文提出的方法能够从点云序列中准确恢复出三维人体模型序列。
### 1. 引言
恢复三维人体形状在机器人技术、增强现实（AR）和虚拟现实（VR）领域拥有众多实际应用。近年来，随着微软Kinect等深度传感器技术的发展，从深度图像进行三维人体形状估计在三维计算机视觉领域得到了广泛关注。从深度图像估计三维人体形状的目标是恢复人体的三维网格[^26] [^8] [^44] [^29]。然而，要从深度图像中准确估计三维人体形状极具挑战性，因为人体存在任意形变和自遮挡问题。此外，深度相机的视角变化以及深度图像上存在的严重随机噪声都让该问题进一步加剧。
大多数基于深度图像的三维人体形状估计方法[^16] [^12] [^11] [^5] [^41] [^42]主要聚焦于利用时间信息建立连续帧之间的点对应关系，并借助这些对应关系恢复每一帧的三维模型。当三维模板模型与输入深度图像差异较大时，最近邻搜索方法难以建立正确的对应关系。因此，这类方法无法有效从单张深度图像中恢复三维人体模型。此外，由于这类方法逐顺序从深度图像恢复三维人体模型，对应误差会在整个序列中不断累积。在[^38]中，研究者通过学习三维人体形状的局部描述子来构建密集对应关系，再通过将模板模型拟合到输入深度来恢复三维模型。尽管如此，这些工作仍主要聚焦于从深度图像序列恢复三维人体模型，针对点云序列的三维人体模型恢复研究较少。
点云相比深度图像能够提供更多几何信息，从点云序列恢复三维人体模型可以充分利用点云的三维几何结构信息。我们的目标是通过提取点云序列的局部特征直接推理得到连续三维人体模型，因此无需在连续帧之间构建点对应关系，避免了顺序三维人体模型恢复过程中的误差累积问题。
本文不估计人体的SMPL [^25]模型参数，而是提出一种基于点云的顺序三维人体形状估计方法，通过预测多分辨率三维人体网格的顶点坐标得到估计结果。首先，我们采用PointNet++ [^31]分别提取连续帧点云的潜在特征。
---
随后我们设计了时空网格注意力卷积，用于从潜在特征回归不同分辨率三维人体网格的顶点坐标。基于低分辨率下生成的网格，我们通过为当前帧网格顶点的一环邻域动态分配特定注意力权重，构建了空间网格注意力卷积（MAC）。类似地，我们还通过为连续帧中的对应网格顶点分配注意力权重，构建了时间MAC。空间MAC可以在空间域捕获点云的局部结构特征，而时间MAC能够融合连续帧点云的结构特征，形成时间表征。此外，结合弱监督微调方法，我们的方法可以很好地泛化到深度传感器捕获的真实数据上。在SURREAL [^37]、Human3.6M [^17]、DFAUST [^7]和真实数据上的实验验证了本文所提方法。综上，我们方法的主要贡献如下：
- 我们针对带有精细表面的真实人体三维模型恢复，提出了一种弱监督微调算法。
- 我们创新性地构建了从点云序列进行三维人体姿态与形状估计的问题框架。
- 我们提出了时空网格注意力卷积，用于逐步回归三维人体网格的顶点坐标。
### 2. 相关工作
基于深度图像的三维人体建模。现有的基于深度图像的三维人体建模方法大致可分为基于模板方法和无模板方法两大类。基于模板方法利用模板先验信息恢复三维人体模型，例如嵌入骨架 [^39] [^40]、模板模型 [^11] 或参数化模型 [^5] [^44] [^29]。这些模板先验封装了大量关于模板的已有知识，因此能够让三维人体重建结果更稳定。例如，Guo等人 [^11] 通过一种基于新型 $L_{0}$ 的运动正则项，将预扫描的模板模型变形适配到每一帧输入深度图，有效降低了大运动场景下的误差累积。无模板方法 [^26] [^16] [^9] [^12] [^8] 不需要任何关于人体形状的先验知识即可构建三维人体模型。这类方法对所有捕获的深度图进行体积融合，能够实时重建三维模型，但局限于慢速运动场景。近年来，部分方法 [^41] [^42] [^47] 通过将模板先验整合到无模板方法中，实现了对大尺度人体运动的处理。
无论是基于模板方法还是无模板方法，都需要通过最近三维点搜索算法为每一帧建立点对应关系。由于模板和深度图中的人体姿态和形状差异较大，在仅输入单张深度图的情况下，建立的对应关系很容易出现误差。可以通过随机森林 [^30] 或匹配学习得到的特征描述子 [^38]，直接为人体深度图像预测点对应关系。基于预测得到的点对应关系，再通过将模板变形适配到深度数据来恢复三维人体模型。LBS自编码器 [^23] 通过推断LBS模板的关节角度和变形量，将铰接网格模型拟合到点云，该方法主要针对拥有完整三维形状的点云提出，并不适用于深度图像生成的点云。
基于彩色图像的三维人体姿态与形状重建。大多数从彩色图像估计三维人体形状的方法，都是将参数化人体模型 [^2] [^25] 或模板模型 [^13] 拟合到输入彩色图像的一组观测结果上，例如关键点和轮廓。例如，Bogo等人 [^6] 首先检测二维人体关节，再将SMPL模型 [^25] 拟合到这些二维关节位置。许多基于深度学习的方法 [^35] [^27] [^22] [^36] 使用卷积网络直接从彩色图像推断三维人体形状。DensePose [^10] 通过学习RGB图像和模板人体模型之间的密集对应关系来估计密集人体姿态。Kanazawa等人 [^18] 通过迭代三维回归器从单张RGB图像的 latent 特征中推断SMPL参数。一种图CNN方法 [^21] 首先将从输入彩色图像提取的特征附着到模板网格的三维顶点坐标上，再使用卷积网格回归预测三维人体网格的顶点坐标。近期研究 [^49] [^48] [^1] [^33] 尝试从彩色图像中恢复参数化模型无法表达的三维人体形状表面细节。例如，Zhu等人 [^49] 提出了分层网格变形框架，利用人体关节、轮廓和逐像素着色信息恢复细节丰富的人体形状。
基于视频的三维人体姿态与形状研究。近年来，在三维人体姿态与形状估计任务中，人们常采用前馈卷积网络对图像序列中的时序特征进行编码 [^19] [^45]。近期研究 [^4] 表明，在广泛的序列建模任务中，前馈卷积模型不仅比经典循环架构 [^14] [^24] 的预测精度更高，而且结构更简单、更易于训练。Kanazawa等人 [^19] 利用时序卷积网络从视频中捕捉三维人体动态，降低了单视图方法三维预测结果中的不确定性和抖动 [^18]。Zhang等人 [^45] 为 [^19] 中的时序卷积网络引入了因果结构，使得模型仅利用过往时序上下文即可从视频中预测三维人体运动。部分研究工作 [^15] [^35] [^43] [^46] [^3] 通过强制时序一致性跨
---
Figure 1. Overview of the proposed framework. Our framework can predict the 3D body model sequence from an input sequence of point clouds of a human body. The proposed spatial-temporal mesh attention convolution regresses 3D coordinates of mesh vertices at different resolutions by capturing structured spatial and temporal features of point clouds. Please refer to Sect. 3 for detailed description.
连续帧重建序列三维模型。Tung等人 [^35] 根据“投影后网格顶点的三维运动应与二维光流匹配”这一一致性约束，将彩色图像序列映射为对应的三维网格序列。Zanfir等人 [^43] 通过约束姿态和运动重建的时间相干性，将单图像方法扩展到视频场景。[^3] 中提出的光束平差算法可以对整个视频中 [^18] 的逐帧估计结果进行联合优化，并利用模型参数的时序一致性解决歧义问题。本文中，我们针对三维人体模型估计采用前馈卷积网络，提出了一种作用于网格结构的时序编码器。
### 3. 所提方法
给定人体点云序列，我们的目标是估计能够匹配序列中对应点云的序列三维人体模型。本文所提方法的框架如图1所示。在该框架中，我们首先独立提取每一帧点云的局部特征。随后，基于提取得到的特征，我们提出了时空网格注意力卷积（MAC）网络，从粗到细预测每一帧的人体三维网格。时空MAC网络可以利用粗网格编码的空间特征与时序特征，推理得到高分辨率的精细网格。此外，我们通过弱监督微调方法将本文方法推广到真实人体点云场景中。
三维人体模型。我们采用蒙皮多人线性模型（SMPL）[^25] 作为三维人体模型。SMPL是一种被广泛使用的统计模型，能够生成具有自然人体形状和姿态的各类三维人体模型。基于一组形状参数和姿态参数，SMPL模型可以输出包含N = 6,890个顶点的三维人体模型。更多细节请参见 [^25]。在本文方法中，我们不对模型参数进行估计，而是直接预测能够准确匹配输入点云的模型顶点三维坐标。从预测得到的模型顶点出发，我们可以通过模型拟合方法轻松得到SMPL参数模型 [^25]。
#### 3.1. 时空网格注意力卷积
由于PointNet++ [^31]能够很好地表征点云的几何结构，我们采用PointNet++提取每一帧点云的潜在特征。随后我们构建了一个时空MAC网络，从提取的特征生成多分辨率三维人体网格。如图1所示，在高分辨率阶段，我们首先对来自上一低分辨率阶段的粗网格进行上采样，再使用时空MAC生成固定拓扑的更精细网格。网格上采样通过将上采样矩阵与网格左乘实现。我们预先计算了SMPL模板模型在不同分辨率下的上采样矩阵，详见[^32]。本文提出的时空MAC能够同时在空间域和时间域捕获存储在网格顶点上的点云结构化特征。空间MAC为单帧网格顶点的一环邻域动态分配特定注意力权重，而时间MAC则为相邻帧中对应网格顶点分配注意力权重。我们以由粗到细的方式应用时空MAC，最终生成三维人体模型。
#### 3.1.1 空间网格注意力卷积
在第l帧，我们首先通过上采样操作在第k个分辨率生成一个包含q个顶点的高分辨率网格$G_k$。为简洁起见，本小节后续推导中将省略帧标记l。随后我们通过一个MLP网络从q个顶点的输入特征回归得到网格$G_k$的顶点坐标。我们构建了如下三维坐标损失来生成高分辨率网格的顶点坐标：
$$ \mathbf{L}_{{c o o r d}}(k)=\sum_{i=1}^{q}\parallel\boldsymbol{p}_{i}-\tilde{\boldsymbol{p}}_{i}\parallel_{2}^{2}, $$
---
其中$p_i$是生成网格$\pmb{G}_k$上顶点i的坐标，$\tilde{p}_i$是$\tilde{\pmb{G}}_k$上顶点i的真实坐标。网格$\tilde{\pmb{G}}_k$通过下采样操作从完整真实模型下采样得到，该下采样操作见[^32]。我们还通过一个MLP层将网格顶点的输入特征映射得到一组新的顶点特征$\pmb{h} = \{\pmb{h}_1, \pmb{h}_2, ..., \pmb{h}_q\} (\pmb{h}_i \in \mathbb{R}^F)$，其中F为每个顶点的特征维度。
(a)
(b)
Figure 2. An illustration of our spatial mesh attention convolution (a) and temporal mesh attention convolution (b). Spatial mesh attention convolution is performed on the one-ring neighborhoods of the mesh vertices on a single frame, while temporal mesh attention convolution is performed on the corresponding mesh vertices of consecutive frames.
借助注意力机制[^28]，我们构建了空间MAC来捕获生成网格$G_k$上顶点一环邻域的局部结构化特征。在构建的空间MAC中，网格顶点的不同一环邻域被分配特定的注意力权重。每个顶点与其邻域的注意力权重与顶点坐标和特征向量的差值相关，计算方式如下：
$$ \sigma_{i j}=\sigma([\Delta p_{i j},\Delta h_{i j}]),j\in\mathcal{N}(i), $$
其中$\Delta p_{ij} = p_j - p_i$、$\Delta h_{ij} = h_j - h_i$和$\mathcal{N}(i)$为顶点i（包含自身）的邻域集合。将顶点坐标和特征向量的差值拼接后作为输入，空间注意力权重由注意力机制$\sigma$学习得到，在我们的实验中该机制是一个MLP网络。为了适配不同顶点和不同空间尺度下的邻域，我们对顶点i所有邻域的注意力权重进行归一化，归一化方式如下：
$$ \tilde{\pmb{\sigma}}_{i j}={s o f t m a x}(\pmb{\sigma}_{i j})=\frac{{e x p}(\pmb{\sigma}_{i j})}{\sum_{s\in\mathcal{N}(i)}{e x p}(\pmb{\sigma}_{i s})}, $$
其中$\sigma_{ij}$是顶点j对顶点i的注意力权重向量。顶点i经过空间MAC后的最终输出特征可通过邻域特征与归一化注意力权重的线性组合计算得到：
$$ \tilde{h}_{i}=\sum_{j\in\mathcal{N}(i)}\tilde{\sigma}_{i j}h_{j}+b_{i}, $$
其中$b_i \in \mathbb{R}^F$为可学习偏置。
#### 3.1.2 时间网格注意力卷积
连续帧提供的时序上下文能够缓解单视图方法中存在的遮挡不确定性和形状模糊问题。因此，对时序特征进行编码并将其用于序列三维模型的重建是十分必要的。网格顶点存储用于顶点坐标回归的特征，这些特征编码了三维人体形状的信息。这些特征能够为序列中其他帧的三维模型估计提供大量有用信息。由于连续帧在相同分辨率下具有对应的网格拓扑结构，我们可以对所有帧中同一网格顶点的特征进行时序融合。我们对网格顶点应用时序网格注意力卷积，以从连续帧中挖掘有用信息。具体来说，对于第l帧网格$G_k$上的顶点i，我们按如下方式计算第j帧对第l帧顶点i的注意力权重：
$$ \varepsilon_{l j}^{i}=\varepsilon(\tilde{h}_{j}^{i}-\tilde{h}_{l}^{i}),j\in\{1,2,...f n\}, $$
其中，fn是一个序列样本的帧数，$\tilde{h}_j^i$和$\tilde{h}_l^i$分别是第j帧和第l帧网格$G_k$上经过空间MAC后的第i个顶点特征。时序注意力机制$\varepsilon$将特征向量的差异映射为时序注意力权重，在我们的实验中该机制是一个MLP网络。时序注意力权重也会在所有帧之间进行归一化，方式如下：
$$ \tilde{\varepsilon}_{l j}^{i}=\frac{e x p(\varepsilon_{l j}^{i})}{\sum_{t=1}^{f n}e x p(\varepsilon_{l t}^{i})}. $$
经过时序MAC后，第l帧中顶点i的最终输出特征可按如下方式计算：
$$ \hat{h}_{l}^{i}=\sum_{j=1}^{f n}\tilde{\varepsilon}_{l j}^{i}\tilde{h}_{j}^{i}+b_{l}^{i}, $$
其中，$b_i^i \in \mathbb{R}^F$是可学习偏置。通过图1所示的$K = 4$种不同分辨率，网格被上采样到1723个顶点。我们最终应用另一个空间MAC将顶点特征映射为三维顶点坐标。网格回归损失定义如下：
$$ \mathbf{L}_{m e s h}=\sum_{i=1}^{N}\parallel\mathbf{v}_{i}-\tilde{\mathbf{v}}_{i}\parallel_{2}^{2}, $$
其中，$\tilde{v}_{i}$是真值模型上第l帧第i个顶点的坐标。为了避免顶点冗余度过高、减少训练时间，我们预测的三维模型包含1723个顶点，是在原始SMPL顶点基础上下采样4倍得到的。原始尺度的三维模型可以很容易地通过网格上采样[^32]对
---
预测得到的三维模型得到。随后，我们方法的整体损失函数定义如下：
$$ \mathbf{L}=\sum_{l=1}^{f n}(\mathbf{L}_{m e s h}+\lambda\sum_{k=1}^{K}\mathbf{L}_{c o o r d}(k)), $$
其中，$\lambda$是正则化参数。
#### 3.2. 面向真实细节数据的弱监督微调
由于带有衣物等细节的真实人体不存在真值三维模型，因此我们以弱监督的方式在这类真实数据上对网络进行微调。使用预训练模型在真实点云上进行测试，我们可以得到在姿态和形状上都与输入点云大致一致的三维模型V。虽然预测得到的三维模型V不能很好地拟合输入点云，但我们可以用它们来监督真实衣物数据上的微调过程。我们将微调网络中的网格回归损失定义如下：
$$ \begin{array}{r}{\mathbf{L}_{m e s h}^{\prime}=\mathbf{L}_{3D}+\beta\mathbf{L}_{L a p l a c i a n}+\gamma\mathbf{L}_{e d g e},}\end{array} $$
其中，$L_{3D}$是三维对应损失，$L_{Laplacian}$是拉普拉斯损失，$L_{edge}$是边缘损失，$\beta$和$\gamma$是正则化参数。三维对应损失迫使估计模型的顶点与点云上的对应点对齐，其定义如下：
$$ \mathbf{L}_{3D}=\frac{1}{N_{c}}\sum_{i=1}^{N}m_{i}\parallel\boldsymbol{v}_{i}-\boldsymbol{p}_{i}\parallel_{2}^{2}, $$
其中$v_i$是估计得到的3D模型上的第i个顶点，$p_i$是输入点云中对应$v_i$的点，$N_c$是有效匹配对的数量，$m_i$取值为0或1（若为有效匹配对，则为$m_i = 1$；否则为$m_i = 0$）。点匹配对最初基于$\mathcal{V}$构建，并在微调过程中迭代更新。由于3D匹配损失仅约束人体模型的可见顶点，被遮挡的身体部位容易恢复出不自然的形状。因此，我们引入拉普拉斯损失[^34]来保持表面平滑：
$$ \mathbf{L}_{L a p l a c i a n}=\sum_{i=1}^{N}\parallel\boldsymbol{\delta}_{i}-\hat{\boldsymbol{\delta}}_{i}\parallel_{2}^{2}, $$
其中$\delta_i = \boldsymbol{v}_i - \frac{1}{N_i} \sum_{j \in \mathcal{N}(i)} \boldsymbol{v}_j$是估计3D模型上顶点i的拉普拉斯坐标，$\mathcal{N}(i)$是顶点i的邻域集合，$N_i$是集合$\mathcal{N}(i)$中的顶点数量，$\hat{\delta}_i$是$\mathcal{V}$上顶点i的拉普拉斯坐标。此外，我们应用边损失[^2]来惩罚不自然的边，保证3D模型的边长一致性：
$$ \mathbf{L}_{e d g e}=\sum_{i=1}^{N}\sum_{j\in\mathcal{N}(i)}(\|\mathbf{v}_{i}-\mathbf{v}_{j}\|_{2}^{2}-\|\hat{\mathbf{v}}_{i}-\hat{\mathbf{v}}_{j}\|_{2}^{2})^{2}, $$
其中$\boldsymbol{v}_i$和$\hat{\boldsymbol{v}}_i$分别表示估计模型和$\mathcal{V}$上的顶点i。我们针对不同分辨率的估计网格，采用式10中定义的相同三个损失结合不同网格拓扑，构建了3D坐标损失$\mathbf{L}_{coord}^{\prime}(k)$。通过优化总微调目标$\mathbf{L}^{\prime} = \sum_{l=1}^{fn} (\mathbf{L}_{mesh}^{\prime} + \lambda \sum_{k=1}^{K} \mathbf{L}_{coord}^{\prime}(k))$，估计得到的3D模型可以配准到输入点云上。
### 4. 实验
在本节中，我们首先详细说明我们的实现细节，然后通过与现有最优方法对比评估我们的方法。最后，我们对所提方法进行消融分析，并在真实数据上完成测试。
#### 4.1. 实现细节
数据集。我们在SURREAL [^37]、Human3.6M [^17]、DFAUST [^7]和真实数据上开展实验。SURREAL的训练集包含55001段3D人体模型片段，每段片段大多为100帧长度。我们均匀采样10000段片段，分别为男性和女性生成20万个长度为5帧的子序列作为训练数据。DFAUST数据集[^7]包含超过4万个已配准的真实裸人体扫描数据，这些数据包含超出SMPL模型范围的形状和运动。由于DFAUST数据集提供了对应的SMPL模型，我们分别为男性和女性生成5万个子序列作为训练数据。我们从不同视角将3D模型渲染为深度图，并使渲染图像的分辨率与真实数据几乎一致，以模拟真实深度。渲染得到的深度最终被转换为点云用于训练。对于SURREAL、Human3.6M和DFAUST，我们分别为男性和女性均匀采样100个长度约为100帧的序列作为测试数据。注意，测试数据不包含训练数据中出现过的任何相同受试者。我们使用Kinect V2传感器采集了一个小型真实数据集，其中包含不同受试者在各类运动下的超过8100帧数据。我们的网络使用来自SURREAL、DFAUST和真实采集数据的样本，通过式10进行微调。
架构与实验设置。在我们的实验中，深度图像的原始点云被均匀下采样至$L = 2,500$个点。我们使用原始PointNet++ [^31]来提取点云的局部特征。提取得到的$1,024$维特征向量先通过全连接层变换为$(27 \times 256)$维向量，之后重塑为拥有$27$维特征向量的$256$个顶点。我们的时空MAC网络包含四种不同的网格分辨率，上采样因子为$\{4, 4, 2, 2\}$，最终输出$3D$个顶点的$1, 723$坐标。不同分辨率下的特征通道分别为$\{256, 128, 64, 32\}$。我们将$mlp\{256, 256, 3\}$用于顶点坐标回归器。对于空间注意力机制和时间注意力机制，我们首先通过
---
mlp{16,16}学习注意力权重，随后通过一个后续MLP层将其映射为与输入特征尺寸相同的权重。除了用于回归3D坐标的最后一层网格卷积外，每一层网格卷积后都接一个ReLu激活层。学习率设置为$1 \times 10^{-4}$。每个训练样本的长度为5帧。我们曾尝试使用帧长度更大的训练样本，但训练耗时会大幅增加。使用5帧长度时，我们的方法可以获得良好的重建精度。我们使用Adam优化器[^20]，批量大小设置为8。我们通过经验设置了$\lambda = 1$、$\beta = 60$和$\gamma = 100$。在NVIDIA 2080 Ti GPU上，一个测试样本的平均运行时间约为24.7ms。
误差指标。所有对比方法均通过定量实验和定性实验开展评估。我们使用平均顶点平均误差（Mean Average Vertex Error, MAVE）量化重建误差，该指标以毫米（mm）为单位，计算范围覆盖所有重建3D模型的全部顶点：
$$ \epsilon=\frac{1}{N_{f}}\sum_{k=1}^{N_{f}}\frac{1}{N}\sum_{i=1}^{N}\sqrt{\|(v_{i}-\hat{v}_{i})\|_{2}^{2}}, $$
式中，$N_{f}$为测试样本数量，$v_{i}$为重建3D模型上的第i个顶点，$\hat{v}_{i}$是真值模型上对应$v_{i}$的顶点，N为顶点总数。
#### 4.2. 与现有最优方法的对比
我们首先将本文提出的三维人体模型估计方法与三种基于深度图像的模型拟合方法进行对比。纯模型拟合方法[^25]利用搜索得到的模板与输入深度之间的点对应关系，将SMPL模板变形适配到深度数据。Bogo等人[^6]先检测二维人体关节，再将SMPL模板拟合到检测得到的关节。Wei等人[^38]通过匹配人体深度图像的已学习特征描述符建立点对应关系，随后通过将SMPL模板拟合到[^38]得到的点对应关系生成三维模型。我们利用搜索得到的点对应关系，将[^6]和[^38]的估计模型进一步变形适配到输入深度。不同方法的重建误差如表1所示，不同方法在DFAUST数据集上的对比结果如图3所示。深度序列的对比结果请参考补充视频。纯模型拟合方法由于模板与输入深度之间存在较大差异，因此恢复误差更高。[^6]和[^38]的性能分别高度依赖于检测关节和学习得到的点对应关系的估计精度，不准确的关节和点对应关系会导致这些方法产生较大的重建误差。相比之下，我们的方法直接从点云预测三维人体模型，无需构建点对应关系，因此获得了高得多的恢复精度。
由于目前尚无针对三维人体模型的深度学习方法
| Methods | SURREAL | Human3.6M | DFAUST |
| Pure model fitting [^25] | 140.6 | 148.3 | 110.1 |
| Bogo et al. [^6] | 56.1 | 60.5 | 57.5 |
| Wei et al. [^38] | 58.6 | 64.1 | 62.2 |
| Kanazawa et al. [^18] | 54.3 | 59.8 | 58.1 |
| Kanazawa et al. [^19] | 52.7 | 57.3 | 56.1 |
| Kolotouros et al. [^21] | 49.5 | 54.3 | 52.2 |
| Our method (Non parametric) | 18.2 | 21.4 | 19.7 |
| Our method (Parametric) | 19.4 | 22.8 | 20.3 |
Table 1. Reconstruction errors (mm) with different methods tested on sequences from the three public datasets.
(a)
Figure 3. The visualization of reconstruction accuracies using different methods on the DFAUST data. (a) The input scan. (b) The fitted parametric result of our method. (c) The predicted nonparametric result of our method. (d) Kolotouros et al. [^21]. (e) Kanazawa et al. [^19]. (f) Kanazawa et al. [^18]. (g) Wei et al. [^38]. (h) Bogo et al. [^6]. (i) The result of pure model fitting.
从深度图像进行估计的相关研究，我们对基于RGB的网络进行扩展，通过添加如式11定义的三维对应损失来开展对比实验。我们在深度图像上训练回归网络[^18]，并将其与本文方法进行对比。我们还将本文方法与最新方法[^21]对比，该方法在深度图像上提取特征，并通过Graph CNN回归三维网格。Kanazawa等人[^19]提出了一种从视频中恢复SMPL模型的时序编码器方法。我们将该方法应用于深度图像，将[^19]的时序编码器与本文方法进行对比。如表1和图3所示，对比结果表明，在从深度图像序列恢复连续三维人体模型的任务中，本文方法性能优于现有主流方法。与[^18]和[^19]估计SMPL参数的方式不同，本文方法采用时空MAC网络，以由粗到细的方式预测网格顶点的三维坐标，因此对点云的拟合精度更高。在[^21]的Graph CNN中，顶点的空间邻域通过邻域平均操作进行卷积。与[^21]不同，本文的空间MAC方法基于特征向量和空间位置的差异学习每个顶点的邻接关系，能够从邻接顶点中捕获更具区分性的特征。与[^19]时序编码器的对比结果表明，本文的时空MAC网络能够成功利用连续帧中网格顶点的空间和时序特征。特别地，通过将SMPL模型[^25]拟合到本文回归得到的网格顶点，估计得到的参数化模型的精度与我们回归得到的三维网格精度相近
---
，证明该方法能够从非参数化预测中准确恢复参数化SMPL模型。
#### 4.3 消融分析
空间网格注意力卷积。我们首先通过对比有无SMAC的方法，验证本文提出的空间网格注意力卷积（SMAC）的有效性。对于不使用SMAC的方法，我们在特征映射后不会利用学习到的注意力权重对邻域顶点特征进行线性组合。此外，我们还开展了对比测试：将SMAC中的注意力模型替换为简单邻域平均法[^21]。不同方法的重建误差见表2。加入SMAC的方法误差远低于其他方法，证明了本文提出的SMAC的有效性。与简单平均法相比，本文的SMAC能够在由粗到细的回归框架中，通过为邻域顶点动态分配权重，更好地捕捉局部几何结构。
时间网格注意力卷积。我们同样通过对比有无TMAC的方法，验证本文提出的时间网格注意力卷积（TMAC）的有效性。表2的对比结果表明，加入TMAC的方法能够引导网络利用具有判别性的时间特征，提升网格顶点的估计精度。此外，利用连续帧数据可以缓解形状的不确定性与模糊性。从图4的示例可以看出，不使用TMAC时，被遮挡的手部无法得到准确重建。相比之下，加入TMAC的本文方法通过利用从连续视角观测到的手部特征，能够以更高精度可靠估计三维手部形状。
Frame 1
(a)
Another view
(b)
Another view
(c)
Figure 4. Reconstruction accuracies with and without temporal mesh attention convolution (TMAC). (a) The three input depths from consecutive five frames. (b, c) The results of frame 1 with and without TMAC shown from two views, respectively. By exploiting the hand features from the neighboring frames through TMAC, our method can recover 3D shape of the occluded hand more accurately (surrounded in rectangle).
时空网格注意力卷积。我们进一步将本文的时空MAC与一种估计SMPL模型的三维回归方法[^18]进行对比评估。在该三维回归方法中，我们使用PointNet++ [^31]从点云中提取特征，并将二维关节损失
| Methods | SURREAL | Human3.6M | DFAUST |
| our method | 18.2 | 21.4 | 19.7 |
| Without SMAC | 45.3 | 49.1 | 47.6 |
| Simply averaging SMAC | 25.7 | 26.5 | 25.9 |
| Without TMAC | 21.2 | 22.9 | 22.2 |
| 3D regression | 65.8 | 68.4 | 65.3 |
Table 2. Reconstruction errors (mm) of our method, our method without spatial mesh attention convolution (SMAC), our method with simply averaging SMAC, our method without temporal mesh attention convolution (TMAC), and the 3D regression method.
| Point Number | SURREAL | Human3.6M | DFAUST |
| 2,500 | 18.2 | 21.4 | 19.7 |
| 5,000 | 18.0 | 20.8 | 19.3 |
| 7,500 | 17.9 | 20.7 | 19.1 |
表3 本文方法在不同采样点数量下的重建误差（单位：mm）。
在[^18]中结合3D对应损失。如表2所示，采用3D回归方法得到的恢复精度低于本文方法，这表明很难从点云中准确估计SMPL模型参数。相比之下，我们的方法通过时空MAC利用网格拓扑结构，能够由粗到精地准确估计网格顶点的3D坐标。
(a)
(b)
(c)
Figure 5. An example of weakly-supervised fine-tuning on “Girl 2” data. (a) The input depth. (b, c) The results before and after weakly-supervised fine-tuning, respectively. The overlay with alignment is shown between the 3D model and the raw depth.
真实数据的弱监督微调。为验证本文在真实精细化数据上进行弱监督微调的有效性，我们对比了弱监督微调前后的估计结果。图5展示了一个示例。由于训练数据中缺少真实精细化样本，微调前预测的三维模型无法很好地拟合输入数据。尽管预测三维模型的重建误差相对较大，但它们大致与输入点云对齐。在初始预测三维模型的监督下，本文的微调网络能够生成更准确的三维模型，其形状和姿态与输入真实数据保持一致。
采样点数量的影响。我们还探究了采样点数量$L$对重建精度的影响，分别测试了采样点数量为2、500、5000和7500的情况。表3给出了不同采样点数量下的重建误差。我们观察到，随着采样点数量增加，重建精度仅略有提升。
---
Figure 6. Some recovered 3D models using our method on real data. For each result, we show the extracted raw depth scan, the predicted non-parametric mesh and the fitted parametric model. From top to bottom: “Kungfu” data from [^11], “Boy” data, “Girl” data from [^11], and “Girl 2” data. Note that we show the raw depth scan instead of sampled points here for better visualization. Please see the supplementary video for reconstruction results of the entire sequences.
点数量越多，训练过程耗时也越长。为了在估计精度和运行效率之间取得平衡，我们在实验中选择L = 2,500。本实验验证了我们的方法对少量采样点具有鲁棒性，因为使用L = 2,500个点就能获得良好的精度。
#### 4.4 真实数据测试
我们在由Kinect V2传感器捕获的、包含多种形状和姿态的穿衣人体真实数据上测试了我们的方法。其中“Kungfu”数据和“Girl”数据来自[^11]，“Boy”数据和“Girl 2”数据由我们自行采集。图6展示了序列中的部分重建结果，完整序列的重建结果请参见补充视频。我们方法的输入是从原始点云中均匀采样得到的2500个点序列。我们每次生成连续五帧的三维人体模型。由于我们的方法直接从点云预测三维模型，无需建立点对应关系，因此在处理完整序列时不存在误差累积问题。尽管真实数据中存在严重的自遮挡和任意变形，我们的方法仍然能够鲁棒且准确地估计出与输入点云拟合良好的三维人体形状。通过本文提出的弱监督微调，我们的方法能够可靠地泛化到穿衣人体的真实点云数据上。我们的方法在极大姿态和长裙这类宽松衣物的场景中可能会失效。将我们的方法应用于更多真实细节数据后，我们可以生成大量与真实数据对齐的三维人体模型数据集，满足学术界对此类数据的需求。传统方法通常通过搜索连续深度帧上的点对应关系来跟踪人体运动，而我们的方法直接从点云重建连续三维模型，这是一种序列中人体运动跟踪的新方法。
### 5. 结论
本文针对点云序列的顺序三维人体姿态与形状估计问题开展研究。不同于估计参数模型的思路，我们提出了一种时空网格注意力卷积，能够以由粗到精的方式，根据点云的潜在特征准确预测不同分辨率下三维网格的顶点坐标。通过在空间域和时间域动态为邻域点分配注意力权重，所提出的时空网格注意力卷积可以同时利用单帧点云的空间结构特征和连续帧点云的时间结构特征，提高了顺序三维人体模型的恢复精度。此外，我们的方法通过弱监督微调方法，成功泛化到深度传感器捕获的真实细节数据上。在SURREAL、Human3.6M、DFAUST和真实细节数据上的实验结果验证了本文所提方法的有效性。
致谢 本工作得到国家自然科学基金（项目编号：61602444、61822310、U1713208）和长江学者奖励计划的部分支持，本工作同时得到商汤研究基金的资助。
---
## 参考文献
[^1]: Thiemo Alldieck, Marcus Magnor, Bharat Lal Bhatnagar, Christian Theobalt, and Gerard Pons-Moll. Learning to reconstruct people in clothing from a single RGB camera. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June 2019.
[^2]: Dragomir Anguelov, Praveen Srinivasan, Daphne Koller, Sebastian Thrun, Jim Rodgers, and James Davis. SCAPE: Shape completion and animation of people. ACM Transactions on Graphics, 24:408–416, July 2005.
[^3]: Anurag Arnab, Carl Doersch, and Andrew Zisserman. Exploiting temporal context for 3D human pose estimation in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June 2019.
[^4]: Shaojie Bai, J. Zico Kolter, and Vladlen Koltun. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling. arXiv:1803.01271, 2018.
[^5]: Federica Bogo, Michael J. Black, Matthew Loper, and Javier Romero. Detailed full-body reconstructions of moving people from monocular RGB-D sequences. In Proceedings of the IEEE International Conference on Computer Vision, 2015.
[^6]: Federica Bogo, Angjoo Kanazawa, Christoph Lassner, Peter Gehler, Javier Romero, and Michael J. Black. Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image. In European Conference on Computer Vision, pages 561–578, 2016.
[^7]: Federica Bogo, Javier Romero, Gerard Pons-Moll, and Michael J. Black. Dynamic FAUST: Registering human bodies in motion. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, July 2017.
[^8]: Mingsong Dou, Sameh Khamis, Yury Degtyarev, Philip Davidson, Sean Fanello, Adarsh Kowdle, Sergio Orts Escolano, Christoph Rhemann, David Kim, Jonathan Taylor, Pushmeet Kohli, Vladimir Tankovich, and Shahram Izadi. Fusion4D: Real-time performance capture of challenging scenes. In ACM SIGGRAPH, 2016.
[^9]: Mingsong Dou, Jonathan Taylor, Henry Fuchs, Andrew Fitzgibbon, and Shahram Izadi. 3D scanning deformable objects with a single RGBD sensor. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.
[^10]: Riza Alp Güler, Natalia Neverova, and Iasonas Kokkinos. DensePose: Dense human pose estimation in the wild. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7297–7306, 2018.
[^11]: Kaiwen Guo, Feng Xu, Yanggang Wang, Yebin Liu, and Qionghai Dai. Robust non-rigid motion tracking and surface reconstruction using L0 regularization. In Proceedings of the IEEE International Conference on Computer Vision, 2015.
[^12]: Kaiwen Guo, Feng Xu, Tao Yu, Xiaoyang Liu, Qionghai Dai, and Yebin Liu. Real-time geometry, albedo and motion reconstruction using a single rgbd camera. ACM Transactions on Graphics, 2017.
[^13]: Marc Habermann, Weipeng Xu, Michael Zollhoefer, Gerard Pons-Moll, and Christian Theobalt. LiveCap: Real-time
基于单目视频的人体性能捕捉。ACM Transactions on Graphics，2019。
[^14]: Mir Rayat Imtiaz Hossain and James J. Little. Exploiting temporal information for 3D human pose estimation. In European Conference on Computer Vision, 2018.
[^15]: Yinghao Huang, Federica Bogo, Christoph Lassner, Angjoo Kanazawa, Peter V. Gehler, Javier Romero, Ijaz Akhter, and Michael J. Black. Towards accurate marker-less human shape and pose estimation over time. In International Conference on 3D Vision (3DV), 2017.
[^16]: Matthias Innmann, Michael Zollhöfer, Matthias Nießner, Christian Theobalt, and Marc Stamminger. VolumeDeform: Real-time volumetric non-rigid reconstruction. In European Conference on Computer Vision, pages 362–379, 2016.
[^17]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7), July 2014.
[^18]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 7122–7131, 2018.
[^19]: Angjoo Kanazawa, Jason Y. Zhang, Panna Felsen, and Jitendra Malik. Learning 3D human dynamics from video. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019.
[^20]: Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference for Learning Representations, 2015.
[^21]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019.
[^22]: Christoph Lassner, Javier Romero, Martin Kiefel, Federica Bogo, Michael J. Black, and Peter V. Gehler. Unite the people: Closing the loop between 3D and 2D human representations. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 6050–6059, 2017.
[^23]: Chun-Liang Li, Tomas Simon, Jason Saragih, Barnabás Póczos, and Yaser Sheikh. LBS Autoencoder: Self-supervised fitting of articulated meshes to point clouds. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019.
[^24]: Mude Lin, Liang Lin, Xiaodan Liang, Keze Wang, and Hui Chen. Recurrent 3D pose sequence machines. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.
[^25]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: A skinned multi-person linear model. ACM Transactions on Graphics, 34(6):248, 2015.
[^26]: Richard Newcombe, Dieter Fox, and Steve Seitz. Dynamic Fusion: Reconstruction and tracking of non-rigid scenes in real-time. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.
## [^27]: Georgios Pavlakos, Luyang Zhu, Xiaowei Zhou, and Kostas Daniilidis. Learning to estimate 3D human pose and shape
---
基于单张彩色图像。发表于IEEE计算机视觉与模式识别会议论文集，第459–468页，2018年。
[^28]: Veličković Petar, Guillem Cucurull, Casanova Arantxa, Romero Adriana, Liò Pietro, and Bengio Yoshua. Graph attention networks. International Conference on Learning Representations, 2018.
[^29]: Gerard Pons-Moll, Sergi Pujades, Sonny Hu, and Michael J. Black. ClothCap: Seamless 4D clothing capture and retargeting. ACM Transactions on Graphics, 36(4), July 2017.
[^30]: Gerard Pons-Moll, Jonathan Taylor, Jamie Shotton, Aaron Hertzmann, and Andrew Fitzgibbon. Metric regression forests for correspondence estimation. International Journal of Computer Vision, 113:163–175, July 2015.
[^31]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J. Guibas. PointNet++: Deep hierarchical feature learning on point sets in a metric space. In Advances in Neural Information Processing Systems, pages 5099–5108, 2017.
[^32]: Anurag Ranjan, Timo Bolkart, Soubhik Sanyal, and Michael J. Black. Generating 3D faces using convolutional mesh autoencoders. In European Conference on Computer Vision, pages 725–741, 2018.
[^33]: Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo Morishima, Angjoo Kanazawa, and Hao Li. PIFu: Pixel-aligned implicit function for high-resolution clothed human digitization. Proceedings of the IEEE International Conference on Computer Vision, 2019.
[^34]: Olga Sorkine, Daniel Cohen-Or, Yaron Lipman, Marc Alexa, Christian Rössl, and Hans-Peter Seidel. Laplacian surface editing. In Proceedings of the EUROGRAPHICS/ACM SIGGRAPH Symposium on Geometry Processing, pages 179–188, 2004.
[^35]: Hsiao-Yu Tung, Hsiao-Wei Tung, Ersin Yumer, and Katerina Fragkiadaki. Self-supervised learning of motion capture. In Advances in Neural Information Processing Systems, pages 5236–5246, 2017.
[^36]: Gül Varol, Duygu Ceylan, Bryan Russell, Jimei Yang, Ersin Yumer, Ivan Laptev, and Cordelia Schmid. BodyNet: Volumetric inference of 3D human body shapes. In European Conference on Computer Vision, 2018.
[^37]: Gul Varol, Javier Romero, Xavier Martin, Naureen Mahmood, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning from synthetic humans. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 109–117, 2017.
[^38]: Lingyu Wei, Qixing Huang, Duygu Ceylan, Etienne Vouga, and Hao Li. Dense human body correspondences using convolutional networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016.
[^39]: Genzhi Ye, Yebin Liu, Nils Hasler, Xiangyang Ji, Qionghai Dai, and Christian Theobalt. Performance capture of interacting characters with handheld kinects. In European Conference on Computer Vision, pages 828–841, October 2012.
[^40]: Mao Ye and Ruig real-time simultaneous pose and shape 1jects using a single denference on
[^41]: Tao Yu, Kaiwen Guo, Feng Xu, Yuan Dong, Zhaoqi Su, Jianhui Zhao, Jianguo Li, Qionghai Dai, and Yebin Liu. Body-Fusion: Real-time capture of human motion and surface geometry using a single depth camera. In Proceedings of the IEEE International Conference on Computer Vision, October 2017.
[^42]: Tao Yu, Zerong Zheng, Kaiwen Guo, Jianhui Zhao, Qionghai Dai, Hao Li, Gerard Pons-Moll, and Yebin Liu. DoubleFusion: Real-time capture of human performances with inner body shapes from a single depth sensor. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June 2018.
[^43]: Andrei Zanfir, Elisabeta Marinoiu, and Cristian Sminchisescu. Monocular 3D pose and shape estimation of multiple people in natural scenes. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018.
[^44]: Chao Zhang, Sergi Pujades, Michael Black, and Gerard Pons-Moll. Detailed, accurate, human shape estimation from clothed 3D scan sequences. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.
[^45]: Jason Y. Zhang, Panna Felsen, Angjoo Kanazawa, Panna Felsen, and Jitendra Malik. Predicting 3D human dynamics from video. In Proceedings of the IEEE International Conference on Computer Vision, 2019.
[^46]: Xiuming Zhang, Tali Dekel, Tianfan Xue, Andrew Owens, Qiurui He, Jiajun Wu, Stefanie Mueller, and William T. Freeman. MoSculp: Interactive visualization of shape and time. arXiv:1809.05491, 2018.
[^47]: Zerong Zheng, Tao Yu, Hao Li, Kaiwen Guo, Qionghai Dai, Lu Fang, and Yebin Liu. HybridFusion: Real-time performance capture using a single depth sensor and sparse imus. In European Conference on Computer Vision, pages 384–400, 2018.
[^48]: Zerong Zheng, Tao Yu, Yixuan Wei, Qionghai Dai, and Yebin Liu. DeepHuman: 3D human reconstruction from a single image. In Proceedings of the IEEE International Conference on Computer Vision, 2019.
[^49]: Hao Zhu, Xinxin Zuo, Sen Wang, Xun Cao, and Ruigang Yang. Detailed human shape estimation from a single image by hierarchical mesh deformation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019.