# 基于自动配准人脸曲面的三维形状人脸识别
M.O.伊尔凡奥卢，B.格克贝尔克，L.阿卡伦
计算机工程系
海峡大学
{irfanogl, gokberk, akarun}@boun.edu.tr
## 摘要
本文研究三维人脸形状信息在人类人脸识别中的应用，提出了一种将人脸表示为三维配准点云的新方法。人脸曲面的精细配准流程为：首先自动定位重要人脸特征点，随后借助三维人脸模板辅助的薄板样条算法建立人脸曲面点之间的稠密对应关系。完成人脸曲面配准后，两个人脸之间的相似度被定义为人脸曲面间体积差的离散近似。在三维RMA数据集上开展的实验表明，本文提出的算法性能与点签名法相当，统计性能优于基于点分布模型的方法和二维深度成像技术；在计算复杂度方面，该算法快于点签名法。
### 1. 引言
二维强度图像的自动人脸识别已经在计算机视觉领域得到了广泛研究。光照条件、姿态变化和不同面部表情带来的人脸变异使得该识别问题极具挑战性。近年来，随着三维采集系统和计算机计算能力的共同进步，研究三维人脸信息在人脸识别中的优势已经具备重要价值。
基于三维的人脸识别的大多数早期尝试，都是通过将可变形三维模型拟合到二维图像上来解决身份识别任务 [^1] [^2]。例如，在 [^1] 中，研究者通过拟合统计可变形三维人脸模型，从单张人脸图像中估计出人脸的三维形状和纹理，随后使用三维形状和纹理的模型参数来表示和识别人脸。类似地，在 [^2] 中，研究者从输入的二维人脸图像生成三维头部模型，得到三维头部模型后，可以在不同姿态和光照条件下渲染得到二维人脸图像，他们基于分形的识别算法使用渲染出的正视图人脸图像。
多项研究将人脸识别问题视为自由曲面的三维形状识别问题。在 [^3] 中，研究者采用扩展高斯图像（Extended Gaussian Image, EGI）表示法，利用主曲率及其方向对人脸进行编码，通过对人脸的EGI进行费舍尔球面相关完成识别。该方法不需要在识别前预先进行人脸特征提取和表面分割。在另一项研究中，作为自由曲面表示技术提出的点签名法已被应用于三维人脸识别 [^4]。
人脸轮廓也被认为是用于身份识别的重要三维特征。在 [^5] 中，中心轮廓和侧面轮廓都被用于三维人脸认证。从人脸中提取轮廓后，沿着轮廓曲线提取的曲率值会被用于两个人脸的比对。
已有多项研究对2D强度信息和3D形状信息进行了比较与融合。在[^6]中，研究表明，将基于2D Gabor小波的图像强度特征与基于点签名的3D形状特征相结合，性能优于单独使用任意一种模态。基于立体的系统[^7]同样采用了人脸纹理与形状信息融合的方案。该方法使用3D图像网格表示人脸，网格包含人脸特征的位置、视差，以及由Gabor核生成的纹理信息。在识别阶段，每个模型网格都会被投影到测试图像对上，随后根据Gabor核的输出选择相似度最高的模型网格。
本文提出了点集距离（Point Set Distance, PSD）技术，该技术使用配准后的3D点集进行人脸表示。我们提出了一种可自动配准人脸曲面的新技术，不同人脸之间的相似度通过配准后3D点集的欧几里得范数计算得到。
在下一节中，我们将详细介绍所提出的方法。在2.2节，我们将简要介绍我们的3D
---
配准流程，该流程是PSD技术至关重要的预处理步骤。我们在第3节展示了实验结果，并将本文结果与多种当前最优的3D人脸识别技术进行了对比。
### 2. 所提算法
#### 2.1. 稠密对应算法
通过立体视觉获取的典型人脸数据集中，一个核心问题是不同人脸数据包含的面部区域并不一致。再加上姿态和表情存在变化，研究人员无法直接为每个人脸建立点对点对应关系。在[^8]中，解决该类问题的方案是先进行人工标记点标注，再使用TPS翘曲算法。该研究的目标是在所有人脸的点之间建立密集对应关系，从而提取点分布模型的特征向量，学习训练集中存在的形状变化规律。具体实现是对训练集中每个人脸的若干关键点位进行标记，进而得到密集对应关系。测试数据的处理则基于迭代最近点（ICP）算法，以迭代方式提取变换参数和形状参数[^9]。而在我们的研究中，我们希望能够自动定位这些标记点，从而得到与测试数据的密集点对点匹配。
我们算法的初始步骤与[^8]中的完全一致，但后续阶段有所不同：我们无需对训练集中的所有人脸进行人工标记，只需要构建一个包含所有人脸共有点位的基础网格即可。获取基础网格的算法可总结如下：
1. 选择点数最少的人脸作为基础。
2. 人工标记10个基准点（参见图1a）。
3. 使用Procrustes方法计算平均标记点[^10]。
4. 使用薄板样条（Thin Plate Spline）翘曲将已标记人脸对齐到平均标记点[^11]。
5. 如果某个基网格顶点到任意变形面最近点的距离大于阈值，则删除该顶点。
构建好该基网格后，我们即可建立它与训练集和测试集数据之间的点对应关系。我们通过对待处理数据进行自动标记点定位（共10个点，如图1a所示）实现这一步，随后应用上述步骤4，并根据数据点到基网格顶点的最近点重构数据，具体参见[^8]。
这些标记点的自动定位是我们分析的核心关键。设$L_i$定义10个标记点的$i^{th}$初始猜测，$L_i$的计算步骤如下：
(a)
(b)
Figure 1. (a) Salient facial landmark positions (b) TPS warped and registered facial surfaces
1. 计算测试人脸所有点的表面法向量、平均曲率和高斯曲率。
2. 使用ICP将测试人脸与基网格进行匹配。
3. 通过计算基准人脸标记点到测试人脸的最近点，得到$L_{1}$。
4. 找到人脸在投影平面上的最近点，该投影平面同样通过ICP变换计算得到，这个点就是鼻尖。
5. 根据基准人脸的对称平面和ICP变换计算得到对称平面。
6. 利用曲率、表面法向量信息以及对称平面$(L_{2})$对鼻尖的位置进行微调。
7. 根据表面法向量、对称平面和曲率信息对鼻上部、鼻下部和下巴的位置进行微调（$L_{3}$）。
8. 按照步骤5的方法计算眼部平面和嘴部平面。
9. 使用对应平面对眼角和嘴角执行微调操作$(L_{4})$。
本文提出的自动特征点定位算法能够获得足够优异的密集特征点标记结果。完成这些稀疏点的自动标记后，按照[^8]中的方法，结合TPS和最近点匹配建立点对点密集匹配。图1b以两个配准完成的人脸表面的形式展示了该算法的结果。
#### 2.2. 点集距离方法（PSD）
假设我们有一个包含n个点的基人脸网格$\Phi_{base}$。建立密集对应关系后，当我们得到$i^{th}$个体的三维人脸$\Phi_i = \{p_1^i, p_2^i, \ldots p_{N_i}^i\}$，其中$N_i$是该人脸的点数量，$p^i$为
---
3D坐标，我们通过本文的自动特征点标记流程为$i^{th}$个体生成了一个包含n个点的新三维点云。令$\Phi_{i}^{n}$表示这个新三维人脸。由于所有人脸都与平均三维人脸具有相同的对应关系，因此我们可以将两个人脸$\Phi_{i}$和$\Phi_{j}$之间的距离定义为：
$$ D(\Phi_{i}^{n},\Phi_{j}^{n})=\sum_{k=1}^{n}||p_{k}^{i}-p_{k}^{j}|| $$
式中||.表示欧几里得范数。测试图像的身份通过选取距离最小的训练图像得到。
### 3. 实验结果
我们在实验中使用了3D RMA数据集$^{1}$ [^5]。具体而言，实验采用了第一组无噪声人脸数据，该数据集包含30名受试者，每人有3张人脸样本。该数据通过立体视觉辅助结构光系统采集得到。平均每张人脸包含4000个三维点，这些点覆盖人脸的不同区域，且整个数据集存在表情和旋转变化。对于除隐式多项式之外的所有特征，我们先对点云进行德劳内三角剖分，再应用拉普拉斯三维平滑滤波器，以得到连续曲面。所有实验均采用基于欧氏距离的1近邻算法作为分类器。为了对各算法进行统计比较，我们设计了三组实验。会话ID表示被放入测试集的受试者对应的样本序号，剩余两张图像放入训练集。
我们将展示PSD技术的识别实验结果。此外，为了比较所提方法的性能，我们实现了点签名法、点分布模型、基于隐式多项式的技术，以及基于二维深度图像的PCA技术。
PSD技术的识别结果如表1的第二行和第三行所示，分别对应自动标记和人工标记两种情况。请注意，尽管我们本不需要对所有人脸进行人工标记，但我们这样做是为了评估我们自动标记算法的正确性。结果表明，在该数据集上，自动标记的性能与全手动标记相当。
点分布模型（Point Distribution Models，PDM）基于人工标注的标记点，利用主成分分析（principle component analysis，PCA）学习数据的形状变异性[^12]。PDM用少量参数表示形状，这些参数可作为分类系统中的特征。在建立人脸间的密集对应关系后，99.8%的形状变异
Table 1. Comparative analysis of recognition performances on three different experimental sessions. Second column denotes feature dimensionalities
| Method | Comp. | S1 | S2 | S3 |
| PSD (Automatic L.) | $N_{{p}}$ | 96.66 | 96.66 | 96.66 |
| PSD (Manual L.) | $N_{{p}}$ | 90.00 | 96.66 | 96.66 |
| PDM | 40 | 76.66 | 83.33 | 86.66 |
| Point Signature | $N_{{p}} \times 35$ | 100.00 | 96.67 | 96.67 |
| IP coeffs. (d=6) | 84 | 46.67 | 46.67 | 63.33 |
| IP invariants (d=4) | 11 | 13.33 | 16.66 | 23.33 |
| PCA | 60 | 76.67 | 70.00 | 80.00 |
可由约40个形状参数解释，将这些参数用作特征时得到的识别结果如表1第三行所示。
点签名（Point signature，PS）技术是一种常用的基于局部特征的表面表示方法，已应用于三维人脸识别问题[^4]。PS对表面点p进行编码，编码依据是p预定义范围内的邻点到过p的切平面P的最小距离。点p的邻点通过原曲面与球体相交得到。切平面P通过对邻点拟合平面后，再将其平移到原点p得到。带符号距离按$\Delta\theta$度的间隔采样，由此形成一维参数曲线$d(\theta)$。在识别阶段，将测试图像中提取的每个点签名与模型图像的每个点签名进行比对，再根据所有单个点签名距离的总和计算模型与场景图像之间的总相似度。在我们的实验中，我们计算了人脸数据中所有顶点的点签名。对于平均图像分辨率的三维点云$R_a$，我们将球体半径r设为$5 \times R_a$，经验表明该取值是最合适的局部形状描述参数。表1的第五行给出了PS技术的识别准确率。
隐式多项式（IPs）是强大的形状描述符，适用于2D和3D计算机视觉及图像分析中的形状描述 [^13]。其强大之处在于能够表达所有可能的形状、具有不变性以及插值能力。然而，它们在分类问题中的应用主要依赖于所采用的多项式拟合方法的稳健性和稳定性，以及提取的不变量是否正确。在我们的3D人脸识别分析中，使用3L方法将IPs拟合到每张人脸的点云数据上 [^14]。基于提取的系数，利用符号计算计算多项式的不变量。我们同时使用了系数和若干不变量，具体而言，使用 $6^{th}$ 次IP系数和11个不
---
变量作为特征，这些不变量来自一个 $4^{th}$ 次IP。IP系数和不变量的识别准确率分别显示在表1的第六行和第七行。在我们的实验中，我们发现低次IP（d=2,3）不足以捕捉形状变化，而高次IP（d≥8）则学习了数据中存在的噪声。
范围图像的PCA广泛用于3D物体识别系统。作为最后一个对比算法，我们使用z坐标作为亮度值提取了3D人脸的2D深度图像。由于原始人脸是3D点云，像素值通过对人脸表面进行均匀采样计算得到。PCA技术的识别性能显示在表1的最后一行。
为了对比各算法，我们开展了置信水平为95%的t检验分析，结果可总结如下：PSD方法和PS方法取得了最优的识别性能，二者在统计上无显著差异。在所有算法中，隐式多项式算法的表现最差。算法的计算复杂度主要取决于提取特征的维度。表1的第二列列出了每种方法的特征维度，其中$N_{p}$表示人脸数据中的3D点数量，在本文的数据中该值为2300。
### 4. 结论
本文提出了一种仅基于人脸形状信息的新型3D人脸识别系统。所提出的PSD算法首先在人脸之间建立稠密对应关系。对应关系查找算法分为两个步骤：第一步自动检测出多个显著人脸特征点，第二步利用这些特征点，通过TPS变形算法和基网格表面重建得到人脸表面点的稠密对应关系。最后通过计算配准后人脸表面之间体积的离散近似值完成识别。
为了对比本文算法的识别性能，我们实现了基于点签名的表示方法、点分布模型参数法、基于隐式多项式的技术，以及基于距离图像的2D PCA算法。三次实验的统计测试结果表明，本文提出的PSD方法和点签名法都取得了最优识别性能，而PSD方法的计算复杂度显著低于点签名法。
## 参考文献
[^1]: V. Blanz and T. Vetter. Face recognition based on fitting a 3d morphable model. IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(9):1063–1073, 2003.
[^2]: A. Z. Kouzani, F. He, and K. Sammut. Towards invariant face recognition. Information Sciences, 123(1-2):75–101, 2000.
[^3]: H. T. Tanaka, M. Ikeda, and H. Chiaki. Curvature-based face surface recognition using spherical correlation - principal directions for curved object recognition. In Proceedings of Int. Conf. on Automatic Face and Gesture Recognition, pages 372–377, 1998.
[^4]: C-S. Chua, F. Han, and Y-K. Ho. 3d human face recognition using point signature. In Proceedings of Int. Conf. on Automatic Face and Gesture Recognition, pages 233–237, 2000.
[^5]: C. Beumier and M. Acheroy. Automatic 3d face authentication. Image and Vision Computing, 18(4):315–321, 2000.
[^6]: Y. Wang, C-S. Chua, and Y-K. Ho. Facial feature detection and face recognition from 2d and 3d images. Pattern Recognition Letters, 23(10):1191–1202, 2002.
[^7]: A. Eriksson and D. Weber. Towards 3-dimensional face recognition. In Proceedings of the 5th IEEE AFRICON, pages 401–406, 1999.
[^8]: T. J. Hutton, B. F. Buxton, and P. Hammond. Automated registration of 3d faces using dense surface models. In Proceedings of the British Machine Vision Conference, pages 439–448, 2003.
[^9]: P. Besl and N. McKay. A method for registration of 3d shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 14:239–256, 1992.
[^10]: J. C. Gower. Generalized procrustes analysis. Psychometrika, 40:33–51, 1975.
[^11]: F. L. Bookstein. Shape and the information in medical images: A decade of the morphometric synthesis. Computer Vision and Image Understanding, 77(2):97–118, 1997.
[^12]: T. F. Cootes, C. J. Taylor, D. H. Cooper, and J. Graham. Active shape models - their training and application. Computer Vision, Graphics and Image Processing, 61(1):38–59, 1995.
[^13]: J. Subrahmonia, D. B. Cooper, and D. Keren. Practical reliable bayesian recognition of 2d and 3d objects using implicit polynomials and algebraic invariants. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18(5):505–519.
[^14]: Z. Lei, M. M. Blane, and D. B. Cooper. 31 fitting of higher degree implicit polynomials. In Proceedings of Third IEEE Workshop on Applications of Computer Vision, 1996.