# 基于微型激光雷达的高精度点云人体身份识别 山田翔太 情报科学技术研究生院 大阪大学 日本大阪 哈马达·里兹克 情报科学技术研究生院 大阪大学，日本大阪 坦塔大学，埃及坦塔 山口博纯 情报科学技术研究生院 大阪大学 日本大阪 摘要——为遏制新冠疫情的快速蔓延，如今对安全增强系统的需求正在不断增长。实时生活日志记录是追踪感染病例、从而控制疫情暴发的核心应用之一。该应用催生了对高精度人体身份识别技术的需求，这类场景中出于隐私考虑无法使用摄像头。近年来，LiDAR传感器因其能够以三维点云形式表征周边环境而受到关注。本文提出了一款搭载微型LiDAR的新型可穿戴设备，可为生活日志记录构建机载人体身份识别系统。该系统采集周边环境的三维点云数据，并从中提取可区分不同受试者的特征签名。我们通过时空密度聚类和费舍尔向量表示去除噪声和背景，完成该步骤。提取得到的特征随后用于训练随机森林分类器，实现受试者身份识别。我们在六名不同受试者身上对所提系统进行了实现与评估。结果表明，本文提出的系统可有效去除噪声与背景，准确识别受试者身份，准确率达99.9%。 关键词——基于点云的识别、LiDAR、人体身份识别、新冠疫情用户追踪 ## 一、引言 为了通过追踪感染病例、保持社交距离来遏制新冠疫情的快速蔓延，学术界和产业界都在研发结合人体身份识别技术与地理定位功能的新技术[^1]。这类技术还可通过生活日志工具提供有用信息，帮助我们了解病毒传播规律以及个人防疫行为，从而遏制感染扩散。此外，这类技术在幼儿园、学校、大学等封闭公共环境中的需求十分迫切。 尽管蓝牙等基于近距离感应的方案已经得到广泛应用，但这类方案高度依赖用户携带支持蓝牙功能的智能手机，而在教育机构中，并非所有人都随时携带符合要求的设备。作为替代方案，目前已有大量研究利用前沿技术，基于人脸[^2]、声音[^3]等生物特征信息实现人体身份识别。其中，计算机视觉技术被用于依托建筑基础设施摄像头的人脸识别。但由于固定摄像头覆盖范围有限，这类研究方向限制了目标系统的实用性。此外，基于声音的人体身份识别需要利用 ![Image](images/ec5a4133da4d8ad4b297940c3ba08069a02148d5ee47bf553c0df7bafae9b9b8.jpg)
Fig. 1. The typical situation of our system usage
用户智能手机自带的机载麦克风。然而，这种方式需要录制用户的语音来完成识别，过程中可能会涉及敏感隐私信息。毫无疑问，在所有环境（比如洗手间）中使用摄像头或麦克风都会引发各种隐私问题。 激光探测与测距（Light Detection and Ranging）可利用对人眼安全的激光器（1A级，近红外光谱）探测周边物体，并能以亚分米级误差确定目标物体的距离。该技术通常应用于商场、博物馆、政府建筑等大型室内环境的安全监控、公共场所人数统计、目标追踪、路径规划、市场营销等场景。LiDAR采集的是包含三维坐标点的三维点云数据，这类数据不包含任何个人信息。 本文提出了一种基于低成本可穿戴LiDAR的人体身份识别系统，如图1所示。我们推出了首款微型LiDAR设备，能够以保护隐私的点云表示方式扫描并呈现周边环境。利用该表示方式，我们可以在不泄露可见图像、语音等任何敏感信息的前提下，识别出接触传感器佩戴者的人员。具体而言，所提系统为所有待识别目标构建了特征签名库，这些签名通过计算高效的基于费舍尔向量的表示方法从每个用户的采集点云表示中提取得到，随后我们训练随机森林分类器完成目标用户识别。 尽管如此，所提系统仍需要应对多项挑战。首先，由于其无序性，提取有意义的上下文信息并非易事， --- 与可见光图像不同，点云还具有非结构化、尺寸不固定的特性。其次，本文提出的微型LiDAR在测距范围和噪声灵敏度方面的感知能力有限。最后，边缘设备的计算能力也存在限制。为了解决这些问题，我们设计了多个创新模块，包括对级联点云帧采用基于时空密度的聚类方法来检测和去除噪声。我们利用费舍尔向量方法提取固定大小的特征，该方法可充分利用其隐式对称函数的特性。随后提取的特征被用于训练计算高效的分类器，以实现人体身份识别的目标。 我们针对实验室中的6名不同受试者（学生和工作人员）对所提系统进行了评估。结果显示，所提系统的人体识别准确率可达99.9%。我们还验证了考虑多连续帧时噪声去除方法的有效性。这些结果表明，本文提出的系统可作为下一代人体识别技术。 本文其余部分结构安排如下：第二节进行文献综述，第三节概述所提系统，第四节介绍系统的具体细节，第五节描述数据采集过程和系统测试方法，最后第六节总结全文。 ### 二、相关工作 本节我们将讨论与所提系统最相关的研究。 ### A. 人体识别 目前已有诸多研究针对以人为中心的应用开展，例如跟踪 [^4] [^5] [^6] [^7] [^8] [^9] [^10] [^11] [^12] [^13] [^14] 或身份识别 [^2], [^3], [^15]。受疫情影响，基于不同技术方向的人体身份识别吸引了大量关注。例如，可通过人脸识别 [^2]、步态识别 [^15] 以及语音识别 [^3] 识别人类身份。人脸识别和语音识别在区分不同个体方面已展现出优异性能。然而，这些技术通常会引发隐私问题，阻碍了它们在实际中的广泛应用。 人脸识别系统最早以特征脸（Eigenface）[^16] 方法为开端，该方法通过特定分布假设获得低维特征表示。但这种方法无法处理偏离其先验假设的非受控面部变化。随后学界提出了基于学习的局部描述子 [^17], [^18]，但这类方法仍无法完全保证对面部变化的鲁棒性。在AlexNet [^19] 拿下当年ImageNet竞赛的最佳精度后，深度学习技术开始兴起并普及。2014年，DeepFace [^20] 在LFW基准数据集上取得了97.35%的准确率，十分接近人类97.53%的性能。此后，大量研究聚焦于深度学习方向，截至目前该方向已取得了当前最优性能，准确率最高可达99.80%。 基于步态的人类识别在计算机视觉等诸多领域受到了广泛关注。该方法通过提取运动过程中目标人体的特征完成识别。具体而言，[^21] 中的系统使用三维卷积神经网络从不同视角学习步态特征，同时基于时序图LSTM网络学习人体骨架与关节特征 [^22]。然而，该研究方向仍存在诸多挑战，包括步态模式的差异性以及拥挤环境下的识别难度等问题。 针对说话人语音识别，已有诸多技术 [^23], [^24] 依托深度学习的强大能力被提出。例如，[^23] 中的系统提出了d-vector的概念来提升说话人识别效果，该方法通过训练模型提取特征，再基于这些特征计算得到d-vector，从而实现说话人身份识别。在[^24] 中，研究者提出了一种编码器-判别器架构的方法来学习说话人嵌入，该方法证明模型能够高效学习说话人表示，且性能优于基线技术（i-vector和t-vector）。 相比之下，本文提出的系统基于三维点云，与基于视觉或声学的技术相比能够保护用户隐私，非常适合对隐私要求较高的诸多应用场景，例如商场的试衣间。 ### B. 基于点云的学习 近年来，基于激光雷达（即基于三维点云）的应用在自动驾驶、考古、农业等诸多领域愈发受到关注。在自动驾驶场景中，激光雷达用于检测行人和其他车辆等目标。汽车顶部会安装一个高质量、大探测范围的360度激光雷达，用于扫描周边环境信息，帮助系统更好地理解周遭环境。目标检测现有两种技术路线，即基于区域提议的方法和单阶段方法。基于区域提议的方法会先生成若干包含目标的区域，再为每个区域提取特征，以此确定目标所属的类别。这类方法可分为三类：基于多视图的方法、基于分割的方法和基于截锥体（Frustum）的方法。基于多视图的方法 [^25], [^26] 会对每个候选框来自不同视角图（如二维图像和鸟瞰图BEV）的特征进行融合。基于分割的方法 [^27] [^28] [^29] 使用语义分割技术，将点划分为前景点和背景点，随后移除背景点，仅为前景点生成高质量候选框，以此节省计算成本。 基于截锥体的方法 [^30] 使用二维目标检测器生成目标的二维候选区域，再为每个二维候选区域生成一个三维截锥体候选框。该方法能够高效生成目标可能位置的候选框。单阶段方法使用单阶段网络，直接预测每个类别的概率并生成目标的三维边界框。由于不需要单独的区域提议阶段，这类方法的处理速度高于基于区域提议的方法。单阶段方法根据输入数据的类型可分为三类：基于BEV的方法、基于离散化的方法和基于点的方法。基于BEV的方法 [^31] [^32] 将鸟瞰图（BEV）表征作为输入。 --- ![Image](images/5fa2f5a7c0a1f0dfb91c2d9511cfc6f2e0039039d5f54024faf6ed4f50aff45c.jpg)
Fig. 2. System flow over the different modules.
基于离散化的方法 [^33] [^34] 将点云转换为特定的固定离散表征，再通过卷积神经网络（CNN）预测目标类别和三维边界框。基于点的方法 [^35] 将原始点云作为输入。 基于深度学习的方法可分为间接方法和直接方法两类 [^36]。在间接方法中，点云会被转换为规则结构，例如多视图 [^37] 和体素网格 [^38]。而直接方法直接利用原始点云，例如PointNet [^39]，它直接将原始点云作为输入，完成分类和分割任务。本文工作解决了点云面临的常见挑战，即点云的置换不变性和变换不变性问题。上述所有方法计算密度都很高，需要大量计算资源，这阻碍了它们在边缘设备上的部署应用。 与这些现有技术不同，本文是首个面向激光雷达设备采集、用于人体识别的三维点云开展的研究。此外，所提出的系统在设计上就保证了计算效率，便于其作为边缘设备应用在可穿戴LiRAR上。 ### III. 系统概述 所提出的系统包含两个主要阶段：感知阶段和学习阶段。感知阶段涉及一款全新微型LiDAR的设计，我们将其命名为Hitonavi- $\mu$。该传感器设计为可由终端用户作为项链佩戴在颈部，能够输出周围环境的三维点云。这些点云扫描数据进入学习阶段进行后续处理。实际实验中，我们采集了不同受试者站立状态下的点云扫描数据。学习阶段的目标是为每个受试对象提取显著特征（特征签名），以辅助后续的受试者识别流程。因此，该阶段首先采集每个受试者的点云数据，从中提取构建特征签名数据库。随后，我们基于连续扫描数据，利用密度聚类构建了噪声与背景去除模块。该模块通过整合多次连续扫描提升点的密度，从而实现对形状、物体和噪声更好的识别。接下来，利用基于Fisher向量表示的特征提取模块，从去噪后的点云扫描中提取区分性特征。该阶段的输出是所有受试者的特征签名数据库。最后，我们训练了一个机器学习分类器，用于识别 ![Image](images/dffe027b293c2cd1481f96ce47f1bf23d1b980103682f69df66a86e1e75e6540.jpg)
Fig. 3. The micro size LiDAR used at the core of the proposed system.
![Image](images/8dac302ed561af84da02b74d91ae26149670abefb73c88d7b11846a57469689f.jpg)
Fig. 4. Sensor and compute module.
环境中给定扫描点云的Fisher向量表示下的周边用户。 ### 第四节 系统细节 本节介绍所提系统各模块的详细设计，包括感知与数据采集阶段以及学习阶段。图2展示了该系统的整体架构，包含所有不同模块。 ### A. 传感器阶段 本节描述所提出的传感器Hitonavi- $\mu$的特性。Hitonavi- $\mu$是一款自带电池的微型激光雷达（Light Detection and Ranging, LiDAR），集成了计算单元。一般而言，LiDAR是一种用于测量到周围物体表面距离的遥感手段。它通过测量激光脉冲从传感器出发到周围物体/表面再返回的飞行时间来估算距离，因此被广泛应用于诸多领域，包括自动驾驶汽车行业[^36]的障碍物检测，以及用于追踪人类和机器人的室内导航领域[^40]。目前所有这些应用都基于尺寸较大、感知能力强大的LiDAR，因此成本较高，阻碍了其作为隐私保护技术的大规模推广应用。为此，本文提出了一款微型LiDAR传感器$^{1}$（如图3所示），与消费级LiDAR设备相比，尺寸更小、重量更轻。它的宽、深、高分别为44、24和16。该设计的核心思路是方便将该传感器用作可穿戴设备，为下一代隐私保护视觉技术铺平道路。该LiDAR传感器连接到自带电池的树莓派4 Model B计算单元[^41]，用于运行本文算法。树莓派4 Model B是一款紧凑的单板 --- ![Image](images/2d73064af608464b1e44ffe2b68419a039c937ce3326b213dd4114452e98ea0c.jpg)
(a) Actual scene
![Image](images/f2520bd92ec4ca1ec1cb1e9679c165ff062460188a95d730fa0f3c12d855a58c.jpg)
(b) Point cloud as captured by the sensor
Fig. 5. Typical use case scenario.
计算机，可用于移动设备，其配置为主频1.5GHz的ARM Cortex-A72四核CPU以及4GB运行内存。由微型传感器和计算模块组成的Hitonavi- $\mu$如图4所示。该传感器的平均帧率为30 fps。 ### B. 数据采集 在此，我们采集不同对象的三维点云以构建特征数据库。具体流程为：使用传感器采集场景信息，再将获取到的点云通过Hitonavi- $\mu$自带的WiFi模块上传至我们的服务器。数据采集在对象静止交谈的状态下进行，可支持目标生活记录应用的运行。传感器佩戴在对象颈部、置于胸前，可采集最远3米范围内的周边物体与对象信息。图5展示了数据采集环境的搭建，图5(a)为传感器的典型使用场景，图5(b)呈现了对应采集得到的点云。从图中可以看出，点云数据能够很好地以三维点云形式对对象进行表示，点云中每个点仅包含x、y、z坐标信息，同时也能观察到头部周围因存在部分噪声点而产生畸变。 ### C. 学习阶段 学习阶段包含三个模块：噪声去除、特征提取和对象识别。 1) 噪声去除：该模块的目标是去除会误导模型、对识别质量产生负面影响的无关噪声与背景。为检测并去除噪声，我们采用了具有噪声的基于密度的空间聚类算法（DBSCAN）[^42]。DBSCAN的诸多优势促使我们将其用于噪声去除任务：首先，它不需要依赖领域知识（例如聚类数量）即可运行，因此相比K-Means这类传统聚类方法是更优的选择[^43]；此外，与其他聚类技术不同，DBSCAN可以生成任意形状、不同密度的聚类；最后，DBSCAN对异常值和噪声具有鲁棒性，能够高效检测出噪声[^44]，[^45]。 DBSCAN的核心思想基于以下假设：聚类是空间中的密集区域，例如 ![Image](images/e1a7c1894e92da11161f5a5dec81a6aa7bfff6f2503228f787be70529a4ed7fc.jpg)
1 frame
![Image](images/366a29ab6b464191757e33e7c3ad8ea1bf038f17e8dfb1d8e7f7898ea6a28d33.jpg)
3 frames
![Image](images/ea9e0aa017900b0a8810373dbde500b966a109998d0ac997cb29593a71d42933.jpg)
5 frames
Fig. 6. The effect of the Noise Removal module on the input point cloud frame. The Noise removal is applied on 1,3 and 5 integrated frames.
对象的手臂、胸部和头部，这些密集区域被低密度区域分隔开。因此DBSCAN可以通过分析点的局部密度来识别聚类。DBSCAN需要两个参数：$E_{ps}$ 和 $MinP_{ts}$。$E_{ps}$ 是为检测密度在每个点周围创建的圆的半径，$MinP_{ts}$ 是一个点被归类为核心点时，该圆内所需的最少点数。DBSCAN在每个点周围创建一个半径为 $E_{ps}$ 的圆，将所有点分为核心点、边界点和噪声三类：如果一个点周围的圆内至少包含 $MinP_{ts}$ 个点，则该点为核心点；如果圆内点数少于 $MinP_{ts}$，则归类为边界点；如果一个点在半径为 $E_{ps}$ 的范围内没有其他点，则被视为噪声。 通过考虑连续点云帧之间的时间效应，DBSCAN的效果得到了提升。具体做法是将n个连续帧中的点合并得到一个整合帧，再对该整合帧中的点应用DBSCAN进行聚类。该方法的原理是，点的整合会增大人体聚类与噪声聚类之间的密度差异，从而更便于噪声的检测与去除。 该模块的输出是若干代表身体不同部位点的聚类（我们将这些聚类合并为一类），以及若干被标注为噪声的点。这些噪声点会被去除，剩余点将输入下一模块进行后续处理。 2) 特征提取：本节中，我们提出了基于Fisher向量（FV）表示的特征提取技术。FV表示不依赖样本大小，因此天生适合用来表示点云数据。具体来说，我们采用FV表示为不同大小（如3D点云帧中的）的不同受试者数据构造可区分特征。此外，它能够隐式表示点的空间局部性。该特征被定义为3D点相对于生成模型（例如高斯混合模型（GMM））的偏差，可通过计算样本对数似然相对于模型参数（即权重、均值和协方差）的梯度得到。另外，FV保持固定大小的网格结构，因此十分适合作为任意分类器的输入。 3) 受试者识别：本节中，我们介绍如何基于提取得到的Fisher表示，构建能够精准区分不同受试者的分类模型。本研究采用随机森林分类器实现该任务。 --- ![Image](images/cb498daf13efa97a199feb68ee3f7f414b4a3a2a567b84152ce6a59c55cd75eb.jpg)
Fig. 7. The accuracy of the proposed system.
随机森林包含多棵决策树，每一棵树都会输出一个类别预测，得票最多的类别即为模型的最终预测结果。 选用随机森林分类器的原因在于，它可以训练大量相对不相关的模型（树），这些模型集成后的预测精度要高于单个模型。此外，随机森林是一种灵活易用的监督学习算法，即使不对超参数调优，大多数情况下也能得到很好的结果 [^46]。由于其简单性和通用性，它也是目前应用最广泛的算法之一。分类器的输入是特征提取模块输出的特征，当设置为200棵树、以熵作为分裂指标时，模型取得了最佳性能。模型训练完成后，输入提取得到的Fisher表示，即可识别出目标对象。 ### 五、实验评估 我们开展实验评估了所提系统的端到端性能。实验共有六名受试者参与，均为我们实验室的学生和工作人员。佩戴传感器与目标受试者之间的距离不固定，会随受试者自然对话时的偏好发生变化。针对每个目标受试者，我们在三分钟内采集其点云特征，之后将数据划分为80%训练集和20%测试集。 图6展示了去噪模块在三种场景下的性能：单帧、积分3帧和积分5帧。结果证实，积分的帧数越多，噪声检测效果越好。这是因为帧积分提高了受试者主点簇的密度，同时噪声仍保持低密度稀疏分布，提升了DBSCAN的噪声检测和聚类能力。 图7展示了改变积分帧数时六名受试者的分类准确率。可以看出，增加积分帧数可以提升整体受试者识别准确率，在积分连续五帧（对应1秒）时准确率最高可达99.9%。超过五帧后准确率会下降，原因是采集的帧可能包含目标受试者在场景中多个不同位置的点云，导致形状发生变化，很容易误导分类模型。 最后，我们在集成帧的各类场景下评估了受试者识别准确率。图8展示了六名受试者在每种集成帧场景下测试得到的混淆矩阵。混淆矩阵体现了集成更多帧带来的性能提升，以及基于五帧的聚类方法的优越性。实验结果也证实，即使在基于单帧聚类的场景下，所提系统依然可以有效识别不同受试者。这彰显了该系统作为下一代隐私保护生活日志系统的应用前景。 ### 六、结论 我们利用首款微型可穿戴LiDAR，提出了一种面向生活日志的基于点云的受试者识别系统。本文详细介绍了该系统的设计，以及其检测去除噪声、提取判别特征以实现不同受试者准确识别的能力。为实现该目标，所提系统结合了用于噪声去除的时空聚类方法，以及基于Fisher向量的学习表示。该表示进一步被用于训练随机森林分类器，以识别场景中的用户。我们实现了该系统并针对六名不同受试者开展评估，结果显示本文提出的系统可达到99.9%的受试者识别准确率。 未来，我们计划研究该系统在受试者数量更多、存在不同人际交互场景下的性能表现。 ## 致谢 本工作得到日本JST A-STEP项目资助，资助编号JPMJTR20RV。 ## 参考文献 [^1]: R. A. Kleinman and C. Merkel, “Digital contact tracing for covid-19,” CMAJ, vol. 192, no. 24, pp. E653–E656, 2020. [^2]: G. M. Zafaruddin and H. Fadewar, “Face recognition using eigenfaces,” in Computing, communication and signal processing. Springer, 2019, pp. 855–864. [^3]: S. S. Nidhyananthan, K. Muthugeetha, and V. Vallimayil, “Human recognition using voice print in labview [j],” International Journal of Applied Engineering Research, vol. 13, no. 10, pp. 8126–8130, 2018. [^4]: H. Rizk, H. Yamaguchi, T. Higashino, and M. Youssef, “A ubiquitous and accurate floor estimation system using deep representational learning,” in Proceedings of the 28th International Conference on Advances in Geographic Information Systems, 2020, pp. 540–549. [^5]: H. Rizk, M. Abbas, and M. Youssef, “Device-independent cellular-based indoor location tracking using deep learning,” Pervasive and Mobile Computing, p. 101420, 2021. [^6]: K. Alkiek, A. Othman, H. Rizk, and M. Youssef, “Deep learning-based floor prediction using cell network information,” in Proceedings of the 28th International Conference on Advances in Geographic Information Systems, 2020, pp. 663–664. [^7]: I. Fahmy, S. Ayman, H. Rizk, and M. Youssef, “Monofi: Efficient indoor localization based on single radio source and minimal fingerprinting,” in Proceedings of the 29th International Conference on Advances in Geographic Information Systems, 2021, pp. 674–675. [^8]: H. Rizk, “Solocell: Efficient indoor localization based on limited cell network information and minimal fingerprinting,” in Proceedings of the 27th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems, 2019, pp. 604–605. [^9]: H. Rizk, A. Shokry, and M. Youssef, “Effectiveness of data augmentation in cellular-based localization using deep learning,” in Proceedings of the International Conference on Wireless Communications and Networking Conference (WCNC). IEEE, 2019. ## [^10]: H. Rizk, “Device-invariant cellular-based indoor localization system using deep learning,” in The ACM MobiSys 2019 on Rising Stars Forum, ser. RisingStarsForum'19. ACM, 2019, pp. 19–23. --- ![Image](images/9ece84e30db04e99558e0d8a8f3b57790cbcb42d695d107b56ef013a51a40553.jpg)
(a) 1 Frame
![Image](images/bf7fcea4017c0c796b0959edf3fd8126225c2f112347a651b9efc2a1a28ece12.jpg)
(b) 3 Frames
Fig. 8. Accuracy of the proposed system.
![Image](images/8bd750a6016bd3b13e652ce62f87c1a8309e607bf7343bfcd277b8c71f5c8704.jpg) [^11]: H. Rizk and M. Youssef, “Monodcell: A ubiquitous and low-overhead deep learning-based indoor localization with limited cellular information,” in Proceedings of the 27th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems. ACM, 2019, pp. 109–118. [^12]: H. Rizk, T. Amano, H. Yamaguchi, and M. Youssef, “Smartwatch-based face-touch prediction using deep representational learning,” in Proceedings of the 18th EAI International Conference on Mobile and Ubiquitous Systems: Computing, Networking and Services, EAI. Springer, 2021. [^13]: H. Rizk, M. Abbas, and M. Youssef, “OmniCells: cross-device cellular-based indoor location tracking using deep neural networks,” in the International Conference on Pervasive Computing and Communications (PerCom). IEEE, 2020. [^15]: J.-H. Yoo, D. Hwang, K.-Y. Moon, and M. S. Nixon, “Automated human recognition by gait using neural network,” in 2008 First Workshops on Image Processing Theory, Tools and Applications, 2008, pp. 1–6. [^14]: H. Rizk, M. Torki, and M. Youssef, “CellinDeep: Robust and Accurate Cellular-based Indoor Localization via Deep Learning,” IEEE Sensors Journal, 2018. [^17]: Z. Cao, Q. Yin, X. Tang, and J. Sun, “Face recognition with learning-based descriptor,” in 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 2010, pp. 2707–2714. [^18]: Z. Lei, M. Pietikäinen, and S. Z. Li, “Learning discriminant face descriptor,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, no. 2, pp. 289–302, 2013. [^16]: M. Turk and A. Pentland, “Eigenfaces for recognition,” Journal of cognitive neuroscience, vol. 3, no. 1, pp. 71–86, 1991.
(c) 5 Frames
[^19]: A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolutional neural networks," Advances in neural information processing systems, vol. 25, pp. 1097–1105, 2012. [^20]: Y. Taigman, M. Yang, M. Ranzato, and L. Wolf, “Deepface: Closing the gap to human-level performance in face verification,” in the IEEE conference on computer vision and pattern recognition, 2014, pp. 1701–1708. [^21]: T. Wolf, M. Babaee, and G. Rigoll, “Multi-view gait recognition using 3d convolutional neural networks,” in 2016 IEEE International Conference on Image Processing (ICIP). IEEE, 2016, pp. 4165–4169. [^23]: E. Variani, X. Lei, E. McDermott, I. L. Moreno, and J. Gonzalez-Dominguez, “Deep neural networks for small footprint text-dependent speaker verification,” in the international conference on acoustics, speech and signal processing (ICASSP). IEEE, 2014, pp. 4052–4056. [^22]: F. Battistone and A. Petrosino, "Tglstm: A time based graph deep learning approach to gait recognition," Pattern Recognition Letters, vol. 126, pp. 132–138, 2019, robustness, Security and Regulation Aspects in Current Biometric Systems. [Online]. Available: [^26]: M. Liang, B. Yang, Y. Chen, R. Hu, and R. Urtasun, “Multi-task multi-sensor fusion for 3d object detection,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019. [^27]: Z. Yang, Y. Sun, S. Liu, X. Shen, and J. Jia, “Ipod: Intensive point-based object detector for point cloud,” arXiv preprint arXiv:1812.05276, 2018. [^24]: M. Ravanelli and Y. Bengio, “Learning speaker representations with mutual information,” arXiv preprint arXiv:1812.00271, 2018. [^25]: M. Liang, B. Yang, S. Wang, and R. Urtasun, “Deep continuous fusion for multi-sensor 3d object detection,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018. [^28]: S. Shi, X. Wang, and H. Li, “Pointrcnn: 3d object proposal generation and detection from point cloud,” in the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 770–779. [^29]: Z. Yang, Y. Sun, S. Liu, X. Shen, and J. Jia, "Std: Sparse-to-dense 3d object detector for point cloud," in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), October 2019. [^30]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum pointnets for 3d object detection from rgb-d data,” in the IEEE conference on computer vision and pattern recognition, 2018, pp. 918–927. [^31]: B. Yang, W. Luo, and R. Urtasun, “Pixor: Real-time 3d object detection from point clouds,” in Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2018, pp. 7652–7660. [^32]: B. Yang, M. Liang, and R. Urtasun, "Hdnet: Exploiting hd maps for 3d object detection," in Conference on Robot Learning. PMLR, 2018, pp. 146–155. [^33]: B. Li, T. Zhang, and T. Xia, “Vehicle detection from 3d lidar using fully convolutional network,” arXiv preprint arXiv:1608.07916, 2016. [^34]: B. Li, “3d fully convolutional network for vehicle detection in point cloud,” in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2017, pp. 1513–1518. [^35]: Z. Yang, Y. Sun, S. Liu, and J. Jia, "3dssd: Point-based 3d single stage object detector," in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 11040–11048. [^36]: J. Zhang, X. Zhao, Z. Chen, and Z. Lu, "A review of deep learning-based semantic segmentation for point cloud," IEEE Access, vol. 7, pp. 179 118–179 133, 2019. [^37]: H. Su, S. Maji, E. Kalogerakis, and E. Learned-Miller, “Multi-view convolutional neural networks for 3d shape recognition,” in the IEEE international conference on computer vision, 2015, pp. 945–953. [^38]: D. Maturana and S. Scherer, "Voxnet: A 3d convolutional neural network for real-time object recognition," in the International Conference on Intelligent Robots and Systems (IROS). IEEE, 2015, pp. 922–928. [^39]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in the IEEE conference on computer vision and pattern recognition, 2017, pp. 652–660. [^40]: H. Rizk, H. Yamaguchi, M. Youssef, and T. Higashino, “Gain without pain: Enabling fingerprinting-based indoor localization using tracking scanners,” in Proceedings of the 28th International Conference on Advances in Geographic Information Systems, 2020, pp. 550–559. affy- [^42]: M. Ester, H.-P. Kriegel, J. Sander, X. Xu et al., “A density-based algorithm for discovering clusters in large spatial databases with noise.” in kdd, vol. 96, no. 34, 1996, pp. 226–231. [^43]: J. A. Hartigan and M. A. Wong, “Algorithm as 136: A k-means clustering algorithm,” Journal of the royal statistical society. series c (applied statistics), vol. 28, no. 1, pp. 100–108, 1979. [^44]: H. Rizk, S. Elgokhy, and A. Sarhan, “A hybrid outlier detection algorithm based on partitioning clustering and density measures,” in 2015 Tenth International Conference on Computer Engineering & Systems (ICCES). IEEE, 2015, pp. 175–181. [^45]: A. Elmogy, H. Rizk, and A. M. Sarhan, “Ofcod: On the fly clustering based outlier detection framework,” Data, vol. 6, no. 1, p. 1, 2021. [^46]: V. Erdélyi, H. Rizk, H. Yamaguchi, and T. Higashino, “Learn to see: A microwave-based object recognition system using learning techniques,” in Adjunct Proceedings of the 2021 International Conference on Distributed Computing and Networking, 2021, pp. 145–150.