# 基于固态LiDAR的隐私保护人员检测 1^{st} 安德烈·金特，2^{nd} 斯蒂芬·伯克，3^{rd} 马蒂亚斯·柯尼希，4^{th} 马丁·霍夫曼 明登校区 比勒费尔德应用科学大学 德国明登 摘要——视频流中的人员检测存在隐私隐患，因为被记录的人员通常并不知晓自己被拍摄。此外，普通摄像头和商用深度传感器易受光照变化影响。本文提出将激光探测与测距（LiDAR）作为传感技术，实现鲁棒且保护隐私的人员检测。本文实现了一个人员计数系统，当人员经过传感器视野时，系统通过拼接多个二维距离扫描获取粗略的人体轮廓。该系统可在动态光照条件下工作，作为嵌入式节点运行在单核700 MHz处理单元上。我们在受控条件下开展了评估，共有20名不同测试者，每个方向横穿入口100次。结果表明，该系统在人员计数和行走方向判断任务中，精度和召回率分别高达100%和99%。由于目标仅由分辨率为16×16的低分辨率距离值表示，因此隐私能够得到保护。 ## 一、引言 如今，许多购物中心都打造为智能环境。运营方通过统计访客数量优化营销策略和资源规划。访客数量的波动与广告投放、调整店铺布局、发布特惠活动这类营销工作高度相关。将访客计数与对应销售额关联，即可衡量这类营销工作的实际效果。 在公共区域统计人数的常用方法，基于对传统相机获取的图像数据进行处理。尽管分类算法能取得出色的结果，但在特定环境条件下，传统相机的数据采集方式仍存在局限性。当采集的数据包含过多噪声时——例如光照不足的地铁内，或是受强太阳辐射影响的户外采集到的数据——哪怕性能最优的算法也无法发挥作用。尤其是这类光照不足或光照动态变化的环境，亟需新型的数据采集技术。 本研究的主要贡献是，将Leddar——激光探测与测距（LiDAR）技术的改进型专利分支——作为目标分类传感技术进行性能评估。LiDAR是一项极具应用前景的技术，可通过距离测量获取体积数据。此外，由于LiDAR传感器向周围环境发射的是非可见光，因此其性能不易受不同光照条件的影响。 本研究区分了两类LiDAR。机械式LiDAR（M-LiDAR）系统通过精密协同旋转机构引导发射光，能够实现高分辨率采集。这类精密协同机构的缺点在于制造复杂，且易受振动干扰。与之相反，固态LiDAR（SS-LiDAR）系统仅依靠固态元件采集数据。尽管与M-LiDAR相比，SS-LiDAR系统的采集分辨率更低、视场更小，但它鲁棒性更强、制造更简单，且可实现更小的物理尺寸 [^1]. 作为额外的研究贡献，本工作旨在强调重视人员隐私的应用的重要意义。相机在计数过程中会记录人员，因此会侵犯隐私。本文实现了一款适用于公共区域的人员计数器，将其作为隐私敏感场景的用例演示。本方案采用LiDAR传感器采集足够的数据满足物体分类需求，但是采集到的信息不足以识别个人身份。评估结果表明，该方案在保护隐私的前提下实现了可靠的计数性能。 本文结构安排如下：第二节介绍了利用深度信息进行人员检测的研究现状；第三节阐述了本文提出的人员计数器的设计理念；第四节介绍该设计理念的实际实现，第五节展示对应的实验结果；最后，第六节给出了结论、未来研究方向以及该系统的局限性。 ### 二、相关研究 利用深度信息检测人员或对物体进行通用分类的方法，可以按照数据采集技术和最终得到的数据分辨率进行分类。分析分辨率达到320×240个深度点及更高的图像的方法，目标是实现人员跟踪、活动识别，甚至场景理解 [^2], [^3]。尽管这类方法在物体和人员检测上能取得较高的准确率，但它们依赖高分辨率深度数据，不利于隐私保护。已有研究表明，可以从高分辨率深度数据中实现人员的身份识别与重识别 [^4], [^5]。本工作的目标就是避免身份识别与重识别。 --- ### A. 隐私保护方法 保护隐私的一种常用方法是对采集到的数据进行后处理，对敏感数据进行模糊处理、遮挡或加密 [^6], [^7]。这类研究指出，大量应用在分析低分辨率数据时仍能保持准确性，但短期存储敏感数据从隐私角度而言仍然是一个需要担忧的问题。已有方案提出在原始传感器光学元件前方加装3D打印光学元件，通过对采集数据进行预处理来实现隐私保护 [^8]。该方案仍存在改进空间，因为额外加装的光学元件可以被移除，且原始数据有可能通过对后处理或预处理后的数据应用逆函数来恢复。因此，我们提出使用低分辨率传感器来采集数据。 ### B. 低分辨率传感器 隐私保护可通过使用低分辨率传感器实现，例如低分辨率摄像头 [^9]。摄像头易受多变光照条件的影响，因此本研究优先选用测距传感器。在机器人领域，现有部分方法旨在通过二维（2D）测距扫描检测人腿对或轮椅，以此实现人员跟踪 [^10]，[^11]。这类方法因传感器视角不佳，存在很高的遮挡概率。为尽可能减少遮挡，已有方案将多个单像素低分辨率深度传感器安装在天花板上 [^12]。使用单像素深度传感器确实可以保护隐私，但该方案需要将大量传感器布置为网格状，相邻传感器间距需保持为60厘米 [^12]。这种安装方式难以维护，不适用于多数应用环境。我们在入口区域使用单个传感器检测经过传感器视野的人员，结果表明我们的系统性能与现有前沿技术相当，同时通过分析2D传感器采集的低分辨率数据保障了隐私性。 ### III. 方案概念 本文提出的系统需安装在入口前方或后方的天花板下方。选用SS-LiDAR传感器出于两点原因：低分辨率有助于保护隐私，且其体积小巧，便于开发可相互协作的嵌入式人员计数节点。图1从俯视角度展示了该系统的安装方式。 ![Image](images/33465f0989afc5ba9a2c9b131c22462b1011a4fcfcc1019b2e21084eba41be5a.jpg)
Fig. 1. Top-down view of the sensor's installation. A black triangle surrounding the people indicates the sensed area.
为了捕捉人体轮廓，整个入口都被波束宽度合适的传感器完整覆盖。对于多个入口或是宽度极大的入口，多台传感器可组成多传感器网络协同工作，覆盖整个目标监测区域。传感器采用倾斜安装的方式，仅用单台传感器即可区分人员的行走方向。 系统通过处理二维 $(x, y)$ 传感器数据对目标进行分类，其中x表示水平位置，y表示距离。系统会捕捉经过传感器视野的目标的多个二维帧。这些帧序列会经过预处理，为后续分类做准备，同时滤除无关目标。最终，数据会被归入三个类别中的某一类。图2展示了本文所提系统的设计概念，其中`human:in`和`human:out`类别对应用户的行走方向。下文将给出各流程的详细说明。 ![Image](images/c663ebc8bb5f0a5ca7c641b6c41f8278a42e3d3c9ad169a89636c6e73595d47c.jpg)
Fig. 2. Object classification of 3 classes: non-human, human:in and human:out by separating the classification into two binary classifications.
### A. 预处理 对采集数据进行高效计算的常用策略是通过特征提取去除冗余信息。我们的预处理可分为两个步骤：首先将多个目标分割为独立样本，随后对目标进行归一化处理，以适配后续分类流程。传感器视野中可能同时出现多个目标，例如人员牵狗经过监测区域时。在这种情况下，人和狗会从帧序列中被分割为两个独立的数据样本，后续每个数据样本都会被单独处理。 数据可能会以多帧的形式采集，这会导致数据量过大。当人员停留在传感器视野内，或是非常缓慢地通过入口时，就会出现这种情况。这类长帧序列被认为包含大量冗余信息。因此，每个数据样本的大小会被归一化为固定值，这一步通过筛选剔除冗余信息实现。 ### B. 目标分类 如今，机器学习被广泛应用于分类任务。将目标划分到三个类别之一的原始问题，可通过求解两个二分类问题来解决。第一个分类用于判断目标是人员还是非人员。第二个分类则判断该人员是走进还是走出感兴趣区域。这两个二分类问题都采用支持向量机（SVM）解决。SVM适用于特征空间有限的二分类场景，同时具备处理高效、分类结果可靠的优势 [^13]. --- ### IV. 实现 该系统作为嵌入式节点工作，功耗为4.7 W。一颗700 MHz单核处理器处理LiDAR传感器输出的距离数据。本案例使用Leddar M16传感器，该传感器可归类为固态闪光LiDAR，属于LiDAR的一个子类。它通过计算单次LED闪光的飞行时间，同时获得多个距离测量结果。单颗传感器可输出16组距离测量值，工作频率为50 Hz，探测光束范围为$\beta = 45^\circ$。该光束被均匀分为16个探测段，每个探测段对应的光束宽度为$\beta_x = 2.8125^\circ \mid x \in \{1..16\}$，每个探测段会单独测量距离，结果保存为$y_x$。图3展示了单次闪光照射平面的正视图。该传感器安装高度为2.6米，可保证宽度1.6米入口的计数准确性，更宽的入口可通过部署多个传感器实现覆盖。对于经过入口的目标，本方法采用每个目标16帧的序列完成分类，最终每个目标得到固定大小的16×16数据点。实验表明，16帧的规模足以实现可靠检测。 ![Image](images/360e9448f28fb04a53b5f22417908c6d1ec4ea40b5347ccbea53c8d46250a891.jpg)
Fig. 3. Front-view of a Leddar M16 data acquisition of a planar surface, showing 16 segments with one range measurement $y_{x}$ per segment.
### A. 分割 图4展示了倾斜俯视视角下的原始数据采集过程，呈现了前后紧接行走的两个人的距离测量结果。两个目标都被分割为独立的帧序列，图4b展示了其中一个目标的分割结果。分割后目标仍对应k = 41帧数据。为适配基于SVM的目标分类任务，本方法将帧数k缩减至16个关键帧。 ### B. 关键帧提取 为实现高效处理，我们从每个目标中提取关键帧。为此，我们应用变化检测来检查每个数据样本是否存在冗余信息。在帧序列$f_K \mid K \in \mathbb{N}$中，若当前帧$f_{k+1}$的前一帧$f_k$已包含相似信息，则该帧会被判定为冗余帧。阈值$\delta_k$用于表征两个帧$f_k$和$f_{k+1}$之间的差异，我们通过对比两个帧各分段对应的距离测量值计算差异，最终得到差值为$\delta_k = \sum_{x=0}^{15} (y_{x,k+1} - y_{x,k})^2$。若$\delta_k$达到设定阈值，则帧$f_{k+1}$会被判定为冗余帧，否则判定为关键帧。最终，我们选取16个最重要的关键帧来表示扫描得到的目标。 ![Image](images/0e31bae670cf14cf61732d0529856f869d759ef83caddd49183f95e2136bd9fe.jpg)
(a) Before segmentation
![Image](images/ea8ce799df957033d8f1067f0b318bab51c2dbf8e4c1a17a57e9be8ec97fc2f7.jpg)
(b) After segmentation
Fig. 4. Segmentation of two close people walking one after another: (a) shows the raw data before segmentation and (b) illustrates one of the two objects after segmentation.
TABLE I
SVM CONFIGURATION FOR BOTH CLASSIFICATION PROBLEMS
ClassificationnC
human — non-human50.025
human:in — human:out20.1
### C. 目标分类 目标分类任务通过收集数据集并训练两个SVM完成，随后采用k折交叉验证确定模型配置。 1) 数据集：本次共收集了包含2000个目标的数据集，其中1000个样本为人类，1000个样本为非人类目标，例如动物、推车和随机生成的测量值。为覆盖第二个分类任务的需求，1000个人类样本还额外标注了human:in和human:out标签。收集到的成年人类数据覆盖了多种不同的身体条件，例如数据集包含身高从165 cm到190 cm的差异。图5展示了部分捕获目标的示例。 2）训练与测试：为使SVM获得良好性能，两个SVM均采用k = 10的k折交叉验证完成训练和测试。两个分类问题的所得参数汇总于表I中，其中n表示多项式核的维度，C表示软间隔常数。 ### 五、评估 在收集本次评估所用的最终数据集之前，我们通过分析训练用初始数据集发现，人们通过入口时存在特定行为模式。大多数通过入口的行人都呈现出图6所示的相似且重复出现的行走方向模式。我们调整后的最终数据集包含同等数量的各类行走模式，这提升了检测正确率，确保直线通过入口的行人与斜向或曲线通过入口的行人被识别的概率一致。 为评估该人数计数器，我们在受控环境中开展了测试。我们安排20名身体条件各异的人员通过入口，并未要求他们遵循特定行为方式，也未要求他们固守。 --- ![Image](images/0381ba22ea7443ff0e7c85476c6f04d91994b29809ecaf9cb19493a4e1226275.jpg)
(a) Human: in
![Image](images/7625e4f57c17d02844424a4098b8be7ff40752b009aa922bd86ab029adf5b987.jpg)
(b) Human:out
![Image](images/2e95122fd394c944fa9ac2e0382b82bb9b8d7975dfc0c9536d0cd95dff00b8f0.jpg)
(c) Dog
![Image](images/b76649fe90c2f8694c6a3f4b354c11607ccd511cf53c6aef828d421a9c522fcc.jpg)
(d) Office chair
Fig. 5. Examples of captured objects in the dataset: (a) and (b) show 3D plots of humans with respect to their walking direction, (c) shows a dog and (d) shows an office chair.
![Image](images/facf0eb5dfc54ef0274a88155108c68f8ec467df7cdcbfa7d5b59f791752be42.jpg)
Fig. 6. Patterns of walking directions, which a majority of people chose while passing the sensor.
某一特定的行走方向。20人中有13人未出现在训练所用数据集中。每名人员每个方向通过入口5次，因此每人共完成10次入口通行。表II汇总了分类结果。 ### 六、结论 本文介绍了一种基于LiDAR传感器的人数统计装置。LiDAR在动态光照环境下表现稳定，且由于仅采集距离数据，适合开发隐私保护类应用。研究表明，该方案可实现对人员及其行走方向的分类识别。这一功能通过采集一组
TABLE II
CLASSIFICATION RESULTS FOR A CONTROLLED TEST ENVIRONMENT.
ClassPrecisionRecall
Human1.00.995
Human:in1.01.0
Human:out1.00.99
二维距离扫描实现，当目标经过感兴趣区域时采集扫描数据并对结果进行分析。研究中将LiDAR传感器以俯视角度安装，采集数据后训练了两个SVM。第一个SVM用于判断目标是否为人员，第二个SVM则用于确定行走方向。本次测试共有20名不同人员参与，每人各通过入口10次，评估结果显示该系统拥有可靠的计数性能。 本文所用数据集仅包含2000个对象，其中人员样本为1000个，这导致该系统存在一定局限性。由于当前数据集未包含这类样本，预计戴帽子、携带物品或乘坐轮椅的人员无法被正确检测。未来需要针对数据预处理（实现邻近对象的正确分离）和数据集扩充开展进一步工作，以解决这些局限。此外，还需要在购物中心这类真实场景中开展全面评估，验证系统的准确率。现有结果表明，该系统有望被优化为一个鲁棒、准确且保护隐私的应用，用于对高频出入场所的人员进行计数统计。 ## 参考文献 [^1]: C. Niclass, A. Rochas, P. Besse, and E. Charbon, “Design and characterization of a cmos 3-d image sensor based on single photon avalanche diodes,” Journal of Solid-State Circuits, vol. 40, no. 9, pp. 1847–1854, 2005. [^2]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum pointnets for 3d object detection from rgb-d data,” in Conference on Computer Vision and Pattern Recognition, 2018, pp. 918–927. [^3]: M. Herzog and K. Dietmayer, “Training a fast object detector for lidar range images using labeled data from sensors with higher resolution,” in Intelligent Transportation Systems Conference, 2019, pp. 2707–2713. [^4]: A. Dubois and J. Bresciani, “Person identification from gait analysis with a depth camera at home,” in Engineering in Medicine and Biology Society, 2015, pp. 4999–5002. [^5]: A. Wu, W. Zheng, and J. Lai, "Robust depth-based person re-identification," Transactions on Image Processing, vol. 26, no. 6, pp. 2588–2603, 2017. [^6]: C. Thorpe, F. Li, Z. Li, Z. Yu, D. Saunders, and J. Yu, "A coprime blur scheme for data security in video surveillance," Transactions on Pattern Analysis and Machine Intelligence, vol. 35, no. 12, pp. 3066–3072, 2013. [^7]: K. Akkaya, V. Baboolal, N. Saputro, S. Uluagac, and H. Menouar, "Privacy-preserving control of video transmissions for drone-based intelligent transportation systems," in Conference on Communications and Network Security, 2019, pp. 1–7. [^8]: F. Pittaluga and S. J. Koppel, “Pre-capture privacy for small vision sensors,” Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 11, pp. 2215–2226, 2017. [^9]: M. Eldib, F. Deboeverie, W. Philips, and H. Aghajan, “Discovering activity patterns in office environment using a network of low-resolution visual sensors,” Journal of Ambient Intelligence and Humanized Computing, vol. 9, no. 2, pp. 381–411, 2018. [^10]: A. Leigh, J. Pineau, N. Olmedo, and H. Zhang, “Person tracking and following with 2d laser scanners,” in International Conference on Robotics and Automation, 2015, pp. 726–733. [^11]: L. Beyer, A. Hermans, T. Linder, K. O. Arras, and B. Leibe, “Deep person detection in two-dimensional range data,” Robotics and Automation Letters, vol. 3, no. 3, pp. 2726–2733, 2018. [^12]: I. Bhattacharya and R. J. Radke, “Arrays of single pixel time-of-flight sensors for privacy preserving tracking and coarse pose estimation,” in Winter Conference on Applications of Computer Vision, 2016, pp. 1–9. [^13]: Chih-Wei Hsu and Chih-Jen Lin, “A comparison of methods for multiclass support vector machines,” Transactions on Neural Networks, vol. 13, no. 2, pp. 415–425, 2002.