# 基于微型激光雷达的三维点云数据实时时空人体分割 Yuma Okochi 信息科学技术研究生院大阪大学日本大阪 Hamada Rizk Hamaida RIZK 信息科学技术研究生院日本大阪，大阪大学埃及坦塔，坦塔大学 Hirozumi Yamaguchi 信息科学技术研究生院大阪大学日本大阪摘要——三维识别技术发展迅速，推动了以人为中心的智能环境相关应用实现了前所未有的增长。在这类应用中，人体分割是分析和理解环境中人员移动的关键技术。然而，现有分割技术依赖深度学习模型，这类方案计算密集且数据需求量大，阻碍了它们在现实环境边缘设备上的实际部署。本文提出一种新型微型激光雷达设备，可用于感知周边环境中的人员移动。该设备搭载了端侧轻量人体分割技术，基于密度聚类处理采集到的三维点云数据。所提技术利用连续帧之间的时空关系，大幅降低了聚类算法的计算复杂度。我们在真实环境中实现并评估了该技术，结果表明所提技术的人体分割准确率达到99%，处理时间大幅减少了66%。关键词——三维点云、微型激光雷达、分割、可穿戴设备、时间序列三维处理 ## I. 引言当前物联网设备和监控摄像头的传感能力不断进步，为诸多新型应用[^1] [^2] [^3] [^4] [^5] [^6] [^7] [^8] [^9] [^10]带来了发展机遇。这些应用丰富了传统环境，催生了可提升个人生活质量的下一代以人为中心的智能环境。这一目标是通过分析室内环境中人员移动获得情境智能来实现的。三维技术发展迅速，三维数据能够以三维点云的形式方便地捕获周边环境的丰富信息，包括物体的形状和位置，且无需使用通常会造成隐私泄露的可见光摄像头。因此，三维技术已被应用于诸多领域，包括三维点云分割[^11]、三维形状分类，以及三维目标检测与跟踪[^12]。然而，这些应用大多依赖体积大、价格昂贵的激光雷达，这类激光雷达输出密集点云后，需要用计算密集型深度神经网络处理。例如，PointNet[^13]是一个pio ![Image](images/4470988c6c2ffc3c366a3ca6f09ef282744fe62eea8cd3edf5006291c0fb2179.jpg)

Fig. 1. A point cloud captured by Hitonavi- $\mu$.

基于顺序不敏感对称函数和体积卷积神经网络（CNN）的点云分类与分割工程研究[^14]。Pointpillars[^15]将三维点云划分为垂直柱体并进行卷积处理，再输入到二维卷积神经网络中。然而，大尺寸激光雷达通常不便于携带，这阻碍了其作为边缘设备的应用推广，尤其是在移动应用场景中。此外，深度学习模型（例如大型卷积神经网络）需要密集计算，因此无法适配边缘设备的处理能力。本文提出了一种可借助廉价、可穿戴激光雷达实现人体分割的系统，如图1所示。我们设计了一款全新的微型激光雷达，能够以保护隐私的点云表征形式扫描并呈现周边环境。利用该表征可以识别传感器附近的人员，且不会泄露人员身份或可见图像、声音等任何敏感信息。但本文提出的系统需要解决一项挑战：无需依赖高性能服务器即可在设备端处理时序三维点云数据，例如[^16]、[^17]。为此，所提系统引入了一种经优化、计算高效的DBSCAN密度聚类技术版本，可用于对三维点云进行实时分组，并识别连续帧中各聚类之间的关系，再利用所得聚类的特征识别场景中每个聚类的类别。在我们实验室的真实测试平台上对所提系统开展的评估证实了其实时分割的有效性。具体而言，所提系统的分割F1分数达到99%，每帧平均处理时间为33.9毫秒。与基线方法相比，该系统在不降低性能的前提下，将处理时间减少了66%。 --- ![Image](images/575f1839ea2962a2192ace12582331830842ac9762afa3a24761c6ce985b0794.jpg)

Fig. 2. Illustration of processing flow of the system

本文其余部分结构安排如下：第二节中，我们介绍传感器以及本文提出的时序数据聚类方法；第三节中，我们介绍数据采集流程，并对系统进行详细评估；最后在第四节给出本文结论。 ### 二、系统本节介绍系统的处理流程，包括系统的各个模块，如图2所示。 ### A. 感知部分一般而言，LiDAR（激光雷达）是用于测量到周围物体（如墙壁、人体等）表面距离的遥感手段。通常，它测量激光脉冲从传感器发射到物体再反射回来的传播时间，从而以三维点云的形式估算距离[^2]。然而，目前市场上的现有LiDAR多为非便携式大尺寸设备，价格十分高昂。因此，本文介绍Hitonavi-$\mu$：这是一款小型人体传感设备，配备计算单元、电池，以及微型便携式版本的LiDAR传感器[^18]，如图1所示。该LiDAR传感器为长方体形状，其宽、高、深尺寸为$44 \times 16$。因此，相较于消费级LiDAR设备，该传感器体积更小、重量更轻。该设计的初衷是方便将该传感器用作可穿戴设备，为智能环境中下一代以人为本技术的发展铺平道路。该传感器由红外激光器和CMOS图像传感器组成，可实时获取三维点云。点云中的每个三维点仅包含x、y、z坐标信息，不包含颜色或其他信息。采集得到的点云随后会被输入聚类和分割技术进行进一步处理。LiDAR传感器连接至计算单元，该计算单元为搭载电池的树莓派4 Model B，用于运行本文的算法。 ### B. 聚类部分本节旨在对场景中的周围物体进行高效聚类，同时最大限度降低聚类算法带来的计算开销。为保证聚类性能，我们基于其优势选用了具有噪声的基于密度的空间聚类算法（DBSCAN）[^19]。该算法对离群值和噪声具有鲁棒性[^20]，且无需依赖领域知识（例如聚类的数量）即可运行。此外，与其他聚类技术不同，DBSCAN可以聚类得到任意形状的簇。 ```pseudo // Algorithm 1: Clustering for time series 3D point cloud data Input: pcs: time series 3D point cloud data Input: minPts: Density threshold of DBSCAN Input: ε: Radius of searching range of DBSCAN Input: $d_{I}$: Distance Threshold of include() Input: $d_{c}$: Distance Threshold of combine() Output: pcs_ls_list: time series pcs and labels, labels are indicating to which cluster each point belongs 1: $t \leftarrow 0$ 2: $pc_ls_t \leftarrow DBSCAN(pcs_t, minPts_t)$ 3: $bb_t \leftarrow bounding\_box(pc_ls_t)$ 4: $pcs_ls_list[t] \leftarrow pc_ls_t$ 5: for $t = 1, \cdots, len(pcs) - 1$ do 6: $pc_ls_t \leftarrow update\_label(pcs_t, bb_t - 1)$ 7: $uc_pc_ls_t \leftarrow uncontained(pc_ls_t)$ 8: if $len(uc_pc_ls_t) > 0$ then 9: $ls_sub_t \leftarrow DBSCAN(uc_pc_t, minPts_t)$ 10: if $uc_pc_ls_t$ has new clusters then 11: $pc_ls_t \leftarrow include(pc_ls_t, uc_pc_ls_t)$ 12: $pc_ls_t \leftarrow combine(pc_ls_t)$ 13: $bb_t \leftarrow bounding\_box(pc_ls_t)$ 14: end if 15: end if 16: $pcs_ls_list[t] \leftarrow pc_ls_t$ 17: end for 18: return pcs_ls_list ``` 也能够处理不同密度的聚类。但DBSCAN的时间复杂度较高，为$O(n^2)$，其中n为点的数量。问题在于，对每个点云的所有三维点进行聚类需要大量计算，当部署在边缘设备（Hitonavi-$\mu$）上时，会对实时性能产生负面影响。为了降低计算开销，我们提出了一种改进版的DBSCAN算法，如图2所示。该改进算法的核心思路是：如果能保证足够的帧率，那么连续帧之间仅存在微小变化。因此，利用帧之间的关联，仅对新增部分进行聚类，可以大幅减少需要处理的点数量，从而缩短聚类处理时间。该算法的伪代码如算法1所示。下文将介绍算法各函数的细节，各函数的输出如图3所示。 bounding_box()：该函数用于查找覆盖DBSCAN生成的每个聚类的矩形包围框的顶点坐标。 --- ![Image](images/119eeab00c1ef0078e49bbcd7d17a9fa35d814d76bdf2021fb05780dde5e4f7d.jpg)

Fig. 3. Illustration of how the proposed algorithm works (this example is 2D-case, bounding boxes are rectangle). Figures (b) to (f) depicts the operation of the functions $update\_label()$, $uncontained()$ and $include()$, respectively. The red points are those in a cluster, and the oranges are the points labeled by $update\_label()$.

update_label()：该函数将聚类索引从当前帧传递到下一帧。具体来说，它的输入是t时刻帧的点云和$t-1$时刻帧的包围框。因此，在t时刻，点会被分配对应（前一帧）包围框的相同聚类索引，这些包围框通常已经覆盖了对应点。剩余未被覆盖的点会由uncontained()函数做进一步处理。 uncontained()：该函数提取所有未被任意边界框覆盖的剩余匿名点，随后将这些点输入DBSCAN()（如算法1第9行所示）进行聚类分组。值得注意的是，由于仅对数量大幅减少的m个点执行DBSCAN，聚类处理时间被大幅缩短。因此DBSCAN的复杂度从$O(n^2)$优化为$O(m^2)$。 include()：该函数在得到剩余点（子点云）的聚类结果后执行。它通过计算边界框到聚类中心点的距离，判断得到的聚类是否需要与其他被边界框覆盖的聚类合并。若某个聚类的中心与某一边界框的距离小于距离阈值$d_{I}$，则使用combine()函数将该聚类与该边界框包围的点合并。 combine()：该函数计算新聚类与被边界框覆盖的聚类之间的距离，合并相互距离小于预设阈值$d_{c}$的聚类。值得一提的是，对含噪声的点云进行聚类可能会产生多个稀疏聚类，而combine()函数可以解决该问题：它合并相邻聚类，同时将异常聚类分离，便于后续移除异常聚类。图3展示了本文所提算法各函数的运行过程，该算法的输出是一组聚类后的点。 ### C. 分割部分本节介绍如何为聚类分配标签，从而实现点云分割。为实现该目标，我们从每个聚类中提取七个特征：一个特征是聚类距离地面的高度（即y坐标），其余六个是三维空间中方差-协方差矩阵的元素。使用聚类高度的核心思路在于，它可以帮助区分墙体和人体：在室内环境中，墙体的高度通常高于人体的高度。方差和协方差则用于进一步提升对人体的区分能力，已有研究证明这有助于识别聚类形状的差异（即点云在垂直和水平方向的分布范围）。基于这些特征，我们训练分类模型来识别每一组点的类别。通常采用支持向量机分类（Support Vector Machine Classification, SVC）模型，因为它在实时应用中具备优异的性能。 ### III. 实验结果本节我们在真实测试平台上评估了所提技术的性能。将Hitonavi- $\mu$固定在1米高度，在面积为$15m \times 25m$的足够大的房间内以10 fps的平均帧率采集点云。采集得到的点云构成了包含1776帧的数据集，我们对该数据集进行预处理：移除离群点，并对帧中属于每个物体（例如人体和墙体）的点进行标注。该标注过程对所提技术的训练和测试十分重要。为了进行评估，我们预留了包含240帧的留出测试集，涵盖六种人体移动模式：行人左右方向通行、行人走近、行人走远，每种类型又包含场景中存在墙体和不存在墙体两种情况。将本文提出的改进聚类技术与基线DBSCAN算法进行对比，基线DBSCAN算法会对每一帧点云中的每个三维点进行迭代处理。评估指标包括处理时间、精确率、召回率和F1分数，其中处理时间为对所有帧完成20次分割的平均耗时，精确率、召回率和F1分数均在点层级进行测量。我们在Raspberry Pi 4 Model B上，借助提供基础DBSCAN实现的Scikit-learn库，通过Python编程语言实现了本文提出的方法。实验结果汇总于表I和表II中。表I记录了本文提出算法与基线算法的处理时间，结果证实本文提出的聚类算法在所有测试用例中均优于基线算法，处理时间平均降低66%。具体而言，在仅采集到墙面的空旷环境中，处理时间降幅显著，达到71.1%，这是因为连续帧之间的数据变化不大。而在人员流动性高的环境中，本文提出的算法仍能实现至少60.6%的可观处理时间降幅。如表II所示，该结果验证了本文提出的算法在不牺牲分割性能的前提下具备实时性能。图4展示了某一帧的分割结果：(a)为基础DBSCAN的分割结果，(b)为本文提出技术的分割结果。该图证实了良好的 ---

TABLE I

EXPERIMENTAL RESULT: ESTIMATION TIME PER FRAME

Dataset for test		Basic DBSCANs	Modified DBSCANs	Reduction (%)
1	One Wall	84.2	23.3	71.1
2	Human-passing	85.7	33.7	60.6
3	Human-approaching	115.1	44.0	61.8
4	Human-departing	118.7	34.7	70.8
			Average Reduction	66

TABLE II

EXPERIMENTAL RESULT: EVALUATION METRICS

Dataset for test			1	2	3	4
Dataset for test			One Wall	Human passing	Human approaching	Human departing
Basic DBSCANs	Human	Precision	-	99.6	98.9	99.7
		Recall	-	99.9	99.2	100.0
		F1-score	-	99.8	99.0	99.9
	Wall	Precision	100.0	100.0	99.3	100.0
		Recall	100.0	99.9	99.1	99.8
		F1-score	100.0	100.0	99.2	99.9
Modified DBSCANs	Human	Precision	-	71.9	99.6	92.4
		Recall	-	89.7	99.4	87.1
		F1-score	-	79.8	99.5	89.6
	Wall	Precision	100.0	98.5	99.5	90.5
		Recall	99.3	95.1	99.6	94.5
		F1-score	99.6	96.8	99.6	92.4

## 参考文献 ![Image](images/c54d1b330c87390db3b44cf4dbe7e3cb60905b4b0677a249ce597b1e879aab1a.jpg)

(a) basic DBSCANs

![Image](images/80ae7589324b957188ee5f9a6ad6fc28a32601421612548b5af4a290d46ebb81.jpg)

(b) modified DBSCANs

Fig. 4. Segmentation Result

本文提出技术作为面向我们全新微型传感器的实时人体分割算法的性能。 ### 四、结论与未来工作我们针对时序三维点云数据处理提出了一种计算高效的基于聚类的技术，该技术是对周边环境中人体进行分割的重要步骤。我们还提出了一种全新的移动/可穿戴LiDAR设计，为该技术的广泛应用打开了大门。我们展示了所提技术如何利用连续帧之间聚类的空间关系大幅降低处理时间，随后从得到的聚类中提取统计特征，实现人体识别与分割。我们在实验室对所提技术进行了实现，结果表明该技术在六个测试用例中均实现了细粒度分割性能与实时处理，计算复杂度和处理时间共降低66%。未来，我们计划在拥挤环境中对所提系统进行研究与拓展，还将研究参数变化对系统性能的影响。 ## 致谢本工作部分得到日本科学技术振兴机构A-STEP基金（编号：JPMJTR20RV）的支持。 [^1]: S. Yamada, H. Rizk, and H. Yamaguchi, “An accurate point cloud-based human identification using micro-size lidar,” in International Conference on Pervasive Computing and Communications Workshops and Affiliated Events (PerCom Workshops). IEEE, 2022. [^2]: H. Rizk, H. Yamaguchi, M. Youssef, and T. Higashino, “Gain without pain: Enabling fingerprinting-based indoor localization using tracking scanners,” in Proceedings of the 28th International Conference on Advances in Geographic Information Systems, 2020, pp. 550–559. [^3]: H. Katayama, T. Mizomoto, H. Rizk, and H. Yamaguchi, “You work we care: Sitting posture assessment based on point cloud data,” in International Conference on Pervasive Computing and Communications Workshops and Affiliated Events (PerCom Demos). IEEE, 2022. [^4]: H. Rizk, D. Ma, M. Hassan, and M. Youssef, “Indoor localization using solar cells,” in the Conference on Pervasive Computing and Communications and Affiliated Events (PerCom WiP). IEEE, 2022. [^5]: I. Fahmy, S. Ayman, H. Rizk, and M. Youssef, “Monofi: Efficient indoor localization based on single radio source and minimal fingerprinting,” in the 29th International Conference on Advances in Geographic Information Systems, 2021, pp. 674–675. [^6]: V. Erdélyi, H. Rizk, H. Yamaguchi, and T. Higashino, "Learn to see: A microwave-based object recognition system using learning techniques," in the International Conference on Distributed Computing and Networking, 2021, pp. 145–150. [^7]: K. Alkiek, A. Othman, H. Rizk, and M. Youssef, “Deep learning-based floor prediction using cell network information,” in the 28th International Conference on Advances in Geographic Information Systems, 2020, pp. 663–664. [^8]: H. Rizk, H. Yamaguchi, T. Higashino, and M. Youssef, “A ubiquitous and accurate floor estimation system using deep representational learning,” in Proceedings of the 28th International Conference on Advances in Geographic Information Systems, 2020, pp. 540–549. [^9]: H. Rizk, M. Abbas, and M. Youssef, “Device-independent cellular-based indoor location tracking using deep learning,” Pervasive and Mobile Computing, vol. 75, p. 101420, 2021. [^10]: H. Rizk, T. Amano, H. Yamaguchi, and M. Youssef, “Smartwatch-based face-touch prediction using deep representational learning,” in mobiquitous, EAI. Springer, 2021. [^11]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud,” in 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2018, pp. 1887–1893. [^12]: X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3d object detection network for autonomous driving,” in the IEEE conference on Computer Vision and Pattern Recognition, 2017, pp. 1907–1915. [^13]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “Pointnet: Deep learning on point sets for 3d classification and segmentation,” in the IEEE conference on computer vision and pattern recognition, 2017, pp. 652–660. [^14]: C. R. Qi, H. Su, M. Nießner, A. Dai, M. Yan, and L. J. Guibas, “Volumetric and multi-view cnns for object classification on 3d data,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 5648–5656. [^15]: A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, “Pointpillars: Fast encoders for object detection from point clouds,” in the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019, pp. 12697–12705. [^16]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” arXiv preprint arXiv:1706.02413, 2017. [^17]: R. Cheng, R. Razani, E. Taghavi, E. Li, and B. Liu, “2-s3net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 12547–12556. [^18]: MagikEye Inc., “MagikEye ILT001,” , visited in 2021/11/10. [^19]: M. Ester, H.-P. Kriegel, J. Sander, X. Xu et al., “A density-based algorithm for discovering clusters in large spatial databases with noise.” in kdd, vol. 96, no. 34, 1996, pp. 226–231. [^20]: A. Elmogy, H. Rizk, and A. M. Sarhan, "Ofcod: On the fly clustering based outlier detection framework," Data, vol. 6, no. 1, p. 1, 2021.