# 基于分布式3D LiDAR的隐私保护行人跟踪 Masakazu Ohno 大阪大学 日本大阪 Riki Ukyo 大阪大学 日本大阪 Hamada Rizk 大阪大学，日本大阪 Tatsuya Amano 大阪大学 日本大阪 坦塔大学，埃及坦塔 Hirozumi Yamaguchi 大阪大学 日本大阪 摘要—智能环境需求的不断增长催生了大量隐私感知应用，极大提升了人们生活的舒适度与安全性，大范围行人跟踪系统就是这类应用的典型代表。尽管基于摄像头的系统已被广泛应用，由于其存在泄露行人隐私的风险，并非理想的解决方案。本文提出了一种新型隐私保护行人跟踪系统，使用多台具备非重叠视野的分布式LiDAR，在智能环境中实现行人跟踪。该系统可应对遮挡或成本等实际约束，能够利用LiDAR设备在部分覆盖区域完成行人跟踪。系统通过不同LiDAR捕获的点云提取区分性特征，训练度量学习模型实现行人匹配。为提升系统鲁棒性，我们采用概率方法对行人的动态移动模式进行建模适配，从而拼接行人的子轨迹。我们在包含70台无彩色信息LiDAR的大规模测试平台部署了该系统，开展了三组不同实验。入口大厅的实验结果表明，即使在零覆盖区域，本系统仍能以0.98的F值实现准确的行人跟踪。该结果证明，本文提出的系统有望成为智能环境中下一代隐私保护跟踪技术方案。 关键词—基于点云的识别、LiDAR、隐私保护、Re-ID、行人跟踪 ## 一、引言 目前已有大量系统被提出用于大范围区域的人员检测与跟踪，其中使用RGB摄像头的方案最为普及，也是当下这类应用的主流商用设备。这类基于摄像头的跟踪系统通常使用多个RGB摄像头跟踪人员，该方法被称为多摄像头跟踪（Multi-Camera Tracking, MCT）[^1]。由于不同摄像头之间的行人重识别是多摄像头跟踪的核心问题，近年的多摄像头跟踪方法都依靠深度学习技术从RGB摄像头获取的图像中提取特征。这些特征被用于识别出现在不同摄像头场景中的行人，从而实现对目标人员的跟踪。然而，这些特征通常包含行人的生物特征信息，例如人脸、肤色、性别、年龄和体型。深度神经网络可以将图像特征编码到潜在空间，随着网络结构复杂度提升，这种方式也变得更安全（即无法恢复原始数据）。尽管如此，仍然存在多种攻击手段试图泄露这类系统中用户的隐私（以及用户的图像信息），例如成员推理攻击[^2]和模型反转攻击[^3]。 近年来，三维激光探测与测量传感器（3D LiDAR，简称LiDAR）因在隐私保护特性与空间感知能力之间取得了良好平衡，受到了越来越多的关注。LiDAR仅获取视场（FoV，Field of View）内各个三维方向上最近物体的距离，其距离误差通常在$10^{-2} \sim 10^{-1}$米范围内，最大覆盖范围可达100米。LiDAR生成无色彩的三维点云，与基于摄像头的系统相比隐私保护性更强。此外，三维LiDAR具备精确测距的特性，因此它的行人跟踪精度通常高于基于摄像头的同类方案[^4]，[^5]。 这推动了部署在目标区域内的多激光雷达（Multi-LiDAR，MLT）大规模行人跟踪系统的发展。然而，受成本、供电不足和/或遮挡（视距约束）问题的影响$^{1}$，使用LiDAR（甚至摄像头）对大范围区域实现全覆盖并非总能实现。因此，部分覆盖区域下的多LiDAR行人跟踪是一个更具挑战性的问题。换言之，该问题的场景为：在各LiDAR视场（FoV）不重叠、中间存在未覆盖区域的条件下，对某一台LiDAR捕获到的行人进行跟踪，并通过其他LiDAR获取的无色彩点云完成行人重识别。 本文提出了一种基于分布式非重叠视场三维LiDAR的隐私保护行人跟踪系统。具体而言，所提系统试图 --- 匹配每台LiDAR得到的多个行人子轨迹的对应关系，从而估计目标区域内每个行人的完整轨迹。为实现这一目标，所提系统基于两个准则识别行人并获取其子轨迹：每个行人点云特征的相似度，以及行人子轨迹的时空特性。前者通过采用Fisher Vector方法[^6]实现，该方法可针对每个行人的点云提取具有区分度的固定大小特征，表征行人的形状与行为特征。随后系统训练一个深度度量学习模型，学习不同行人特征之间的差异。第二个准则利用子轨迹的起止点学习行人可能的位置转移，具体通过定义出行时间和移动模式的概率分布，并使用贝叶斯方法更新这些分布来实现。 为验证所提方法的有效性，我们将该系统部署在配备70台LiDAR的六层建筑大型测试平台中，并开展了三组不同的实验。针对32名行人的系统评估结果证实了该方法的有效性，它的行人轨迹匹配精度始终保持较高水平，F值达到0.98。这一结果仅通过无色彩的稀疏三维LiDAR即可实现，同时还能保障行人隐私。 综上，我们的贡献可分为三点：(i) 问题的独特性：我们研究一个全新问题，即从分布式3D激光雷达采集的子轨迹中得到完整行人轨迹。据我们调研，目前尚无其他针对该问题的研究工作。(ii) 方法的创新性：与多相机多目标跟踪不同，基于激光雷达的子轨迹精度更高，但在行人重识别层面，我们缺少足够线索连接这些分割得到的子轨迹。为解决该问题，我们设计了一种独特算法，以点云特有特征为输入，在子轨迹中寻找最可能的匹配，概率分布函数基于贝叶斯更新体系进行更新。(iii) 真实数据评估：我们利用在大型测试平台获取的真实激光雷达数据开展了多项实验。该测试平台包含70台激光雷达，部署在我校校园内一栋7层建筑的6个楼层中，方法的性能已通过该数据集得到验证。 ### II. 相关工作 多目标跟踪（Multi-Object Tracking, MOT）已被广泛研究，用于追踪行人或车辆 [^1]。该问题的解决方案通常可分为单相机方法和多相机方法两大类。 ### A. 单相机/单激光雷达多目标跟踪（MOT） 得益于多个公开数据集的存在，利用单相机追踪行人或车辆的研究已经十分充分，例如MOT Challenge [^7] 和KITTI数据集 [^8]。MOT Challenge数据集由监控摄像头拍摄的视频构成，支持在各类场景下测试追踪方法，例如拥堵区域的追踪任务。KITTI数据集包含行驶车辆顶部激光雷达采集的行人三维点云数据。DeepSORT [^9] 是典型的MOT系统，它使用Yolo目标检测方法在给定帧中检测目标物体，随后利用卡尔曼滤波在连续帧中追踪运动目标。已有研究在 [^10] 中提出了从单目视频中进行三维车辆检测与追踪的方法，该方法使用深度神经网络（DNN），在二维图像序列中估计每个目标周围的三维边界框。 另一方面，已有大量工作致力于利用三维相机或激光雷达开展三维追踪。已有研究 [^11] [^12] [^13] 将RGB图像与三维点云结合用于行人追踪，而 [^14] [^15] [^16] [^17] [^18] 仅单独采用三维点云开展研究。仅使用三维点云的优势在于对色彩和亮度变化不敏感，这类变化通常会影响相机成像。此外，激光雷达不存在监控摄像头带来的隐私问题。不过，使用激光雷达也让MOT更具挑战性，因为色彩是检测/识别行人最关键的特征。为应对该问题，基于三维点云的三维MOT通常会融入自定义设计的特征 [^19], [^20]。我们也已使用自研的单三维激光雷达追踪系统开展了相关工作。 与上述方法不同，本文提出的系统旨在利用多个分布式3D激光雷达实现精准的行人追踪。 ### B. 结合行人重识别的多相机多目标跟踪 多摄像头多目标跟踪（Multi-Camera MOT）指利用多个分布式摄像头实现多目标跟踪，已有研究已在[^21]、[^22]、[^23]中针对特定场景对该问题展开了研究。而多摄像头多目标跟踪中的行人重识别（即对不同位置、不同时刻由不同摄像头检测到的同一行人进行匹配识别的任务）已在[^24]中被提出。在[^25]中，研究者利用RGB图像中的衣物颜色，以及不同摄像头之间的行程时间和距离计算行人之间的相似度，随后使用匈牙利算法完成匹配[^26]、[^27]。此外，已有研究融合不同类型的摄像头实现行人重识别[^28]、[^29]。[^28]中的系统将RGB-D摄像头与温度传感器结合，而[^29]则使用了RGB摄像头和红外摄像头。在[^28]中，研究者利用带深度数据的RGB-D摄像头提取行人的骨骼信息。此外，近期研究如[^30]、[^31]都致力于提升基于RGB-D的识别和行人重识别能力。另一方面，[^32]中的系统从三维点云中估计人体关节，但这类工作无法直接应用于行人重识别，因为人体姿态无法提供足够的信息区分不同行人。尽管目前已经存在基于摄像头的行人重识别数据集，例如Market-1501 [^33]和运动分析与重识别数据集（MARS）[^34]，目前还没有基于多个分布式三维激光雷达的同类公开数据集。 --- 据我们所知，这是第一项利用多个分布式激光雷达捕获的隐私保护三维点云实现行人重识别的工作。此外，本文提出的系统还解决了三维点云处理相关的挑战，例如点云无序、无结构以及尺寸不统一的问题。 ### C. 轨迹预测 轨迹预测[^35]、[^36]的研究目标是从移动轨迹中提取运动模式。[^35]中的方法针对交通网络提出了一种基于历史运动模式的轨迹预测模型，通过将轨迹聚类并挖掘频繁出现的轨迹模式，该方法能够高精度地预测未来运动轨迹。[^36]的作者同样研究了轨迹预测问题，但他们使用稀疏编码[^37]将每条轨迹表示为预定义轨迹模式的组合，从而能够对每条新轨迹的后续轨迹进行预测。他们还提出了一种基于相似度的模型融合算法，允许智能体通过相互交换已学习到的数据来更新自身的知识。 恰恰相反，本文聚焦于从给定的一组行人子轨迹中得到完整行人轨迹的问题，我们研究工作的背景与该方向完全不同。 ### III. 使用激光雷达的研究动机 在本节中，我们阐述了将激光雷达作为本文所提系统核心技术的研究动因。激光雷达正在成为支撑下一代智能安全环境的核心赋能技术[^38]、[^39]。激光雷达能够在任意光照条件下，对周围物体提供远距离、实时、厘米级的距离测量。 隐私：激光雷达LiDAR相比基于摄像头的系统拥有一项核心优势——隐私保护。随着人们愈发担忧人脸识别技术可被用于全面监控，美国国会正在讨论相关立法，寻求禁止联邦执法机构使用基于摄像头的人体识别及其他生物特征监控技术。因此，正如《福布斯》所报道，如今业内主流科技厂商已经逐步放弃了自身基于摄像头的人脸识别技术 [^40] $^{2}$。美国国会现有立法旨在禁止联邦执法机构使用基于摄像头的人脸识别及其他生物特征监控技术。另一方面，行业也已投入大量精力，通过为摄像头加装额外硬件/软件，来阻止/降低摄像头获取详细视觉数据（私人信息）的能力 [^41], [^42]。与之相反，LiDAR本质上仅捕捉场景的点云表示，无法从中识别出人类的生物特征，例如面部特征、头发和肤色，甚至衣物信息都无法被识别。 成本：与LiDAR相比，摄像头常被认为具备成本优势。但当系统设计需要满足隐私、覆盖范围和不同光照条件的最优水准时，以摄像头为核心方案的这一假定优势会大幅缩水。单个LiDAR传感器通常可覆盖的面积约为单个摄像头的四倍，能显著降低安装成本和部署复杂度。此外，如今LiDAR的价格已经低至仅80美元 [^43]，且在不同应用中都具备可靠性 [^44] [^45] [^46] [^47] [^48]。 部署：基于LiDAR的解决方案相比基于摄像头的方案具备部署高效、实现简单的优势。使用可在更远距离生成密集点云的高质量LiDAR，仅需更少设备即可实现大规模可靠追踪。此外，LiDAR数据处理速度更快、流程更简单，和摄像头相比，系统所需的计算算力需求更低。 ### 四、系统架构与问题定义 ### A. 单台LiDAR获取子轨迹 每台LiDAR可捕获目标三维空间的一部分，在LiDAR数据流的每一帧（即对空间的一次扫描）中，均可得到一个三维点云（简称点云）。第i台LiDAR生成点云的三维空间称为第i台LiDAR的扫描空间，记为 $\mathbb{S}_{i}^{3}$。随后对该点云应用背景减除法提取运动物体。提取得到的点云称为前景点云，接下来会执行分割操作以找出前景点云中的每个行人。我们使用体素网格滤波器（Voxel Grid Filter）[^49]，对前景点云进行下采样，将每个体素网格单元转换为单个虚拟点。随后对前景点云应用聚类算法，将其分割为不同的人体分割段。为降低处理开销，我们在执行聚类时移除Z轴，采用基于DBSCAN的聚类得到人体分割段。 子轨迹指的是由人体分段的$(x, y)$坐标按时间顺序排列得到的二维轨迹，对应单个行人在激光雷达（LiDAR）扫描空间$\mathbb{S}_i^3$（图1）中的行走轨迹。需要说明的是，前缀“子”表示该子轨迹仅代表单个行人完整轨迹的一部分。为简化描述，第i台激光雷达可获取子轨迹的二维区域被称为第i台激光雷达的轨迹区域，记为$\mathbb{S}_i^2$。通常，$\mathbb{S}_i^2$是$\mathbb{S}_i^3$在XY平面上的投影。 我们设$TR_i^{[t,t]}$和$H_i^t$分别表示第i台激光雷达在时间窗口$[t,t']$内得到的子轨迹集合，以及在时刻t得到的人体分段集合。另设$tr_{i,j}^{[t_a,t_b]}$表示第i台激光雷达得到的第j条子轨迹，其起始时刻为$t_a$，结束时刻为$t_b$。需要说明的是，对于任意子轨迹$tr_{i,j}^{[t_a,t_b]} \in TR_i^{[t,t']}$，都满足$t \leq t_a \leq t_b \leq t'$。$tr_{i,j}^{[t_a,t_b]}$包含于$\mathbb{S}_i^2$，且其起点和终点都位于$\mathbb{S}_i^2$的边界上。 --- ![Image](images/5ab4fce4f42ffc6463d29f26ae3d2728ed18dde0bf02fb1bd08a6de2d0d776e3.jpg)
Fig. 1. Sub-trajectories by Distributed LiDARs
在时刻t，我们从第i台激光雷达获取人体分段集合$H_i^t$。我们假设已经得到了$TR_i^{[t-k,t-1]}$时间窗口$k-1$的子轨迹集合$(k>1)$。接下来我们寻找子轨迹$tr \in TR_i^{[t-k,t-1]}$与人体分段$h \in H_i^{t-1}$之间的对应关系。通过应用我们基于卡尔曼滤波的跟踪方法[^50]，可以很容易地找到该对应关系，进而得到更新后的$TR_i^{[t-k,t]}$。最后，我们定义两条子轨迹$tr_{[t_a,t_b]}^{[t_a,t_b]}$和$tr_{[t_j,v]}^{[t_c,t_d]}$之间的时间关系：当且仅当满足$tr_{i,u}^{[t_a,t_b]} < tr_{j,v}^{[t_c,t_d]}$时，我们记为$t_b < t_c$。 ### B. 问题定义 我们考虑一个时间窗口，记为$[t_s, t_e]$。假设已知激光雷达集合L、各激光雷达的扫描空间和轨迹区域，以及安装这些激光雷达的目标区域地图，同时假设已经得到了子轨迹集合$TR = \bigcup_{i \in L} TR_i^{[t_s, t_e]}$。 本文中的轨迹估计问题可表述为：寻找TR的一个划分，使得划分中的每个元素都能构成一条子轨迹序列。子轨迹序列是满足基于时间关系$<$的全序关系的子轨迹按时间排列得到的序列。例如，一个包含子轨迹$tr_1 = tr_{i,u}^{[1,3]}$、$tr_2 = tr_{j,v}^{[4,6]}$和$tr_3 = tr_{j,r}^{[10,12]}$的划分，若满足$tr_1 < tr_2 < tr_3$，则可以构成子轨迹序列$tr_1; tr_2; tr_3$。 得到划分集合后，结合每个划分和地图，我们可以利用地图中包含的走廊或通路信息估计相邻子轨迹之间的路径。但受篇幅限制，该内容不在本文的讨论范围内。 ### C. 轨迹估计算法 对于给定的$TR = \bigcup_{i \in L} TR_i^{[t_s, t_e]}$，我们的算法流程如下。 我们准备了两组子轨迹$V_1$和$V_2$，以及一个子轨迹对集合E，初始状态下它们全部为空。$V_1$和$V_2$分别对应终点为连接点和起点为连接点的子轨迹集合。随后，对于每一对子轨迹$tr_u, tr_v \in TR$，若满足$tr_u < tr_v$，我们会将$tr_u, tr_v$和$(tr_u, tr_v)$分别加入$V_1$、$V_2$和E中。我们还会计算该对子轨迹的亲和度值（$\in [0,1]$），其定义与说明见第五节，同时构造权重函数$W: E \to [\Gamma \setminus \Gamma]$~。 最终我们得到一个加权二分图$G = (V_1 \cup V_2, E, W)$。根据$|V_1| = |V_2|$和$V_1$的构建方式，$V_2$成立，因此该问题转化为在集合E中寻找$V_1$与$V_2$之间的最优一一匹配。这等价于寻找E的子集$E'$，使亲和度值的总和最大，如式(1)所示。 $$ E^{\prime}=\arg\max_{E^{\prime}\subseteq E}\ \Sigma_{e\in E^{\prime}}W(e) $$ 针对该问题，我们可以结合$O(N^{3})$使用匈牙利算法来寻找最优匹配[^26]。 需要注意的是，如果TR的$V_1$更小，那么匹配候选集$V_2$和$t_s - t_e$的大小自然也会更小。这促使我们设计了该匹配算法的在线版本。具体来说，我们持续监测子轨迹并更新$V_1$和$V_2$，一旦$|V_1| = V_2$达到足够数量，就可以计算最优匹配并继续后续流程。时间窗口大小的选择取决于目标应用与服务。 ### 五、子轨迹亲和度计算 在本节中，我们为每一对子轨迹$(tr_{u}, tr_{v})$定义一个亲和度值。为此我们利用了以下三个特征：(i) 分别来自$tr_{u}$和$tr_{v}$的两个人体片段（点云）的相似度；(ii) 从$tr_{u}$的终点到$tr_{v}$的起点的统计空间特征（转移频率）；(iii) 从$tr_{u}$的终点到$tr_{v}$的起点的统计时间特征（行进时间）。对应的概率（似然）分别表示为$P_{1}$、$P_{2}$和$P_{3}$，它们的取值范围均在[^0] [^1]内。亲和度值记为$A(tr_{1}, tr_{2})$，等于上述概率的乘积。 $$ A(tr_{u},tr_{v})=P_{1}\cdot P_{2}\cdot P_{3} $$ 在第V-A、V-B和V-C节中，我们分别说明$P_{1}$、$P_{2}$和$P_{3}$的计算方式。此外，由于$P_{2}$和$P_{3}$基于统计（即先验分布），我们将引入贝叶斯框架来更新它们的似然分布。我们在第V-D节中说明该更新过程。 ### A. 人体片段相似度 我们定义并计算两个片段的相似度，以此判断一对人体片段（人体点云片段）是否来自同一个人。直接采用任何基于学习的相似度方案通常都不适用，因为点云数据通常是无序、无结构的，且每个片段包含的点数也不相同。因此，我们设计了基于Fisher向量的特征提取和基于深度度量学习的相似度计算方案来解决该问题。 1) 特征提取：我们采用Fisher Vector（FV）方法提取输入人体片段的固定大小表示。具体来说，FV计算三维点云相对于高斯混合模型（GMM）的偏差。使用FV进行特征提取的思路在于，它能够捕获三维点在空间中的分布形态，得到可区分不同人体片段的特征编码。该过程可以通过计算样本对数似然相对于GMM模型参数（即高斯权重、均值和协方差）的梯度来实现。提取得到的特征表示 --- 不随人体片段内的点数量变化，始终保持固定大小。这一优势让基于学习的相似性技术处理尺寸可变的人体片段变得更加容易。 形式化表述如下：设$X_i = \{p_t \in \mathbb{R}^3, \, t = 1, ..., T\}$为人体片段i的三维点集合，其中T表示片段内的点数量，该数值受多种不同因素影响会发生大幅变化，例如激光雷达（LiDAR）的分辨率和量程、场景以及观测距离。我们假设每个点都来自C个不同分组中的一个，这些分组分别对应头部、手臂、腿部等身体部位，在高斯混合模型（GMM）中每个分组就是一个高斯分布。则C分量GMM的参数集合$\lambda$定义为$\lambda = \{(w_c, \mu_c, \Sigma_c), c = 1, ..., C\}$，其中$w_c, \mu_c, \Sigma_c$分别是$c^{th}$分布的混合权重、均值和协方差矩阵。不同的高斯分量预先定义在三维网格上，具有相等的权重和标准差。单个三维点属于$c^{th}$高斯分布的似然为： $$ u_{c}(\boldsymbol{p})=\frac{1}{(2\pi)^{D/2}\left|\boldsymbol{\Sigma}_{c}\right|^{1/2}}\exp\left\{-\frac{1}{2}\left(\boldsymbol{p}-\boldsymbol{\mu}_{c}\right)^{\prime}\boldsymbol{\Sigma}_{c}^{-1}\left(\boldsymbol{p}-\boldsymbol{\mu}_{c}\right)\right\} $$ 一个点属于GMM概率密度的似然定义为： $$ u_{\lambda}(\boldsymbol{p})=\sum_{c=1}^{C}w_{c} u_{c}(\boldsymbol{p}) $$ 给定特定GMM，在常见的独立性假设[^51]下，Fisher向量$G_{\lambda}^{X}$可以表示为归一化梯度统计量的和，针对每个点$p_{t}$的计算式如下： $$ G_{\lambda}^{X}=\sum_{t=1}^{T}L_{\lambda}\nabla_{\lambda}\log u_{\lambda}\left(\boldsymbol{p}_{t}\right) $$ 其中$L_{\lambda}$是逆Fisher信息矩阵的平方根[^51]。我们进行变量替换，将$w_{c}$替换为$\alpha_{c}$，以此保证$u_{\lambda}(x)$是一个合法分布，并简化梯度计算： $$ w_{c}=\frac{\exp\left(\alpha_{c}\right)}{\sum_{j=1}^{C}\exp\left(\alpha_{j}\right)} $$ $$ \mathcal{G}_{\alpha_{c}}^{X}=\frac{1}{\sqrt{w_{c}}}\sum_{t=1}^{T}\left(\gamma_{t}(c)-w_{c}\right) $$ 因此，归一化后的梯度可以表示为： $$ \mathcal{G}_{\mu_{c}}^{X}=\frac{1}{\sqrt{w_{c}}}\sum_{t=1}^{T}\gamma_{t}(c)\left(\frac{\boldsymbol{p}_{t}-\mu_{c}}{\sigma_{c}}\right) $$ $$ \mathcal{G}_{\sigma_{c}}^{X}=\frac{1}{\sqrt{2w_{c}}}\sum_{t=1}^{T}\gamma_{t}(c)\left[\frac{\left(\boldsymbol{p}_{t}-\boldsymbol{\mu}_{c}\right)^{2}}{\sigma_{c}^{2}}-1\right] $$ Fisher向量由所有这些分量拼接得到： $$ \mathcal{G}_{F V_{\lambda}}^{X}=\left(\mathcal{G}_{\alpha_{1}}^{X},\ldots,\mathcal{G}_{\alpha_{c}}^{X},\mathcal{G}_{\mu_{1}}^{X^{\prime}},\ldots,\mathcal{G}_{\mu_{c}}^{X^{\prime}},\mathcal{G}_{\sigma_{1}}^{X^{\prime}},\ldots,\mathcal{G}_{\sigma_{c}}^{X^{\prime}}\right) $$ ![Image](images/3462de89d5fd484da07c5f14660c653afa0e88a1ef2bdf43e9c4c26162599f71.jpg)
Fig. 2. Similarity Calculation of Two Human Segments
为了消除每个片段中三维点数量差异带来的影响，得到的FV会按样本大小T进行归一化： $$ \mathcal{G}_{F V_{\lambda}}^{X}\gets\frac{1}{T}\mathcal{G}_{F V_{\lambda}}^{X} $$ 此外，FV通过利用对称函数保证提取到的特征对输入排列具有不变性。更具体地说，FV计算梯度的求和，而求和本身就是一个对称函数。受[^52]中最大池化的启发，我们扩展了基础FV，额外计算了包含最小值和最大值在内的对称函数。这得到了更具描述性且排列不变的表示。最终，每个人体片段被映射为一个$20 \times 54$特征矩阵，其中54是高斯分量的数量，20是特征数量，如下所示： $$ F V_{\lambda}^{X}=\left[\begin{array}{l}\sum_{t=1}^{T}L_{\lambda}\nabla_{\lambda}\log u_{\lambda}\left(p_{t}\right)\Big|_{\lambda=\alpha,\mu,\sigma}\\ \max_{t}\left(\left.L_{\lambda}\nabla_{\lambda}\log u_{\lambda}\left(p_{t}\right)\right|_{\lambda=\alpha,\mu,\sigma}\right.\\ \left.\min_{t}\left(\left.L_{\lambda}\nabla_{\lambda}\log u_{\lambda}\left(p_{t}\right)\right)\right|_{\lambda=\mu,\sigma}\right.\end{array}\right] $$ 2) 相似性计算：为了基于人体片段之间的相似性对提取到的特征进行分类，我们使用深度度量学习学习一个将特征映射到嵌入空间的变换神经网络。作为深度度量学习方法，我们使用Triplet loss（三元组损失）[^53]。三元组损失会拉大不同类别样本之间的距离，缩小相同类别样本之间的距离。我们使用余弦相似度作为三元组损失的度量函数。 整体流程如图2所示，我们使用两个人体片段（输入点云）计算Fisher Vectors。随后将结果输入训练完成的神经网络，得到嵌入空间中的「坐标」。输出是所得坐标x和y的余弦相似度$\cos(x, y)$。余弦相似度的取值范围通常为$[-1, 1]$，但为了和后文介绍的其他特征保持一致，我们将其调整到[0.1]区间使用。因此，$P_1$定义如下： $$ P_{1}=similarity(h_{i},h_{j})=\frac{\cos(h_{i},h_{j})+1}{2} $$ 其中$h_{1}$和$h_{2}$分别是两条待研究子轨迹中的人体片段。 --- ### B. 空间特征 两条子轨迹的空间特征表征了过去发生相似转移的频率。为此，我们重点关注每个LiDAR i的轨迹区域边界$\mathbb{S}_{i}^{2}$。 借助目标区域地图，我们可以为每个LiDAR i找出$\mathbb{S}_i^2$边界上行人最可能进出的位置，我们将这些位置称为虚拟门。虚拟门可以是普通门，也可以是走廊处$\mathbb{S}_i^2$的边界等，且每条子轨迹的起点（或终点）都必然属于某个虚拟门。随后我们构建转移矩阵Q，矩阵中每个元素为从一个虚拟门到另一个虚拟门的转移概率。 给定目标虚拟门，例如$g_{2}$（即$tr_{v}$起点所属的虚拟门），我们将子轨迹$P_{2}$和$tr_{u}$的空间特征概率$tr_{v}$定义为：$g_{1}$终点所属虚拟门（例如$tr_{u}$）到目标门的概率，除以所有其他门到$g_{2}$的概率之和。定义如下： $$ P_{2}=\frac{Q(g_{1},g_{2})}{\sum_{k}Q(g_{k},g_{2})} $$ ### C. 时间特征 类似地，两条子轨迹的时间特征用于表征从一个虚拟门到另一个虚拟门出行时长的概率。设$tr_{i,u}^{[t_{a},t_{b}]}$和$tr_{j,v}^{[t_{c},t_{d}]}$分别表示这两条子轨迹，当$\Delta t = t_{c} - t_{b}$时，出行时长可计算为$tr_{i,u}^{[t_{a},t_{b}]} < tr_{j,v}^{[t_{c},t_{d}]}$。假设先验概率密度函数为$p_{time}(x)$，我们可以通过下式得到概率： $$ P_3=p_{time}(\Delta t) $$ ### D. 时空特征分布更新 最后，我们介绍如何更新转移矩阵Q（空间特征）和概率密度函数$p_{time}(x)$（时间特征）。前者通过直方图完成更新，后者基于贝叶斯体系完成更新。 这些参数需要在系统运行过程中以高置信度更新，一种可高置信度判定的场景是：仅观察到一名行人从一个终点前往另一个起点，未观测到其他行人。这种情况通常出现在人流量较小的场景中（例如清晨），转移矩阵可通过已记录的过往转移直方图轻松完成高置信度更新。对于出行时长概率分布的贝叶斯更新，在这种高置信度场景中，出行时长$P(E|H)$的似然近似服从正态分布。因此，我们使用式(16)给出的贝叶斯公式对先验分布进行更新。 $$ P(H|E)=\frac{P(E|H)\cdot P(H)}{P(E)} $$ 在此，出行时长的先验分布$P(H)$和更新得到的后验分布$P(H|E)$均服从逆伽马分布。
TABLE I
3D LiDAR SPECIFICATIONS
Livox AviaHokuyo\nYVT-35LX
Maximum number of points (point/frame)240,0002,664
Frame rates (frame/s)1010
Maximum detection distance (m)46035
Horizontal field of view angle (°)70.4210
Vertical field of view angle (°)77.240
Distance precision ( $1\sigma$ at 20m) (cm)$\pm$ 2.0$\pm$ 0.1
Angular precision ( $1\sigma$) (°)$\pm$ 0.05$\pm$ 2.0
TABLE II\nDATASET STATISTICS
Experiment-1Experiment-2Experiment-3
# of observed persons32 (max)2,35615,101
# of sub-trajectories319 (max)4,06219,356
# of switches287 (max)1,7064,255
### VI. 评估 在本节中，我们使用测试平台对所提出的系统进行评估。我们在我校新校区建筑中安装了70台LiDAR，覆盖范围从1层（即底层）到6层。设计、实现与安装整个过程耗时近两年，我们刚刚才开始收集人体轨迹数据。 ### A. 系统规格、实验环境与数据集 LiDAR的规格汇总于表1中。 本文在校园内的三个场地开展了如下实验，分别对三类场景进行评估：(i) 受控预设场景下的基础性能（实验1，位于2楼中型室内广场）；(ii) 1楼中型入口大厅的原位性能评估（实验2），此处使用了类似RGB相机的高密度窄FoV LiDAR，目的是与基于RGB相机的方法对比；(iii) 分布有大量教室的5楼长走廊的原位性能评估（实验3），此处使用了宽FoV、相对低密度的LiDAR。这些实验环境如图3和图4所示。 实验1中的综合研究包含以下内容：不同拥挤程度（即人数变化）下的准确率变化（场景1-(a)）、所提更新方法带来的性能提升（场景1-(b)）、各组件的单独性能测试（场景1-(c)）。 ### B. 数据采集 所得数据集的统计信息如表II所示。 在实验1中，我们招募了32名普通受试者，涵盖不同性别和年龄分布（年龄区间为20岁至50岁）。每位受试者需沿着四个拐点之间的指定路线行走。这四个拐点围成的矩形区域为$4m \times 7m$，如图3(a)和图4(a)所示。我们为每位受试者采集了约1000帧三维点云。本实验中，LiDAR波束不会被其他受试者遮挡，因此可以清晰获得子轨迹，我们能够基于完整子轨迹评估纯匹配性能。 在实验2中，我们在大楼入口大厅使用4台LiDAR（Livox --- ![Image](images/fd6c0b00b13240fce1ee3a56782f5b0f8a3a2ca9c026f72b4bb6562b34b232dd.jpg)
(a) 2nd Floor (Experiment-1)
![Image](images/9e852dbd23265b16ecc758c56877e2e878e28dcdc2d017587b9d343e0adb8dca.jpg)
(b) 1st Floor (Experiment-2)
![Image](images/013d87d5fd1c4e4b946d2d1110e0006f43c99b1fa389ea19085c71bffd34fefb.jpg)
(c) 5th Floor (Experiment-3)
Fig. 3. Maps of the experimental environments. Yellow circles and red arrows indicate LiDAR locations and directions, respectively. The total visible range of LiDARs' are filled with light blue, and the eliminated regions for evaluations are illustrated as red rectangles. Each side of the red rectangle corresponds to the “virtual gates”. (b) Blue dotted lines represent the real trajectory.
![Image](images/34c4e5466580b9f275af707ea78ceecd1e3297fb3fbbb8a129947ccd7be6b4b7.jpg)
(a) 2nd Floor (Experiment-1)
![Image](images/25323729ede618051fba50879cc92a91119be47ef91a903be5574545df6a3805.jpg)
(b) 1st Floor (Experiment-2)
![Image](images/db7ca56bd0ffad3923d761f33615179f1731a612cf83d7c76e5aa034f9b45a9a.jpg) ![Image](images/fec6598c2eb7f96cb31a5660f11bd0bb80b9a11ff41b588180a794287ba0530f.jpg)
(c) 5th Floor (Experiment-3)
Fig. 4. Experimental environments. Lines and regions correspond to the maps.
Avia）对大楼人员进行观测。轨迹、剔除区域（红色矩形）和轨迹区域如图3(b)和图4(b)所示。观测时间为2022年9月10日至9月13日（共4天），总计得到2356条完整轨迹（即2356名行人）。最重要的是，实验2完成了与基于RGB相机方法的对比。 在实验3中，与实验2类似，我们在5楼一条分布有大量房间的长走廊中对大楼的常驻人员和访客进行观测（如图3(c)和图4(c)所示）。由于我们需要更大范围的水平视野，因此在5楼安装了不同型号的LiDAR（Hokuyo YVT-35LX），我们一共使用了7台该型号LiDAR来追踪行人。本实验的核心特点是：行人移动性不同（轨迹更长）、LiDAR参数不同（与前序实验相比点云密度更低）、观测区域更广。 ### C. 实验1：场景与结果 尽管每个实验的整层楼几乎都被已安装的LiDAR完全覆盖，但我们有意剔除了图3中红色矩形标记的中心区域点云，将该区域作为LiDAR空白区来评估我们的方法。更详细的配置将在后续小节中说明。 本次研究招募的32名受试者沿同一路线独立行走。随后我们合成多名受试者的点云，生成了多个受试者数量不同、时间安排不同的场景。 1）场景设置：在场景1-(a)中，我们合成生成了不同数量（2、4、8、16和32名）的受试者，其中将后续受试者的出发时间推迟10秒，以此在相邻受试者之间形成间隔。在场景1-(b)中，我们改变了推迟时间（0秒、5秒、10秒、15秒和20秒）。该场景主要用于评估出行时间分布的影响，即推迟时间越短，出行时间越难区分。在场景1-(c)中，为评估各特征（ $P_1$, $P_2$ and $P_3$）的贡献，我们仅使用三个特征中的一个进行匹配。 在所有场景中，我们都对比了时空特征（转移矩阵Q和出行时间概率分布 $p_{time}(x)$）更新前后的匹配性能。Q和$p_{time}(x)$中的所有概率都采用均匀分布作为初始值（我们为$p_{time}((x))$设定了确定范围），并使用所有场景得到的观测值对二者进行更新。 2）场景1-(a)的结果：图5(a)展示了不同受试者数量对应的F值，其中同时给出了转移矩阵和出行时间分布更新前后的结果。由于初始分布为完全均匀分布（零知识），32名受试者（这是$28m^{2}$中容纳32人的极端（高度拥挤）案例 [^54]))的准确率约为0.6，但更新后准确率得到大幅提升。在正常步行速度下，4-8名受试者可形成合适的密度。从结果来看，更新后的F值为0.8-0.9，已经足够高。基于上述观察，我们选择4名受试者的设置用于场景1-(b)。 3）场景1-(b)的结果：图5(b)也展示了不同间隔时间对应的F值。随着间隔时间变长，我们 --- ![Image](images/bf9a229c30a0bf5dba4ecbad25de8d090cbc69a1f60d6d7c86bae82ee29ccacb.jpg) ![Image](images/c05363f6272e85879a6e9db066823dd090ba78596633345919b72c658ac317f7.jpg)
(a) in Scenario 1-(a) (with Diff- (b) in Scenario 1-(b) (with Different ferent Number of Subjects, Inter- Time Intervals, # Subjects = 4) val=10sec.)d
Fig. 5. F-measure variation
CONTRIBUTIONS OF FEATURES TO ACCURACY (# SUBJECTS=4 AND INTERVAL=10SEC.)
FeatureF-measure (Post-update)
Point Cloud Feature $P_{1}$0.74
Spatial Feature $P_{2}$0.71
Temporal Feature $P_{3}$0.80
Combination $P_{1} \cdot P_{2} \cdot P_{3}$0.89
在10秒范围内获得的准确率随间隔增加而提升，这符合直观规律。我们也观察到间隔超过10秒后准确率有所下降，这说明10秒的间隔对于形成可区分的出行时间和模式特征是最优的，这一结果完全取决于具体场景设置。 4）场景1-(c)的结果：我们评估了仅使用单个特征（$P_{1}$、$P_{2}$和$P_{3}$）时的F值，结果见表III。所有单特征案例的F值都在0.7到0.8之间，而结合三个特征时F值为0.89，证明了特征组合的有效性。 5）分布更新的效果：表IV给出了更新前后的准确率，更新后的F值提升至0.89。图6展示了匹配对的亲和度分布：更新前，负对分布在很宽的范围内，更新后都收敛到低亲和度区间。图7(a)展示了高置信度配对的亲和度分布，可以清楚看到高亲和度区间几乎不存在负对。最后，图7(b)展示了图3(a)中从右上角到左上角出行过程中分布的更新过程：先验分布是方差较大的橙色曲线，似然是由高置信度出行计算得到的紫色曲线，后验分布是蓝色曲线，即贝叶斯更新得到的结果。 6）深度度量学习性能：我们针对32名受试者研究了深度度量学习的基础性能。我们在随机选出的90%数据上训练模型，在剩余10%数据上进行测试。计算了测试数据中两段人体片段的平均余弦相似度值，结果以矩阵形式展示在图8(a)中，其中红色单元格表示更高的相似度值。可以看到红色单元格分布在从左上到右下的对角线上（这说明相似度趋势正确），但在其他单元格中也存在红色单元格。为了量化结果，
TABLE IV
ACCURACY (PRE- AND POST-UPDATES) (# SUBJECTS=4 AND INTERVAL=10SEC.)
PrecisionRecallF-measure
Pre-update0.850.840.84
Post-update0.890.880.89
![Image](images/587f92b5d0c4b1bb4a26334b2118c4fd94702eef10fa2a75a40c242f04432448.jpg)
(a) Pre-update
![Image](images/889405715ae539d0a679ca79fc5df0c166429e9fd93d452a2510ee368556ddb5.jpg)
(b) Post-update
Fig. 6. Affinity Distribution
对角线上同一人和不同人之间相似度的均值和标准差展示在表V中。从结果中我们可以清楚看到不同受试者之间的偏差更大。ROC曲线也展示在图8(b)中，其曲线下面积（AUC）为0.71。一般来说，AUC高于0.7就代表相当高的准确率。 ### D. 实验2：与RGB相机的对比 在实验2中，我们在原位环境开展了为期四天的行人追踪，由于人群较少，本文提出的方法获得了相当高的准确率（F-measure=0.98），如表II所示。 我们将本文方法与知名的基于RGB相机的行人重识别系统[^55]进行了对比，选择该数据集是因为实验2的追踪场景与使用分布式RGB相机的场景相似。考虑到建筑设计，一楼的激光雷达与监控摄像头安装在相同位置，朝向也一致。此外，所安装的激光雷达（Livox Avia）的视场（FoV）与相机也较为相近。由于无法实现完全相同的系统，我们使用[^55]中精度高得多的重识别功能，替代了我们基于点云的重识别。另一方面，如果使用相机系统，由于单相机追踪的精度低于单激光雷达追踪，通常可以得到转移模式。因此，我们的方法可以利用点云特征（ $P_{1}$）、转移特征（ $P_{2}$）和行进时间（ $P_{3}$），而基于相机的方法可以利用基于颜色的特征（ $P_{1}^{+}$）和行进时间（ $P_{3}$）。结果展示在表VI中。借助合理的$P_{1}$和原创的$P_{2}$，本文提出的方法获得了足够的精度，而RGB方法凭借基于图像的特征实现了更高的精度。与知名的基于相机的重识别方法相比，我们的方法在隐私保护和精度之间实现了非常好的平衡。 ### E. 实验3：长走廊场景 在实验3中，我们使用了Hokuyo激光雷达，该雷达生成低密度三维点云。因此，本文提出的基于FV的重识别方法并不适用。取而代之，我们 --- ![Image](images/c1aff93a877ce9f937c13d39929a56f9afe97b477c2a2507aabd719382ba49c6.jpg) ![Image](images/8682fb84da540f1e114411e8f601efef76f852255ebfe03c2539519019a32ec2.jpg)
(a) Affinity Distribution of Reliable (b) Travel Time Distribution Update Data
Fig. 7. High Confidence Data for Update
![Image](images/2e14215c1890fdf693d9e39b3648c568780b48135bc22ac9682dd64eb4859640.jpg)
(a) Similarity Matrix of Subject Pairs (red (close to 1) and blue (close to -1) mean more and less similarity values, respectively)
![Image](images/334978b16e72ac42a0df882f368ed3852b0297916ba676443a3012163c549260.jpg)
(b) ROC Curve of Re-id
#### 图8. 深度度量学习的性能 采用了更简单的特征作为$P_{1}$的替代，即行人身高。如图3(c)、4(c)所示，共安装了7台Hokuyo激光雷达。由于相邻激光雷达的扫描区域存在重叠，与实验1/2的处理类似，我们在本次实验中剔除了部分区域（蓝色矩形标注的三个区域）。 我们的数据采集时间为2022年1月20日上午11点至2022年1月24日下午1点。总轨迹数为15101条，各日数量分布如下：1月20日（周四）：3691条，1月21日（周五）：3901条，1月22日（周六）：437条，1月23日（周日）：5864条，1月24日（周一）：1208条。 我们以每小时更新分布的方式测量了匹配准确率，F-measure的变化如图VI-E所示。第3天的准确率（即基于前两天分布估计得到的结果）较高，第4天的准确率（即基于周六异常轨迹估计得到的结果）有所下降。除上述情况外，准确率随着分布更新而提升；第5天的准确率为0.80。 ### 七、结论 本文提出了一种采用多台无重叠视场分布式LiDAR的隐私保护行人追踪系统。我们在配备70台无色彩LiDAR的大规模测试平台中部署了该系统，并开展了三组不同实验。针对32名参与者的评估结果证实，即使在零覆盖区域，该系统仍能以0.98的F-measure实现准确的行人追踪。 ## 致谢 本研究得到MEXT「社会5.0创新平台」项目资助，项目编号JPMXP0518071489。
TABLE V
MEAN AND STANDARD DEVIATION OF SIMILARITY VALUES
meanstandard deviation
similarity between same person0.570.14
similarity between different persons0.020.41
![Image](images/2c6718a1615e09ca3b7dde7dff477cb4dd9d254677c648d959f850e8ed43ed15.jpg)
Fig. 9. Accuracy with Hourly Update
本研究得到JSPS KAKENHI（项目编号22K12011）以及NVIDIA奖项的部分资助。 ## 参考文献 [^1]: Patrick Dendorfer, Aljosa Osep, Anton Milan, Konrad Schindler, Daniel Cremers, Ian Reid, Stefan Roth, and Laura Leal-Taixé. Motchallenge: A benchmark for single-camera multiple target tracking. International Journal of Computer Vision, 129(4):845–881, 2021. [^2]: Reza Shokri, Marco Stronati, Congzheng Song, and Vitaly Shmatikov. Membership inference attacks against machine learning models. In Proc. of IEEE Symposium on Security and Privacy (SP), pages 3–18, 2017. [^3]: Matt Fredrikson, Somesh Jha, and Thomas Ristenpart. Model inversion attacks that exploit confidence information and basic countermeasures. In Proc. of 22nd Conference on Computer and Communications Security), pages 1322–1333, 2015. [^4]: John Shackleton, Brian VanVoorst, and Joel Hesch. Tracking people with a 360-degree lidar. In Proc. of 7th International Conference on Advanced Video and Signal Based Surveillance, pages 420–426, 2010. [^5]: Claudia Alvarez-Aparicio, Angel Manuel Guerrero-Higueras, Francisco Javier Rodríguez-Lera, Jonatan Ginés Clavero, Francisco Martín Rico, and Vicente Matellán. People detection and tracking using lidar sensors. Robotics, 8(3):75, 2019. [^6]: Yizhak Ben-Shabat, Michael Lindenbaum, and Anath Fischer. 3d point cloud classification and segmentation using 3d modified fisher vector representation for convolutional neural networks. arXiv preprint arXiv:1711.08241, 2017. [^7]: P. Dendorfer, H. Rezatofighi, A. Milan, J. Shi, D. Cremers, I. Reid, S. Roth, K. Schindler, and L. Leal-Taixé. MOT20: A benchmark for multi object tracking in crowded scenes. arXiv:2003.09003[cs], March 2020. arXiv:2003.09003. [^8]: Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. In CVPR, pages 3354–3361, 2012. [^9]: Nicolai Wojke, Alex Bewley, and Dietrich Paulus. Simple online and realtime tracking with a deep association metric. In Proc. of International Conference on Image Processing, pages 3645–3649, 2017. [^10]: H. N. Hu, Q. Z. Cai, D. Wang, J. Lin, M. Sun, P. Krahenbuhl, T. Darrell, and F. Yu. Joint monocular 3d vehicle detection and tracking. In IEEE/CVF ICCV), 2019. [^11]: Davi Frossard and Raquel Urtasun. End-to-end learning of multi-sensor 3d tracking by detection. In Proc. of 18th International Conference on Robotics and Automation, pages 635–642, 2018. [^12]: A. Shenoi, M. Patel, J. Gwak, P. Goebel, A. Sadeghian, H. Rezatofighi, R. Martin-Martín, and S. Savarese. JRMOT: A Real-Time 3D Multi-Object Tracker and a New Large-Scale Dataset. In Proc. of 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 10335–10342, 2020. ## [^13]: A. Rangesh and M. M. Trivedi. No Blind Spots: Full-Surround Multi-Object Tracking for Autonomous Vehicles Using Cameras and LiDARs. IEEE Trans. on Intelligent Vehicles, 4(4):588–599, 2019. ---
TABLE VI COMPARISON WITH OTHER RE-IDENTIFICATION METHODS
MethodFeatures to useF-measure (Pre-update)F-measure (Post-update)
OursPoint-cloud Re-ID $P_1$ + Accurate Transition $P_2$ + Travel Time $P_3$0.8440.885
RGB [^55]RGB-based Re-ID (accuracy++ / privacy--) + Travel Time $P_3$0.8510.943
[^14]: H. Wu, W. Han, C. Wen, X. Li, and C. Wang. 3D Multi-Object Tracking in Point Clouds Based on Prediction Confidence-Guided Data Association. IEEE Trans. on Intelligent Transportation Systems, pages 1–10, 2021. [^15]: M. Simon, K. Amende, A. Kraus, J. Honer, T. Samann, H. Kaulbersch, S. Milz, and H. M. Gross. Complexer-YOLO: Real-Time 3D Object Detection and Tracking on Semantic Point Clouds. In CVPR Workshops, 2019. [^16]: X. Weng, J. Wang, D. Held, and K. Kitani. 3D Multi-Object Tracking: A Baseline and New Evaluation Metrics. In Proc. of 2020 International Conference on Intelligent Robots and Systems, pages 10359–10366, 2020. [^17]: L. Spinello, K. Arras, R. Triebel, and R. Siegwart. A Layered Approach to People Detection in 3D Range Data. Proc. of AAAI Conference on Artificial Intelligence, 24(1):1625–1630, 2010. [^18]: A. Carballo, A. Ohya, and S. Yuta. People Detection Using Range and Intensity Data from Multi-Layered Laser Range Finders. In Proc. of 2010 International Conference on Intelligent Robots and Systems, pages 5849–5854, 2010. [^19]: J. Choi, S. Ulbrich, B. Lichte, and M. Maurer. Multi-Target Tracking Using a 3D-Lidar Sensor for Autonomous Vehicles. In Proc. of 16th International Conference on Intelligent Transportation Systems, pages 881–886, 2013. [^20]: S. Song, Z. Xiang, and J. Liu. Object Tracking with 3D LIDAR via Multi-Task Sparse Learning. In ICMA, pages 2603–2608, 2015. [^22]: Zheng Tang, Milind Naphade, Ming-Yu Liu, Xiaodong Yang, Stan Birchfield, Shuo Wang, Ratnesh Kumar, David Anastasiu, and Jenq-Neng Hwang. Cityflow: A city-scale benchmark for multi-target multicamera vehicle tracking and re-identification. In IEEE/CVF CVPR, pages 8797–8806, 2019. [^21]: Ergys Ristani and Carlo Tomasi. Features for multi-target multi-camera tracking and re-identification. In Proc. of 2018 IEEE conference on computer vision and pattern recognition, pages 6036–6046, 2018. [^23]: Hung-Min Hsu, Tsung-Wei Huang, Gaoang Wang, Jiarui Cai, Zhichao Lei, and Jenq-Neng Hwang. Multi-camera tracking of vehicles based on deep features re-id and trajectory-based camera link models. In CVPR Workshops, pages 416–424, 2019. [^24]: Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, et al. Self-paced contrastive learning with hybrid memory for domain adaptive object re-id. Advances in Neural Information Processing Systems, 33:11309–11321, 2020. [^25]: Yukihisa, Ikegame and Makoto, Hirano and Toru, Tamaki and Masanobu, Yamamoto. Probabilistic walking path estimation of a person using multiple cameras with no view duplication. IEICE Technical Report PRMU2004-186, 2005. [^26]: James Munkres. Algorithms for the assignment and transportation problems. Journal of the Society for Industrial and Applied Mathematics, 5(1):32–38, 1957. [^27]: Francois Bourgeois and Jean-Claude Lassalle. An extension of the munkres algorithm for the assignment problem to rectangular matrices. Communications of the ACM, 14(12):802–804, 1971. [^28]: Andreas Mogelmose, Chris Bahnsen, Thomas Moeslund, Albert Clapés, and Sergio Escalera. Tri-modal person re-identification with rgb, depth and thermal features. In CVPR Workshops, pages 301–307, 2013. [^29]: Guan'an Wang, Tianzhu Zhang, Jian Cheng, Si Liu, Yang Yang, and Zengguang Hou. Rgb-infrared cross-modality person re-identification via joint pixel and feature alignment. In ICCV, pages 3623–3632, 2019. [^30]: Ancong Wu, Wei-Shi Zheng, and Jian-Huang Lai. Robust depth-based person re-identification. IEEE Trans. on Image Processing, 26(6):2588–2603, 2017. [^31]: Jingjing Wu, Jianguo Jiang, Meibin Qi, Cuiqun Chen, and Jingjing Zhang. An end-to-end heterogeneous restraint network for rgb-d cross-modal person re-identification. ACM Trans. Multimedia Comput. Commun. Appl., 18(4), 2022. [^32]: Tianxu Xu, Dong An, Yuetong Jia, and Yang Yue. A review: Point cloud-based 3d human joints estimation. Sensors, 21(5):1684, 2021. [^33]: Liang Zheng, Liyue Shen, Lu Tian, Shengjin Wang, Jingdong Wang, and Qi Tian. Scalable person re-identification: A benchmark. In ICCV, pages 1116–1124, 2015. [^34]: Liang Zheng, Zhi Bie, Yifan Sun, Jingdong Wang, Chi Su, Shengjin Wang, and Qi Tian. Mars: A video benchmark for large-scale person re-identification. In Proc. of 2016 European Conference on Computer Vision, pages 868–884. Springer, 2016. [^35]: Shaojie Qiao, Nan Han, William Zhu, and Louis Alberto Gutierrez. Traplan: an effective three-in-one trajectory-prediction model in transportation networks. IEEE Trans. on Intelligent Transportation Systems, 16(3):1188–1198, 2014. [^36]: Golnaz Habibi and Jonathan P How. Human trajectory prediction using similarity-based multi-model fusion. IEEE Robotics and Automation Letters, 6(2):715–722, 2021. [^37]: Yu Fan Chen, Miao Liu, and Jonathan P How. Augmented dictionary learning for motion prediction. In Proceedings of the 2016 IEEE International Conference on Robotics and Automation (ICRA 2016), pages 2527–2534, 2016. [^38]: Hamada Rizk, Hirozumi Yamaguchi, Moustafa Youssef, and Teruo Higashino. Gain without pain: Enabling fingerprinting-based indoor localization using tracking scanners. In SigSpatial, page 550–559, 2020. [^39]: Hamada Rizk, Hirozumi Yamaguchi, Moustafa Youssef, and Teruo Higashino. Laser range scanners for enabling zero-overhead wifi-based indoor localization system. ACM Trans. Spatial Algorithms Syst., 2022. [^40]: Glenn Gow. Why are technology companies quitting facial recognition? . Accessed: 2022-12-26. [^41]: Carlos Hinojosa, Juan Carlos Niebles, and Henry Arguello. Learning privacy-preserving optics for human pose estimation. In Proc. of 2021 IEEE/CVF International Conference on Computer Vision, pages 2573–2582, 2021. [^42]: Francesco Pittaluga and Sanjeev Jagannatha Koppal. Pre-capture privacy for small vision sensors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(11):2215–2226, 2017. [^43]: Magikeye ilt lidar. . Accessed: 2022-12-26. [^44]: Shota Yamada, Hamada Rizk, and Hirozumi Yamaguchi. An accurate point cloud-based human identification using micro-size lidar. In Percom Workshops, pages 569–574, 2022. [^45]: Yuma Okochi, Hamada Rizk, and Hirozumi Yamaguchi. On-the-fly spatio-temporal human segmentation of 3d point cloud data by micro-size lidar. In IE, pages 1–4, 2022. [^46]: Hikaru Katayama, Teruhiro Mizomoto, Hamada Rizk, and Hirozumi Yamaguchi. You work we care: Sitting posture assessment based on point cloud data. In PerCom Workshops, pages 121–123, 2022. [^47]: Yuma Okochi, Hamada Rizk, Tatsuya Amano, and Hirozumi Yamaguchi. Object recognition from 3d point cloud on resource-constrained edge device. In WiMob, pages 369–374, 2022. [^48]: Hamada Rizk, Yuma Okochi, and Hirozumi Yamaguchi. Demonstrating hitonavi-μ: A novel wearable lidar for human activity recognition. In MobiCom, page 756–757. Association for Computing Machinery, 2022. [^49]: Radu Bogdan Rusu and Steve Cousins. 3D is here: Point Cloud Library. In Proc. of IEEE International Conference on Robotics and Automation, Shanghai, China, May 9-13 2011. IEEE. [^50]: Riki Ukyo, Tatsuya Amano, Akihito Hiromori, and Hirozumi Yamaguchi. Pedestrian tracking in public passageway by single 3d depth sensor. In Proc. of 2022 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events, pages 581–586, 2022. [^51]: Jorge Sánchez, Florent Perronnin, Thomas Mensink, and Jakob Verbeek. Image classification with the fisher vector: Theory and practice. International journal of computer vision, 105(3):222–245, 2013. ## [^52]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proc. of IEEE conference on computer vision and pattern recognition, pages 652–660, 2017. --- [^53]: Jiang Wang, Yang Song, Thomas Leung, Chuck Rosenberg, Jingbin Wang, James Philbin, Bo Chen, and Ying Wu. Learning fine-grained image similarity with deep ranking. In CVPR, pages 1386–1393, 2014. [^54]: Marija Nikolić, Michel Bierlaire, Bilal Farooq, and Matthieu de Lapparent. Probabilistic speed-density relationship for pedestrian traffic. Transportation Research Part B: Methodological, 89:58–81, 2016. [^55]: Liang Zheng, Yi Yang, and Alexander G Hauptmann. Person re-identification: Past, present and future. arXiv preprint arXiv:1610.02984, 2016.