# 面向多通道半球视场LiDAR传感器的人体分割与动作分类
斯韦特兰娜·谢柳宁娜 $^{*}$，阿尔乔姆·奥捷列普科 $^{*}$，拉斐尔·梅姆沙伊默，斯文·贝恩克
摘要——机器人为保障安全、实现与人交互，需要感知周边环境中的人体。本文提出一种可处理半球视场LiDAR传感器3D扫描数据的人体分割与动作分类方法。我们使用Ouster OSDome-64传感器录制了包含人员执行三种不同动作场景的数据集，并完成了标注。我们提出一种基于MaskDINO模型的方法，实现人体检测与分割，并通过结合LiDAR数据的球面投影多通道表示与额外位置编码识别人体动作。我们的方法在人体分割任务上取得了良好性能，在行走、挥手、静坐三类人体动作状态估计任务中同样表现出色。消融实验分析了各通道对人体分割任务的贡献，得到了有价值的结论。本文训练得到的模型、代码和数据集均已公开。
## 一、引言
感知环境中的人体是自动驾驶、服务机器人、智能建筑等众多应用的核心任务。激光探测与测距（LiDAR）传感器在周边人体检测与分割任务中具备多方面优势：i）LiDAR测量结果比相机生成的深度估计更可靠，因此能够实现鲁棒检测和精确定位。ii）由于LiDAR传感器主动发射激光束并解析反射信号，它几乎不受光照变化影响，可在完全黑暗的环境下正常工作。iii）LiDAR传感器不会采集面部细节这类直接个人信息，因此更容易获得公众接受。
人体检测与分割已经在RGB图像 [^1] [^2] [^3]、RGB-D图像 [^4]、[^5]、红外（IR）图像 [^6] [^7] [^8]、热图像 [^7]、[^9]、[^10] 和二维LiDAR传感器 [^11] [^12] [^13] 等多种传感器数据模态上得到了充分研究。随着3D-LiDAR传感器语义分割大规模数据集的构建 [^14]，汽车、人体等相关类别的语义分割方法越来越受到关注 [^15] [^16] [^17]。点级分割可以实现精准的人体定位，还可作为跟踪 [^18] 和人体姿态估计 [^19] 的输入。尤其是在辅助服务机器人场景中，理解周边人员的行为
Action classification
Fig. 1. We segment persons and classify their actions from spherical projected 2D representations of multi-channel hemisphere FoV LiDAR.
具有重要意义。现有基于LiDAR的方法仅聚焦于检测和分割，我们的目标是将人体感知的理解层次拓展到行为级别。
近年研究还表明，监督方式训练的模型可能会从训练数据中泄露隐私信息 [^20]，[^21]。我们认为，如果开发方法所基于的传感器本身就不采集高分辨率图像，那么就不可能发生这类隐私泄露问题。
像Ouster OSDome这类半球LiDAR传感器配备64或128路激光束，拥有距离、信号、反射率和近红外（NIR）通道，覆盖$180^{\circ}$视场（FoV）。如图1所示，该传感器的测量结果可在传感器坐标系中表示为二维矩阵，以旋转角度和光束编号作为坐标轴。测量方向在整个半球视场内并非均匀分布，旋转轴附近分布更密集，边缘区域分布更稀疏，这可能会给行人检测带来挑战。
本文针对行人分割和行为分类任务，探究了最新的二维图像检测与分割模型是否能够处理这种分布不均匀的波束。
本文的贡献如下：
- 我们提供了一个由半球视场LiDAR传感器采集的、带有标注的行人分割与行为分类数据集。
- 我们提出了一种基于LiDAR数据组合通道表示的行人分割方法，并进一步将该方法扩展，可估计行人的动作状态，例如行走、挥手和坐下。
- 本文的模型、代码和数据集均已公开。
---
面向社区发布在Github $^{1}$。
### 二、相关工作
从传感器数据流中检测行人是一项发展成熟的研究课题。下文我们将综述不同传感器模态下行人检测的最新研究进展，并重点关注隐私保护型行人检测方法。行人检测与分割方法长期以来以基于图像的方法为主。早期行人检测采用Haar特征级联检测器[^22]和梯度直方图[^23]方法。随着二维卷积神经网络（CNN）分类性能的提升，相关方法很快扩展出检测模型[^1]、[^2]和分割模型[^14]、[^24]。
可用于隐私保护型行人检测的传感器涵盖LiDAR、热成像摄像头和专用传感器。基于图像的行人检测的技术进展一直都被适配应用到其他传感器，例如二维LiDAR[^11]和三维LiDAR[^25]。Günter等人[^26]提出了一种适用于固态LiDAR传感器的隐私保护型行人检测方法。Dubai等人[^6]提出了使用超低分辨率红外（IR）摄像头的隐私保护行人检测方案。ChaLearn Looking At People挑战赛[^7]聚焦于从RGB-D相机获取的深度数据和热成像图像，用于对身份保护方法进行基准测试。该挑战赛的标注为边界框级别，而本文提供像素级标注。在该相关挑战赛中，性能最优的方法结合Faster R-CNN[^1]+Faster R-DCN（ResNet-50）[^27]和软非极大值抑制（NMS）使用热成像图像。
在很多场景下，尤其是人机交互（HRI）领域，研究者往往不仅关注人员的位置，还关注他们的手势或动作。Droeschel等人[^28]使用二维激光雷达（2D LiDAR）跟踪感兴趣人员，并利用飞行时间（ToF）相机从移动操作平台上提取指向手势。由于使用了ToF相机，他们的方法无法保护隐私，因为该传感器会泄露面部特征。为了识别手势，他们将人体分割为多个部分，然后估计人脸质心、肘部位置和手部位置，利用人体关键点之间的向量判断示意手势和指向手势。
为了直接从视频中识别动作，研究者已经提出了多种时空模型。SlowFast [^29]提出了双支路方案：一条支路（高帧率）专注于提取时间特征，另一条支路（低帧率）专注于提取精细空间语义。目前已有能够在不同传感器模态间实现良好泛化的多模态方法，分别被用于监督设置下的动作识别任务[^30]和半监督设置下的单样本推理任务[^31]。上述方法都专注于序列分类，与之不同的是，本文提出的方法还可以对动作进行定位。
Fig. 2. The dataset collection robot setup.
Fig. 3. Example data from the individual Ouster OSDome-64 channels.
像SemanticKITTI这类三维激光雷达（3D LiDAR）语义分割数据集[^14]通常专注于自动驾驶场景。相比之下，我们的研究重点是室内人员分割以及附加的动作分类任务。
### 三、数据集
本数据集使用安装在TIAGo++全向移动机器人上的Ouster OSDome-64激光雷达采集得到。激光雷达传感器安装在机器人前方，并略微向下倾斜，以捕捉机器人前方的环境，如图2所示。
Ouster OSDome-64激光雷达提供四个通道，如图3所示：1）被测表面的距离，单位为毫米；2）信号强度（返回信号测量中的光子数量）；3）反射率（根据测量距离和传感器在该距离下的灵敏度缩放后的强度）；4）近红外（NIR）（与自然环境光照相关的光子信息）。
本数据集包含442帧不同动作状态下的人员扫描数据，动作包括行走、挥手和坐下。数据集样本一次性按70/15/15的比例随机划分为训练集、验证集和测试集。数据集包含不同复杂度的场景：部分场景中只存在一到两名人员，且
---
Fig. 4. Person segmentation examples with ground truth masks (blue).
Fig. 5. Action recognition examples with ground truth mask (blue).
人员清晰可见。另一些场景中，背景存在更多人员。数据中包含不同体型、不同穿着的人员。不同场景的背景各不相同，人员也经常被各类物体部分遮挡。另外值得一提的是，本数据同时包含机器人静止和运动状态下采集的数据。
在行走动作采集过程中，人员朝不同方向行走，且被要求不抬手。在挥手动作采集过程中，受试者可以站立或行走，但始终有一只手或双手抬至腰部以上并保持动作。最后，在坐下动作采集过程中，人员可以坐在不同位置，可能被桌子遮挡，也可以移动椅子。每个动作序列共采集十次传感器数据。
为支持标注工作，我们采用了基于SegmentAnything [^32]的半自动标注方法，并手动校正了掩码。人物分割和动作分类的示例分别如图4和图5所示。
### 四、方法
我们对MaskDINO模型 [^33]进行适配，在我们提出的多通道表示上联合训练人物检测与分割模型。
### A. 表示方法
根据场景不同，每个测量通道在人物感知分割方面各有优劣。然而，没有任何一个通道能够始终为人物提供通用的感知分割效果。因此，我们在人物感知中融入了所有LiDAR通道，进而提升了分割效果。
Fig. 6. Point cloud with ground truth and segmentation masks.
就人物分割而言，掩码质量会受到该因素的显著影响。
最终得到的图像表示将NIR、反射率、信号和逆距离分别存储在独立通道中，得到一张尺寸为$512 \times 64$的四通道图像。
在对多种通道组合进行多次实验后，我们决定将逆距离数据用作可视化的不透明度通道。该技术使得在支持四通道图像的工具中，距离传感器较远的物体会被渲染为透明，而在不能正确支持四通道图像的工具中，也能获得主观上较好的图像人物感知分割效果。这一做法的主要优势是简化了手动像素级标注的流程。
我们根据距离图像和LiDAR元数据重建了每个对应像素的欧氏坐标。样本图像以及真值掩码和推理掩码如图6所示。真值掩码存在误差是因为我们在四通道图像上采用了半自动标注方法。
我们将XYZ点坐标的位置编码作为额外输入通道加入，最终得到七通道输入图像。位置编码使用Ouster Sensor SDK按如下方式计算：
$$ x=(r-|n|)\cos(\theta_{e n c}+\theta_{a z i})\cos(\phi)+x_{n}\cos(\theta_{e n c}), $$
$$ \begin{array}{r}{y=\left(r-|n|\right)\sin(\theta_{e n c}+\theta_{a z i})\sin(\phi)+x_{n}\cos(\theta_{e n c}),}\end{array} $$
$$ z=\left(r-\left|n\right|\right)\sin(\phi)+z_{n}, $$
其中
$$ |n|=\sqrt{x_{n}^{2}+z_{n}^{2}},\quad\theta_{e n c}=2\pi\left(1-\frac{i}{w}\right), $$
$$ \theta_{a z i}=-2\pi\frac{\alpha_{i}}{360},\quad\phi=2\pi\frac{\beta_{i}}{360}, $$
式中，r为测量编号i的距离值。参数$x_{n}, z_{n}$表示LiDAR原点坐标系中心到其前端光学元件的距离。w表示扫描宽度。$\alpha_{i}, \beta_{i}$分别表示光束i的方位角和仰角。
---
TABLE I
TRAINING RESULTS FOR PERSON DETECTION
| Pos. enc.* | Precision | F1-score | Precision | F1-score |
| Frozen Backbone | Backbone also trained |
| ✗ | 0.98 | 0.93 | 0.98 | 0.97 |
| ✓ | 0.98 | 0.95 | 0.98 | 0.97 |
*位置编码
### B. 模型
我们对带有SwinL transformer [^33]骨干网络的MaskDINO [^34]进行了适配。无论是在训练器还是预测器中，我们都在骨干网络前添加了一个卷积编码层，使得模型可以处理四通道输入图像，若使用位置编码则可处理七通道输入图像。在训练和推理阶段，完整的特征表示会被输入模型。该模型可同时用于人物分割和动作检测。我们方法的超参数基于MaskDINO的配置，额外修改使其支持所需通道数的图像，并将尺寸调整为$512 \times 64$像素。我们采用随机水平翻转作为数据增强方法。模型在Nvidia RTX 3090 GPU上训练，完成5000次迭代大约需要35分钟。
### 五、评估
我们在所提出的数据集上评估了本文方法在人物分割和动作分类任务中的表现。我们进一步针对通道贡献和位置编码对人物分割任务的影响开展了消融研究。最后，我们分析了该方法在实际机器人平台上进行在线人物分割与动作分类的适用性。
### A. 人物分割
第一组实验使用构建数据集中的全部四个通道开展人物分割实验。我们的训练流程使用在COCO 2017上预训练得到权重的SwinL Transformer骨干网络对MaskDINO进行初始化。
所有模型训练多次，总迭代次数为5000次，在4000次迭代处调整学习率，将学习率乘以0.1。我们使用基础学习率$1 \times 10^{-3}$、$1 \times 10^{-4}$和$1 \times 10^{-5}$训练模型，发现使用基础学习率$1 \times 10^{-4}$训练得到的模型能得到最稳定且表现优异的结果。确定基础学习率后，我们分别在骨干网络冻结和解冻的条件下开展了多次实验。
使用冻结骨干网络可以得到不错的结果，但F1分数在0.6到0.9之间波动。为了进一步提升性能，我们决定解冻骨干网络。当骨干网络学习率乘数为$1 \times 10^{-5}$时得到了最优结果，F1分数高于0.9。
位置编码的实现帮助我们提升了训练模型的性能，得到了更高的准确率和F1分数。
添加位置编码和不添加位置编码条件下训练人物分割模型的最优结果列于
Fig. 7. Person detection examples with inferred mask (blue).
Fig. 8. Action detection examples inferred mask (blue).
TABLE II
ACTION DETECTION INITIALIZED WITH PERSON DETECTION WEIGHTS.
| Class | Pos. enc.* | Precision | F1-score | Precision | F1-score |
| Frozen Backbone | Non Frozen Backbone |
| sitting | ✗ | 0.97 | 0.95 | 1.00 | 0.97 |
| walking | ✗ | 0.88 | 0.87 | 0.85 | 0.85 |
| waving | ✗ | 0.83 | 0.89 | 0.86 | 0.91 |
| w. avg $^{{**}}$ | | 0.91 | 0.91 | 0.92 | 0.92 |
| sitting | ✓ | 0.95 | 0.95 | 0.95 | 0.96 |
| walking | ✓ | 0.89 | 0.91 | 0.93 | 0.95 |
| waving | ✓ | 0.92 | 0.92 | 0.86 | 0.91 |
| w. avg $^{{**}}$ | | 0.93 | 0.93 | 0.92 | 0.94 |
*positional encoding, **weighted average
表I。这些结果对应基础学习率为$1 \times 10^{-4}$、训练5000次迭代后最终迭代得到的结果。
以基础学习率等于 $1 \times 10^{-4}$ 且不冻结主干网络、主干网络乘数等于 $1 \times 10^{-5}$ 训练的模型获得了良好结果，并在后续实验中使用。Fig. 7 展示了使用未采用位置编码的模型对 Fig. 4 中示例图像进行的人物分割。
### B. 动作分类
对于家政服务机器人应用，对周围人员进行动作分类通常是十分必要的。我们使用人物分割模型得到的权重初始化动作分类模型，再针对动作分类任务对模型进行微调。
与人物分割实验类似，所有模型训练多次，总迭代次数为5000次，在
---
TABLE III
ACTION DETECTION MODELS INITIALIZED WITH MASKDINO WEIGHTS
| Class | Pos. enc.* | Precision | F1-score | Precision | F1-score |
| Frozen Backbone | Non Frozen Backbone |
| sitting | ✗ | 0.97 | 0.94 | 1.00 | 0.82 |
| walking | ✗ | 0.96 | 0.94 | 1.00 | 0.77 |
| waving | ✗ | 0.89 | 0.91 | 0.73 | 0.73 |
| w. avg $^{{**}}$ | | 0.95 | 0.93 | 0.92 | 0.78 |
| sitting | ✓ | 0.93 | 0.95 | 1.00 | 0.97 |
| walking | ✓ | 1.00 | 0.94 | 0.88 | 0.82 |
| waving | ✓ | 0.83 | 0.87 | 0.93 | 0.95 |
| w. avg $^{{**}}$ | | 0.92 | 0.93 | 0.94 | 0.92 |
*位置编码，**加权平均
4000次迭代处调整学习率，将学习率乘以0.1。
本实验选择的基础学习率为$1 \times 10^{-4}$和$1 \times 10^{-5}$。学习率为$1 \times 10^{-5}$的模型表现稍差，F1分数低于0.9，因此我们将学习率设置为$1 \times 10^{-4}$。确定基础学习率后，我们分别在骨干网络冻结和不冻结的条件下开展了多次实验。骨干网络解冻模型的骨干学习率乘数设置为$1 \times 10^{-5}$。
针对动作分类任务的模型训练最优结果列于表II中。这些结果对应5000次迭代训练后的最终轮次结果，基础学习率为$1 \times 10^{-4}$。在本次实验中，冻结与未冻结的骨干网络表现相当。位置编码对模型性能存在正向影响。图8展示了使用未加入位置编码的最优模型对图5中的样本图像进行动作分类的结果。
另一种训练方案是，不使用人体检测任务训练得到的模型权重，而是使用在COCO 2017数据集上预训练的、搭载SwinL transformer骨干网络的MaskDINO模型权重来初始化训练。为了公平比较不同方案的结果，我们将所有模型训练10000次迭代，基础学习率为$1 \times 10^{-4}$，并在8000次迭代时调整学习率，将其乘以0.1。最优结果展示在表III中。
与使用人体检测任务训练模型权重的训练方案相反，本次实验在冻结骨干网络的情况下取得了最优结果。但本次实验的结果一致性明显弱于上一组实验。
### C. 通道贡献消融实验
为了明确本文所提表示方法中各通道的贡献，我们固定随机种子，在排除不同图像通道的情况下分别训练模型，并在训练结束后测试模型性能。我们在人体分割任务上开展本次消融实验，使用的超参数与表I中最优实验的设置一致。各排除通道对应的实验结果展示在表IV中。NIR通道和信号通道仅带来较小贡献，而反射率和距离通道数据的贡献更高。我们的消融研究表明
TABLE IV
ABLATION ON CHANNEL CONTRIBUTION (PERSON DETECTION TASK)
| Excluded channel | Pos. enc. $^{*}$ | Result |
| Precision | Recall | F1-score |
| - | ✗ | 0.89 | 0.42 | 0.57 |
| NIR | ✗ | 0.97 | 0.94 | 0.95 |
| Reflectivity | ✗ | 0.97 | 0.74 | 0.84 |
| Signal | ✗ | 0.96 | 0.78 | 0.86 |
| Range | ✗ | 0.65 | 0.67 | 0.66 |
| - | ✓ | 0.83 | 0.63 | 0.72 |
| NIR | ✓ | 0.94 | 0.85 | 0.89 |
| Reflectivity | ✓ | 0.60 | 0.31 | 0.41 |
| Signal | ✓ | 0.93 | 0.85 | 0.89 |
| Range | ✓ | 0.58 | 0.33 | 0.42 |
$^{*}$positional encoding
Action classification
Fig. 9. Online detection experiment on the TIAGO++ Omni robot platform.
在有无位置编码的两种情况下，不同通道对模型性能的贡献存在差异。消融实验显示，对于两种模型（有无位置编码）而言，通道更少的模型性能优于包含全部通道的模型。一个可能的解释是，单层卷积编码器无法很好地将我们的多通道输入转换为MaskDINO所需的输入格式。未来工作中，我们将探索不同的编码器及其贡献。
### D. 机器人在线应用
为了评估我们的方法在实时场景中的适用性，我们使用从Ouster OSDome-128激光雷达获取的数据，测试了人体分割（表I）和动作分类（表II）最优模型的推理性能，该激光雷达输出的图像尺寸为$512 \times 128$。需要注意的是，本次在线实验使用的激光雷达传感器与之前所用略有不同，其激光束数量翻倍，这证明本文所提方法无需调整即可泛化适配不同版本的传感器。在搭载Nvidia RTX A4500 16GB GPU的Zotac ZBOX QTG7A4500设备上，无论是否加入位置编码，平均推理帧率均可达到11 Hz，足以满足例如人体追踪方法的输入需求。人体分割和动作分类的结果示例如图9所示。结果表明，我们的方法能够很好地泛化到不同尺寸的图像上。
---
适配来自不同传感器的输入，并且适用于在线应用场景。
### VI. 结论
我们提出了一种针对半球视场FoV三维激光雷达3D LiDAR传感器多通道数据的人体分割与动作分类方法。本文采集并标注了一个带有多通道激光雷达测量值分割级标注的数据集，改编并训练了一个基于MaskDINO的模型来估计人体分割区域，进一步证明该模型能够估计与人机交互HRI相关的三种不同动作类别。一项消融实验分析了各通道对人体分割模型的贡献，结果表明距离通道、反射率通道以及位置编码均对模型性能有显著贡献。我们的方法在人体分割和三种不同人体状态分类两项任务中均展现出良好性能，且具备实时能力，可应用于配备更多激光雷达波束的传感器。
## 参考文献
[^1]: S. Ren, K. He, R. B. Girshick, and J. Sun, “Faster R-CNN: towards real-time object detection with region proposal networks,” IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 39, no. 6, pp. 1137–1149, 2017.
[^2]: J. Redmon, S. K. Divvala, R. B. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.
[^3]: S. Shin, J. Kim, E. Halilaj, and M. J. Black, “WHAM: Reconstructing world-grounded humans with accurate 3D motion,” in IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024, pp. 2070–2080.
[^4]: O. H. Jafari, D. Mitzel, and B. Leibe, “Real-time RGB-D based people detection and tracking for mobile robots and head-worn cameras,” in 2014 IEEE International Conference on Robotics and Automation (ICRA), 2014, pp. 5636–5643.
[^5]: Z. Xu, X. Zhan, Y. Xiu, C. Suzuki, and K. Shimada, “Onboard dynamic-object detection and tracking for autonomous robot navigation with RGB-D camera,” IEEE Robotics and Automation Letters (RA-L), vol. 9, no. 1, pp. 651–658, 2023.
[^6]: T. Dubail, F. A. Guerrero Peña, H. R. Medeiros, M. Aminbeidokhti, E. Granger, and M. Pedersoli, “Privacy-preserving person detection using low-resolution infrared cameras,” in European Conference on Computer Vision (ECCV) Workshops, ser. Lecture Notes in Computer Science, vol. 13805, Springer, 2022, pp. 689–702.
[^7]: A. Clapés, J. C. S. J. Júnior, C. Morral, and S. Escalera, “ChaLearn LAP 2020 challenge on identity-preserved human detection: Dataset and results,” in 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG), 2020, pp. 801–808.
[^8]: X. Zhang and Y. Demiris, “Visible and infrared image fusion using deep learning,” IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 45, no. 8, pp. 10535–10554, 2023.
[^9]: J. Wagner, V. Fischer, M. Herman, and S. Behnke, “Multispectral pedestrian detection using deep fusion convolutional neural networks,” in 24th European Symposium on Artificial Neural Networks (ESANN), 2016.
[^10]: C. Tian, Z. Zhou, Y. Huang, G. Li, and Z. He, “Cross-modality proposal-guided feature mining for unregistered RGB-thermal pedestrian detection,” IEEE Transactions on Multimedia (TMM), 2024.
[^11]: L. Beyer, A. Hermans, T. Linder, K. O. Arras, and B. Leibe, “Deep person detection in two-dimensional range data,” IEEE Robotics and Automation Letters (RA-L), vol. 3, no. 3, pp. 2726–2733, 2018.
[^12]: D. Jia, A. Hermans, and B. Leibe, "DR-SPAAM: A spatial-attention and auto-regressive model for person detection in 2D range data," in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020, pp. 10270–10277.
[^13]: H. Yang, Y. Yang, C. Yao, C. Liu, and Q. Chen, "Li2Former: Omnidimension aggregation transformer for person detection in 2-D range data," IEEE Tr. on Instrumentation and Measurement (TIM), 2024.
[^14]: J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss, and J. Gall, “Semantickitti: A dataset for semantic scene understanding of LiDAR sequences,” in IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 9296–9306.
[^15]: Z. Yan, T. Duckett, and N. Bellotto, “Online learning for 3D LiDAR-based human detection: Experimental analysis of point cloud clustering and classification methods,” Autonomous Robots, vol. 44, no. 2, pp. 147–164, 2020.
[^16]: Y. Liu, L. Kong, J. Cen, R. Chen, W. Zhang, L. Pan, K. Chen, and Z. Liu, “Segment any point cloud sequences by distilling vision foundation models,” in Advances in Neural Information Processing Systems 36 (NeurIPS), 2023.
[^17]: F. Hong, L. Kong, H. Zhou, X. Zhu, H. Li, and Z. Liu, "Unified 3D and 4D panoptic segmentation via dynamic shifting networks," IEEE Tr. on Pattern Analysis and Machine Intelligence (PAMI), 2024.
[^18]: H. Wang, B. Wang, B. Liu, X. Meng, and G. Yang, “Pedestrian recognition and tracking using 3D LiDAR for autonomous vehicle,” Robotics and Autonomous Systems (RAS), vol. 88, pp. 71–78, 2017.
[^19]: J. Shotton, T. Sharp, A. Kipman, A. W. Fitzgibbon, M. Finocchio, A. Blake, M. Cook, and R. Moore, “Real-time human pose recognition in parts from single depth images,” Communications of the ACM, vol. 56, no. 1, pp. 116–124, 2013.
[^20]: B. Hitaj, G. Ateniese, and F. Pérez-Cruz, “Deep models under the GAN: information leakage from collaborative deep learning,” in ACM SIGSAC Conference on Computer and Communications Security (CCS), 2017, pp. 603–618.
[^21]: H. Li, D. Guo, W. Fan, M. Xu, and Y. Song, “Multi-step jailbreaking privacy attacks on ChatGPT,” preprint arXiv:2304.05197, 2023.
[^22]: P. A. Viola and M. J. Jones, “Rapid object detection using a boosted cascade of simple features,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2001, pp. 511–518.
[^23]: N. Dalal and B. Triggs, “Histograms of oriented gradients for human detection,” in IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2005, pp. 886–893.
[^24]: T. Cortinhal, G. Tzelepis, and E. Erdal Aksoy, “SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds,” in 15th International Symposium on Advances in Visual Computing (ISVC), 2020, pp. 207–222.
[^25]: K. Kidono, T. Miyasaka, A. Watanabe, T. Naito, and J. Miura, “Pedestrian recognition using high-definition LIDAR,” in IEEE Intelligent Vehicles Symposium (IV), 2011, pp. 405–410.
[^26]: A. Günter, S. Böker, M. König, and M. Hoffmann, “Privacy-preserving people detection enabled by solid state lidar,” in 16th Int. Conference on Intelligent Environments (IE), IEEE, 2020.
[^27]: J. Dai, H. Qi, Y. Xiong, Y. Li, G. Zhang, H. Hu, and Y. Wei, “Deformable convolutional networks,” in IEEE International Conference on Computer Vision (ICCV), 2017, pp. 764–773.
[^28]: D. Droeschel, J. Stückler, D. Holz, and S. Behnke, “Towards joint attention for a domestic service robot - person awareness and gesture recognition using time-of-flight cameras,” in IEEE Int. Conference on Robotics and Automation (ICRA), 2011, pp. 1205–1210.
[^29]: C. Feichtenhofer, H. Fan, J. Malik, and K. He, “SlowFast networks for video recognition,” in IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 6201–6210.
[^30]: R. Memmesheimer, N. Theisen, and D. Paulus, “Gimme Signals: Discriminative signal encoding for multimodal activity recognition,” in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020, pp. 10394–10401.
[^31]: R. Memmesheimer, N. Theisen, and D. Paulus, “SL-DML: Signal level deep metric learning for multimodal one-shot action recognition,” in 25th International Conference on Pattern Recognition (ICPR), IEEE, 2020, pp. 4573–4580.
[^32]: A. Kirillov, E. Mintun, N. Ravi, H. Mao, C. Rolland, L. Gustafson, T. Xiao, S. Whitehead, A. C. Berg, W. Lo, P. Dollár, and R. B. Girshick, “Segment anything,” in IEEE/CVF International Conference on Computer Vision (ICCV), 2023, pp. 3992–4003.
[^33]: F. Li, H. Zhang, H. Xu, S. Liu, L. Zhang, L. M. Ni, and H. Shum, “Mask DINO: towards a unified transformer-based framework for object detection and segmentation,” in IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 3041–3050.
[^34]: Z. Liu, Y. Lin, Y. Cao, H. Hu, Y. Wei, Z. Zhang, S. Lin, and B. Guo, “Swin Transformer: Hierarchical vision transformer using shifted windows,” in IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 9992–10002.