# 基于分层Transformer的多视图融合驱动的三维点云语义分割
王旭 $^{ID}$、徐丽 $^{ID}$、倪培舟 $^{ID}$、光星星、罗航、赵锡军 $^{ID}$
摘要—三维语义分割是各类室外场景中环境理解的关键任务。由于点云的稀疏性和密度差异，要获得精细的分割结果颇具挑战性。以往基于点和基于体素的方法计算成本较高。近期出现的基于二维投影的方法，包括距离视图（RV）、鸟瞰图（BEV）以及多视图融合方法，虽然能实现实时运行，但投影过程中的信息丢失会导致精度较低。此外我们发现，单投影方法存在遮挡和交织问题，而大多数多视图融合网络仅关注输出层面的融合。考虑到上述问题，
我们提出了一种采用注意力模块和分层Transformer的多级多视图融合网络，其有效性和高效性主要体现在以下三个方面：1）空间-通道注意力模块（SCAM）整合了点之间的上下文信息，并学习各通道特征的差异；2）所提出的基于几何的多投影融合模块（GMFM）实现了RV与BEV之间的几何特征对齐，并在特征层面和输出层面融合两种视图的特征；3）我们引入KPConv来替代KNN，以减少后处理过程中的信息丢失。我们在结构化与非结构化数据集上开展了实验，包括城市数据集SemanticKITTI和越野数据集Rellis3D。与其它基于投影的方法相比，我们的结果表现更优，且与最先进的Cylinder3D方法性能相当。
关键词—三维点云、多头注意力、多视图融合、语义分割。
## 一、引言
语义分割在无人驾驶和环境感知领域发挥着至关重要的作用，它能为我们提供更精确的感知信息，从而提升无人自动驾驶车辆的操控与路径规划能力 [^1]、[^2]。近年来，随着激光雷达传感器的发展，获取环境信息变得更加容易。与二维图像相比，点云能够反映不同场景下元素的距离信息和拓扑关系 [^3]；同时它不受环境光线变化的影响，抗干扰能力强。凭借这些特性，三维语义分割对于实现高效的自动驾驶至关重要，也因此受到了广泛研究 [^4]。
为提升激光雷达语义分割的性能，人们提出了许多模型。这些方法可分为以下三类：基于点的方法 [^9]、[^10]、[^11]、[^12]、[^40]、[^41]；基于体素的方法 [^13]、[^14]、[^15]、[^39]；以及基于投影的方法 [^16]、[^17]、[^18]、[^19]、[^20]、[^21]。
尽管基于点的方法取得了令人瞩目的进展，但很难高效捕捉相邻点之间的关联特征，导致其精度较低且推理速度较慢。基于体素的方法将点云数据转换为规则的三维体素，从而使三维卷积神经网络（CNN）能够直接作用于这些体素。然而，在体素化过程中可能会出现稀疏现象以及细节信息丢失的问题，而且随着数据量的增加，三维CNN的效率也会下降 $^{[14]}$。
---
Fig. 1. Occlusion problem in RV compared with point clouds.
Fig. 2. Difference between RV and BEV.
由于图像具有紧凑性且二维CNN计算量小，基于投影的方法能够在保证实时性的同时实现出色的分割效果。这类方法通常采用自上而下的投影或球面投影来处理原始点云，从而生成鸟瞰图（BEV）和距离视图（RV）。显然，由于投影方式不同，RV和BEV所包含的原始点云分布信息也有所差异。将点云投影到RV图像时，不可避免地会导致远处元素的信息丢失，因为多个点可能会被投影到同一个像素上，如图1所示。不过，BEV图像能保留这些特征，因为它从顶视图投影点云，因此能更有效地识别不同区域的物体，尤其是较远距离的物体，如图2所示；但在投影到BEV网格时可能会丢失点云的细节信息。此外，RV在垂直延伸的物体（如摩托车和人）识别上表现更优，而BEV对xy平面上占据较大空间的物体（如汽车和植被）更为敏感。因此，多投影融合方法 [^24]、[^25]、[^26]、[^27] 已成为基于投影的点云语义分割领域的发展趋势。然而，大多数基于多投影融合的网络仅关注输入级融合或输出级融合，忽略了不同视图在特征层面的对应关系与对齐问题。
为解决上述挑战，我们提出了一种多级多投影融合网络，该网络能够在特征层面和输出层面深度聚合特征。首先，我们设计了空间通道注意力模块（SCAM），用于学习全局信息的关联性以及不同通道间的相关性。其次，所提出的基于几何的多投影融合模块（GMFM）能够利用多头交叉注意力（MHCA）机制实现两种视图特征的特征级融合。最后，受Kochanov等人的启发 [^28]，我们采用KPConv [^12] 替代KNN，将两个分支的输出反投影为逐点输出，从而更高效地实现输出级融合。本文的贡献如下。
1) 为提高分布不均且距离较远的点云的分割精度，我们提出了一种多级多投影融合网络，以整合RV和BEV的优势。该网络在特征层面和输出层面均对RV和BEV进行融合，大幅减少了RV将三维点投影到同一像素以及BEV将点投影到二维网格所带来的信息丢失问题。在基于投影的方法中，它取得了最先进的性能。
2) 所提出的SCAM能够整合点与点之间的上下文信息，并学习各通道特征的差异，从而提升远距离且稀疏点云的特征表达能力。
3) 我们设计了一种精确且高效的GMFM，用于RV与BEV之间的特征级融合。它基于RV和BEV之间的几何关联来对齐特征，随后将对齐后的特征输入多头交叉注意力机制以完成深度融合。
### II. 相关工作
根据输入方式和特征提取途径的不同，现有的激光雷达语义分割方法可分为以下几类：基于点的方法、基于体素的方法和基于投影的方法。
### A. 基于点的方法
直接对原始点云进行操作的方法可分为两类：基于多层感知机（MLP）的方法和基于卷积神经网络（CNN）的方法。PointNet [^9]是一种开创性方法，它通过对每个点应用MLP，再利用最大池化操作整合所有点的信息来处理点云。虽然PointNet能够有效提取单个点的特征，但由于未考虑邻近点的信息，在复杂场景下表现往往较差。RandLa-Net [^11]提出了一种通过随机采样减少点数、同时尽可能保留原始点云几何特征的方法。KPConv [^12]引入了一种名为核点卷积的新型卷积算子，它直接将邻近点作为输入，并在处理过程中应用空间定位权重，这种方式增强了局部特征的提取能力并提升了性能。总体而言，基于点的方法存在处理速度慢、精度低、鲁棒性有限的问题，尤其是在处理复杂场景和小物体时表现更差。
### B. 基于体素的方法
基于体素的方法通常用于处理三维点云，其做法是将点云转换为规则的立方体，再在每个体素内应用三维卷积。在[^13]、[^14]、[^15]和[^31]的研究中，点云数据被划分为三维体素单元。不过，这些方法的精度会受到点云稀疏性和不规则性的严重影响。
---
考虑到点云的稀疏性和密度差异，Cylinder3D [^13]提出了一种体素划分方法，将点从笛卡尔坐标转换为圆柱坐标。
此外，Cylinder3D还设计了非对称残差块这一CNN模块，以增强对长方体风格特征的提取能力。AF2S3Net提出了一种用于编码器的新型多分支注意力特征融合模块，以及一种用于解码器的独特自适应特征选择模块。Ibrahim等人 [^39]首次引入了基于槽注意力变换器的技术，以有效建模点云数据中的以物体为中心的特征。他们采用圆柱形空间划分方式进行体素化，并在用槽注意力反复编码点云之前计算通道级位置嵌入。尽管这些方法有所改进，但仍存在与三维卷积相关的计算成本问题。这一限制给满足激光雷达语义分割的实时性要求带来了挑战。
### C. 基于投影的方法
基于投影的方法能够实现更好的实时性能，因为它们会将三维点云投影到径向视图（RV）[^32] 或鸟瞰图（BEV）中。这种转换使得能够在二维伪图像上采用高效的全卷积网络（FCN）。利用投影数据的二维特性，Wu等人[^18]、[^19]，Xu等人[^20]，Aksoy等人[^21]，Ding[^22]以及Cheng等人[^23]在保持计算效率的同时取得了不错的效果。RangeNet++[^32]提出了一种用于后处理的加速KNN算法，该算法在后续的基于距离的方法中发挥着重要作用。Salsanext[^16]通过球面投影将点云转换为具有五个通道的RV图像，并引入了上下文模块来基于[^13]捕捉全局上下文信息。Meta-RangeSeg[^33]在SalsaNext提取的五个通道中添加了距离残差图像。Zhang等人[^34]提出了点云的BEV表示，并用规则网格来表示它。考虑到点的空间分布不均衡的问题，PolarNet[^17]根据量化的方位角和半径将点分配到极坐标网格中。
虽然基于投影的方法在性能和精度之间取得了平衡，但需要注意的是，由于投影过程中数据的缩减，这些表示方法可能会导致部分原始点云信息的丢失。RV方法会将多个三维点投影到同一个像素上，而BEV方法对垂直延伸的物体不够敏感。综合考虑上述因素，我们可以利用两种视图的优势来获得更好的标签预测结果。TornadoNet[^35]采用了一种独特的方法，即使用柱状投影学习模块（PPL）从BEV表示中提取特征，随后将这些特征输入到逆序编码-解码CNN中以建模RV数据。相比之下，MPF[^27]使用两个独立的模型分别处理RV和BEV数据，再将两个分支预测的softmax概率结合起来得到最终预测结果。更进一步，AMVNet[^24]通过引入点头模块来优化从RV和BEV获得的不确定预测结果。点头模块专注于优化两个分支预测不一致的区域，从而提高分割的整体精度。与我们提出的方法不同，Li等人[^25]和Alnaggar等人[^27]在编码和解码阶段分别处理BEV和RV数据，仅在输出层进行后期融合。尤其是在那些距离较远且稀疏的点上，我们的方法比单一的BEV或RV网络以及忽略特征级融合的多视图方法表现更好。
### 三、方法论
由于场景元素的错落分布和遮挡现象，RV会丢失远处物体的一些重要信息。不过，BEV投影可以弥补距离投影在上述方面的不足。如图3所示，我们提出了多级多视图融合网络，该网络通过GMFM在特征层面融合BEV和RV的特征。具体细节如下所述。
### A. RV分支
我们将三维激光雷达扫描数据投影到球面的RV伪图像上，作为RV分支的输入，该图像包含$(x, y, z)$、强度和距离等五个通道。在进行投影之前，我们首先将笛卡尔空间中的点$(x, y, z)$投影到球面空间，具体过程如下。
为确保算法的实时性能与准确性，我们以SalsaNext的编码器-解码器结构作为RV分支的基础。不过我们发现，范围图像中的不同通道包含的信息各不相同。为解决这一问题，我们引入了通道注意力模块（CAM），该模块旨在通过学习各通道间的关系来增强通道特征，同时保留原始特征。我们面临的另一个挑战是网络缺乏上下文信息。为克服这一局限，我们设计了空间注意力模块（SAM），用以捕捉全局上下文以及更细致的空间信息。通过采用更大的感受野，该模块能使网络把握不同类别间的复杂关联。
如图4所示，$X_{\mathrm{in}}$是RV分支的输入；$X_{\mathrm{out}}$是经过SCAM处理后的增强特征。SCAM由SAM和CAM组成，分别代表空间注意力模块和通道注意力模块。
### B. BEV分支
为了从BEV伪图像中学习有效的特征，我们采用自上而下的投影方式将点云转换为BEV图像。受Zhang等人[^17]的启发，我们使用极坐标划分而非笛卡尔坐标划分，这样能使点更均匀地分布在每个BEV网格中。此外，考虑到一个BEV网格中可能存在多个点，为避免为每个网格手动定制特征，我们使用MLP来以更高维度的特征表示形式捕捉每个网格中点的分布情况。随后，利用最大池化层来聚合特征。
---
Fig. 3. Overall architecture of the proposed network. Here, the points are projected into RV and BEV, which are separately fed into two branches for multilevel feature extraction. Then, intermediate features from three layers are fused through GMFM and the fused features of each branch are fed into next layer, respectively. Finally, the outputs of both branches are fed into G2P module and point head to obtain the final point cloud prediction.
Fig. 4. Architecture of the SCAM.
每个网格中的点所代表的特征即为该网格所具有的特征。
### C. 特征级多视角融合模块
为实现激光雷达语义分割中RV图像与BEV图像的互补优势，我们设计了GMFM。
提取BEV图像的特征后，为在计算成本与分割精度之间取得平衡，我们选择拥有34层的ResNet [^37]作为编码网络，其最大通道数为256。解码块采用转置卷积，并通过跳跃连接将上采样后的特征与早期块的特征进行融合。
Fig. 5. Overall architecture of GMFM. FAM aligns the two branches' features using geometric relationship. Then, the aligned features are fed into MHCA to derive the fused features.
该模块基于RV与BEV之间的几何关联来融合两种视图的特征。如图5所示，GMFM分为两个分支，一个用于获取融合后的RV特征，另一个用于获取融合后的BEV特征。下面我将以RV分支为例来分析融合过程。
首先，输入的RV特征与BEV特征被送入特征对齐模块（FAM），该模块通过计算几何变换矩阵$M_{B \to R}$来实现从BEV到RV的特征对齐。在变换过程中，我们利用原始点云作为中介。我们首先按照下述公式计算出矩阵$M_{B \to P} \in \mathbb{Z}^{H_b \times W_b}$，该矩阵可将RV图像的特征对齐到原始点云，如图6所示：
$$ \boldsymbol{M}_{B\rightarrow P}=\left[\begin{matrix}{n_{(0,0)}}&{\cdots}&{n_{(0,W_{b}-1)}}\\ {\vdots}&{\ddots}&{\vdots}\\ {n_{(H_{b}-1,0)}}&{\cdots}&{n_{(H_{b}-1,W_{b}-1)}}\\ \end{matrix}\right] $$
---
Fig. 6. Architecture of FAM.
其中$(H_b, W_b)$为二维BEV图像的宽度和高度，$\{n_{(i,j)} | 0 \leq i \leq H_b - 1, 0 \leq j \leq W_b - 1\}$是投影到$n_{(i,j)}$坐标上的第$(i, j)$个点；那么从原始点到RV图像的变换矩阵$\boldsymbol{M}_{P \to R} \in \mathbb{Z}^{N \times 2}$可表示如下：
$$ \boldsymbol{M}_{P\rightarrow R}=\left[\begin{array}{l l l l}\boldsymbol{r}_{0}&\cdots&\boldsymbol{r}_{N-1}\end{array}\right]=\left[\begin{array}{l l l}u_{0}&\cdots&u_{N-1}\\ v_{0}&\cdots&v_{N-1}\end{array}\right] $$
其中N表示点的数量，$\{\mathbf{r}_k = (u_k, v_k) | 0 \leq k \leq N - 1\}$ 代表二维RV图像的投影像素坐标，该坐标对应于 $\mathrm{k}_{\mathrm{th}}$ 点。通过计算 $\boldsymbol{M}_{B \to P}$ 和 $\boldsymbol{M}_{P \to R}$，我们就能得到几何变换矩阵 $\boldsymbol{M}_{B \to R} \in \mathbb{Z}^{H_r \times W_r \times 2}$。
$$ \begin{aligned}{\boldsymbol{M}_{B\to R}=\left[\begin{matrix}{\mathbf{r}_{n_{(0,0)}}}&{\cdots}&{\mathbf{r}_{n_{(0,W_{b}-1)}}}\\ {\vdots}&{\ddots}&{\vdots}\\ {\mathbf{r}_{n_{(H_{b}-1,0)}}}&{\cdots}&{\mathbf{r}_{n_{(H_{b}-1,W_{b}-1)}}}\\ \end{matrix}\right].}\\ \end{aligned} $$
完成特征对齐后，我们将变换后的BEV特征记为 $F_{B2R}$，将 $F_{B2R}$ 与 $F_{RV}$ 的拼接结果记为 $F_{RB}$。随后，分别将 $F_{RV}$ 和 $F_{RB}$ 重塑为展平后的二维图像块序列。我们选择 $F_{RB}$ 作为查询向量q，$F_{RV}$ 作为键向量k和值向量v。接着，利用公式(5)中的MHCA和前馈网络来聚合RV与BEV的特征，得到 $F_{RVfused}$。BEV分支的处理方式类似，最终可获得融合后的BEV特征。
$$ \left\{\begin{aligned}\boldsymbol{F}_{\mathrm{MHCA}}&=\operatorname{Norm}(\boldsymbol{F}_{\mathrm{RB}}+\mathrm{MHCA}(\boldsymbol{F}_{\mathrm{RB}},\boldsymbol{F}_{\mathrm{RV}},\boldsymbol{F}_{\mathrm{RV}}))\\ \boldsymbol{F}_{\mathrm{RVfused}}&=\operatorname{Norm}(\boldsymbol{F}_{\mathrm{MHCA}}+\operatorname{FFN}(\boldsymbol{F}_{\mathrm{MHCA}})).\end{aligned}\right. $$
### D. 输出级多视图融合模块
输出级多视图融合模块负责将解码器模块输出的两个视图结果转换为输入三维点云中所有点的最终语义预测结果。受Qiu等人的研究启发[^36]，我们引入了网格到点（G2P）模块，用于将RV输出和BEV输出反投影到点视图，该模块包含网格采样和KPConv操作[^12]。分别将处理结果记为 $\mathcal{Q}_R$ 和 $\mathcal{Q}_B$。如公式(5)所示，我们将 $\mathcal{Q}_R$ 与 $\mathcal{Q}_B$ 的拼接结果输入由MLP、最大池化层和全连接层组成的点头网络，从而得到最终的三维点云语义预测结果 $\mathcal{Q}_P$。
$$ \mathcal{Q}_{P}=\operatorname{p o i n t h e a d}(\operatorname{c a t}(\mathcal{Q}_{R},\mathcal{Q}_{B})). $$
### E. 损失函数
设 $Y_P$ 为逐点的三维语义分割标签。同时，$Q_R$、$Q_B$ 和 $Q_P$ [见公式(5)] 分别为RV分支、BEV分支以及融合输出的最终三维预测结果。
遵循 [^16] 和 [^23] 的做法，我们采用交叉熵损失 $\mathcal{L}_{\mathrm{CE}}$ 与 $\mathrm{lovasz}$ 相结合的方式来计算三部分的损失。$\mathbf{L}_{\mathrm{rb}}$、$\mathbf{L}_{\mathrm{bev}}$ 和 $\mathbf{L}_{\mathrm{rv}}$ 分别对应融合输出、BEV输出和RV输出的损失。各部分的定义如下：
$$ \left\{\begin{aligned}\mathbf{L}_{\mathrm{r b}}&=\mathcal{L}_{\mathrm{C E}}\big(\boldsymbol{Q}_{P},\boldsymbol{Y}_{P}\big)+\mathcal{L}_{\mathrm{l o v a s z}}\big(\boldsymbol{Q}_{P},\boldsymbol{Y}_{P}\big)\\ \mathbf{L}_{\mathrm{b e v}}&=\mathcal{L}_{\mathrm{C E}}\big(\boldsymbol{Q}_{B},\boldsymbol{Y}_{P}\big)+\mathcal{L}_{\mathrm{l o v a s z}}\big(\boldsymbol{Q}_{B},\boldsymbol{Y}_{P}\big)\\ \mathbf{L}_{\mathrm{r v}}&=\mathcal{L}_{\mathrm{C E}}\big(\boldsymbol{Q}_{R},\boldsymbol{Y}_{P}\big)+\mathcal{L}_{\mathrm{l o v a s z}}\big(\boldsymbol{Q}_{R},\boldsymbol{Y}_{P}\big).\end{aligned}\right. $$
为了优化所提出的分割模型中的所有模块，总损失可表示为 $\mathbf{L}$，即 $\alpha\mathbf{L}_{\mathrm{rb}}+\beta\mathbf{L}_{\mathrm{bev}}+\gamma\mathbf{L}_{\mathrm{rv}}$，其中 $\alpha$、$\beta$ 和 $\gamma$ 分别设为1.0、0.5和0.5，用于平衡各项损失权重。
### IV. 实验
### A. 数据集
我们选取公开的城市数据集Semantic-KITTI [^6] 和非铺装道路数据集RELLIS-3D [^7] 来验证所提方法的有效性与鲁棒性。这两个数据集的详细信息如下。
Semantic-KITTI数据集是自动驾驶领域语义分割与场景理解任务中广泛使用的基准数据集。该数据集提供了由Velodyne激光雷达传感器采集的高分辨率点云数据。
RELLIS-3D数据集包含从德克萨斯A&M大学RELLIS校区三条非铺装道路上采集的五个序列，共包含13556个带标注的激光雷达扫描数据。我们的实验仅使用其中带有标注的14个类别（空类除外）进行训练和测试。
为了进一步验证所提方法的分割性能以及场景适应能力，我们收集了100帧非结构化场景图像。我们将户外停车场以及没有清晰道路边界或标线的道路视为非结构化场景。我们构建的非结构化场景测试集是由搭载Velodyne 32线激光雷达和前置单目相机的车辆采集的，以确保两种传感器之间的数据同步采集。
### B. 评估指标
平均交并比（mIoU）是点云语义分割任务中常用的评估指标。它通过计算预测分割掩码与真实标签之间的重叠程度来衡量分割质量。计算mIoU时，会给每个预测点分配一个标签，随后计算具有相同标签的点之间的交集和并集。接着，计算每个类别的IoU得分，即交集与并集的比值。最后，对所有类别的IoU得分取平均值，即可得到mIoU。
### C. 实现细节
对于Semantic-KITTI数据集，我们将RV分支的输入尺寸设置为$(W_{\mathrm{rv}} = 2048$和$H_{\mathrm{rv}} = 64)$。同时，BEV分支的
---
TABLEI
RESULTS (IN %) AND TIME OF TYPICAL STREAMS OF METHODS AND OUR PROPOSED METHOD ON SEMANTICKITTI. THE METHODS ARE GROUPED AS POINT-BASED, VOXEL-BASED, SINGLE-PROJECTION-BASED, AND MULTIPROJECTION FUSION NETWORKS.*: RESULT REPRODUCED BY [^26]
| Methods | road | parking | bicycle | car | bicycle | motorcycle | vegetation | trunk | terrain | pole | fence | truck | Other-vehicle | person | bicyclist | motorcyclist | sidewalk | other-ground | traffic-sign | mIoU(%) | FPS(Hz) |
| Point | RandLA-Net [^11] | 90.7 | 60.3 | 26.0 | 94.2 | 26.0 | 25.8 | 81.4 | 61.3 | 56.3 | 81.4 | 56.3 | 40.1 | 38.9 | 49.2 | 48.2 | 7.2 | 73.7 | 20.4 | 61.3 | 53.9 | 1.3 |
| KPConv [^12] | 88.8 | 61.3 | 30.2 | 96.0 | 30.2 | 42.5 | 84.8 | 69.2 | 69.1 | 56.4 | 64.2 | 33.4 | 44.3 | 61.5 | 61.6 | 11.8 | 72.7 | 31.6 | 47.4 | 58.8 | 3.8 |
| Voxel | MinkowskiNet [^30] | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | - | $63.1^{{*}}$ | 3.4 |
| SPVNAS [^31] | 90.2 | 67.6 | 50.6 | 97.2 | 50.6 | 50.4 | 86.1 | 73.4 | 71.0 | 64.3 | 66.9 | 56.6 | 58.0 | 67.4 | 67.1 | 50.3 | 75.4 | 21.8 | 67.3 | 67.0 | 3.9 |
| Cylinder3D [^13] | 91.4 | 65.1 | 67.6 | 97.1 | 67.6 | 64.0 | 85.4 | 71.8 | 68.5 | 62.6 | 66.5 | 59.0 | 58.6 | 73.9 | 67.9 | 36.0 | 75.5 | 32.3 | 65.6 | 67.8 | 5.6 |
| Single-Projection | PolarNet [^17] | 90.8 | 61.7 | 40.3 | 93.8 | 40.3 | 30.1 | 84.0 | 65.5 | 67.8 | 51.8 | 61.3 | 22.9 | 28.5 | 43.2 | 40.2 | 5.6 | 74.4 | 21.7 | 57.5 | 54.3 | 16 |
| SalsaNext [^16] | 91.7 | 63.7 | 48.3 | 91.9 | 48.3 | 38.6 | 81.8 | 63.6 | 66.5 | 54.3 | 64.2 | 38.9 | 31.9 | 60.2 | 59.0 | 19.4 | 75.8 | 29.1 | 62.1 | 59.5 | 24 |
| LENet [^22] | 92.4 | 68.8 | 55.7 | 93.9 | 55.7 | 48.6 | 84.5 | 69.4 | 69.1 | 59.7 | 68.8 | 40.1 | 44.0 | 67.4 | 64.4 | 27.7 | 78.2 | 32.3 | 62.4 | 64.2 | 26 |
| Multi-Projection | MPF[^27] | 90.5 | 64.7 | 28.2 | 92.7 | 30.5 | 30.5 | 83.4 | 56.6 | 69.8 | 46.0 | 59.0 | 26.9 | 25.2 | 42.5 | 45.5 | 9.5 | 74.3 | 32.0 | 54.9 | 53.6 | 28.5 |
| GFNet [^36] | 93.6 | 72.5 | 53.2 | 96.0 | 53.2 | 48.3 | 85.2 | 71.1 | 69.3 | 61.8 | 73.9 | 31.7 | 47.3 | 62.8 | 57.3 | 44.7 | 80.8 | 31.2 | 68.0 | 65.4 | 10 |
| AMVNet [^24] | 90.1 | 71.0 | 59.9 | 96.2 | 59.9 | 54.2 | 85.6 | 71.7 | 69.6 | 62.7 | 69.1 | 48.8 | 45.7 | 71.0 | 65.7 | 11.0 | 75.8 | 32.4 | 67.2 | 65.3 | - |
| Ours | 93.8 | 74.5 | 54.3 | 96.4 | 54.3 | 51.2 | 86.2 | 72.1 | 69.0 | 65.2 | 70.6 | 48.1 | 49.1 | 65.3 | 64.8 | 36.2 | 78.2 | 33.7 | 69.3 | 67.5 | 12 |
Fig. 7. Visual comparison with different state-of-the-art methods on the Semantic KITTI dataset.
输入为$(W_{\mathrm{bev}} = 320$和$H_{\mathrm{bev}} = 480)$。RELLIS3D的输入与Semantic-KITTI相同。
所有实验均在配备128 GB内存、主频为2.5 GHz的Intel Xeon $^{1}$ E5-2678处理器、运行Ubuntu 20.04系统且安装Pytorch的台式机上开展。我们的网络训练50个周期，批量大小为16，在四块显存为24 GB的NVIDIA RTX 3090 GPU上运行约需48小时。我们采用随机梯度下降（SGD）作为优化器，权重衰减系数为0.001，动量参数为0.9，初始学习率为0.02。
### D. 实验结果
我们将所提出的方法与那些极具竞争力的方法进行比较，这些方法可分为基于点的、基于稀疏体素的、基于单投影的和基于多视图的方法。我们在自己的实验平台上，按照各论文中所述的相同训练策略对每种方法进行了训练。
1) 在SemanticKITTI上的结果：与其他最先进方法的测试结果对比可参见表I，表中从上到下依次按基于点的、基于体素的和基于投影的方法分组。我们主要将所提出的方法与以下方法在SemanticKITTI上的结果进行对比：Cylinder3D（基于体素）、Salsanext（基于单投影）以及GFNet（基于多投影），如表I和图7所示。
与Cylinder3D相比，我们所提出的方法在mIoU上略有下降（0.3%）。这是因为基于投影的方法无法避免投影过程中的信息丢失。得益于基于分层变换器的多视图融合技术，我们的方法
---
TABLE II
RESULTS (IN %) AND TIME OF TYPICAL STREAMS OF METHODS AND OUR PROPOSED METHOD ON RELLIS-3D. THE METHODS ARE GROUPED AS POINT-BASED, VOXEL-BASED, AND PROJECTION-BASED NETWORKS
| Methods | Grass | Tree | Pole | Water | Vehicle | Log | Person | Fence | Bush | Concrete | Barrier | Puddle | Mud | Bubble | mIoU(%) | FPS(Hz) |
| Point | RandLA-Net | 62.1 | 76.7 | 42.8 | 0 | 34.8 | 6.3 | 82.9 | 10.2 | 69.8 | 72.8 | 54.3 | 17.6 | 8.5 | 1.7 | 38.6 | 1.3 |
| Voxel | Cylinder3D | 64.9 | 76.5 | 63.8 | 0 | 50.3 | 5.5 | 87.0 | 11.8 | 71.8 | 80.4 | 80.5 | 33.0 | 10.6 | 2.3 | 45.6 | 6.7 |
| SPVNAS | 64.1 | 76.1 | 54.4 | 0 | 48.6 | 15.1 | 85.8 | 11.0 | 71.5 | 70.0 | 64.8 | 22.4 | 8.5 | 5.2 | 42.7 | 6.0 |
| Projection | SalsaNext | 65.3 | 79.6 | 44.3 | 0 | 26.6 | 22.2 | 84.4 | 13.5 | 73.6 | 77.9 | 63.7 | 26.0 | 11.6 | 6.6 | 42.5 | 40 |
| GFNet | 64.3 | 76.4 | 49.8 | 0 | 34.4 | 21.5 | 83.1 | 12.6 | 72.4 | 73.5 | 79.3 | 24.2 | 10.1 | 7.2 | 43.6 | 12 |
| Ours | 66.1 | 80.3 | 50.4 | 0 | 32.4 | 24.6 | 85.7 | 15.2 | 72.4 | 73.8 | 78.3 | 24.6 | 10.4 | 9.2 | 44.5 | 14 |
Fig. 8. Visual comparison with different state-of-the-art methods on RELLIS-3D dataset.
在垂直延伸物体（如电线杆和围栏）的识别上取得了提升。此外，由于采用了高效的特征聚合操作和轻量级网络骨干，其处理时间大幅缩短（快了107.1毫秒）。
与Salsanext相比，我们的方法在mIoU上提升了8.0%。由于RV和BEV之间的多视图融合，该方法在大多数类别上均有改善，尤其是那些在xy平面上占据较大空间的对象，如汽车、停车场和道路。
与GFNet相比，我们的方法在mIoU上提升了2.1%。这是因为所提出的SCAM增强了上下文信息和通道信息。此外，GMFM能够通过所提出的GMFM实现两种视图之间的深度融合。
2) 在RELLIS-3D上的结果：与SemanticKITTI不同，RELLIS-3D数据集是在非结构化环境中采集的。因此，由于场景的复杂性，每种算法的mIoU都会有所下降。为了验证我们算法的有效性，我们选取了[^11]、[^13]、[^16]和[^26]进行对比，它们在各类方法中均取得了优异的结果。我们主要分析了与Cylinder3D（基于体素）和Salsanext（基于投影）相比的结果，如表II和图8所示。
与Cylinder3D相比，我们的方法在mIoU上略有下降（1.1%）。这是因为其圆柱形划分和非对称三维卷积网络能够很好地处理点云的稀疏性和密度变化问题。不过，对于越野环境中的草、树等交错分布的物体，我们的方法表现更佳。此外，我们的方法耗时更少（快78.3毫秒）。
与Salsanext和GFNet相比，我们的方法分别使mIoU提升了2.0%和0.9%，且在大多数类别上的表现都优于这两种算法。这种持续的提升验证了所提出的GMFM和SCAM的有效性。
3) 在我们自己的测试集上的结果：为了进一步验证我们的方法在不同复杂场景下的鲁棒性和适应性，我们在非结构化的测试集上进行了额外实验。这些数据是在与上述两个训练集完全不同的地点，使用Velodyne 32线激光雷达传感器采集的，这确保了点云特征（$(x, y, z$、反射率和噪声）的分布能够适配所提出的方法。
---
Fig. 9. Sample results of different models on our test set. The first row of each scenario represents the predictions using saved model parameters from SemanticKITTI training set, while the second row is from RELLIS-3D training set.
我们在自己的数据集上测试了Cylinder3D（基于体素）、Salsanext（基于单投影）和GFNet（基于多投影）的性能。结果如图9所示。
与Cylinder3D相比，我们的方法性能相当。但在处理被遮挡的物体时，我们的方法分割精度明显更高。此外，我们的方法耗时也比Cylinder3D更少。
与Salsanext和GFNet相比，得益于分层Transformer对RV和BEV的深度融合，大多数类别的分割性能有了显著提升。从图9中红色框选的汽车和道路部分可以看出，分割更加完整。
### E. 消融研究
我们设计了详尽的消融实验来验证所提方法的有效性。这些方法均在SemanticKITTI验证集上使用相同参数进行训练。
为了确定所提网络的有效性，我们首先将我们的方法与RV单分支、BEV单分支以及集成方法进行比较。如表III所示，与RV单分支和BEV单分支方法相比，仅在输出层融合两个分支就能使mIoU分别提升2.9和4.1。此外，加入我们所提出的模块后，其性能甚至超过了集成方法（+3.8 mIoU）。
我们主要关注距离激光雷达40米以外的物体的分割精度。如图10所示，我们的方法比RV单分支、BEV单分支和集成方法更高效。
TABLE III
RESULTS (IN %) OF ABLATION STUDIES FOR DIFFERENT INPUT TYPES IN SEMANTICKITTI VALIDATION SETS
| Methods | mIoU |
| RV | 59.5 |
| BEV | 58.3 |
| Ensemble | 62.4 |
| Ours | 66.2 |
Fig. 10. mIoU at varying radial distance for the SemanticKITTI validation sets.
随后，我们分析了所纳入的各个组件的影响，包括SCAM、GMFM和KPConv，如表IV所示。SCAM使mIoU提升了1.2%，证明了其有效性。GMFM基于几何变换和特征层面的MHCA，融合了RV和BEV的特性，从而提升了性能（+1.8 mIoU）。此外，当我们用KPConv替代KNN来融合RV和BEV特征时，所提出的网络便能够获得
---
TABLE IV
RESULTS (IN %) OF ABLATION STUDIES FOR NETWORK COMPONENTS IN SEMANTICKITTI VALIDATION SETS
| Module | mIoU |
| Main branch | SCAM | GMFM | KPCConv |
| ✓ | | | | 62.4 |
| ✓ | ✓ | | | 63.6 |
| ✓ | ✓ | ✓ | | 65.4 |
| ✓ | ✓ | ✓ | ✓ | 66.2 |
在SemanticKITTI验证集上达到66.2%的mIoU性能。这些结果表明，所提出的方法能够有效传递RV和BEV之间的互补信息，进而提升各分支的性能。
### 五、结论
在本文中，我们提出了一种用于激光雷达语义分割的多视角多层次融合方法，该方法在输出层面和特征层面实现了BEV与RV方法的深度融合。具体而言，有三个模块旨在提升语义分割的效果：首先，提出了由空间注意力模块和通道注意力模块组成的SCAM，用以整合输入特征的上下文信息和通道信息；其次，我们设计了GMFM，它先实现RV和BEV分支特征间的几何对齐，再利用MHCA模块融合对齐后的特征；最后，我们用KPConv替代KNN，以提升后处理的精度。
我们在SemanticKITTI城市数据集、RELLIS-3D非道路数据集以及我们自己的测试数据集上开展了实验。我们将所提方法与多种基于点云、基于体素、基于单投影及基于多投影的方法进行了对比。结果表明，无论是在结构化还是非结构化场景中，我们的方法都能兼顾效率与精度；消融实验也证明，我们新引入的方法中的每个组件都能提升网络的效果。
## 参考文献
[^1]: H.-F. Wang et al., “Vehicle-road environment perception under low-visibility condition based on polarization features via deep learning,” IEEE Trans. Intell. Transp. Syst., vol. 23, no. 10, pp. 17873–17886, Oct. 2022, doi: 10.1109/TITS.2022.3157901.
[^2]: D. K. Dewangan and S. P. Sahu, “Driving behavior analysis of intelligent vehicle system for lane detection using vision-sensor,” IEEE Sensors J., vol. 21, no. 5, pp. 6367–6375, Mar. 2021, doi:10.1109/JSEN.2020.3037340.
[^3]: Z. Qiu, F. Yan, Y. Zhuang, and H. Leung, “Outdoor semantic segmentation for UGVs based on CNN and fully connected CRFs,” IEEE Sensors J., vol. 19, no. 11, pp. 4290–4298, Jun. 2019, doi: 10.1109/JSEN.2019.2893892.
[^4]: Y. Li et al., “Deep learning for LiDAR point clouds in autonomous driving: A review,” IEEE Trans. Neural Netw. Learn. Syst., vol. 32, no. 8, pp. 3412–3432, Aug. 2021, doi: 10.1109/TNNLS.2020.3015992.
[^5]: P. Liu, G. Yu, Z. Wang, B. Zhou, R. Ming, and C. Jin, “Uncertainty-aware point-cloud semantic segmentation for unstructured roads,” IEEE Sensors J., vol. 23, no. 13, pp. 15071–15080, Jul. 2023, doi: 10.1109/JSEN.2023.3266802.
[^6]: J. Behley et al., “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Seoul, South Korea, Oct. 2019, pp. 9296–9306, doi:10.1109/ICCV.2019.00939.
[^7]: P. Jiang, P. Osteen, M. Wigness, and S. Saripalli, “RELLIS-3D dataset: Data, benchmarks and analysis,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), Xi'an, China, May 2021, pp. 1110–1116, doi:10.1109/ICRA48506.2021.9561251.
[^8]: Z. Huang, C. Lv, Y. Xing, and J. Wu, “Multi-modal sensor fusion-based deep neural network for end-to-end autonomous driving with scene understanding,” IEEE Sensors J., vol. 21, no. 10, pp. 11781–11790, May 2021, doi: 10.1109/JSEN.2020.3003121.
[^9]: R. Q. Charles, H. Su, M. Kaichun, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Honolulu, HI, USA, Jul. 2017, pp. 77–85.
[^10]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” 2017, arXiv:1706.02413.
[^11]: Q. Hu et al., “RandLA-Net: Efficient semantic segmentation of large-scale point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Seattle, WA, USA, Jun. 2020, pp. 11105–11114.
[^12]: H. Thomas, C. R. Qi, J.-E. Deschaud, B. Marcotegui, F. Goulette, and L. Guibas, "KPConv: Flexible and deformable convolution for point clouds," in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Seoul, South Korea, Oct. 2019, pp. 6410–6419, doi: 10.1109/ICCV.2019.00651.
[^13]: X. Zhu et al., “Cylindrical and asymmetrical 3D convolution networks for LiDAR-based perception,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 10, pp. 6807–6822, Oct. 2022, doi: 10.1109/TPAMI.2021.3098789.
[^14]: Y. Zhou and O. Tuzel, “VoxelNet: End-to-end learning for point cloud based 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Salt Lake City, UT, USA, Jun. 2018, pp. 4490–4499, doi: 10.1109/CVPR.2018.00472.
[^15]: R. Cheng, R. Razani, E. Taghavi, E. Li, and B. Liu, "(AF) $^{2}$-S3Net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Nashville, TN, USA, Jun. 2021, pp. 12542–12551.
[^16]: T. Cortinhal, G. Tzelepis, and E. E. Aksoy, “SalsaNext: Fast, uncertaintyaware semantic segmentation of LiDAR point clouds for autonomous driving,” in Proc. ISVC, San Diego, CA, USA, 2020, pp. 207–222.
[^17]: Y. Zhang et al., “PolarNet: An improved grid representation for online LiDAR point clouds semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Seattle, WA, USA, Jun. 2020, pp. 9598–9607.
[^18]: B. Wu, A. Wan, X. Yue, and K. Keutzer, “SqueezeSeg: Convolutional neural nets with recurrent CRF for real-time road-object segmentation from 3D LiDAR point cloud,” in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), Brisbane, QLD, Australia, May 2018, pp. 1887–1893, doi: 10.1109/ICRA.2018.8462926.
[^19]: B. Wu, X. Zhou, S. Zhao, X. Yue, and K. Keutzer, “SqueezeSegV2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud,” in Proc. Int. Conf. Robot. Autom. (ICRA), Montreal, QC, Canada, May 2019, pp. 4376–4382, doi: 10.1109/ICRA.2019.8793495.
[^20]: C. Xu et al., “SqueezeSegV3: Spatially-adaptive convolution for efficient point-cloud segmentation,” 2020, arXiv:2004.01803.
[^21]: E. E. Aksoy, S. Baci, and S. Cavdar, “SalsaNet: Fast road and vehicle segmentation in LiDAR point clouds for autonomous driving,” in Proc. IEEE Intell. Vehicles Symp. (IV), Las Vegas, NV, USA, Oct. 2020, pp. 926–932, doi: 10.1109/IV47402.2020.9304694.
[^22]: B. Ding, "LENet: Lightweight and efficient LiDAR semantic segmentation using multi-scale convolution attention," 2023, arXiv:2301.04275.
[^23]: H. Cheng, X. Han, and G. Xiao, “CENet: Toward concise and efficient LiDAR semantic segmentation for autonomous driving,” in Proc. IEEE Int. Conf. Multimedia Expo (ICME), Taipei, Taiwan, Jul. 2022, pp. 1–6, doi: 10.1109/ICME52920.2022.9859693.
[^24]: V. Erin Liong, T. Ngoc Tho Nguyen, S. Widjaja, D. Sharma, and Z. J. Chong, “AMVNet: Assertion-based multi-view fusion network for LiDAR semantic segmentation,” 2020, arXiv:2012.04934.
[^25]: X. Li, G. Zhang, H. Pan, and Z. Wang, “CPGNet: Cascade point-grid fusion network for real-time LiDAR semantic segmentation,” in Proc. Int. Conf. Robot. Autom. (ICRA), Philadelphia, PA, USA, May 2022, pp. 11117–11123, doi: 10.1109/ICRA46639.2022.9811767.
## [^26]: H. Tang, Z. Liu, and S. Zhao, “Searching efficient 3D architectures with sparse point-voxel convolution,” in Proc. 16th Eur. Conf. Comput. Vis. Cham, Switzerland: Springer, 2020, pp. 685–702
---
[^27]: Y. Ali Alnaggar, M. Afifi, K. Amer, and M. ElHelw, “Multi projection fusion for real-time semantic segmentation of 3D LiDAR point clouds,” in Proc. IEEE Winter Conf. Appl. Comput. Vis. (WACV), Jan. 2021, pp. 1799–1808.
[^28]: D. Kochanov, F. K. Nejadasl, and O. Booij, “KPRNet: Improving projection-based LiDAR semantic segmentation,” 2020, arXiv:2007.12668.
[^29]: J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2015, pp. 3431–3440.
[^30]: C. Choy, J. Gwak, and S. Savarese, “4D spatio-temporal ConvNets: Minkowski convolutional neural networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), Long Beach, CA, USA, Jun. 2019, pp. 3070–3079, doi: 10.1109/CVPR.2019.00319.
[^31]: H. Tang et al., “Searching efficient 3D architectures with sparse point-voxel convolution,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 1–12.
[^32]: A. Milioto, I. Vizzo, J. Behley, and C. Stachniss, “RangeNet++: Fast and accurate LiDAR semantic segmentation,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Nov. 2019, pp. 4213–4220.
[^33]: S. Wang, J. Zhu, and R. Zhang, "Meta-RangeSeg: LiDAR sequence semantic segmentation using multiple feature aggregation," IEEE Robot. Autom. Lett., vol. 7, no. 4, pp. 9739–9746, Oct. 2022.
[^34]: C. Zhang, W. Luo, and R. Urtasun, “Efficient convolutions for real-time semantic segmentation of 3D point clouds,” in Proc. Int. Conf. 3D Vis. (3DV), Sep. 2018, pp. 399–408.
[^35]: M. Gerdzhev, R. Razani, E. Taghavi, and L. Bingbing, "TORNADO-Net: Multiview total variation semantic segmentation with diamond inception module," in Proc. IEEE Int. Conf. Robot. Autom. (ICRA), Xi'an, China, May 2021, pp. 9543–9549, doi: 10.1109/ICRA48506.2021.9562041.
[^36]: H. Qiu, B. Yu, and D. Tao, "GFNet: Geometric flow network for 3D point cloud semantic segmentation," 2022, arXiv:2207.02605.
[^37]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 770–778.
[^38]: M. Berman, A. R. Triki, and M. B. Blaschko, “The Lovázs-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Salt Lake City, UT, USA, Jun. 2018, pp. 4413–4421, doi: 10.1109/CVPR.2018.00464.
[^39]: M. Ibrahim, N. Akhtar, S. Anwar, and A. Mian, “SAT3D: Slot attention transformer for 3D point cloud semantic segmentation,” IEEE Trans. Intell. Transp. Syst., vol. 24, no. 5, pp. 5456–5466, May 2023, doi: 10.1109/TITS.2023.3243643.
[^40]: F. Guan and L. Guo, “MVPNet: Multiple view pyramid network for LiDAR point cloud prediction based on spatial–temporal feature learning,” in Proc. 2nd Int. Conf. Robot., Autom. Artif. Intell. (RAAI), Singapore, Dec. 2022, pp. 244–249, doi: 10.1109/RAAI56146.2022.10092969.
[^41]: J. Park, C. Kim, S. Kim, and K. Jo, "PCSCNet: Fast 3D semantic segmentation of LiDAR point cloud for autonomous car using point convolution and sparse convolution network," Expert Syst. Appl., vol. 212, Feb. 2023, Art. no. 118815.
[^42]: A. Maiti, S. O. Elberink, and G. Vosselman, “TransFusion: Multi-modal fusion network for semantic segmentation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. Workshops (CVPRW), Vancouver, BC, Canada, Jun. 2023, pp. 6537–6547, doi: 10.1109/CVPRW59228.2023.00695.
李旭于2006年在中国南京东南大学获得仪器科学与技术专业博士学位。
他目前是东南大学仪器科学与工程学院的教授。他的研究方向包括智能驾驶行为分析与建模、智能车辆导航、传感与控制以及ADAS。
倪培舟于2016年在中国成都四川大学获得仪器科学与技术专业学士学位。他目前正在中国南京东南大学仪器科学与工程学院通信工程系攻读博士学位。
他的研究方向包括智能车辆、深度学习以及语义分割。
光星星于2012年在中国太原太原工业学院获得自动化工程专业学士学位，分别于2015年和2021年在中国哈尔滨工程大学获得控制科学与工程专业的硕士和博士学位。
她现就职于中国北方人工智能与创新研究院及群体智能与协同实验室（CIC）。她的研究方向包括计算机视觉、环境感知、定位以及运动规划。
罗航于2013年和2016年分别在北京航空航天大学自动化科学与电气工程学院获得控制工程专业的学士和硕士学位，并于2022年在德国汉诺威的莱布尼茨大学机械工程系测量与控制研究所获得博士学位。
他目前就职于中国北方人工智能与创新研究院及集体智能与协作实验室（CIC）。他的研究方向包括SLAM、多视角立体视觉、协同建图以及自主探索。
徐旺于2022年从东南大学仪器科学与技术学院获得学士学位，目前在该校攻读硕士学位。
他的研究兴趣包括多传感器融合语义分割、计算机视觉以及智能车辆。
赵希军于2007年和2011年分别在北京理工大学获得车辆工程专业学士学位和机械工程专业博士学位。
他目前就职于中国北方人工智能与创新研究院及集体智能与协作实验室（CIC）。他的研究方向包括无人地面车辆的感知、定位、运动规划与控制。