文章 # GENet：一种用于激光雷达语义分割的几何增强网络 吴宇辰、魏汉兵 $^{*}$ 重庆交通大学机电与车辆工程学院，重庆 400074，中国； - 通讯作者： ## 摘要 激光雷达在自动驾驶和移动机器人领域得到了广泛应用。近年来，许多研究聚焦于实时点云分割，旨在在保持实时推理速度的同时实现更高的准确率。当前的实时方法大多依赖二维投影，这不可避免地会导致空间信息的丢失。为了克服二维投影方法的局限性，我们提出了一种名为GENet的几何增强网络，该网络能够利用空间先验。该网络采用空洞可分离距离注意力（ASRA）模块，显式地利用距离图像中的空间先验，从而能够以线性复杂度实现具有大感受野的几何感知特征聚合。随后采用几何上下文调制（GCM）机制来校准语义特征，在保留不同类别原始特征的区分能力的同时融入几何先验。实验表明，我们的方法在保持实时性能的同时实现了高效的信息融合。与现有方法相比，GENet所需的参数更少、计算量更小，在准确率和效率之间取得了良好的平衡。 ![Image](images/4cd0108ea36ff7ff574c213c0236623277e7efc09e8ebd6a6c6b38f8962b4e98.jpg) 关键词：激光雷达点云；语义分割；距离视图；几何注意力；特征融合 学术编辑：Hwan-Sik Yoon ### 1. 引言 版权所有：© 2026 作者。 授权方：MDPI，瑞士巴塞尔。 本文为开放获取文章 依据知识共享 许可协议的条款和 条件进行分发，该协议为署名许可（CC BY）。 近年来，随着边缘计算芯片的快速发展以及移动机器人在各类场景中的广泛应用，激光雷达因其精度和鲁棒性成为了热门的传感器选择。与RGB-D相机、立体相机等其他三维传感器相比，激光雷达在探测距离长、对光照条件不敏感等方面具有天然优势。因此，基于激光雷达的环境感知，尤其是三维点云语义分割，一直是三维计算机视觉领域的研究重点。 激光雷达点云是对真实场景的直接采样，具有不规则、稀疏、非均匀等特点，难以被深度神经网络学习。为解决这一问题，有几种应对方案。基于点的方法是直接对原始点云进行操作，通常遵循PointNet++ [^1] 范式，通过分层采样和聚合来获取局部几何形状。其中一些方法虽然能达到较高的分割准确率，但逐点处理以及大量的三维空间搜索会导致计算复杂度很高，无法满足实时要求。基于体素的方法将点云离散为规则的三维网格，再利用现有的三维卷积进行特征学习。然而，三维卷积的计算和内存开销呈立方级增长。 --- 由于分辨率较低，它们不适合在资源受限的平台上运行。基于投影的方法将点云投影到二维平面上（如距离视图、鸟瞰图），并利用高效的二维卷积网络进行处理，因此具有显著的速度优势。然而，投影过程会导致空间几何信息的丢失，使得其分割精度低于上述两种方法。总之，如何在点云语义分割中平衡精度与速度已成为热门的研究课题。一些研究提出了多视图融合方法，将不同视图表示的互补性融入空间先验信息中。例如，距离视图保留了邻域扫描结构，而鸟瞰图则保留了空间结构，这进一步提升了多视图方法的精度。 尽管多视图融合方法具有出色的分割精度，但与单分支网络相比，多分支网络会显著增加参数数量和模型复杂度，从而降低推理速度。因此，本文从新的视角出发引入几何先验信息，在保持计算效率的同时提升点云语义分割的性能。我们并未采用单独的神经网络分支来编码先验信息，而是提出了一种无需学习的几何注意力模块，该模块可嵌入到任何骨干网络中。如图1所示，该模块利用距离图像显式地引导特征聚合，并通过结合语义与几何上下文来调节原始特征。实验表明，我们的方法能在保持实时性能的同时实现高效的信息融合。与其他方法相比，它所需的参数更少、计算量更小，在精度与实时性之间取得了良好的平衡。 本文的主要贡献如下： - 我们为点云语义分割引入了无需学习的几何注意力机制，无需额外的可学习参数即可增强网络能力。 - 我们设计了几何增强（GE）模块，能够高效地将二维语义特征与三维几何线索相融合。针对不同的效率需求，我们开发了GENet和GENet-Light两种网络架构。 - 我们提出了一种新颖的距离视图插值策略，该策略能高效搜索潜在的插值点，并基于空间距离进行插值处理。 - 我们在SemanticKITTI和SemanticPOSS数据集上进行的全面实验表明，我们的方法在精度与效率之间实现了最佳的权衡。
Range map
![Image](images/bfba3ac9b5c8493515d4354434ceec616cee5fe0b5fb9a5653f3f1785e843a3a.jpg)
Visualization of geometry attention
![Image](images/5dd7b573e5d48dd2ef0cebc3a587d048a380aa58b772374dad74e22f025960c2.jpg) ![Image](images/20a10c33dadaafc47b6417f7de2da5b3879696d2004ac6fa9fa9ea96cdbdd13b.jpg) ![Image](images/098026dfc3b9940b9bb870ef0288040c16f54ba5f5292fab5d4068d9eb2383bb.jpg)
$^{★}$denotes the current query
Figure 1. Illustration of geometry attention. The left shows the range image of the current frame, and the right shows the geometry attention responses at different query, where the “red star” denotes the current query. In the visualization map, red indicates the attention score of the current point, while gray represents the range value.
--- ### 2. 相关工作 点云语义分割：点云语义分割是计算机视觉中的一项基础任务，旨在为每个点分配语义标签。基于点的方法[^2] [^3] [^4] [^5]遵循PointNet++范式，通过分层采样将原始点云划分为多尺度点集，然后利用共享的MLP或Transformer模块来捕捉局部几何特征。由于点云具有不规则性和稀疏性，许多方法会将其组织成结构化的二维表示，如距离视图或鸟瞰图，以便利用高效的二维视觉骨干网络。为了将二维分割结果还原到三维空间，RangeNet++[^6]提出了一种基于KNN的后处理算法，而FIDNet[^7]则采用基于插值的解码器，结合空洞卷积和最近邻分配策略，在保持精度的同时提升了效率。CENet[^8]采用了精心设计的训练架构和多尺度辅助损失函数，在基于投影的方法中取得了最先进的成果。 尽管这类基于投影的方法效率较高，但它们本质上会丢失空间信息，因此无法达到基于点的方法的性能水平。一些研究尝试在输入数据中加入额外的几何信息，如法线图[^9]，但效果有限。因此，如何在不增加过多计算开销的前提下有效恢复投影过程中丢失的几何信息，已成为改进基于投影的方法所面临的关键挑战。 特征融合：为解决这些难题，研究人员深入探索了特征级融合策略，以充分利用多模态或多视角信息的互补性。近期的研究着眼于高效融合来自不同模态的信息，如RGB、点云、光流和深度图，这些信息能提供额外的上下文线索以增强模型的理解能力。在RGB-D分割领域，大量研究表明特征级融合是一种有效的范式。CMX[^10]构建了基于交叉注意力的通用多模态特征交互框架；在此基础上，AsymFormer[^11]通过非对称双分支架构优化了计算资源分配，从而实现高效分割。在点云分割方面，研究人员发现不同视角之间存在互补性，于是提出了多视角特征融合方法，以弥补单视角投影导致的空间信息压缩问题。RPVNet[^12]利用距离、体素和点分支从不同视角提取特征，并在多个阶段进行多级门控融合。2DPASS[^13]在训练期间额外利用二维图像生成多尺度的语义先验，并通过多尺度多模态融合蒸馏将纹理和颜色先验引入三维骨干网络。此外，SqueezeSegV3[^14]探索了在单视角内融入更多信息的可能性，提出了一种空间自适应卷积模块，能够在单分支网络中隐式利用空间先验。 尽管取得了这些进展，仍存在一些挑战：多视角融合方法虽然精度更高，但多分支架构显著增加了计算开销；而单视角方法在融入几何信息时往往难以兼顾实时性能。因此，如何在保持单分支网络高效性的同时有效融合几何先验，仍是一个值得深入探索的开放性问题。 ### 3. 材料与方法 #### 3.1. 问题定义 近期的研究提出将点云投影到球坐标系下以获得紧凑的二维表示，从而解决室外场景中激光雷达采样固有的稀疏性问题。这种方法能够利用成熟的二维视觉骨干网络，使得实时三维语义分割成为可能。 --- 对于空间中任意点 $(x,y,z)$，给定范围视图的垂直和水平分辨率 $(H,W)$，即可计算出其对应的投影坐标 $(u,v)$： $$ \begin{pmatrix}u\\v\end{pmatrix}=\begin{pmatrix}\frac{1}{2}\left[1-\arctan(y,x)\pi^{-1}\right]W\\\left[1-(\arcsin(zr^{-1})+f_{\mathrm{up}})f^{-1}\right]H\end{pmatrix} $$ 其中， $$ r=\sqrt{x^{2}+y^{2}+z^{2}} $$ 表示每个点到传感器的距离， $$ f=|f_{up}|+|f_{down}| $$ 表示激光雷达的垂直视场角，其中 $f_{\text{up}}$ 和 $f_{\text{down}}$ 代表俯仰角。最终会得到一个 $5 \times H \times W$ 多通道二维图像，每个像素包含5个通道（x、y、z、r、i），分别对应点的坐标、距离以及反射强度。尽管这种变换将点云分割转化为二维多通道图像分割问题，解决了点云的无序性和稀疏性难题，但它会压缩空间信息，导致二维卷积无法捕捉局部几何结构，进而造成特征聚合错误。本文的目标就是为二维点云特征图 $\mathbf{X} \in \mathbb{R}^{C \times H \times W}$ 和范围图像 $\mathbf{R} \in \mathbb{R}^{1 \times H \times W}$ 学习一种具备几何感知能力的特征增强变换： $$ \mathbf{Y}=\mathcal{F}*(\mathbf{X},\mathbf{R};\Theta) $$ 这种变换需满足两条设计原则：（1）在三维空间中空间位置相近的点应表现出更强的特征交互；（2）原始特征的语义区分能力应得以保留。 #### 3.2. 方法概述 本文针对范围视图点云语义分割提出了一种具备几何感知能力的特征增强模块（GE Block）。网络架构如图2所示。该模块可与任意二维特征提取骨干网络集成以增强几何感知能力；为了与以往的研究进行公平比较，我们采用了ResNet [^15] 块。该模块包含两个核心组件：（1）几何注意力模块（GAM），它结合了空洞采样与可分离注意力设计，能够在保持线性计算复杂度的同时实现具有大感受野的几何感知特征聚合；（2）几何上下文调制模块（GCM），它将几何上下文转化为通道级的增强/抑制信号，在融入几何先验的同时保留原始特征的区分能力。 #### 3.3. 几何注意力模块 ##### 3.3.1. 基于范围图像的几何先验生成 设查询向量q的坐标为 $\mathbf{p}_{q}$，窗口内其他点的坐标为 $\mathbf{p}_{k}$，则它们之间的欧几里得距离定义为 $$ \begin{array}{r}{d_{q k}=\|\mathbf{p}_{q}-\mathbf{p}_{k}\|_{2}.}\end{array} $$ 通过高斯核将这一距离映射为注意力权重 $$ a_{q k}=\exp\biggl(-\frac{d_{q k}^{2}}{\tau}\biggr), $$ --- 其中 $\tau$ 是一个可学习的因子，用于控制注意力随距离衰减的速率，以适应不同尺度的几何特性。通过这种几何窗口注意力机制，模型能够在保持计算效率的同时有效捕捉点云的空间关系。 ![Image](images/4cf4b81e946f646c79de80adfc3b251103d7b844478a0800222c8e1e43338643.jpg)
Figure 2. For each stage of the backbone: (a) GENet (standard version) inserts a GE Block after each feature extraction block for fine-grained geometry-semantic fusion. (b) GENet-Light (lightweight version) inserts a single GE Block only at the output of each stage for feature enhancement, enabling faster inference. (c) Detailed illustration of the proposed geometry attention module. (d) Detailed structure of the GE Block.
##### 3.3.2. 空洞可分离范围注意力模块 尽管几何窗口注意力机制能够有效捕捉局部几何关系，但直接将其应用于高分辨率特征图时会产生$O(H \cdot W \cdot K^2)$的计算和内存开销。受稀疏注意力研究的启发，我们提出了空洞可分离范围注意力（ASRA）机制，通过轴向分解将计算复杂度降低至$O(H \cdot W \cdot 2K)$，从而显著提升效率。具体而言，标准的$K \times K$窗口注意力要求每个查询点与$K^2$个键进行交互；而ASRA采用轴向分解策略，先沿水平轴与K个点计算注意力，再沿垂直轴与K个点计算注意力。这种级联操作覆盖相同的$K \times K$邻域，但总交互次数仅为2K。同时，引入空洞采样技术以在不增加采样点数量的前提下保持较大的感受野。此外，还可为水平和垂直方向设置不同的膨胀率，从而缓解不同分辨率下范围视图中的水平失真问题。 具体来说，给定输入特征$\mathbf{F} \in \mathbb{R}^{C \times H \times W}$和范围图像$\mathbf{R} \in \mathbb{R}^{1 \times H \times W}$，固定窗口注意力被分解为水平注意力和垂直注意力。每个查询点分别沿水平和垂直方向与相距$d_h$和$d_v$的k个邻近点计算注意力，具体过程如式(6)所示。因此，对于每个查询点$(i,j)$，其k邻域内的注意力权重$\mathbf{A}_{i,j}^{(k)}$可按如下方式计算： $$ \mathbf{A}_{i,j}^{(k)}=\exp\left(-\frac{(r_{i,j}-r_{i,j+k\cdot d})^{2}}{\tau}\right) $$ 其中，K表示采样点数量，d为膨胀率，$\tau$为衰减率。通过空洞采样技术，有效感受野可扩展至$(K-1)\cdot d+1$。在我们的实现中，设定K=17，$d_{h}=d_{v}=2$，且$\tau$初始化为1.0，从而在水平和垂直方向上均能获得33像素的有效感受野。 由此可得到水平和垂直方向的注意力权重矩阵，分别记为$\mathbf{A}_h$和$\mathbf{A}_v$。进而可计算出基于几何先验聚合的特征图$\mathbf{F}_h$和$\mathbf{F}_v$： --- $$ \mathbf{F}_{i,j}^{(h)}=\sum_{k=-\lfloor K/2\rfloor}^{\lfloor K/2\rfloor}\mathbf{A}_{i,j+k\cdot d_{h}}^{(h)}\cdot\mathbf{F}_{i,j+k\cdot d_{h}} $$ $$ \mathbf{F}_{i,j}^{(v)}=\sum_{k=-\lfloor K/2\rfloor}^{\lfloor K/2\rfloor}\mathbf{A}_{i+k\cdot d_{v},j}^{(v)}\cdot\mathbf{F}_{i+k\cdot d_{v},j} $$ 随后，通过级联操作即可得到最终的聚合特征图C。整个模块可表示为： $$ \mathrm{A S R A}(\mathbf{F},\mathbf{R})=\mathcal{A}_{v}(\mathcal{A}_{h}(\mathbf{F},\mathbf{R};d_{h}),\mathbf{R};d_{v}) $$ ASRA的完整流程总结在算法1中。 ```pseudo // Algorithm 1: Atrous Separable Range Attention (ASRA) 1: Input: Feature map $\mathbf{F} \in \mathbb{R}^{C \times H \times W}$, Range image $\mathbf{R} \in \mathbb{R}^{1 \times H \times W}$, Kernel size K, Dilation rates $d_h$, $d_v$, Learnable decay rate $\tau$ 2: Output: Geometry-aware aggregated feature $\mathbf{F}_{out}$ 3: // Horizontal Attention 4: for each position $(i, j)$ do 5: for $k = -\lfloor K/2 \rfloor$ to $\lfloor K/2 \rfloor$ do 6: $d_{qk} \leftarrow |\mathbf{r}_{i,j} - \mathbf{r}_{i,j+k \cdot d_h}|$ // Range distance 7: $\mathbf{A}_{i,j}^{(k)} \leftarrow \exp(-d_{qk}^2/\tau)$ // Gaussian weight 8: end for 9: $\mathbf{A}_{i,j}^{(k)} \leftarrow \mathbf{A}_{i,j}^{(k)} / \sum_k \mathbf{A}_{i,j}^{(k)}$ // Normalize 10: $\mathbf{F}_{i,j}^{(h)} \leftarrow \sum_k \mathbf{A}_{i,j}^{(k)} \cdot \mathbf{F}_{i,j+k \cdot d_h}$ // Weighted aggregation 11: end for 12: // Vertical Attention 13: for each position $(i, j)$ do 14: for $k = -\lfloor K/2 \rfloor$ to $\lfloor K/2 \rfloor$ do 15: $d_{qk} \leftarrow |\mathbf{r}_{i,j} - \mathbf{r}_{i+k \cdot d_v,j}|$ // Range distance 16: $\mathbf{A}_{i,j}^{(k)} \leftarrow \exp(-d_{qk}^2/\tau)$ // Gaussian weight 17: end for 18: $\mathbf{A}_{i,j}^{(k)} \leftarrow \mathbf{A}_{i,j}^{(k)} / \sum_k \mathbf{A}_{i,j}^{(k)}$ // Normalize 19: $\mathbf{F}_{i,j}^{(v)} \leftarrow \sum_k \mathbf{A}_{i,j}^{(k)} \cdot \mathbf{F}_{i+k \cdot d_v,j}^{(h)}$ // Weighted aggregation 20: end for 21: $\mathbf{F}_{out} \leftarrow \mathbf{F}^{(v)}$ 22: return $\mathbf{F}_{out}$ ``` #### 3.4. 几何-上下文调制 一种直观的思路是利用几何线索直接聚合几何相似邻域的特征。然而，这种硬性聚合策略并非最优——几何相似性并不必然意味着语义相似性。例如，两个空间上相邻的点可能位于同一平面上，却属于完全不同的物体类别；若仅依据空间相似性直接融合它们的特征，会削弱语义区分能力并模糊物体边界。为解决这一问题，我们提出了一种渐进式几何信息融合机制：不让几何线索主导特征聚合过程，而是采用自适应门控机制来增强或抑制原始特征——通过融合几何与语义信息来生成空间调制图，从而实现特征的自适应重新校准。具体而言，经几何引导聚合后得到的上下文特征C既包含了几何结构信息（由几何注意力模块注入），也包含了语义内容（源自二维主干网络提取的特征）。 --- 利用这种混合上下文信息，一个轻量级的卷积头$\phi(\cdot)$可预测出密集的调制图$\mathbf{M} \in \mathbb{R}^{B \times C \times H \times W}$： $$ \mathbf{M}=\phi(\mathbf{C})=\sigma\bigl(\operatorname{C o n v}_{1\times1}(\operatorname{G E L U}(\operatorname{D W C o n v}_{3\times3}(\mathbf{C})))\bigr), $$ 其中，DWConv $_{3\times3}$ 表示用于捕捉局部空间模式的深度可分离卷积，而 $\sigma(\cdot)$ 则是将调制系数限制在区间 $(0,1)$ 内的 Sigmoid 激活函数。随后，通过残差门控机制将调制图应用到原始特征 F 上： $$ \mathbf{Y}=\mathbf{F}\odot(1+\mathbf{M}), $$ 其中 $\odot$ 表示逐元素乘法。当 $\mathbf{M} \approx 0$ 时，这种设计能确保恒等映射得以保留；而当 $\mathbf{M} > 0$ 时，网络便可选择性地增强信息丰富的区域。通过将调制图基于几何感知上下文而非原始几何距离进行条件化，GCM 能够实现更灵活且语义一致的特征增强，同时兼顾几何结构与语义连贯性。 #### 3.5. 模型架构 如图 2c 所示，将几何注意力模块与几何上下文调制模块相结合便得到了 GE 块——一种可嵌入任意二维骨干网络的几何增强模块。每个模块均采用与输入特征图具有相同空间维度的距离图像来计算几何先验。通过将这一增强模块插入标准二维骨干网络的特征提取模块之后，我们便得到了所提出的几何增强网络 GENet。具体而言，我们设计了两种集成策略：轻量版仅在每个骨干阶段的输出端插入 GE 块以进行特征校准；标准版则在每个特征提取模块之后插入 GE 块，以实现细粒度的几何-语义融合。图 2a 展示了所提出的 GENet 的整体架构。 #### 3.6. 距离插值 在将三维激光雷达点云投影到二维距离图像时，激光雷达采样的稀疏性和非均匀性必然会导致生成的距离图像中出现大量空洞。为解决这一问题，我们提出了一种距离视图插值策略。对于候选区域内的每个像素，我们利用 KD-Tree 从有效的投影点集中查询其最近的 k 个邻居，并通过逆距离加权（IDW）方法计算插值结果： $$ \hat{\mathbf{x}}_{i}=\sum_{j\in\mathcal{N}_{k}(i)}w_{i j}\cdot\mathbf{x}_{j},\quad w_{i j}=\frac{1/d_{i j}}{\sum_{j^{\prime}}1/d_{i j^{\prime}}}, $$ 其中 $d_{ij}$ 表示图像平面上像素 i 与其邻居 j 之间的欧几里得距离。这种简单却高效的插值操作既能充实距离图像，又能保持局部几何一致性，从而使后续的卷积层能够在更完整、更连贯的输入上进行运算。 ### 4. 实验结果 #### 4.1. 实验设置 我们在两个常用的基准数据集上开展实验。SemanticKITTI [^16] 是基于 KITTI 里程计数据集构建的、应用最广泛的点云语义分割大规模基准数据集，包含 22 个序列、43,552 帧数据以及 19 个语义类别。 --- （包括道路、建筑物、车辆、行人、植被以及城市驾驶场景中的其他常见物体）。其中序列 00–10 用于训练，序列 08 用于验证，序列 11–21 用于测试。SemanticPOSS [^17] 是一个更具挑战性的小规模数据集，包含 2988 帧数据及 14 个语义类别。该数据集中的场景包含更多动态物体且点云分布更稀疏，因此适合用于评估模型的泛化能力。 关于实现细节，所有实验均在单张NVIDIA V100 GPU上开展。我们采用AdamW作为优化器，配合余弦退火调度器，学习率设为0.001。权重衰减参数设定为0.001。该模型在SemanticKITTI数据集上训练80个周期，在SemanticPOSS数据集上训练100个周期，批量大小均为8。 #### 4.2. 实验结果 表1展示了GENet在SemanticKITTI基准测试上的实验结果，包括平均IoU、各类别IoU以及FPS数值。与多视角方法相比，尽管我们的方法并未展现出显著的性能优势，但在参数数量（6.9 M）和实时处理能力（41.6 FPS）方面明显更胜一筹。与基于体素和基于投影的方法相比，GENet在保持实时性能的同时提升了分割精度（67.4%），实现了效率与精度之间的最佳平衡。值得注意的是，GENet-Light的推理速度达到了最快水平（41.6 FPS），且仍优于以往基于距离视图投影方法的最佳结果。表2给出了GENet在SemanticPOSS数据集上的定量对比结果。由于该数据集规模较小且物体分布较为稀疏，各方法间的性能差距相对较小；不过我们的方法在该数据集上仍较基线模型有提升。图3展示了其与基线模型CENet的定性对比，结果显示我们的方法在保留几何边界方面更为精准，整体分割质量也有显著提升。 ![Image](images/755b0464d98da2a9e7c8a8b13296d54341b1c02f4eafd139dfa8a4d1fdb5e0d1.jpg)
Figure 3. Qualitative analysis on the SemanticKITTI validation set. From left to right, it shows ground truth labels, CENet's segmentation error map (red indicates incorrect predictions), and our proposed method in the current frame. The segmentation error map is highlighted in red for better visualization of errors. The proposed method achieves more accurate geometric boundary preservation compared to CENet, resulting in a significant improvement in overall segmentation performance.
---
Table 1. The performance comparison on SemanticKITTI test set.
CategoryMethodsFPS (Hz)Mean-IoUCarBicycleMotorcycleTruckOther-VehiclePersonBicyclistMotorcyclistRoadParkingSidewalkOther-GroundBuildingFenceVegetationTrunkTerrainPoleTraffic-Sign
Point-basedPointNet++ [^1]0.120.153.71.90.20.90.20.91.00.072.018.741.85.662.316.946.513.830.06.08.9
RandLa-Net [^4]2053.994.226.025.840.138.949.248.27.290.760.373.720.486.956.381.461.366.849.247.7
KPConv [^3]-58.896.032.042.533.444.361.561.611.888.861.372.731.695.064.284.869.269.156.447.4
BAAF [^18]559.995.431.835.548.746.749.555.753.090.962.274.423.689.860.882.763.467.953.752.0
Voxel-basedSPVNAS [^19]8.966.497.351.550.859.858.865.765.243.790.267.675.216.991.365.986.173.471.064.266.9
Cylinder3D [^20]6.268.997.167.663.850.858.573.769.248.092.265.077.032.390.766.585.672.569.862.466.2
Multi-viewRPVNet [^12]7.970.397.668.468.744.261.175.974.473.493.470.380.733.393.572.186.575.171.764.861.4
2DPASS [^13]8.472.997.063.663.461.161.577.981.374.189.767.474.740.093.572.986.273.971.065.070.4
Image-basedSqueezeSeg-CRF [^21]5530.868.318.15.14.14.816.517.31.284.928.454.74.661.529.259.625.554.711.236.3
SqueezeSegV2-CRF [^22]4039.682.721.022.614.515.920.224.32.988.542.465.518.773.841.068.536.958.912.941.0
RangeNet++ [^6]12.852.291.425.734.425.723.038.338.84.891.865.075.227.887.458.680.555.164.647.955.9
MPF [^23]20.655.593.430.238.326.128.548.146.118.190.662.374.530.688.559.783.559.769.249.758.1
SqueezeSegV3 [^14]655.992.538.736.529.633.045.646.220.191.763.474.826.489.059.482.058.765.449.658.9
FIDNet [^7]33.758.693.045.742.027.932.662.658.130.590.858.374.920.188.559.583.164.367.852.660.0
SalsaNext [^9]2459.591.948.338.638.931.960.259.019.491.763.775.829.190.264.281.863.666.554.362.1
KPRNet [^24]0.363.195.554.147.923.642.665.965.016.593.273.980.630.291.768.485.769.871.258.764.1
Lite-HDSeg [^25]2063.892.340.055.437.739.659.271.654.393.068.278.329.391.565.078.265.865.159.567.7
RangeViT [^26]1064.095.455.843.529.842.163.958.238.193.170.280.032.592.069.085.370.671.260.864.7
CENet [^8]37.864.791.958.650.340.642.368.965.943.590.360.975.131.591.066.284.569.770.061.567.6
GENet-Light41.666.396.757.359.448.857.574.779.614.990.461.874.829.590.766.085.872.770.060.667.9
GENet24.867.496.562.352.347.448.872.476.139.090.360.076.135.293.170.485.772.870.663.967.8
Table 2. The performance comparison on SemanticPOSS test set.
PersonRiderCarTruckPlantsTraffic SignPoleTrashcanBuildingCone/StoneFenceBikeGroundmIoU
SqueezeSeg [^21]14.21.013.210.428.05.15.72.343.60.215.631.075.018.9
SqueezeSegV2 [^22]48.09.448.511.350.16.76.214.860.45.222.136.171.330.0
RangeNet53 [^6]57.34.635.014.158.33.96.924.166.16.623.428.673.530.9
MINet [^27]62.412.163.822.368.616.730.128.975.128.632.244.976.343.2
FIDNet [^7]72.223.172.723.068.022.228.616.373.134.040.950.379.146.4
CENet [^8]75.522.077.625.372.218.231.548.176.327.747.751.480.350.3
Cylinder3D [^20]75.930.075.828.775.729.537.236.782.334.147.553.980.152.9
MinkNet [^28]77.829.181.333.975.222.042.536.480.723.951.257.579.153.1
GENet-Light74.124.378.627.671.723.233.631.079.437.646.352.877.550.6
GENet75.226.179.029.073.425.434.132.580.039.847.153.678.651.8
#### 4.3. 消融研究 为了定量分析所提出各组件的有效性与必要性，我们开展了全面的消融研究。遵循以往的研究惯例，实验在SemanticKITTI验证集上进行，以实现高效训练与对比，其中2D分辨率固定为$64 \times 512$。 我们首先比较了不同信息增强策略对距离视图方法2D骨干网络性能的影响：将距离残差矩阵拼接到输入层（代表输入级融合）、在每个骨干网络阶段插入CBAM模块（代表语义引导的特征融合），以及我们提出的方法（几何引导的特征融合）。所有这些增强策略均提升了基线模型CENet的性能，这表明现有的2D骨干网络仍无法充分提取点云信息。我们的方法融合了语义与几何线索，其中 --- GENet-Light的推理速度最快（41.6 FPS），GENet-Standard则实现了最高的分割精度（65.4%），且其实时性能仍优于其他同等精度的方法。相关结果见表3。
Table 3. Performance comparison of different information enhancement methods.
Enhancement MethodmIoU (%)FPS
Baseline62.052.3
+ Concat63.351.5
+ CBAM63.623.8
+ GENet-Light64.241.6
+ GENet-Standard65.424.7
我们进一步分析了各个组件的影响，包括几何注意力聚合模块、几何调制模块以及范围插值算法。我们以CENet [^8]作为基准模型，对比了不同配置下的性能指标，包括mIoU和FPS。第二行展示了范围插值算法的有效性：该算法通过形态学操作来寻找潜在的插值点，并执行最近邻标签分配，从而显著缓解了点云的稀疏性问题。结果显示，该方法可使mIoU提升0.5%。第三行报告了仅应用几何注意力聚合模块的结果；遗憾的是，单独使用该模块进行特征聚合仅能带来0.7%的提升。我们认为这是因为几何相似性并不等同于语义相似性，因此仅基于几何关系强制进行特征聚合无法取得最优结果。第四行报告了仅对2D骨干特征应用上下文调制模块的结果，其带来的提升约为0.3%。这是因为当仅输入语义信息时，该模块本质上相当于类似CBAM的轻量级空间注意力模块；然而，距离图像中的纹理信息包含大量噪声，仅依靠语义信息难以获得最优结果。当同时应用几何注意力聚合模块和上下文调制模块时，mIoU可提升2.2%，这证明了我们所提出的融合语义与几何信息的渐进式策略的有效性。各组件的消融实验结果见表4。
Table 4. Ablation study results on SemanticKITTI validation set.
RI $^{\dagger}$ASRAGCMmIoU (%)FPS
Baseline✗62.052.3
Ours✓62.551.8
✓✓62.743.2
✓✓62.348.5
✓✓✓64.241.6
$^{\dagger}$ RI：范围插值。$\times$表示使用CENet原有的插值方法；$\swarrow$表示使用我们提出的IDW插值方法。 最后，我们探讨了所提出模块在不同骨干网络上的泛化能力。我们选择现代卷积网络ConvNeXt V2 [^29]作为实验骨干网络。与ResNet相比，ConvNeXt V2借鉴了Vision Transformer的成功设计理念，全面革新了纯卷积架构，具备更强的表征能力，因而成为各类视觉任务的优秀基准模型。使用ConvNeXt V2-atto进行的实验取得了62.9%的mIoU，性能优于 --- 参数数量相近的CENet+HardNet基线模型。这一结果既证明了所提出模块在不同骨干网络上的泛化能力，也确立了一个新的轻量级基准模型。相关结果见表5。
Table 5. Performance comparison of different backbones.
BackbonemIoU (%)Params (M)
CENet + HardNet60.06.8
CENet + ConvNextV2-atto61.24.2
GENet-Light + ConvNextV2-atto62.94.5
### 5. 结论 本研究提出了一种用于激光雷达点云分割的几何增强网络GENet，其核心组件可集成到任何2D骨干网络中。该方法包含两个核心组件：几何注意力模块利用距离信息显式建模点之间的几何关系，并据此指导语义特征聚合；几何-上下文调制（GCM）模块则采用自适应调制机制来融合几何信息，同时保留骨干网络的语义表征能力。我们还提出了一种新的距离视图插值策略，以解决将点云投影到2D图像时产生的空洞问题。实验表明，我们的方法在效率与性能之间取得了良好的平衡。 作者贡献：概念化由Y.W.和H.W.完成；方法论由Y.W.负责；软件开发由Y.W.完成；验证工作由Y.W.执行；正式分析由Y.W.进行；研究工作由Y.W.承担；资源调配由H.W.负责；数据整理由Y.W.完成；原创文稿撰写由Y.W.负责；审阅与编辑工作由H.W.完成；可视化呈现由Y.W.负责；经费筹措由H.W.承担。所有作者均已阅读并同意发表该手稿的定稿版本。 经费来源：本研究由中国国家自然科学基金资助（项目编号：52172381）。 机构审查委员会声明：不适用。 知情同意声明：不适用。 数据可用性声明：本研究分析所使用的数据集均可公开获取。SemanticKITTI数据集可在下载（访问日期：2026年2月10日），SemanticPOSS数据集可在下载（访问日期：2026年2月10日）。 致谢：我们感谢SemanticKITTI和SemanticPOSS数据集的研究人员提供相关数据。在撰写本手稿期间，作者使用了Gemini 3对摘要、引言和结论部分的文字进行了润色。作者已对生成的内容进行了审阅和编辑，并对本出版物的内容负全部责任。 利益冲突声明：作者声明不存在利益冲突。 ## 参考文献 [^1]: Qi, C.R.; Yi, L.; Su, H.; Guibas, L.J. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In Proceedings of the Advances in Neural Information Processing Systems, Long Beach, CA, USA, 4–9 December 2017; Volume 30. [^2]: Qi, C.R.; Su, H.; Mo, K.; Guibas, L.J. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 652–660. ## [^3]: Thomas, H.; Qi, C.R.; Deschaud, J.E.; Marcotegui, B.; Goulette, F.; Guibas, L.J. Kpcconv: Flexible and deformable convolution for point clouds. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Seoul, Republic of Korea, 27 October–2 November 2019; pp. 6411–6420 --- [^4]: Hu, Q.; Yang, B.; Xie, L.; Rosa, S.; Guo, Y.; Wang, Z.; Trigoni, N.; Markham, A. Randla-net: Efficient semantic segmentation of large-scale point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13–19 June 2020: pp. 11108–11117. [^5]: Wu, X.; Lao, Y.; Jiang, L.; Liu, X.; Zhao, H. Point transformer v2: Grouped vector attention and partition-based pooling. In Proceedings of the Advances in Neural Information Processing Systems, New Orleans, LA, USA, 28 November–9 December 2022; Volume 35, pp. 33330–33342. [^6]: Milioto, A.; Vizzo, I.; Behley, J.; Stachniss, C. Rangenet++: Fast and accurate lidar semantic segmentation. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems; IEEE: Piscataway, NJ, USA, 2019; pp. 4213–4220. [^7]: Zhao, Y.; Bai, L.; Huang, X. Fidnet: Lidar point cloud semantic segmentation with fully interpolation decoding. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems; IEEE: Piscataway, NJ, USA, 2021; pp. 4453–4458. [^8]: Cheng, H.X.; Han, X.F.; Xiao, G.Q. Cenet: Toward concise and efficient lidar semantic segmentation for autonomous driving. In 2022 IEEE International Conference on Multimedia and Expo; IEEE: Piscataway, NJ, USA, 2022; pp. 1–6. [^9]: Cortinhal, T.; Tzelepis, G.; Erdal Aksoy, E. Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds. In Proceedings of the Advances in Visual Computing; Springer: Cham, Switzerland, 2020; pp. 207–222. [^10]: Zhang, J.; Liu, H.; Yang, K.; Hu, X.; Liu, R.; Stiefelhagen, R. CMX: Cross-modal fusion for RGB-X semantic segmentation with transformers. IEEE Trans. Intell. Transp. Syst. 2023, 24, 14679–14694. [CrossRef] [^11]: Du, S.; Wang, W.; Guo, R.; Wang, R.; Tang, S. AsymFormer: Asymmetrical Cross-Modal Representation Learning for Mobile Platform Real-Time RGB-D Semantic Segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, Seattle, WA, USA, 17 June 2024; pp. 7608–7615. [^12]: Xu, J.; Zhang, R.; Dou, J.; Zhu, Y.; Sun, J.; Pu, S. Rpvnet: A deep and efficient range-point-voxel fusion network for lidar point cloud segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 11–17 October 2021; pp. 16024–16033. [^13]: Yan, X.; Gao, J.; Zheng, C.; Zheng, C.; Zhang, R.; Cui, S.; Li, Z. 2d pass: 2d priors assisted semantic segmentation on lidar point clouds. In Proceedings of the European Conference on Computer Vision; Springer: Cham, Switzerland, 2022; pp. 677–695. [^14]: Xu, C.; Wu, B.; Wang, Z.; Zhan, W.; Vajda, P.; Keutzer, K.; Tomizuka, M. Squeezesegv3: Spatially-adaptive convolution for efficient point-cloud segmentation. In Proceedings of the European Conference on Computer Vision; Springer: Cham, Switzerland, 2020; pp. 1–19. [^15]: He, K.; Zhang, X.; Ren, S.; Sun, J. Deep residual learning for image recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016; pp. 770–778. [^16]: Behley, J.; Garbade, M.; Milioto, A.; Quenzel, J.; Behnke, S.; Stachniss, C.; Gall, J. Semantickitti: A dataset for semantic scene understanding of lidar sequences. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Seoul, Republic of Korea, 27 October–2 November 2019; pp. 9297–9307. [^17]: Pan, Y.; Gao, B.; Mei, J.; Geng, S.; Li, C.; Zhao, H. Semanticposs: A point cloud dataset with large quantity of dynamic instances. In 2020 IEEE Intelligent Vehicles Symposium; IEEE: Piscataway, NJ, USA, 2020; pp. 687–693. [^18]: Qiu, S.; Anwar, S.; Barnes, N. Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, USA, 19–25 June 2021; pp. 1757–1767. [^19]: Tang, H.; Liu, Z.; Zhao, S.; Lin, Y.; Lin, J.; Wang, H.; Han, S. Searching efficient 3d architectures with sparse point-voxel convolution. In Proceedings of the European Conference on Computer Vision; Springer: Cham, Switzerland, 2020; pp. 685–702. [^20]: Zhu, X.; Zhou, H.; Wang, T.; Hong, F.; Ma, Y.; Li, W.; Li, H.; Lin, D. Cylindrical and asymmetrical 3d convolution networks for lidar segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, USA, 19–25 June 2021; pp. 9939–9948. [^21]: Wu, B.; Wan, A.; Yue, X.; Keutzer, K. Squeezeseg: Convolutional neural nets with recurrent crf for real-time road-object segmentation from 3d lidar point cloud. In 2018 IEEE International Conference on Robotics and Automation; IEEE: Piscataway, NJ, USA, 2018; pp. 1887–1893. [^22]: Wu, B.; Zhou, X.; Zhao, S.; Yue, X.; Keutzer, K. Squeezesegv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a lidar point cloud. In 2019 IEEE International Conference on Robotics and Automation; IEEE: Piscataway, NJ, USA, 2019; pp. 4376–4382. [^23]: Alnaggar, Y.A.; Afifi, M.; Amer, K.; ElHelw, M. Multi projection fusion for real-time semantic segmentation of 3d lidar point clouds. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, Virtual, 5–9 January 2021; pp. 1800–1809. [^24]: Kochanov, D.; Nejadasl, F.K.; Booij, O. Kprnet: Improving projection-based lidar semantic segmentation. arXiv 2020, arXiv:2007.12668. ## [^25]: Razani, R.; Cheng, R.; Taghavi, E.; Bingbing, L. Lite-hdseg: Lidar semantic segmentation using lite harmonic dense convolutions. In 2021 IEEE International Conference on Robotics and Automation; IEEE: Piscataway, NJ, USA, 2021; pp. 9550–9556 --- [^26]: Ando, A.; Gidaris, S.; Bursuc, A.; Puy, G.; Boulch, A.; Marlet, R. Rangevit: Towards vision transformers for 3d semantic segmentation in autonomous driving. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 5240–5250. [^27]: Li, S.; Chen, X.; Liu, Y.; Dai, D.; Stachniss, C.; Gall, J. Multi-scale interaction for real-time lidar data segmentation on an embedded platform. IEEE Robot. Autom. Lett. 2021, 7, 738–745. [CrossRef] [^28]: Choy, C.; Gwak, J.; Savarese, S. 4d spatio-temporal convnets: Minkowski convolutional neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 3075–3084. [^29]: Woo, S.; Debnath, S.; Hu, R.; Chen, X.; Liu, Z.; Kweon, I.S.; Xie, S. ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 16133–16142. 免责声明/出版商说明：所有出版物中所包含的陈述、观点和数据仅代表各作者及贡献者的个人立场，并不代表MDPI和/或编辑部的观点。对于因文中提及的任何想法、方法、说明或产品而导致的人身伤害或财产损失，MDPI和/或编辑部概不负责。