# MFINet：用于实时激光雷达语义分割的多视角融合与2D-3D交互增强技术马楠、刘志杰、韩一恒 $^{*}$ 北京工业大学，中国北京 , , ## 摘要激光雷达语义分割是高级自动驾驶系统中的关键任务。基于投影的方法因其高效性而具备实时处理的潜力，但不可避免地会丢失3D信息，且依赖耗时的后处理步骤，从而限制了整体性能。为解决这一问题，我们提出了MFINet——一种基于多视角融合与2D-3D交互增强的实时语义分割网络。该网络采用三分支架构，整合了3D点云视图（3D-PV）、2D鸟瞰图（2D-BEV）以及2D距离视图（2D-RV），以充分利用2D和3D表征的优势。从3D到2D，我们设计了3D点特征投影器（3DPFP），将3D特征注入2D BEV和RV伪图像中，从而保留有效的3D信息；从2D到3D，则设计了特征增强（FE）模块，以发挥2D信息在提取几何与语义特征方面的优势。我们还引入了2D-3D融合头（FH）来聚合多视角的点特征。此外，我们采用了带有滑动窗口策略的多尺度空洞注意力（MSDA）模块来增强特征的区分能力。在SemanticKITTI和NuScenes基准测试上的大量实验表明，MFINet在SemanticKITTI和NuScenes验证集上的表现优于现有方法，且在NuScenes测试集上取得了具有竞争力的结果。代码 — ## 引言在自动驾驶和机器人感知系统中，激光雷达凭借其提供高精度、结构化三维空间信息的能力，已成为3D环境感知的关键传感器。与2D图像相比，点云数据能够更精确地描述物体位置和距离，从而实现对物体形状和空间关系的更精准刻画。其中，点云语义分割旨在为每个点赋予精确的语义标签，是环境建模与场景理解的关键步骤。近年来，深度学习推动了点云语义分割领域的快速发展。根据数据形式的不同…… ![Image](images/b68f72e75a5aa72ef409eabed1f8307e2fdfd0507e1d145576b36d2172605329.jpg)

Figure 1: LIDAR semantic segmentation accuracy vs speed on SemanticKITTI val set.

在数据表示方面，现有方法大致可分为三类：基于点的（Zhao等人，2021年；Hui等人，2023年；Han等人，2024年）、基于体素的（Cheng等人，2021年；Yan等人，2021年；Li、Dai和Ding，2022年；Ibrahim等人，2023年）以及基于投影的（Zhang等人，2020年；Cortinhal、Tzelepis和Erdal Aksoy，2020年；Zhao、Bai和Huang，2021年；Li等人，2022年）。基于点的方法直接作用于原始点云，能最大程度地保留三维结构。然而，由于难以高效建模不规则数据，这类方法的计算成本较高，难以实现实时推理。基于体素的方法将点云离散化为规则网格以提高计算效率，但会在精度与内存消耗之间做出权衡。相比之下，基于投影的方法将三维点云映射为二维伪图像，从而能够利用成熟的二维CNN架构进行高效建模。这类方法在实时性能与部署灵活性之间取得了良好平衡，因此成为轻量级应用的主流选择。不过，投影过程本质上涉及降维，不可避免地会造成三维信息丢失。例如，二维距离视图（2D-RV）在保留深度信息方面具有优势，但却会丢失部分空间结构信息。 --- 二维鸟瞰图（2D-BEV）能提供清晰的平面几何布局，非常适合建模道路拓扑结构，但它无法保留垂直方向上的特征信息。此外，由于激光雷达数据的稀疏性，生成的伪图像中包含大量空白像素，这会在特征学习过程中引入噪声，进而降低模型的准确性和稳定性。受上述研究结果的启发，我们提出了MFINet——一种基于多视图融合与二维-三维交互增强的实时语义分割网络。该网络采用三分支架构，分别包含三维点视图（3D-PV）、二维鸟瞰图（2D-BEV）和距离视图（2D-RV）的表示。这种设计充分利用了不同视图间的互补信息，以缓解投影过程导致的三维信息丢失问题。从三维到二维，我们设计了三维点特征投影器（3DPFP），将三维特征注入2D-BEV和2D-RV伪图像中，从而在投影过程中有效提升几何保真度。从二维到三维，则采用特征增强（FE）模块来发挥二维信息在提取几何与语义特征方面的优势。我们还引入了二维-三维融合头（FH），以聚合来自多个视图和语义层面的点特征，从而实现端到端的实时语义预测。此外，我们在2D-BEV和2D-RV编码分支的浅层引入了多尺度空洞注意力（MSDA）模块。该模块利用滑动窗口策略高效建模稀疏特征并增强特征区分能力。为确保实时性能，我们的流程关键在于结合简洁的3D-PV分支与最优的二维分支。本文的主要贡献总结如下： - 我们提出了MFINet——一种基于多视图融合与二维-三维交互增强的实时语义分割网络，该网络采用三分支架构，分别包含三维点视图（3DPV）、二维鸟瞰图（2D-BEV）和距离视图（2D-RV）的表示。 - 我们设计了一种新颖的框架，该框架包含3D点特征投影器（3DPFP）、特征增强模块（FE）、2D-3D融合头（FH）以及多尺度扩张注意力机制（MSDA），通过2D-3D交互式特征增强显著提升了激光雷达语义分割的性能。同时，3D-PV分支保持了极高的简洁性，从而确保了实时处理效率。 - 我们在SemanticKITTI和NuScenes基准测试上进行了大量实验，结果表明MFINet在SemanticKITTI和NuScenes验证集上的表现优于现有方法，且在NuScenes测试集上也能取得具有竞争力的性能，同时推理速度更快。 ## 相关工作基于点的方法以原始点云为输入，具备出色的几何保真度。代表性工作包括：PointNet（Qi等人，2017a），它采用共享的多层感知机和全局最大池化进行逐点编码；PointNet++（Qi等人，2017b），它采用分层结构来捕捉局部和多尺度的上下文特征；KPConv（Thomas等人，2019），它在欧几里得空间中执行连续的可变形卷积；Point Transformer（Zhao等人，2021），它利用自注意力机制建模长距离依赖关系；PACConv（Xu等人，2021），它根据逐点位置关系动态生成卷积核，以应对不规则分布的点云；SuperLiDAR（Hui等人，2023），它通过基于欧几里得距离的聚合学习“超点”表示；PCB-RandNet（Han等人，2024）则引入了极坐标下的圆柱划分策略，以实现不同距离范围内的平衡采样，从而提升远距离物体的识别能力，并在保证高效计算的同时提高分割精度。基于体素的方法将点云离散为规则网格，从而能够利用3D卷积网络进行高效建模。Cylinder3D（Zhu等人，2021）采用圆柱划分和非对称3D卷积来平衡点分布并增强结构表示，同时引入逐点细化模块以减轻体素标签编码带来的语义损失。PVKD（Hou等人，2022）将点-体素双分支输出与知识蒸馏相结合，并利用超体素划分和难度感知采样来改善稀疏数据处理及语义监督效果。SphereFormer（Lai等人，2023）提出了一种径向窗口自注意力机制，将3D空间划分为细长的区域，从而促进稀疏的远距离点与密集的近距离点之间的融合。3D-ARSS（Wang等人，2023）集成了空间和通道注意力模块，并采用稀疏张量来减少内存和计算开销，从而实现即插即用的结构增强。SFPNet（Wang等人，2024）提出了一种基于体素的框架，通过稀疏体素化构建稀疏3D网格，并采用基于SSCN的编码器-解码器来平衡感受野与边界细节。基于投影的方法将稀疏的3D点云映射到密集的2D伪图像中，从而能够利用成熟的2D语义分割架构进行高效建模，并实现快速的部署与推理。SqueezeSeg（Wu等人，2018年）率先采用球面投影结合全卷积网络来进行逐像素预测。后续研究致力于解决几何失真和信息丢失问题：GFNet（Qiu、Yu和Tao，2022年）引入了几何流模块，用于视图间的对齐与双向信息融合；CENet（Cheng、Han和Xiao，2022年）采用大核结构和辅助监督机制来提升非线性建模能力与效率。近年来，基于Transformer的架构被越来越多地采用：RangeFormer（Kong等人，2023年）利用Transformer框架捕捉雷达视图图像中的全局上下文，解决了多对一投影导致的语义不一致和形状失真等问题；TransRVNet（Cheng、Han和Xiao，2023年）结合了Transformer与CNN以增强多尺度融合效果；RangeViT（Ando等人，2023年）应用视觉Transformer进一步提升了性能。WaffleIron（Puy、Boulch和Marlet，2023年）则提出了一种基于多层感知机和密集2D卷积的轻量级框架。 --- ![Image](images/066eaac4cc0a3693c8b4e31e1e7ee70af838013c4f8c639269e28077c935e518.jpg)

Figure 2: Overview of MFINet, which employs a three-branch architecture based on 3D Point View (3D-PV), 2D Bird's Eye View (2D-BEV), and Range View (2D-RV). Its core components include the 3D Point Feature Projector (3DPFP), Multi-Scale Dilated Attention (MSDA), 2D-3D Feature Enhancement (FE), and 2D-3D Fusion Head (FH).

## 方法论 MFINet的整体架构如图2所示。3D点特征投影器（3DPFP）负责提取3D信息，并通过投影将其注入2D-RV分支和2D-BEV分支以构建伪图像。在2D分支的浅层，采用多尺度膨胀注意力（MSDA）来高效建模稀疏特征并增强区分能力。在解码阶段，利用2D-3D特征增强（FE）来提取几何与语义特征。2D-3D融合头（FH）则对多视角下的点级特征进行聚合以实现语义预测。具体细节将在以下小节中阐述。 ## 2D投影 2D-RV图像。球面投影将非结构化的3D点云从笛卡尔坐标系$(x, y, z)$转换到结构化的2D图像坐标系$(u, v)$，从而生成被称为RV的伪图像。具体而言，每个点的投影取决于其方位角$\theta = \arctan(y/x)$、仰角$\phi = \arctan\left(z/\sqrt{x^2 + y^2 + z^2}\right)$以及深度$d = \sqrt{x^2 + y^2 + z^2}$，计算公式如下： $$ \begin{pmatrix}u\\ v\end{pmatrix}=\begin{pmatrix}\frac{1}{2}\left(1-\frac{\theta}{\pi}\right)W_{\mathrm{rv}}\\ \left(1-\frac{\phi+f_{\mathrm{up}}}{f_{\mathrm{up}}+f_{\mathrm{down}}}\right)H_{\mathrm{rv}}\end{pmatrix} $$ 其中$W_{rv}$和$H_{rv}$分别代表RV伪图像的宽度和高度，而$f_{up}$和$f_{down}$则表示激光雷达的上视场角和下视场角。 2D-BEV图像。BEV投影将非结构化的3D点云映射到水平面上，从而从BEV视角生成伪图像。每个点的平面坐标$(x, y)$会被映射到BEV图像中的像素位置$(u, v)$，计算方式如下： $$ (u,v)=\left(\frac{x-x_{\min}}{x_{\max}-x_{\min}}\cdot W_{\mathrm{b e v}},\frac{y-y_{\min}}{y_{\max}-y_{\min}}\cdot H_{\mathrm{b e v}}\right) $$ 其中$W_{bev}$和$H_{bev}$代表BEV图像的宽度和高度，而$(x_{\min}, x_{\max})$和$(y_{\min}, y_{\max})$则分别表示点云在x方向和y方向上的范围。 ## 3D点特征投影器（3DPFP）精确的语义预测依赖于投影过程中细粒度3D细节的保留。然而，作为降维操作，投影不可避免地会导致3D空间信息的丢失。此外，点云的无序性也会造成投影时几何信息的退化。为缓解这一问题，我们设计了3DPFP，它在投影前先提取3D特征，从而提升2D-BEV和2D-RV中伪图像的几何保真度。具体来说，给定一组三维点 $P = \{p_i\}_{i=1}^N$，其中每个 $p_i \in \mathbb{R}^d$ 表示三维属性（例如 x、y、z、r、d），我们应用多层感知机（MLP）来获取逐点的特征。 --- 三维特征 $f_i$。由于多个三维特征可能会被投影到同一个二维位置，我们对共享同一像素的所有三维特征应用最大池化操作，从而为每个位置获得唯一的描述符。接着，基于空间位置 $(u_i^{2D-RV}, v_i^{2D-RV})$ 和 $(u_i^{2D-BEV}, v_i^{2D-BEV})$，将池化后的特征投影到二维RV平面和BEV平面上。逐点特征的嵌入方式如下： $$ I_{\mathrm{2D-BEV/RV}}=\mathrm{Proj}\left(\mathrm{Pool}(\mathrm{MLP}_{3}(P))\right) $$ 其中 Proj($\cdot$) 表示球面投影或BEV投影。富含三维特征的生成的伪图像被用作2D-BEV分支和2D-RV分支的输入。 ## 多尺度膨胀注意力机制（MSDA）卷积神经网络在捕捉局部特征方面表现优异，但其有限的感受野限制了多尺度全局建模能力。传统的视觉Transformer（Dosovitskiy等人，2020年）在建模任意图像块之间的长距离依赖关系方面表现出色。然而，对于具有稀疏性和局部性的浅层二维伪图像特征图而言，全局注意力机制不仅会带来二次方的计算开销，还会引入冗余的依赖关系和噪声，从而削弱模型的效率和表征能力。为解决这些问题，受Jiao等人（2023年）的启发，我们在2D-BEV分支和2D-RV分支的浅层编码器中引入了MSDA模块，而深层阶段则采用标准的多头自注意力机制（MHSA）。如图3所示，MSDA通过多尺度滑动窗口策略增强了噪声特征的区分能力，并能高效建模语义上下文依赖关系，从而在表征能力和计算效率之间取得了良好平衡。具体过程如下：给定一个输入特征图 $\mathbf{X} \in \mathbb{R}^{H \times W \times C}$，我们通过线性投影得到对应的查询向量、键向量和值向量： $$ \mathbf{Q}=W_{Q}\mathbf{X},\quad\mathbf{K}=W_{K}\mathbf{X},\quad\mathbf{V}=W_{V}\mathbf{X} $$ 表示投影矩阵。之后，我们将特征图的通道划分为n个子空间，并在不同子空间中以不同的膨胀率执行滑动窗口膨胀注意力（SWDA）。对于每个子空间i，我们定义以位置p为中心、膨胀率为 $r_i$、核大小为 $k \times k$ 的稀疏感受野为： $$ \mathcal{N}_{i}(p)=\{j\in\Omega\mid j\in\mathbf{W i n d o w}(p,r_{i},k)\} $$ 其中 $\Omega$ 表示特征图中的有效位置。对于每个子空间i，我们利用SWDA机制计算注意力输出： $$ \mathbf{S}_{i}(p)=\sum_{j\in\mathcal{N}_{i}(p)}\operatorname{Softmax}_{j}\left(\frac{\mathbf{Q}_{i}(p)\cdot\mathbf{K}_{i}(j)}{\sqrt{d}}\right)\mathbf{V}_{i}(j) $$ 最后，将所有子空间的输出拼接起来，再线性投影回原始通道维度： $$ \mathbf{Z}=Concat\left(\mathbf{S}_{1}(\mathbf{X}_{1}),\ldots,\mathbf{S}_{n}(\mathbf{X}_{n})\right) $$ ![Image](images/273000146be0c8757aa82f7a5529cb7cac10544d68d57bb23c01a274f9ea5d03.jpg)

Figure 3: Multi-Scale Dilated Attention(MSDA).By default, we use a $3 \times 3$ kernel size with dilation rates r = 1, 2 and 3, and the sizes of attended receptive fields in different heads are $3 \times 3$, $5 \times 5$ and $7 \times 7$.

$$ \mathrm{MSDA}(\mathbf{X})=\mathrm{Linear}(\mathbf{Z}) $$ 其中 Concat($\cdot$) 沿通道维度拼接注意力输出以形成 $\mathbf{Z}$；Linear($\cdot$) 是一种可学习的投影映射，用于将 $\mathbf{Z}$ 还原为原始通道维度。 ## 2D-3D特征增强模块（FE）为了充分利用二维信息来提取几何和语义特征，我们在2D-RV分支和2D-BEV分支的解码器中引入了FE模块。FE模块共同优化图像级语义、边界细节以及点级特征。如图4所示，FE模块仅在训练阶段被激活。在2D-RV和2D-BEV分支的解码器中，来自多个尺度的中间特征图$\{F^i\}_{i=1}^N$首先被上采样以匹配原始输入分辨率，然后并行输入到FE中。具体流程如下：首先，对每个上采样后的特征图$\tilde{F}_{up}^i$应用分割头，生成语义分割图$\tilde{S}_i$。接着，基于$\tilde{S}_i$，利用$3 \times 3$拉普拉斯卷积以1、2、4的步长提取多尺度边界细节图。这些细节图被上采样至原始分辨率，并通过可学习的$1 \times 1$卷积进行融合。对融合后的图像应用0.1的阈值进行二值化，得到能够同时捕捉边界和角点信息的二值细节图$\tilde{P}_i$。与此同时，每个特征图$\tilde{F}_{up}^i$被反投影到3D空间中，以获得对应的逐点语义预测结果$\tilde{P}_i$。最后，我们计算2D语义分割、边界细节图和3D逐点语义预测的损失，并将总体损失表述为： $$ \mathcal{L}_{i}^{\mathrm{FE}}=\lambda_{1}\mathcal{L}_{i}^{\mathrm{img}}+\lambda_{2}\mathcal{L}_{i}^{\mathrm{bdry}}+\lambda_{3}\mathcal{L}_{i}^{\mathrm{point}} $$ --- ![Image](images/80ba3253dd4de84b9a6d4f7a30537c91ea4ac3a9279e65a7003e59e29f8f5da8.jpg)

Figure 4: 2D-3D Feature Enhancement (FE). Achieves joint enhancement of image-level, boundary-level, and point-level features.

其中$\mathcal{L}_{i}^{\mathrm{img}}$表示结合加权交叉熵（WCE）与Lovasz-Softmax的2D分割损失。$\mathcal{L}_{i}^{\mathrm{bdry}}$是用于引导网络学习边界、角点等特征细节的二元交叉熵（BCE）损失。$\mathcal{L}_{i}^{\mathrm{point}}$表示同样基于WCE的逐点损失。各权重分别设为$\lambda_{1}=0.4$、$\lambda_{2}=0.2$和$\lambda_{3}=0.4$。 ## 2 D-3D融合头（FH）我们发现，将3D-PV、2D-BEV和2D-RV分支的最终输出进行融合能得到不错的结果，但并非最优。不同语义层级的特征具有互补性：浅层特征侧重3D结构，而深层特征则包含更丰富的语义信息。为了有效利用这些多层级特征，我们设计了FH，在不同语义层级整合3D-PV、2D-BEV和2D-RV分支的表征。具体而言，我们首先将2D-BEV和2D-RV分支解码器中的多尺度2D特征图$F_{2D-BEV}^{l}$反投影到3D空间并进行拼接。随后，将融合压缩后的特征$F_{2D-BEV}^{point}$与3DPFP提取的3D特征$F_{point}$相结合。整个操作可表述为： $$ F_{2\mathrm{D-BEV/RV}}^{\mathrm{point}}=\mathrm{MLP}\left(\mathrm{Concat}\left(\prod_{l=1}^{3}F_{2\mathrm{D-BEV/RV}}^{l}\right)\right) $$ $$ F_{\mathrm{f u s e d}}=\mathrm{C o n c a t}\left(F_{\mathrm{2D-B E V}}^{\mathrm{p o i n t}},F_{\mathrm{2D-R V}}^{\mathrm{p o i n t}},F_{\mathrm{p o i n t}}\right) $$ 其中l索引解码器中三个不同层级的特征图，$\Pi(\cdot)$表示反投影操作，$F_{\mathrm{fused}}$用于通过线性头为整个点云上的每个点生成最终的语义得分。上述融合过程充分利用了不同视角和语义层级特征的互补性。3D-PV、2D-BEV和2D-RV分支从不同角度提供了多样的空间注意力信息，从而生成更全面的语义表征。分层融合逐步增强特征——从几何细节到语义抽象，从局部理解到全局认知——进而提升预测精度。 ## 损失函数总体损失函数由主损失和辅助损失组成，其表达式为： $$ \mathcal{L}_{\mathrm{t o t a l}}=\mathcal{L}_{\mathrm{m a i n}}+\mathcal{L}_{\mathrm{a u x}} $$ 其中$\mathcal{L}_{\text{main}}$是来自2D-3D FH的逐点语义预测损失，通过交叉熵计算；$\mathcal{L}_{\text{aux}}$则是来自2D-3D FE的辅助损失。

Methods	mean-IoU	FPS (Hz)	car	bicycle	motorcycle	truck	other-vehicle	person	bicyclist	motorcyclist	road	parking	sidewalk	other-ground	building	fence	vegetation	trunk	terrain	pole	traffic-sign
RangeNet++	52.8	12	91.0	25.0	47.1	40.7	25.5	45.2	62.9	0.0	93.8	46.5	81.9	0.2	85.8	54.2	84.2	52.9	72.7	53.2	40.0
PolarNet	53.6	16	91.5	30.7	38.8	46.4	24.0	54.1	62.2	0.0	92.4	47.1	78.0	1.8	89.1	45.5	85.4	59.6	72.3	58.1	42.2
SalsaNext	59.4	24	90.5	44.6	49.6	86.3	54.6	74.0	81.4	0.0	93.4	40.6	69.1	0.0	84.6	53.0	83.6	64.3	64.2	54.4	39.8
TransRVNet	58.1	26	94.5	44.2	48.1	81.7	34.8	49.8	73.7	0.0	94.8	48.2	81.3	0.7	83.2	51.6	85.4	59.0	73.2	62.7	37.2
PCB-RandNet	56.5	-	94.5	6.8	35.5	76.7	37.6	48.3	79.0	0.0	93.4	42.4	80.8	1.1	89.0	56.9	87.6	68.4	74.4	61.0	40.8
SPVNAS	61.9	3.2	96.2	20.1	60.4	79.7	59.0	65.3	80.6	0.0	93.3	46.9	80.3	0.0	90.6	62.3	88.1	66.1	74.6	63.9	48.3
Cylinder3D	63.2	6.2	96.5	41.6	65.8	87.7	55.9	71.7	89.3	0.0	93.5	37.1	78.3	1.1	88.4	49.2	87.9	66.8	72.3	64.9	52.4
MinkowskiNet	63.1	3.4	96.8	20.4	63.6	85.5	63.0	68.6	84.1	0.0	93.5	47.3	81.1	0.0	90.6	61.7	88.0	66.5	74.1	64.6	49.5
GFNet	63.0	10	94.2	49.7	63.2	74.9	32.1	69.3	83.2	0.0	95.7	53.8	83.8	0.2	91.2	62.9	88.5	66.1	76.2	64.1	48.3
AMVNet	65.2	11.8	95.6	48.8	65.4	88.7	54.8	70.8	86.2	0.0	95.5	53.9	83.2	0.3	90.9	62.1	87.9	66.8	74.2	64.7	49.3
PC-BEV	66.4	-	94.3	67.6	71.4	75.4	67.5	77.4	81.3	0.1	95.2	39.7	83.0	0.1	86.3	49.7	85.1	70.2	68.2	70.2	64.2
MFINet(Ours)	68.1	28.1	96.9	56.0	79.0	92.4	68.0	75.5	94.4	0.0	93.6	49.6	81.3	0.0	91.0	63.8	89.1	64.3	77.2	64.7	49.6

Table 1: Quantitative results on the SemanticKITTI val set, with the best and second-best bolded and underlined.

---

Methods	mean-IoU	Barrier	Bicycle	Bus	Car	Construction	Motorcycle	Pedestrian	Traffic-cone	Trailer	Truck	Driveable	Other-flat	Sidewalk	Terrain	Manmade	Vegetation
PolarNet	71.0	74.7	28.2	85.3	90.9	35.1	77.5	71.3	58.8	57.4	76.1	96.5	71.1	74.7	74.0	87.3	85.7
Salsanext	72.2	74.8	34.1	85.9	88.4	42.2	72.4	72.2	63.1	61.3	76.5	96.0	70.8	71.2	71.5	86.7	84.4
PCSCNet	72.0	73.3	42.2	87.8	86.1	44.9	82.2	76.1	62.9	49.3	49.3	95.2	66.9	69.5	72.3	83.7	82.5
Cylinder3D	76.1	76.8	40.3	91.3	93.8	51.3	78.0	78.9	64.9	62.1	84.4	96.8	71.6	76.4	75.4	90.5	87.4
SVASeg	74.7	73.1	44.5	88.4	86.6	48.2	80.5	77.7	65.6	57.5	82.1	96.5	70.5	74.7	74.6	87.3	86.9
PVKD	76.0	76.2	40.0	90.2	94.0	50.9	77.4	78.8	64.7	62.0	84.1	96.6	71.4	76.4	76.3	90.3	86.9
AMVNet	76.1	79.8	32.4	82.2	86.4	62.5	81.9	75.3	72.3	83.5	65.1	97.4	67.0	78.8	74.6	90.8	87.9
RangeViT	75.2	75.5	40.7	88.3	90.1	49.3	79.3	77.2	66.3	65.2	80.0	96.4	71.4	73.8	73.8	89.9	87.2
RPVNet	77.6	78.2	43.4	92.7	93.2	49.0	85.7	80.5	66.0	66.9	84.0	96.9	73.5	75.9	76.0	90.6	88.9
PRNet	78.0	78.0	40.9	92.5	93.4	54.1	85.4	80.6	63.2	69.8	84.7	97.3	75.1	77.7	76.1	91.0	89.3
RangeFormer	78.1	78.0	45.2	94.0	92.9	58.7	83.9	77.9	69.1	63.7	85.6	96.7	74.5	75.1	75.3	89.1	87.5
PC-BEV	78.8	78.2	46.3	92.5	93.4	55.0	87.1	81.0	65.4	69.2	85.7	97.1	76.8	77.0	76.3	90.6	88.5
SDSeg3D	78.7	78.2	52.8	94.5	93.1	54.5	88.1	82.2	69.4	67.3	86.6	96.4	74.5	75.2	75.3	87.1	84.1
WaffleIron	79.1	79.8	53.8	94.3	87.6	49.6	89.1	83.8	70.6	72.7	84.9	97.1	75.8	76.5	75.9	87.8	86.3
SphereFormer	79.5	78.7	46.7	95.2	93.7	54.0	88.9	81.1	68.0	74.2	86.2	97.2	74.3	76.3	75.8	91.4	89.7
SFPNet	80.1	78.8	49.7	95.3	93.5	63.1	86.4	82.9	68.6	72.8	86.7	97.0	74.7	76.0	75.3	91.2	89.5
MFINet(Ours)	80.3	79.5	49.2	93.9	93.9	58.6	87.0	82.5	68.9	79.8	85.9	97.2	75.0	77.5	76.0	91.2	89.3

Table 2: Quantitative results on the NuScenes val set, with the best and second-best bolded and underlined.

## 实验 ## 数据集 SemanticKITTI（Behley等人，2019年）是由德国波恩大学发布的大规模激光雷达点云数据集，包含超过43,000次扫描，覆盖范围为$360^{\circ}$，共涵盖19个语义类别。其中序列00–10用于训练（序列08作为验证集），序列11–21用于测试。NuScenes（Caesar等人，2020年）是一个激光雷达语义分割数据集，包含从波士顿和新加坡的不同城区采集的1,000个场景。该数据集包含28,130个训练样本、6,019个验证样本以及6,008个测试样本。 ## 实现细节 MFINet是基于PyTorch框架实现的。模型在NVIDIA RTX 4090 GPU上训练，为了公平起见，评估时在单块NVIDIA RTX 2080Ti GPU上进行。模型采用Adam优化器进行训练，初始学习率为0.006，动量参数为0.9。训练过程中采用了OneCycle学习率策略来动态调整学习率。输入伪图像的分辨率在2D-RV模式下设置为$64 \times 2048$，在2D-BEV模式下设置为$600 \times 600$。 ## 结果与讨论表1展示了SemanticKITTI验证集上的实验结果。MFINet取得了68.1%的最高mIoU值，同时实时推理速度仍能达到28.1 FPS。这一结果验证了我们所提出的多视图融合、2D-3D交互增强策略以及轻量化架构在平衡精度与效率方面的有效性。表2报告了NuScenes验证集上的性能对比结果。在所有方法中，MFINet取得了80.3%的最高mIoU值，分别比AMVNet（Liong等人，2020年）、RangeFormer（Kong等人，2023年）和PC-BEV（Qiu等人，2025年）高出4.2%、2.2%和1.5%，进一步证明了其鲁棒性和广泛的适用性。表3展示了NuScenes测试集上的结果。MFINet的mIoU值达到79.7%，仅略低于RangeFormer（Kong等人，2023年），超过了所有其他对比方法。值得注意的是，上述所有对比方法均为仅使用激光雷达数据的方案。如表4所示，仅使用激光雷达输入时，MFINet在SemanticKITTI验证集以及NuScenes验证集/测试集上均取得了具有竞争力的性能。虽然多模态方法如LCPs（Zhang等人，2023年）、EPMF（Tan等人，2024年）和2DPASS（Yan等人，2022年）需要额外的RGB信息，但我们的模型在参数数量和FLOPs显著更少的情况下，仍能达到相当甚至更优的mIoU值。与最先进的仅激光雷达模型LSK3DNet（Feng等人，2024年）相比，MFINet进一步降低了计算成本，同时保持了较高的精度。此外，我们在Nvidia Jetson TX2上进行了FPS测试，结果显示LSK3DNet、LSK3DNetS（核大小为7）和MFINet的帧率分别为1.2、3.8和5.1 FPS。这些结果表明，尽管我们采用了简单的基于投影的设计，该方法仍具备强大的泛化能力和实际部署价值。 ## 消融实验表5对MFINet的三个分支——3D点视图（3D-PV）、2D距离视图（2D-RV）和鸟瞰图（2D-BEV）——进行了消融研究，旨在验证多视图融合架构的有效性。我们评估了两种双分支组合：3D-PV + 2D-RV和3D-PV + 2D-BEV，并将它们与完整的三分支配置进行了比较。结果表明，三分支融合在分割精度方面显著优于所有双分支组合。 ---

Methods	mean-IoU	Barrier	Bicycle	Bus	Car	Construction	Motorcycle	Pedestrian	Traffic-cone	Trailer	Truck	Driveable	Other-flat	Sidewalk	Terrain	Manmade	Vegetation
PolarNet	69.4	72.2	16.8	77.0	86.5	51.1	69.7	64.8	54.1	69.7	63.4	96.6	67.1	77.7	72.1	87.1	84.4
JS3C-Net	73.6	80.1	26.2	87.8	84.5	55.2	72.6	71.3	66.3	76.8	71.2	96.8	64.5	76.9	74.1	87.5	86.1
AMVNet	76.1	79.8	32.4	82.2	86.4	62.5	81.9	75.3	72.3	83.5	65.1	97.4	67.0	78.8	74.6	90.8	87.9
3D-ARSS	75.8	83.6	41.5	90.2	53.1	70.1	76.7	74.9	61.0	81.5	80.9	95.8	69.4	77.1	78.5	89.2	88.4
GFNet	76.1	81.1	31.6	76.0	90.5	60.2	80.7	75.3	71.8	82.5	65.1	97.8	67.0	80.4	76.2	91.8	88.9
SAT3D	76.7	74.3	43.9	91.3	92.8	53.0	77.8	79.7	64.8	63.3	85.7	96.5	73.4	74.7	77.3	89.9	88.0
Cylinder3D	77.2	82.8	29.8	84.3	89.4	63.0	79.3	77.2	73.4	84.6	69.1	97.7	70.2	80.3	75.5	90.4	87.6
SPVNAS	77.4	80.0	30.0	91.9	90.8	64.7	79.0	75.6	70.9	81.0	74.6	97.4	69.2	80.0	76.1	89.3	87.1
SphereFormer	78.1	81.5	39.7	93.4	87.5	66.4	75.7	77.2	70.6	85.6	73.6	97.6	64.8	79.8	75.0	92.2	89.0
(AF)-S3Net	78.3	78.9	52.2	89.9	84.2	77.4	74.3	77.3	72.0	83.9	73.8	97.1	66.5	77.5	74.0	87.7	86.8
RangeFormer	80.1	85.6	47.4	91.2	90.9	70.7	84.7	77.1	74.1	83.2	72.6	97.5	70.7	79.2	75.4	91.3	88.9
MFINet(Ours)	79.7	82.2	44.5	89.7	91.6	69.1	82.2	79.2	75.1	86.6	73.2	97.9	67.0	80.8	76.0	92.0	89.0

Table 3: Quantitative results on the NuScenes test set, with the best and second-best bolded and underlined.

Methods	Modality	Params	FLOPs	SK-V	NS-V	NS-T
LCPs	L+C	77.7	/	63.2	80.5	78.9
EPMF	L+C	34.2	418.0	65.9	80.6	79.2
2DPASS	L+C	45.6	/	69.3	79.4	80.8
LSK3DNet	L	28.8	763.6	70.2	80.1	79.6
LSK3DNet-S	L	13.6	249.4	68.1	78.3	76.9
MFINet(Ours)	L	10.1	151.9	68.1	80.3	79.7

Table 4: Comparison on SemanticKITTI val and NuScenes val/test with Params, FLOPs, and mIoU. L+C indicates multi-modal methods. L indicates LiDAR-only methods.

Row	3D-PV	2D-RV	2D-BEV	FPS	Params	FLOPs	mIoU
1	✓	✓	✗	46.8	6.8	64.9	64.1
2	✓	✗	✓	40.9	6.8	88.2	62.6
3	✓	✓	✓	28.1	10.1	151.9	68.1

Table 5: Ablation study on different view branch combinations on the SemanticKITTI validation set.

这证明了这三种视图在捕捉3D结构、上下文语义和空间分布方面具有互补性，而这些因素对提升分割性能起着至关重要的作用。我们进一步对MFINet的关键组件进行了消融研究，以评估它们对模型整体性能的单独贡献，如表6所示。没有3DPFP、MSDA、FE和FH的模型被用作基准，在此基础上逐一引入各个组件。实验结果表明，加入3DPFP后mIoU提升了0.6%，这表明3D特征注入能够增强伪图像的几何表示能力。再加入MSDA后，mIoU又额外提升了0.9%，证明了其在建模稀疏特征方面的有效性。引入FE后，mIoU进一步提升了1.5%，这验证了在图像、边界和点层面联合优化语义信息的有效性。该模块能够进一…

Row	3DPFP	MSDA	FE	FH	FPS	Params	FLOPs	mIoU
1	✗	✗	✗	✗	42.3	4.9	73.7	63.5
2	✓	✗	✗	✗	32.9	8.4	126.3	64.1
3	✓	✓	✗	✗	30.9	9.4	141.3	65.0
4	✓	✓	✓	✗	29.0	9.9	148.8	66.5
5	✓	✓	✓	✓	28.1	10.1	151.9	68.1
6	✗	✓	✓	✓	34.3	6.6	114.5	66.1
7	✓	✗	✓	✓	30.8	9.1	138.0	66.7

Table 6: Ablation study on the effectiveness of core components in MFINet.

加入FH后，mIoU又额外提升了1.6%，进一步增强了多层级语义特征的融合效果。与完整的MFINet相比，仅移除3DPFP就会导致准确率下降2%，而仅移除MSDA则会使准确率降低1.4%。这一结果说明这两个模块不仅对模型的整体性能有积极贡献，还能提升其他组件的有效性。这些结果证实了每个模块的有效性，以及MFINet模块化设计在提升分割精度方面的可扩展性。 ## 结论本文提出了MFINet，一种基于多视图融合和2D-3D交互增强的实时语义分割网络。我们设计了一个新颖的框架，包含3D点特征投影器（3DPFP）、特征增强模块（FE）、2D-3D融合头（FH）以及多尺度扩张注意力机制（MSDA），通过2D-3D交互特征增强显著提升了激光雷达语义分割的性能。同时，3D-PV分支保持了极高的简洁性，从而确保了实时效率。在SemanticKITTI和NuScenes数据集上的大量实验表明，MFINet的性能超越了现有最先进的方法。此外，消融研究也证明了每个模块的有效性。 --- ## 致谢本研究得到了国家重点研发计划（编号2023YFF0615800）、国家自然科学基金（编号62371013、、N_HKU705/24、62503024）、北京市自然科学基金（编号L247007）以及北京博士后研究基金（编号2024-ZZ-23）的部分资助。 ## 参考文献 Ando, A.; Gidaris, S.; Bursuc, A.; Puy, G.; Boulch, A.; 和 Marlet, R. 2023. Rangevit：面向自动驾驶中3D语义分割的视觉Transformer。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5240–5250页。 Behley, J.; Garbade, M.; Milioto, A.; Quenzel, J.; Behnke, S.; Stachniss, C.; 和 Gall, J. 2019. SemanticKITTI：用于激光雷达序列语义场景理解的数据集。载于IEEE/CVF国际计算机视觉会议论文集，第9297–9307页。 Caesar, H.; Bankiti, V.; Lang, A. H.; Vora, S.; Liong, V. E.; Xu, Q.; Krishnan, A.; Pan, Y.; Baldan, G.; 和 Beijbom, O. 2020. nuScenes：一个用于自动驾驶的多模态数据集。载于IEEE/CVF计算机视觉与模式识别会议论文集，第11621–11631页。 Cheng, H.-X.; Han, X.-F.; 和 Xiao, G.-Q. 2022. CENet：面向自动驾驶的简洁高效激光雷达语义分割方法。载于2022年IEEE国际多媒体与博览会（ICME）论文集，第01–06页。IEEE。程海翔、韩晓峰、肖国权，2023年。TransRVNet：基于Transformer的激光雷达语义分割。《IEEE智能交通系统汇刊》，24(6)：5895–5907。程睿、拉扎尼·R.、塔加维·E.、李恩、刘波，2021年。2-s3net：用于稀疏语义分割网络的注意力特征融合与自适应特征选择。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，第12547–12556页。科尔蒂纳尔·T.、泽莱皮斯·G.、埃尔达尔·阿克索伊·E.，2020年。Salsanext：快速且能感知不确定性的激光雷达点云语义分割。收录于《国际视觉计算研讨会论文集》，第207–222页。施普林格出版社。多索维茨基·A.、拜尔·L.、科列斯尼科夫·A.、魏森伯恩·D.、翟欣、翁特蒂纳·T.、德加尼·M.、明德勒·M.、海戈尔德·G.、杰利·S.等，2020年。一张图片的价值相当于$16 \times 16$个词：大规模图像识别中的Transformer模型。arXiv预印本arXiv:2010.11929。冯涛、王伟、马峰、杨阳，2024年。Lsk3dnet：利用大尺寸稀疏核实现高效的三维感知。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，第14916–14927页。韩晓峰、程海、蒋浩、何东、肖国权，2024年。PCB-RandNet：重新思考自动驾驶场景中激光雷达语义分割的随机采样策略。收录于《2024年IEEE机器人与自动化国际会议（ICRA）》论文集，第4435–4441页。IEEE出版社。侯宇、朱曦、马勇、罗志成、李炎，2022年。用于激光雷达语义分割的点到体素知识蒸馏技术。收录于《IEEE/CVF计算机视觉与模式识别会议论文集》，第8479–8488页。惠L.、唐L.、戴Y.、谢J.和杨J. 2023年。高效的激光雷达点云过分割网络。载于IEEE/CVF国际计算机视觉会议论文集，第18003–18012页。易卜拉欣M.、阿赫塔尔N.、安瓦尔S.和米安A. 2023年。SAT3D：用于三维点云语义分割的槽注意力Transformer。《IEEE智能交通系统汇刊》，第24卷第5期：第5456–5466页。焦J.、唐Y.-M.、林K.-Y.、高Y.、马A. J.、王Y.和郑W.-S. 2023年。Dilateformer：用于视觉识别的多尺度扩张型Transformer。《IEEE多媒体汇刊》，第25卷：第8906–8919页。孔L.、刘Y.、陈R.、马Y.、朱X.、李Y.、侯Y.、乔Y.和刘Z. 2023年。重新思考激光雷达分割中的距离视图表示。载于IEEE/CVF国际计算机视觉会议论文集，第228–240页。赖X.、陈Y.、卢F.、刘J.和贾J. 2023年。基于激光雷达的三维识别球面Transformer。载于IEEE/CVF计算机视觉与模式识别会议论文集，第17545–17555页。李J.、戴H.和丁Y. 2022年。用于自动驾驶中鲁棒激光雷达语义分割的自蒸馏技术。载于欧洲计算机视觉会议论文集，第659–676页。施普林格出版社。李X.、张G.、蒋T.、蔡X.和王Z. 2022年。PRNet：用于实时激光雷达语义分割的点-距离融合网络。载于IJCAI会议论文集，第1116–1122页。利昂V. E.、阮T. N. T.、维贾亚S.、夏尔马D.和钟Z. J. 2020年。Amvnet：用于激光雷达语义分割的基于断言的多视角融合网络。arXiv预印本arXiv:2012.04934。 Puy, G.; Boulch, A.; 和 Marlet, R. 2023年。利用华夫饼机进行汽车点云语义分割。载于IEEE/CVF国际计算机视觉会议论文集，第3379–3389页。齐、苏、莫和吉巴斯，2017a。PointNet：基于点集的深度学习在3D分类与分割中的应用。载于IEEE计算机视觉与模式识别会议论文集，第652–660页。齐、伊、苏和吉巴斯，2017b。PointNet++：度量空间中基于点集的深度层次特征学习。载于神经信息处理系统进展，第30卷。邱、余和陶，2022。GfNet：用于3D点云语义分割的几何流网络。arXiv预印本arXiv:2207.02605。邱、李、薛和蒲，2025。PC-BEV：一种用于激光雷达语义分割的高效极坐标系-笛卡尔坐标系BEV融合框架。载于AAAI人工智能会议论文集，第39卷，第6612–6620页。 --- 谭、庄、陈、李、贾、王和李，2024。EPMF：用于3D语义分割的高效感知型多传感器融合方法。IEEE模式分析与机器智能交易，第46卷第12期：第8258–8273页。托马斯、齐、德肖、马尔科特吉、古莱特和吉巴斯，2019。KPConv：用于点云的灵活可变形卷积。载于IEEE/CVF国际计算机视觉会议论文集，第6411–6420页。王、吴、杨、李、刘和庄，2023。面向无人系统的边缘设备上激光雷达点云实时语义分割。IEEE仪器仪表与测量交易，第72卷：第1–11页。王、赵、曹、邓、王和陈，2024。SFPNet：用于通用激光雷达点云语义分割的稀疏焦点网络。载于欧洲计算机视觉会议论文集，第403–421页。施普林格出版社。吴、万、岳和凯策尔，2018。SqueezeSeg：结合递归条件随机场的卷积神经网络，用于从3D激光雷达点云中实时分割道路物体。载于2018年IEEE机器人技术与自动化国际会议（ICRA）论文集，第1887–1893页。IEEE出版社。徐、丁、赵和齐，2021。PAConv：基于点云的动态核组装的位置自适应卷积。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3173–3182页。严、高、李、张、李、黄和崔，2021。通过从场景补全中学习上下文形状先验实现稀疏单扫描激光雷达点云分割。载于AAAI人工智能会议论文集，第35卷，第3101–3109页。严、高、郑、郑、张、崔和李，2022。2D Pass：借助2D先验辅助激光雷达点云语义分割。载于欧洲计算机视觉会议论文集，第677–695页。施普林格出版社。张、周、大卫、岳、习、龚和福鲁什，2020。PolarNet：一种用于在线激光雷达点云语义分割的改进网格表示方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9601–9610页。张、张、余、易、谢和马，2023。通过几何一致性与语义感知对齐实现激光雷达-摄像头全景分割。载于IEEE/CVF国际计算机视觉会议论文集，第3662–3671页。赵、江、贾、托尔和科尔顿，2021。Point Transformer。载于IEEE/CVF国际计算机视觉会议论文集，第16259–16268页。赵Y.、白L.和黄X. 2021年。Fidnet：基于全插值解码的激光雷达点云语义分割。载于2021年IEEE/RSJ智能机器人与系统国际会议（IROS），第4453–4458页。IEEE出版。朱X.、周H.、王T.、洪F.、马Y.、李W.、李H.和林D. 2021年。用于激光雷达分割的圆柱形与非对称三维卷积网络。载于 IEEE/CVF计算机视觉与模式识别会议论文集，第9939–9948页。