{
  "paper_id": "7cabc2283268e16ac1a1eeb1ba412d7c",
  "paper_title": "FIDNet: LiDAR Point Cloud Semantic Segmentation with Fully Interpolation Decoding",
  "paper_authors": [
    "Yiming Zhao",
    "Lin Bai",
    "Xinming Huang"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)",
  "abstract": "Projecting the point cloud on the 2D spherical range image transforms the LiDAR semantic segmentation to a 2D segmentation task on the range image. However, the LiDAR range image is still naturally different from the regular 2D RGB image; for example, each position on the range image encodes the unique geometry information. In this paper, we propose a new projection-based LiDAR semantic segmentation pipeline that consists of a novel network structure and an efficient post-processing step. In our network structure, we design a FID (fully interpolation decoding) module that directly upsamples the multi-resolution feature maps using bilinear interpolation. Inspired by the 3D distance interpolation used in PointNet++, we argue this FID module is a 2D version distance interpolation on $(\\theta, \\phi)$ space. As a parameter-free decoding module, the FID largely reduces the model complexity by maintaining good performance. Besides the network structure, we empirically find that our model predictions have clear boundaries between different semantic classes. This makes us rethink whether the widely used K-nearest-neighbor post-processing is still necessary for our pipeline. Then, we realize the many-to-one mapping causes the blurring effect that some points are mapped into the same pixel and share the same label. Therefore, we propose to process those occluded points by assigning the nearest predicted label to them. This NLA (nearest label assignment) post-processing step shows a better performance than KNN with faster inference speed in the ablation study. On SemanticKITTI dataset, our pipeline achieves the best performance among all projection-based methods with $64 \\times 2048$ resolution and all point-wise solutions. With a ResNet-34 as the backbone, both the training and testing of our model can be finished on a single RTX 2080 Ti with 11G memory. The code is released here.",
  "keywords": [
    "LiDAR语义分割",
    "点云",
    "距离图像投影",
    "全插值解码(FID)",
    "最近标签分配(NLA)",
    "双线性插值",
    "SemanticKITTI"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:42:33.017031Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\nLiDAR点云语义分割要求为每个点预测语义标签，是自动驾驶等户外机器人理解三维环境的核心任务。相关研究沿三条路线展开：点式网络（PointNet/PointNet++及其后续）受局部查询与分组限制，在大规模LiDAR点云上性能落后；体素化方法在户外场景改进有限；投影式方法将点云从 $(x,y,z)$ 映射到球面 $(r,\\theta,\\phi)$ 并离散化为距离图像，可直接复用成熟的2D卷积分割网络，在速度与精度上更具实用优势，但现有解码器依赖转置卷积等带参结构，且普遍采用KNN后处理缓解边界模糊。针对这些问题，本文提出投影式流水线FIDNet：输入模块用两个 $1\\times1$ 卷积将每点五通道 $(x,y,z,r,\\text{remission})$ 特征映射到高维张量；标准ResNet-34骨干提取多尺度特征，其 $3\\times3$ 卷积等价于 $(\\theta,\\phi)$ 空间的八邻域查询分组，是PointNet++三维KNN查询分组的二维对应；核心的FID（全插值解码）模块受PointNet++距离插值 $f(x)=\\frac{\\sum_{i=1}^{k}w_{i}(x)f_{i}}{\\sum_{i=1}^{k}w_{i}(x)},\\ w_{i}(x)=\\frac{1}{d(x,x_{i})}$ 启发，证明在 $(\\theta,\\phi)$ 空间取 $k=4$、距离取 $l_1$ 时该插值严格退化为双线性上采样，从而以完全无参数的方式上采样并拼接多分辨率特征图；分类头用空洞卷积聚合局部特征后经 $1\\times1$ 卷积输出逐点标签；后处理以NLA（最近标签分配）替代KNN，为多对一映射产生的遮挡点分配三维空间中最近点的预测标签。实验在SemanticKITTI数据集上按官方划分（序列00–07、09、10训练，08验证，11–21测试）以 $64\\times2048$ 分辨率开展，该数据集提供KITTI里程计基准全部序列的稠密逐点标注，是LiDAR语义分割的标准基准；训练采用batch size 2、Adam与one-cycle学习率策略（最大学习率0.002、共30轮）、加权交叉熵与Lovász-Softmax联合损失以及旋转/翻转数据增强，全部训练与测试可在单张11G显存的RTX 2080 Ti上以混合精度完成，验证了方法的低复杂度与硬件可行性。结果表明该流水线在测试集上取得59.5%的mIoU，在 $64\\times2048$ 分辨率的投影式方法中达到最佳（与SalsaNext持平）并大幅领先所有点式方法；消融实验中NLA以58.9% mIoU、1.2ms处理时间优于KNN的58.7%、2.7ms，纯CNN推理仅11ms，这些结果支持了无参解码与高效后处理两项核心创新的有效性。未来可探索按硬件限制定制骨干网络、将FID与NLA迁移到其他投影式方法；实际部署需兼顾车载处理器的算力与实时性约束，本文简洁的结构对GPU与机载处理器均友好，代码已开源以便进一步开发。\n\n### 关键要点\n\n- 提出无参数的FID（全插值解码）模块：仅用双线性插值将骨干网络输出的多分辨率特征图上采样至原始尺寸并拼接，避免传统解码器中转置卷积或特殊组合卷积带来的大量参数，在保持性能的同时大幅降低模型复杂度与内存开销。\n- FID的理论依据：PointNet++的三维距离插值在2D $(\\theta,\\phi)$ 空间取最近点数 $k=4$、距离函数为 $l_1$ 距离时严格退化为双线性上采样，因此FID可视为距离插值在 $(\\theta,\\phi)$ 空间的二维版本。\n- 输入模块用两个 $1\\times1$ 卷积将每点五通道 $(x,y,z,r,\\text{remission})$ 特征映射为高维张量（类似PointNet的MLP点特征提取），随后送入标准ResNet-34骨干提取多尺度特征。\n- 论证了图像骨干网络可用于点特征张量：LiDAR按扫描线逐行有序成像，$3\\times3$ 卷积等价于 $(\\theta,\\phi)$ 空间的八邻域查询分组，是PointNet++三维KNN查询分组在二维的对应操作。\n- 分类头借鉴ASPP思想，用空洞卷积提取多尺度局部特征并与FID输出张量直接拼接（不做平均池化），最后由 $1\\times1$ 卷积层预测每个点的语义标签。\n- 针对球面投影离散化导致的多对一映射问题（多个点落入同一像素、遮挡点无网络直接预测），提出NLA后处理：在 $k\\times k$（k=5）局部邻域内为遮挡点分配距离值最接近（即三维空间最近）点的预测标签，算法支持GPU加速。\n- NLA相比广泛使用的KNN后处理无需高斯加权与距离截断，在SemanticKITTI验证集上以58.9% mIoU、1.2ms处理时间优于KNN的58.7%与2.7ms；纯CNN结构处理单样本仅需11ms。\n- 实验观察表明模型预测本身具有清晰的类别边界（即使对细小杆状物），边界模糊主要由多对一映射的遮挡点引起而非CNN输出模糊，因此KNN后处理在该流水线中并非必要。\n- 数据集为SemanticKITTI（22个序列、覆盖KITTI里程计基准的稠密逐点标注），严格按官方划分训练（00–07、09、10）、验证（08）并提交测试（11–21）序列的结果。\n- 训练设置：$64\\times2048$ 分辨率距离图像、batch size 2、Adam优化器、one-cycle学习率策略（最大学习率0.002）、30轮训练、加权交叉熵与Lovász-Softmax联合损失、沿y轴旋转与翻转数据增强、PyTorch混合精度。\n- 在SemanticKITTI测试集上取得59.5% mIoU，与最佳投影式方法SalsaNext持平并超越其余投影式与全部点式方法（如KPConv 58.8%、RandLa-Net 53.9%），其中bicycle类别达54.7%。\n- 全部训练与测试可在单张RTX 2080 Ti（11G显存）上完成，结构简洁、对GPU与车载机载处理器均硬件友好，代码已开源；实际应用需在自动驾驶场景下兼顾精度、推理速度与硬件算力约束。"
}