{
  "paper_id": "95dde6dc9a5afb7f5394a544dea266b5",
  "paper_title": "CSFNet: Cross-Modal Semantic Focus Network for Semantic Segmentation of Large-Scale Point Clouds",
  "paper_authors": [
    "Yang Luo",
    "Ting Han",
    "Yujun Liu",
    "Jinhe Su",
    "Yiping Chen",
    "Jinyuan Li",
    "Yundong Wu",
    "Guorong Cai"
  ],
  "publication_date": "2025-01-28",
  "publication_venue": "IEEE Transactions on Geoscience and Remote Sensing",
  "abstract": "Semantic segmentation of large-scale point clouds is an indispensable component of outdoor scene perception, providing essential 3-D semantic insights for applications in scene reconstruction, urban planning, autonomous driving, and more. However, the discriminative capability of point clouds features declines with increasing distance from the sensor, causing current methods to usually perform poorly in segmenting distant objects. To overcome this challenge and improve the differentiation between classes with similar geometric features, we propose the cross-modal semantic focus network (CSFNet). Firstly, we design a multiscale feature dynamic fusion (MDF) module to leverage multiscale image features, thereby enriching the feature representation of point clouds with additional images color and texture information. Then, in order to extract the distinguishing features of distant and different categories of objects more efficiently, we propose a semantic focus module (SFM) that employs a multiclass contrastive learning strategy to enhance feature discrimination. Finally, we introduce cross-modal knowledge distillation (KD) to augment the model's comprehension of point clouds. Extensive experiments conducted on the SemanticKITTI and nuScenes datasets demonstrate the effectiveness of our method. Notably, our method achieves superior segmentation accuracy across multiple classes at various distances compared to current methods.",
  "keywords": [
    "Contrastive learning",
    "point clouds",
    "semantic focus",
    "semantic segmentation",
    "urban scenes"
  ],
  "paper_institutions": [
    "Jimei University",
    "Sun Yat-sen University",
    "Shenzhen University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:47.565751Z",
  "template_tag": "simple",
  "summary": "### 摘要\n大规模点云语义分割是户外场景感知与城市遥感数据处理的核心任务，但LiDAR点云密度随传感器距离增加而下降，导致远距离物体特征判别能力减弱；同时城市环境中大量几何特征相似的类别（如道路与人行道、汽车与其他车辆）难以区分。现有LiDAR-only方法（点基、投影基、体素基）受数据不均匀与稀疏性制约，而PMF、2DPASS、MSeg3D等跨模态融合方法虽引入图像颜色纹理信息，仍难以在远距离保持特征判别性，且对比学习在点云语义分割中区分不同语义类别的潜力尚未充分挖掘。为此，本文提出跨模态语义聚焦网络CSFNet：多尺度特征动态融合（MDF）模块通过透视投影建立点-像素映射，将ResNet提取的多尺度图像特征（尺度因子s=2,4,8,16）与SPVConv提取的点云特征经通道注意力动态融合并残差连接，以浅层颜色纹理与深层语义信息丰富点云表示；语义聚焦模块（SFM）利用MLP辅助分割头生成类别置信度分布矩阵，将点云特征与融合特征转换为潜在语义空间中的语义特征，基于余弦相似度计算语义聚焦损失 L_sf = Σ_s Σ_i Σ_j [δ_ij(1-V_cs^s[i,j]) + (1-δ_ij)V_cs^s[i,j]]（δ_ij为Kronecker delta函数），放大同类相似性、拉大异类差异性；跨模态知识蒸馏（KD）在训练时由融合图像与点云特征的教师网络向仅处理点云的学生网络传递知识，推理阶段无需图像输入，显著降低计算开销。实验选用SemanticKITTI（22个序列、19类标注、超40亿点）与nuScenes（1000个驾驶场景、17类、14亿点）两个公开大规模城市LiDAR数据集，因其提供图像-点云标定关系且为该领域标准基准，可验证远距离与相似类别的分割能力；采用mIoU指标并遵循50米内官方评估协议，在单张NVIDIA A100 GPU上以SGD优化器（动量0.9、初始学习率0.05、余弦退火重启、120个epoch）训练。结果显示CSFNet在两数据集上分别取得71.5%与80.8%的mIoU，超越现有SOTA方法；在40-50米范围对car、person、bicyclist相比SPVCNN分别提升9.5%、13.2%、11.7%，road与sidewalk分别提升12.4%与14.7%；消融实验证明MDF贡献3.0%提升、SFM额外贡献0.7%；ours-small以7.6M参数实现70.9% mIoU，推理速度比UniSeg1.0×快2.4倍，验证了多尺度融合与语义聚焦策略的有效性。未来工作将扩展至50米以外距离评估、研究无需精确标定的点云-图像融合技术。该方法可应用于城市遥感、GIS、自动驾驶与地球观测等实际场景，但受数据集评估协议限制（50米内）且依赖图像-点云标定关系，在缺乏标定的多模态数据上适用性受限，部分类别40米以上精度仍低于50%。\n\n### 关键要点\n- 针对LiDAR点云远距离密度下降导致特征判别性减弱、以及城市场景中几何相似类别（道路/人行道、汽车/其他车辆）难以区分两大挑战，提出跨模态语义聚焦网络CSFNet。\n- MDF模块通过透视投影建立点-像素映射，将ResNet多尺度图像特征（s=2,4,8,16）与SPVConv点云特征经通道注意力动态选择与残差连接融合，为点云补充颜色、纹理与语义信息。\n- SFM采用多类别对比学习策略，将点云特征与融合特征映射到潜在语义空间，基于余弦相似度计算语义聚焦损失，最大化同类语义特征相似性并最小化异类相似性。\n- 跨模态知识蒸馏使教师网络（融合图像与点云）向学生网络（仅点云）传递知识，推理阶段仅需点云输入，消除图像特征提取、对齐与融合的计算开销。\n- 在SemanticKITTI验证集上，ours-large达到71.5% mIoU，相比SPVCNN、FA-ResNet、MSeg3D、2DPASS分别提升9.2%、15.8%、2.5%、1.4%，truck类别达96.5%。\n- 在nuScenes验证集上，ours-large达到80.8% mIoU，超越PTv3（80.4%），仅比多数据集联合训练的PTv3+PPT（81.2%）低0.4%。\n- 距离实验显示，40-50米范围内CSFNet对car、person、bicyclist相比SPVCNN分别提升9.5%、13.2%、11.7%，road与sidewalk分别提升12.4%与14.7%，40-50米整体mIoU达45.5%。\n- 消融实验表明：基线（仅点云+TTA）为67.8% mIoU，加入MDF提升至70.8%（+3.0%），再加入SFM达71.5%（+0.7%）；将模块集成到MinkowskiNet可在40-50米范围提升4.5%。\n- 效率方面，ours-small仅7.6M参数、延迟58.9ms即达70.9% mIoU，比UniSeg1.0×（147.6M参数、145.0ms、71.3% mIoU）推理快2.4倍且精度相当。\n- 实验设置：单张NVIDIA A100 GPU，120个epoch，SGD优化器（动量0.9、初始学习率0.05、余弦退火重启）；SemanticKITTI仅用左相机图像，nuScenes同时输入六相机图像；ours-small融合四尺度、ours-large融合六尺度图像特征。\n- 方法依赖图像与点云间的标定关系，在缺乏该标定的多模态数据集上可能无法有效工作；评估范围限于50米内（遵循官方协议），部分类别在40米以上分割精度仍低于50%。\n- 未来工作计划纳入更长距离数据集、改进算法以处理更稀疏点云，并探索无需精确标定的点云-图像融合技术。"
}