{
  "paper_id": "afd8ec05a232215431d520472d5cb95a",
  "paper_title": "Human Segmentation with Dynamic LiDAR Data",
  "paper_authors": [
    "Tao Zhong",
    "Wonjik Kim",
    "Masayuki Tanaka",
    "Masatoshi Okutomi"
  ],
  "publication_date": "",
  "publication_venue": "2020 25th International Conference on Pattern Recognition (ICPR)",
  "abstract": "Consecutive LiDAR scans compose dynamic 3D sequences, which contain more abundant information than a single frame. Similar to the development history of image and video perception, dynamic 3D sequence perception starts to come into sight after inspiring research on static 3D data perception. This work proposes a spatio-temporal neural network for human segmentation with the dynamic LiDAR point clouds. It takes a sequence of depth images as input. It has a two-branch structure, i.e., the spatial segmentation branch and the temporal velocity estimation branch. The velocity estimation branch is designed to capture motion cues from the input sequence and then propagates them to the other branch. So that the segmentation branch segments humans according to both spatial and temporal features. These two branches are jointly learned on a generated dynamic point cloud dataset for human recognition. Our works fill in the blank of dynamic point cloud perception with the spherical representation of point cloud and achieve high accuracy. The experiments indicate that the introduction of temporal feature benefits the segmentation of dynamic point cloud.",
  "keywords": [
    "LiDAR",
    "point cloud",
    "human segmentation",
    "spatio-temporal",
    "velocity estimation",
    "dynamic point cloud",
    "deep learning"
  ],
  "paper_institutions": [
    "Tokyo Institute of Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:42.577949Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对动态LiDAR点云中的人体分割问题，提出了一种双分支时空神经网络。现有方法大多将每帧点云视为独立静态数据，忽略了序列中蕴含的运动信息。相关工作包括基于球面表示的静态分割方法（如SqueezeSeg）以及利用多帧信息的动态方法（如Meteornet和4D卷积方法），但后者隐式使用时间特征，效果有限。本文提出的网络以多帧深度图像（球面投影）为输入，包含空间分割分支和速度估计分支：速度估计分支从连续帧中提取运动特征并传播到分割分支，同时分割分支将预测标签反馈给速度分支，实现双向特征交互；两分支联合训练。训练和评估使用自动标注的LiDAR序列数据集，包含1108个合成序列和100个真实序列，每帧尺寸为32×1024，提供像素级类别和速度标注。该数据集由真实背景深度图与合成行人模型结合生成，弥补了现有动态点云数据缺乏运动标注的不足。实验采用人体类IoU作为指标，结果显示在合成数据上IoU达86.08%（0至∞米范围），显著优于单帧方法SqueezeSeg（58.87%）和多帧方法Kim（68.88%）及Meteornet（73.87%）；在真实数据上达到67.29%，比Kim提高近6%。消融研究表明，速度估计分支和时序特征传播分别在远距离（8米以上）带来显著提升，证明运动信息可弥补点云稀疏性。进一步探索方向包括提升模型的泛化能力以应用于更多数据集，并降低多帧带来的计算开销。该模型适用于机器人环境感知、自动驾驶等实时场景，运行时为51 ms/序列。核心机制是双分支特征传播：分割分支提取空间特征，速度分支提取运动特征并通过特征拼接实现交互，总损失为交叉熵与速度MSE的加权和。\n### 关键要点\n- 提出一种双分支神经网络用于动态LiDAR点云中的人体分割，输入为多帧深度图像序列，同时输出分割结果和速度估计。\n- 分割分支采用沙漏型结构，仅水平下采样，通过跳跃连接保留细节，输出逐像素类别概率。\n- 速度估计分支使用权重共享的全卷积网络提取每帧特征，沿通道拼接形成运动特征，并与分割分支特征交互。\n- 总损失函数为分割交叉熵与人体/背景速度MSE的加权组合，超参数λc、λh、λb分别设为1e5、1、1001以平衡类别和速度任务。\n- 数据集由真实背景和合成人体模型自动生成，每点具有类别和速度标注，包含1108个合成序列和100个真实序列，每序列32帧，帧尺寸32×1024。\n- 消融实验显示，按时序特征传播可带来约9%的IoU提升（合成数据0到∞范围），在远距离（8米以上）提升达15.7%，表明运动信息有助于稀疏点云检测。\n- 输入帧数的影响：1-4帧时性能随帧数增加而提升，8帧达到最佳（合成数据88.89%），但16帧时性能下降，且推理时间增加，故选择4帧作为平衡。\n- 与基线对比，在合成数据和真实数据上，提出的方法分别以86.08%和67.29%的IoU超过SqueezeSeg、Kim和Meteornet，运行时间51 ms/序列。\n- 模型能同时估计速度图，预测速度与真实值趋势一致，证明纯LiDAR速度估计可行。\n- 实景数据（真实序列）上的改进较小，可能源于域差距或标注不准确，但仍优于对比方法。\n- 方法基于球面表示，避免点云无序性，适合卷积网络，且比点级方法（如Meteornet）计算效率高。\n- 未来工作将提高模型泛化能力，并减少多帧输入带来的计算负担。"
}