{
  "paper_id": "0221f79be1e0ae7424e2e295b62bca39",
  "paper_title": "Real-time Bird's-Eye-View Panoptic Segmentation for Monocular-based Indoor Navigation",
  "paper_authors": [
    "Dawit Kim",
    "Jungmo Koo",
    "Jongseob Yun",
    "Soonyong Park"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "鸟瞰图（BEV）分割对于安全高效的导航至关重要，在存在人和机器人等动态非结构化物体的室内驾驶中尤为必要。然而，由于无法生成训练数据，大多数研究集中在室外环境。本文提出一种创新方法：基于模拟器物理引擎自动生成室内BEV训练数据，无需大量真实数据和虚拟环境；同时提出一种轻量级网络架构PeneBEV，可实时进行BEV全景分割。结合简单图像处理，该框架在真实环境中表现快速且鲁棒，无明显仿真到现实的差距。网络在AGX Orin上以FP16模式运行速度约61 FPS，并在语义分割任务上优于现有算法，mIoU提高14%。\n",
  "keywords": [
    "鸟瞰图分割",
    "室内导航",
    "全景分割",
    "仿真到现实",
    "实时推理",
    "合成数据"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "deepseek-v4-flash",
  "prompt_template": "simple",
  "extracted_at": "2026-08-18T10:30:26.243712Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对室内环境鸟瞰图（BEV）分割因缺乏训练数据而难以开展的问题展开研究。与室外可利用卫星图像、LiDAR和GPS等获取BEV标注不同，室内天花板阻挡了直接采集，且室内存在人员、机器人等动态非结构化物体，因此现有方法多局限于室外。为此，论文提出NLST（NAVER LABS Sliding Things）数据自动生成方法，基于Isaac Sim物理引擎，让随机组合的人体、家具、机器人和障碍物沿滑动方向移向相机，并通过仅含碰撞模型的空间立方体在物体间制造间隙，从而从单一场景生成大量多样化的前视与BEV成对训练数据；同时提出轻量级网络PeneBEV，以RTMDet-ins为基础，加入Spatial Transformer将前视特征转换为BEV特征，并利用PAFPN融合多层级特征，分别通过检测头、实例分割头和语义分割头输出边界框、实例掩码和语义图。为消除仿真与真实的差距，论文使用双球面相机模型对超过150度视场的广角相机进行内参标定，并利用AprilTag与PnP求解6DOF位姿，使真实图像与模拟相机具有一一对应的像素射线。训练采用多任务损失 L=λqLq+λgLg+λsLs+λiLi，其中检测使用QFL和GIoU损失，语义分割使用交叉熵损失，实例分割使用Dice损失。数据生成使用10个人体模型、1个定制机器人模型和87个来自Amazon-Berkeley-Objects的家具模型，共约8万张合成图像；定量评估在NVIDIA开放办公室场景的1000张未见数据上进行，PeneBEV-m达到77.25% mIoU、约6.6 cm距离误差，语义分割mIoU比Cam2BEV高约14%，PeneBEV-s在AGX Orin上推理16.32 ms，比Cam2BEV快3.21 ms且mIoU高约9%，整体约61 FPS。定性实验显示PeneBEV对桌、椅等不与地面连接的物体以及实例级类别更鲁棒，对前视分割噪声也更稳健。真实机器人实验中，仅用BEV分割生成虚拟2D LiDAR并输入DWA规划器即可实现安全室内导航。进一步探索可包括扩展更广泛的室内场景与物体类别，以及进一步轻量化模型以适配更多边缘设备。\n\n### 关键要点\n\n- 室内BEV分割的主要障碍是缺少训练数据，因为天花板阻挡了卫星或航拍图像的获取，且室内存在动态和非结构化物体。\n- 论文提出NLST数据生成方法，基于Isaac Sim物理引擎，让随机组合的人、家具、机器人和障碍物滑向相机，自动生成前视与BEV成对数据。\n- NLST使用仅含碰撞模型的空间立方体在物体之间制造间隙，以模拟真实室内物体并非总是紧邻的情况。\n- 数据生成使用10个人体模型、1个定制机器人模型和87个来自Amazon-Berkeley-Objects的家具模型，共约8万张合成图像。\n- 论文提出PeneBEV轻量级网络，基于RTMDet-ins，加入Spatial Transformer和分割头，实现实时BEV全景分割。\n- PeneBEV输入单目语义彩色图，通过CSPNeXt骨干提取最后三层特征，经Spatial Transformer转换为BEV特征，再用PAFPN融合。\n- 训练采用多任务损失：检测用QFL和GIoU损失，语义分割用交叉熵损失，实例分割用Dice损失，总损失为加权和。\n- 为消除sim-to-real差距，论文用双球面相机模型标定广角相机，并通过AprilTag和PnP求解6DOF位姿，使真实图像与模拟图像几何一致。\n- 在NVIDIA开放办公室场景的1000张数据上，PeneBEV-m达到77.25% mIoU，距离误差约6.6 cm，优于Cam2BEV约14% mIoU。\n- PeneBEV在AGX Orin FP16模式下约61 FPS，PeneBEV-s推理16.32 ms，比Cam2BEV快3.21 ms且mIoU高约9%。\n- 定性实验显示PeneBEV对桌、椅等不与地面连接的物体更鲁棒，对实例级类别（人、机器人）预测更准确，且对前视分割噪声更稳健。\n- 真实机器人实验中，仅用BEV分割生成虚拟2D LiDAR并输入DWA规划器，即可实现安全室内自主导航。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}