{
  "paper_id": "c96deeed4c97e4c05bcbbbb26ae3bd87",
  "paper_title": "SeDAR – Semantic Detection and Ranging: Humans can localise without LiDAR, can robots?",
  "paper_authors": [
    "Oscar Mendez",
    "Simon Hadfield",
    "Nicolas Pugeault",
    "Richard Bowden"
  ],
  "publication_date": "",
  "publication_venue": "2018 IEEE International Conference on Robotics and Automation (ICRA)",
  "abstract": "How does a person work out their location using a floorplan? It is probably safe to say that we do not explicitly measure depths to every visible surface and try to match them against different pose estimates in the floorplan. And yet, this is exactly how most robotic scan-matching algorithms operate. Similarly, we do not extrude the 2D geometry present in the floorplan into 3D and try to align it to the real-world. And yet, this is how most vision-based approaches localise.\n\nHumans do the exact opposite. Instead of depth, we use high level semantic cues. Instead of extruding the floorplan up into the third dimension, we collapse the 3D world into a 2D representation. Evidence of this is that many of the floorplans we use in everyday life are not accurate, opting instead for high levels of discriminative landmarks.\n\nIn this work, we use this insight to present a global localisation approach that relies solely on the semantic labels present in the floorplan and extracted from RGB images. While our approach is able to use range measurements if available, we demonstrate that they are unnecessary as we can achieve results comparable to state-of-the-art without them.\n",
  "keywords": [],
  "paper_institutions": [
    "University of Surrey",
    "University of Exeter"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "deepseek-v4-flash",
  "prompt_template": "simple",
  "extracted_at": "2026-08-18T10:30:28.182692Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对室内机器人全局定位中传统扫描匹配依赖 LiDAR/深度、VSLAM 易漂移且无法直接关联已有平面图的问题，提出受人类定位方式启发的 SeDAR（Semantic Detection and Ranging）框架。与将平面图拉伸到 3D 的现有方法不同，SeDAR 利用 CNN 编码器-解码器从 RGB 图像提取墙壁、门、窗户等语义标签，并将 3D 世界压缩到 2D 平面图，在 3 自由度上执行语义蒙特卡洛定位（MCL）。其核心机制是语义似然场：对每个标签计算距离图 δ_ℓ，观测似然为 Pr_LBL(z|s,V)=exp(-δ_ℓ²/(2σ_ℓ²))，其中 σ_ℓ 由标签先验决定，使稀有地标更具判别力；运动模型还引入 ghost factor ε_G，按到最近门的距离惩罚穿墙粒子，以容忍平面图误差。实验使用 TurtleBot 与 Kinect 在 49×49m 办公室平面图的自建数据集上采集，CNN 在 SUN3D 上训练，并与 AMCL 比较。在全局初始化下，结合距离与标签的 SeDAR 的 RMSE 为 4.78m，优于 AMCL 的 7.31m，约降低 35% 误差；仅用 RGB 的 ray-based 版本 RMSE 为 7.74m（ε_G=3.0），与 AMCL 相当且完全不需要深度。结果还显示 ghost factor 需根据地图噪声调节，全局初始化时 ε_G=3.0 最佳，房间级初始化时 range-based 可用更激进的 ε_G=7.0。未来工作可结合单目深度/表面法线估计，利用已知尺寸场景元素进一步改进定位。该方法适用于有人类可读平面图、存在地图不准确或家具遮挡、以及无深度传感器的室内机器人场景。\n\n### 关键要点\n\n- SeDAR 将传统 LiDAR 的距离/方位测量扩展为包含语义标签的元组 <θ, r, ℓ>；标签仅从 RGB 图像提取，因此不依赖深度传感器。\n- 语义平面图使用墙壁、门、窗户三类标签，这些标签可从平面图自动提取，也是人类定位时常用的显著地标。\n- 平面图被转换为 occupancy grid，并为每个语义标签构建似然场距离图 δ_ℓ，存储到最近同类标签单元的距离。\n- 运动模型引入 ghost factor ε_G，粒子穿越门/墙时按 e^{-ε_G δ_d} 惩罚，δ_d 为到最近门的距离，从而容忍平面图与真实环境的偏差。\n- 传感器模型将传统距离似然与语义标签似然加权组合：Pr = ε_o Pr_RNG + ε_ℓ Pr_LBL，其中 Pr_LBL = exp(-δ_ℓ²/(2σ_ℓ²))。\n- σ_ℓ 与标签先验 Pr(ℓ) 绑定，稀有标签的似然衰减更平滑，使观察到的罕见地标对定位更有判别力，且无需手动调参。\n- 无距离测量时采用语义 raycasting：沿方位角投射射线，用命中单元的标签似然场计算观测似然，实现仅 RGB 的定位。\n- 实验使用 TurtleBot 和 Kinect 自建数据集，在 49×49m 办公室平面图中采集，语义分割 CNN 在 SUN3D 数据集上训练。\n- 全局初始化下，Range (Combined) 的 RMSE 为 4.78m，优于 AMCL 的 7.31m；仅用标签的 range 版本 RMSE 6.71m 也优于 AMCL。\n- 无深度的 ray-based 版本在全局初始化下 RMSE 为 7.74m（ε_G=3.0），与 AMCL 的 7.31m 相当，且对地图误差更鲁棒。\n- Ghost factor 需按地图噪声调节：全局初始化中 ε_G=3.0 一致最好；房间级初始化中 range-based 可用 ε_G=7.0，ray-based 仍偏好 ε_G=3.0。\n- 运行效率方面，收敛后 250 粒子每次更新约 10ms，语义分割平均 120ms，整体约 8–10 fps；全局定位 50k 粒子约 2.25s。"
}