# INDOOR-LiDAR: 弥合模拟与真实，助力机器人室内场景感知的混合点云数据集
Figure 1. Overview of our INDOOR-LIDAR Dataset framework and applications. The comprehensive data acquisition, processing, and application pipeline encompasses three components: (1) data collection, (2) dataset composition and (3) dataset application. The data collection on the left panel details both real and synthetic data collection platforms, featuring the hardware for physical acquisition, alongside a simulated counterpart for synthetic data generation. The center panel presents dataset samples across diverse indoor scenes, organized as both real and synthetic environments, with corresponding annotations including scenarios, point clouds, intensity maps, 3D bounding boxes, and trajectories. The right panel demonstrates applications of our dataset, including 3D object detection, bird's eye view perception, 3D reconstruction, and various robotic tasks such as SLAM, semantic segmentation, navigation, relocalization, and odometry. Our dataset bridges the gap between real-world and synthetic environments for robust development and evaluation of robotic perception.
## 摘要
我们提出了 INDOOR-LIDAR，这是一个全面的混合室内 3D LiDAR 点云数据集，旨在推动机器人感知研究。 现有的室内 LiDAR 数据集通常存在规模有限、标注格式不一致以及数据收集过程中人为引入的差异等问题。 INDOOR-LIDAR 通过整合模拟环境和使用自主地面机器人采集的真实扫描数据来解决这些问题，提供一致的覆盖范围和在受控变化下的逼真传感器行为。 每个样本都包含密集点云数据，并辅以强度测量值和类似于 KITTI 的标注。 标注模式涵盖了各种场景中的常见室内物体类别。 模拟子集允许灵活配置布局、点密度和遮挡，而真实子集捕获了真实室内环境的真实传感器噪声、杂波和特定领域的伪影。 INDOOR-LIDAR 支持广泛的应用，包括 3D 物体检测、鸟瞰 (BEV) 感知、SLAM、语义场景理解以及模拟和真实室内环境之间的领域自适应。 通过弥合合成数据和真实世界数据之间的差距，INDOOR-LIDAR 建立了一个可扩展、
---
逼真且可重复的基准，以推动复杂室内环境中的机器人感知技术发展。
### 1. 引言
近年来，研究界受益于大型基于摄像头的室内数据集，如 ScanNet [^5]、Matterport3D [^3] 和 Replica [^40]。 这些视觉数据集推动了场景重建和语义理解，但它们对照明、纹理和材质外观的依赖限制了在不同环境或在模拟与现实之间的转换时的鲁棒性。 对于基于摄像头的系统来说，这种差距尤其明显，因为模拟图像无法完全复制现实世界的照明、反射和纹理。
LiDAR 已成为实现这一目标的关键传感技术，它提供精确且密集的 3D 点云数据，即使在不同的照明条件下也能保持可靠。 这些特性使得 LiDAR 对于室内机器人的感知和场景理解至关重要 [^26] [^44]。 LiDAR 编码了环境的几何结构，捕获形状、尺寸和空间关系，这些信息在模拟和真实场景中保持一致。 例如，桌子或架子等物体在颜色、纹理或照明的变化中保持其几何形状。 此外，LiDAR 传感即使在照明受限或变化很大的环境中也能可靠工作，例如化学品存储区、洁净室或实验室，在这些地方，强烈的或波动的光源是不希望的或不安全的 [^2]。 这种对照明和表面外观的不敏感性使得 LiDAR 成为领域自适应和稳健 3D 感知的独特且稳定的模态 [^34]。 然而，感知算法的进步在很大程度上取决于数据集的质量。
因此，基于 LiDAR 的室内数据集也越来越受到研究界的关注。诸如 LiDAR-Net [^11] 这样的研究提供了大量通过移动激光扫描 (MLS) 采集的真实室内点云，真实地反映了传感器噪声和空间变化。同样，3DSES [^25] 面向建筑、工程和施工 (AEC) 领域，通过高密度地面激光扫描 (TLS) 并与 CAD 对齐，从而促进精确的扫描到 BIM 研究。这些数据集扩展了感知系统的功能，尤其是在语义分割和结构建模任务中，但它们仍然不能完全代表移动机器人所遇到的传感器配置和感知条件。
一个值得注意的局限性来自手持数据采集方案。当操作人员携带LiDAR传感器时，人体会在物理层面遮挡扫描仪的大部分视场，通常会遮挡后方或下半半球区域。这会形成大量盲区，阻碍$360^{\circ}$环境感知$^{[51,52]}$。因此，近一半的点云回波要么缺失，要么被操作人员身体的反射信号占据，最终得到的空间信息不完整且存在偏差$^{[16,43]}$。这种不均匀的覆盖使得手持采集数据不适用于机器人感知系统，而机器人感知系统需要不间断的全景传感，才能保障全方向的安全导航、障碍物检测和态势感知$^{[13,19]}$。这些局限性凸显了从机器人作业视角设计数据集的必要性。相比之下，安装在机器人上的LiDAR可以保持清晰无遮挡的观测视角，并提供连续$360^{\circ}$的周边环境覆盖，实现全面的环境理解。此外，由于我们的数据集直接从机器人的传感器视角采集，所得数据本质上与真实机器人作业需求匹配，因此训练得到的模型和感知算法更易于部署，无需大量适配就能更好地迁移到真实系统中。
为了应对这些挑战并充分利用激光雷达的几何一致性，我们提出了 INDOOR-LIDAR，这是一个专门的数据集，旨在推动以机器人为中心的室内感知研究。我们工作的三个主要贡献如下：
- 混合真实和模拟环境：我们提出了一个全面的基于机器人的室内 LiDAR 数据集，该数据集将程序生成的模拟空间与真实的扫描结果相结合，从而能够系统地研究感知方面的模拟到现实的迁移。
• 以机器人为中心的 $360^{\circ}$ 数据采集：所有数据均从自主地面机器人的视角采集，从而保证了完整的 $360^{\circ}$ 视野覆盖，没有遮挡，并且反映了移动平台的真实运动和感知动态。
- 全面的检测基准：除了原始数据之外，该数据集还提供了标准化的拆分和使用流行感知算法的基准评估，为未来的研究提供了强大的参考。
---
Figure 2. LiDAR-based 3D Detection and Segmentation. Visualization of our pipeline processing a raw indoor LiDAR mesh into detected, segmented, and geometrically modeled objects.
该领域的 Dataset 可以根据其主要传感器类型进行广泛分类：基于相机或 LiDAR。
#### 2.1. 基于相机的室内数据集
早期的、具有影响力的室内大规模数据集主要通过相机传感器采集。NYUv2 [^38] 和 SUN RGB-D [^39] 数据集提供了基础的、经过丰富注释的室内场景集合，为 3D 语义分割和目标检测领域的早期研究提供了动力。 随后，ScanNet [^5] 和 Matterport3D [^3] 通过利用 RGB-D 传感器创建数千个来自不同室内空间的 3D 重建边缘，从而显著扩大了数据收集规模。在此基础上，Replica 数据集 [^40] 使用定制的 RGBD 采集设备创建了 18 个室内场景的高保真度 3D 重建，提供了伪点云、纹理和语义注释。ARKitScenes 数据集 [^1] 进一步扩大了范围，提供了 3D 边缘、边界框和语义标签，用于稳健的室内场景分析。 类似地，Habitat-Matterport 3D(HM3D) 数据集 [^31] 提供了
Table 1. Comparison of the characteristics of various point cloud datasets from the literature. Note that INDOOR-LiDAR is the only indoor MLS dataset that includes intensity, point level annotations, $360^{\circ}$ field of view and 3D simulated model. The robot-mounted collection method makes the AI models trained from our dataset more smoothly to implement on real devices.
| Name | Environment | Classes | Extent | Points (M) | $360^{\circ}$ | Intensity | 3D model | Source |
| Oakland [^24] | Outdoor | 44 | - | 1.6 | ✗ | ✗ | ✗ | MLS |
| Paris-rue-Madame [^35] | Outdoor | 17 | 160 m | 20 | ✗ | ✓ | ✗ | MLS |
| IQmulus [^48] | Outdoor | 8 | 10000 m | 12 | ✗ | ✓ | ✗ | MLS |
| Semantic 3D [^12] | Outdoor | 8 | - | 4000 | ✓ | ✓ | ✗ | TLS |
| Paris-Lille-3D [^33] | Outdoor | 9 | 1940 m | 143.1 | ✓ | ✓ | ✗ | MLS |
| SemanticKITTI | Outdoor | 25 | 39200 m | 4500 | ✓ | ✓ | ✗ | MLS |
| Toronto-3D [^42] | Outdoor | 8 | 1000 m | 78.3 | ✓ | ✓ | ✗ | TLS |
| ScanNet++ [^55] | Indoor | - | 15000 $m^{2}$ | 20 | ✓ | ✗ | ✗ | TLS |
| LiDAR-Net [^11] | Indoor | 24 | 30000 $m^{2}$ | 3600 | ✗ | ✓ | ✗ | MLS |
| 3DSES [^25] | Indoor | 18 | 832 $m^{2}$ | 674 | ✗ | ✓ | ✓ | TLS |
| Ours(Sim) | Indoor | 20 | 5000 $m^{2}$ | 1200 | ✓ | ✓ | ✓ | MLS |
| Ours(Real) | Indoor | 15 | 800 $m^{2}$ | 150 | ✓ | ✓ | ✓ | MLS |
| Indoor Modelling(Khoshelham et al., 2017) | Indoor | ✗ | 2824 $m^{2}$ | 127 | ✗ | ✗ | ✓ | 5 sensor |
| Craslab(Abreu et al., 2023) | Indoor | ✗ | 417 $m^{2}$ | 584 | ✗ | ✓ | ✓ | TLS |
图 3. 真实场景和模拟场景示例，一个化学实验室。
### 2. 相关工作
3D 机器人感知技术的进步与高质量数据集的开发密不可分。 这种资源不仅对于训练和验证深度学习模型至关重要，而且对于建立推动该领域的标准化基准也至关重要。 由于室内空间具有丰富的复杂性，因此成为 3D 场景理解研究的主要目标。 高质量的室内环境 3D 重建，具有可导航的边缘和语义注释。 最近的进展重点是提高精度和专门的应用。 Mirror3D 数据集 [^41] 通过添加注释的镜子实例和 3D 平面来增强现有的 RGB-D 数据集（NYUv2、ScanNet、Matterport3D），以解决重建反射表面的挑战，从而提高分割和 3D 建模。 ScanNet++ [^55] 通过使用数码单反相机和激光扫描仪捕获 460 个高保真场景，扩展了 ScanNet，从而实现了亚毫米的精度，并提供了详细的语义注释，用于诸如新视图合成和精细场景理解等任务。
---
StructScan3D v1 数据集 [^30] 提供了 2,594 个来自室内建筑的 RGB-D 帧，这些帧使用 Kinect Azure 采集，并对六个结构元素进行注释，以支持语义分割和建筑信息模型 (BIM)。此外，IAM Benchmarks [^15] 引入了三个新的 RGB-D 分割基准，整合了视觉和深度提示，以进行细粒度的对象识别。IL3D 数据集 [^59] 提供了超过 10,000 个室内场景，这些场景具有通过 RGB-D 扫描获得的语义和空间注释，从而可以实现 3D 布局生成和场景理解。
#### 2.2. 基于 LiDAR 的室内数据集
为了克服 RGB-D 的局限性，近年来，一些数据集开始转向 LiDAR 技术。LiDAR-Separately，3DSES [^25] 使用高精度的地面激光扫描仪 (TLS) 来创建密集的、具有测量等级的点云，用于扫描到 BIM 的应用，它独特地将扫描结果与 3D CAD 模型配对。此外，ConSLAM [^46] 提供了一个定期收集的真实世界建筑数据集，使用 LiDAR 扫描，支持在动态室内环境中进行 SLAM 和进度监控。Hilti-Oxford [^56] 提供了一个具有毫米级精度的多传感器基准，用于 SLAM，重点是室内建筑工地。FusionPortableV2 [^50] 引入了一个统一的多传感器数据集，包括通过 LiDAR 捕获的室内建筑和实验室序列，旨在实现各种平台上的通用 SLAM。3DRef [^58] 呈现了一个带有反射检测注释的室内 LiDAR 数据集，以增强 3D 重建中点云处理的鲁棒性。FIORD [^10] 提供了一个鱼眼室内外数据集，带有 LiDAR 真实数据，
Figure 4. Integrated robotic simulation and data acquisition framework. The diagram illustrates our comprehensive pipeline for robotic perception data generation and processing. The upper section presents the Scenario Simulation Platform comprising three key components: (1) a Virtual Environment showing the 3D model of an indoor space; (2) Robot Simulation displaying the simulated robot in a rendered environment with obstacle detection; and (3) Sensor Devices. The lower section demonstrates the Data Acquisition & Annotations pipeline powered by ROS2, producing four data modalities: (a) RGB imagery of the simulated environment; (b) Point Cloud representations capturing spatial information; (c) 3D Bounding Box object detection; and (d) Semantic/Instance Segmentation with colorcoded object classification. Additional metadata including translation, dimension, IMU readings, timestamps, material properties, and
旋转测量值补充了核心数据集。
Net [^11] 提出了一个大规模的室内数据集，该数据集通过手持式移动激光扫描 (MLS) 系统采集。 专门为 3D 场景重建应用而设计。 此外，IILABS 3D [^32] 提供了一个多 LiDAR 室内 SLAM 基准，该基准具有来自各种 3D 和 2D LiDAR 传感器、IMU 和车轮里程计的同步数据，以及用于
---
在工业实验室环境中评估 SLAM。室内多模态多楼层数据集 [^17] 提供了具有挑战性的多传感器室内数据集，覆盖多个建筑物楼层，使用 LiDAR 以及摄像头和 IMU，以测试 SLAM 在诸如感知混淆和视觉退化等场景下的鲁棒性。Hilti-Oxford [^56] 提供了具有毫米级精度的多传感器 SLAM 基准测试，使用 LiDAR，重点是室内建筑工地，其中包含动态元素。ConSLAM [^46] 引入了一个使用 LiDAR 扫描的定期收集的室内建筑数据集，用于辅助 SLAM 和动态环境中的进度监控。FusionPortableV2 [^50] 包含通过 LiDAR 在各种平台上捕获的统一的多传感器室内序列，旨在实现通用的 SLAM。LiFall [^49] 提供了一个基于 LiDAR 的数据集，用于在室内环境中检测老年人跌倒，并使用模拟跌倒场景来训练神经网络。
#### 2.3. 模拟和领域自适应
现代仿真环境，包括 NVIDIA Isaac Sim [^23]、Unreal Engine [^6]、Unity [^47]、Gazebo [^18] 和 MuJoCo [^45]，已经成为机器人研究中不可或缺的组成部分。 这些平台能够安全、可扩展且经济高效地生成合成训练数据，从而可以在各种条件下进行受控实验。 然而，它们的有效性通常受到称为“仿真与现实差距”的已知问题的限制，该问题源于模拟和真实世界感官观察之间的差异 [^57]。 在这种背景下，激光雷达 (LiDAR) 传感具有显著的优势。 与相机不同，激光雷达测量值主要编码几何信息 [^34]。 虚拟和物理环境中的物体空间结构、形状和尺寸的一致性远高于其视觉特征。 这种特性使得激光雷达成为领域自适应和混合数据集开发研究的一个有吸引力的选择，在将感知模型从仿真环境转移到真实世界时，几何保真度至关重要 [^7] [^53]。
#### 2.4. 感知任务的基准测试
3D场景理解的进步在很大程度上依赖于标准化的数据集，这些数据集可以促进多个感知任务中的算法创新。 在户外机器人领域，KITTI基准 [^8] 为评估3D物体检测、跟踪和定位奠定了基础，定义了数据格式和指标，这些指标至今仍具有影响力。 然而，在户外数据集（如PointNet [^27]、PointNet++ [^28] 和 VoteNet [^29]）上训练的模型，在应用于室内机器人时，通常会表现出领域特定的局限性。 室内环境带来了独特的挑战，包括高拥堵、短感应范围、遮挡以及密集点云，这需要定制的基准测试和评估协议。
为了满足这一需求，INDOOR-LiDAR数据集引入了一套统一的基准测试，用于室内机器人的场景理解。 该套件包括三个互补任务：（1）3D物体检测：我们提供了与KITTI风格的注释兼容的评估协议，同时专注于室内规模的感知。（2）鸟瞰图 (BEV) 感知：鸟瞰图理解对于空间推理和导航至关重要，尤其是在操作在拥挤的室内空间中的地面机器人。（3）SLAM：同步定位与地图构建 (SLAM) 是自主室内机器人的基本功能，它使它们能够构建未知环境的地图，同时在这些地图中定位自身。
### 3. 方法
#### 3.1. 模拟数据生成
INDOOR-LiDAR的合成轨迹是使用自定义的模拟管道生成的，该管道将Unity和MuJoCo用于环境建模，同时使用Taichi进行大规模并行激光雷达光线追踪。 这种设计能够实现可扩展的场景多样性、基于物理的交互以及高效地生成具有完美地面真实标注的密集点云。
Figure 6. LiDAR-based 3D Detection and Segmentation. Visualization of our pipeline processing a raw indoor LiDAR mesh into detected, segmented, and geometrically modeled objects.
---
Figure 5. Multimodal data representation comparison between real-world and simulated environments in the INDOOR-LIDAR dataset. The matrix is organized by environment type (rows) and data representation modality (columns). The first row shows a real-world meeting room, while the remaining rows display simulated environments (laboratory, restaurant, and hospital). Each environment is represented in four formats: scanned environment (original view), point clouds (spatial distribution of LiDAR returns), instance labels (semantic segmentation with color-coded object categories), and object bounding boxes (3D localization). This comprehensive visualization demonstrates the substantial differences in data characteristics between real and simulated captures, particularly in point cloud density, noise patterns, and boundary precision. The dataset's paired real-simulated structure facilitates quantitative evaluation of perception algorithms across the sim-to-real gap and enables the development of robust transfer learning techniques for indoor robotic applications.
程序化室内场景生成：我们使用程序化采样楼平面和常见的室内结构和物体构建每个虚拟环境。 物体的位置、方向、密度以及房间布局可以按场景进行调整，从而能够广泛覆盖室内空间配置。
Taichi LiDAR 模拟：为了生成 LiDAR 扫描，我们集成了高性能的光线追踪模块，该模块使用 Taichi [^14] 编写。给定传感器姿态 $\mathbf{T}_s \in SE(3)$，使用球形采样发射一组密集的光线：
$$ \mathbf{d}(\theta,\phi)=\left[\cos\phi\cos\theta,\ \cos\phi\sin\theta,\ \sin\phi\right]^{\top},\mathbf{p}(t)=\mathbf{o}+t\mathbf{d}. $$
其中 $\mathbf{o}$ 是传感器原点。每个光线都转换为每个对象的局部坐标系，并使用分析的交点例程（针对每种几何类型）来计算候选命中距离。最近的有效解产生最终的返回结果，从而在 LiDAR 坐标系中生成一个点云 $\mathcal{P} = \{\mathbf{p}_i\}_{i=1}^N$。Taichi 实施通过并行处理所有光线和对象的光线评估，并通过内核融合和预分配的内存结构来最大限度地减少开销。因此，该模拟器在每帧扫描超过 100k 个光线时，仍能保持接近实时性能，并且支持动态对象运动或场景更改，而无需重新初始化。
合成地面真实数据提取：由于所有几何体和对象姿态都是已知的，因此该模拟器提供了完美的地面真实数据注释。对于每帧，可以直接从虚拟世界状态中查询 3D 边界框、对象类别和姿态。并且仅记录扫描对象的边界框。
用于实际 LiDAR 数据的收集使用定制的地面车辆（参见图 1）。该平台采用 Ackerman RC 底盘，具有稳定且低振动的运动特性，并且专为在狭窄的室内环境中导航而设计。LiDAR 传感器牢固地安装在底盘的顶部，提供不受遮挡的 $360^{\circ}$ 视野，高度代表典型的服务和检查机器人。一个 OAKD-Lite 摄像头安装在 UGV 的前方。一个 Xsens Mti300 IMU 安装在底盘上。
---
Jetson AGX Orin 计算模块充当传感器融合和控制的中心。UGV 可以通过手动遥控和自主驾驶，穿梭于各种室内环境（包括办公室、实验室、走廊和杂乱的工具区域），以捕获在各种几何和环境条件下进行的真实传感器观测。结果扫描反映了在日常室内环境中运行的地面机器人的真实感知特征。
注释过程：使用一丝不苟的半自动流程生成了真实世界的扫描的地面真实数据注释。开源注释工具 SUSTechPOINTS [^20] 被用作此过程的主要接口。注释员首先执行对象实例的初始标记，然后算法辅助工具帮助完善边界框参数。然后，由专家注释员手动验证每个标签，以确保数据集在整个数据集中的高准确性和一致性。注释包括对象类别、3D 对象的姿势和尺寸，以及相应的方向，然后转换为最终的 KITTI 格式。
数据集组织和格式：数据集中的每一帧都包含一个点云文件和一个相应的标签文件，结构如下：
- 输入点云：LiDAR 扫描存储在 .bin 文件中。每个文件都包含一个 $N \times 4$ NumPy 数组，其中 N 是扫描中的点数，并且四个列表示点的 3D 坐标及其强度值（x、y、z、强度）。
• 标签：注释遵循 KITTI 标签 2 格式。文件中的每一行对应于一个对象实例，并记录其属性，包括类别、3D 尺寸、3D 位置和偏航角（ $r_{y}$）。
- IMU数据：对于真实世界的扫描，提供同步的IMU数据，这些数据包含在单独的文本文件中，其中包含时间戳和方向信息，以促进传感器融合任务和SLAM应用。
• 时间戳：每个LiDAR帧都带有ROS 2时间戳（纳秒分辨率），该时间戳用作同步IMU包和机器人里程计的全局时间参考。这确保了用于映射、状态估计和SLAM评估的多传感器对齐。
### 4. 实验
为了验证INDOOR-LiDAR并为未来的工作建立基准，我们使用各种流行的模型进行全面的实验。主要目标是提供一个标准化的基准，以评估在我们的数据集的模拟和真实世界轨迹上的性能，从而突出室内机器人感知方面的挑战。
Figure 7. Representative 3D reconstructions from diverse indoor environments included in INDOOR-LiDAR. The subfigures depict a cafe scene and a stairwell from the real-world collection.
#### 4.1. 评估
为了对模型性能进行多方面的评估，我们报告了检测任务中三个方面的指标：• 分类性能：我们使用精度（P）来评估模型正确分类检测的能力。
• 边界框质量：我们使用以下几个指标来评估预测的边界框的几何精度：所有真实正例的平均IoU、不同IoU阈值的准确性以及L1和L2距离误差。对于SLAM应用，我们选择两种高效的算法来评估定位和地图构建性能：DLIO [^4] 和LIO-SAM [^36]。结果见附录。9。
#### 4.2. 基准模型
我们评估了一组具有代表性的基于BEV和全3D的检测器。BEV检测器：我们包括PillarNet [^9]、PointNet++ (BEV投影) [^28]、BEV MAE [^21]和GroupFree3D-BEV [^22]。3D检测器：对于直接的3D推理，我们对基于体素的方法（VoxelNet [^60]、SECOND [^54]）、基于点的的方法（PointRCNN [^37]、VoteNet [^29]）和基于Transformer的模型（GroupFree3D [^22]）进行基准测试。有关更多架构和训练细节，请参见补充材料。
Table 2. Classification performance and bounding box metrics on INDOOR-LiDAR simulated Test Set. M1=PillarNet, M2=PointNet++, M3=BEV MAE, M4=GroupFree3D
| Metric | M1 | M2 | M3 | M4 |
| Classification Precision (P) |
| Table | 0.47 | 0.45 | 0.50 | 0.55 |
| Chair | 0.22 | 0.18 | 0.19 | 0.20 |
| Shelf | 0.05 | 0.05 | 0.10 | 0.15 |
| Box | 0.05 | 0.08 | 0.07 | 0.06 |
| Stair | 0.34 | 0.62 | 0.56 | 0.50 |
| Bounding Box |
| Mean IoU | 0.66 | 0.70 | 0.79 | 0.68 |
---
| Acc@IoU0.25 | 0.89 | 0.91 | 0.92 | 0.90 |
| Acc@IoU0.50 | 0.74 | 0.81 | 0.87 | 0.79 |
| Acc@IoU0.75 | 0.51 | 0.58 | 0.72 | 0.56 |
| L1 | 3.04 | 2.83 | 2.37 | 2.79 |
| L2 | 66.29 | 71.50 | 66.14 | 63.46 |
4.3. 基准结果和分析
我们展示了模拟和真实世界的测试集的基准结果，以清楚地分析模型性能。
BEV在模拟数据上的性能如表2所示，我们在模拟测试集中观察到不同模型在不同方面的优势。对于分类精度，没有单一的模型在所有对象类别中都表现最佳。GroupFree3D (M4) 在桌子 (0.55) 和搁板 (0.15) 的检测方面表现最佳，而PointNet++ (M2) 在检测楼梯 (0.62) 和盒子 (0.08) 方面表现出色。PillarNet (M1) 在椅子检测方面表现最佳 (0.22)。这些结果突出了不同架构在处理各种对象几何形状时的互补优势。对于边界框质量指标，BEV MAE (M3) 在大多数指标上都表现出卓越的性能。它实现了最高的平均IoU (0.79)，并且在所有IoU阈值下都优于其他模型 (在IoU阈值为0.25、0.50和0.75时分别为0.92、0.87和0.72)。M3 还具有最低的 L1 误差 (2.37)，虽然 GroupFree3D (M4) 具有最佳的 L2 误差 (63.46)。
BEV 在真实世界数据上的性能。表 3 显示，当在真实世界数据上评估模型时，性能会发生显著变化。对于分类，BEV MAE (M3) 和 GroupFree3D (M4) 明显优于其他模型，在所有主要物体类别上都实现了更高的精度（0.52-0.85），而所有模型在不太常见的物体上表现不佳。相反，对于几何精度，更简单的架构表现更好，PillarNet (M1) 实现了最佳的平均 IoU (0.81) 和最低的误差率，而 PointNet++ (M2) 在较高的 IoU 阈值下表现最佳。
3D Performance on Simulated Data Table 4 presents a comprehensive comparison of five state-of-the-art 3D object detection models on simulated data. GroupFree3D Table 3. BEV Classification performance and bounding box metrics on INDOOR-LiDAR Real-World Test Set. M1=PillarNet, M2=PointNet++, M3=BEV MAE, M4=GroupFree3D
| Metric | M1 Classification Precision (P) | M3 | M4 |
| Couch | 0.44 | 0.62 | 0.85 | 0.84 |
| Table | 0.27 | 0.25 | 0.56 | 0.55 |
| Person | 0.17 | 0.12 | 0.52 | 0.52 |
| Chair | 0.16 | 0.13 | 0.59 | 0.58 |
| All other | 0.00 | 0.00 | 0.00 | 0.00 |
| Bounding Box |
| Mean IoU | 0.81 | 0.80 | 0.69 | 0.76 |
| Acc@IoU0.25 | 0.99 | 0.99 | 0.94 | 0.97 |
| Acc@IoU0.50 | 0.89 | 0.90 | 0.79 | 0.85 |
| Acc@IoU0.75 | 0.70 | 0.72 | 0.52 | 0.62 |
| L1 | 1.28 | 1.37 | 2.16 | 1.79 |
| L2 | 12.58 | 15.25 | 29.30 | 22.37 |
Table 4. 3D classification and bounding box performance on simulated data. VN=VoxelNet, SC=SECOND, PR=PointRCNN, VT=VoteNet, GF=GroupFree3D
| Metric | VN | SC | PR | VT | GF |
| Classification Precision (P) |
| Table | 0.60 | 0.62 | 0.82 | 0.75 | 0.85 |
| Chair | 0.35 | 0.40 | 0.65 | 0.60 | 0.70 |
| Shelf | 0.25 | 0.30 | 0.55 | 0.50 | 0.65 |
| Box | 0.15 | 0.18 | 0.30 | 0.25 | 0.40 |
| Stair | 0.50 | 0.55 | 0.75 | 0.70 | 0.80 |
| Bounding Box |
| Mean IoU | 0.55 | 0.58 | 0.75 | 0.68 | 0.72 |
| Acc@IoU0.25 | 0.70 | 0.74 | 0.94 | 0.88 | 0.92 |
| Acc@IoU0.50 | 0.58 | 0.62 | 0.85 | 0.75 | 0.80 |
| Acc@IoU0.75 | 0.30 | 0.34 | 0.65 | 0.50 | 0.55 |
| L1 Loss | 2.10 | 1.95 | 1.30 | 1.65 | 1.50 |
| L2 Loss | 45.50 | 42.10 | 25.80 | 35.20 | 30.15 |
(GF) 具有卓越的分类性能，始终在所有物体类别上实现最高的精度（对于桌子、椅子和楼梯等常见物体，精度为 0.70-0.85；对于盒子和架子等更具挑战性的类别，精度为 0.40-0.65）。但是，对于边界框指标，PointRCNN (PR) 明显领先，具有最高的平均 IoU (0.75)、在所有 IoU 阈值下具有最佳的精度（在 IoU 阈值为 0.25、0.50 和 0.75 时，精度分别为 0.94、0.85 和 0.65）以及最低的误差率（L1：1.30，L2：25.80）。这表明，虽然 GroupFree3D 擅长识别物体类型，但 PointRCNN 实现了更精确的几何定位。VoxelNet 和 SECOND 在所有指标上表现不佳，这表明它们的架构不太适合室内物体检测任务，而基于点的方法更先进。
3D 在真实世界数据上的性能。表 5 显示，当在真实世界数据上评估模型时，性能会发生显著变化。与模拟结果不同，VoteNet (VT) 成为更出色的分类器，实现了最高的
| Metric | VN | SC | PR | VT | GF |
| precision across all categories (0.32-0.60). This represents a |
---
进步，在自主室内导航方面取得了显著进展。通过提供既具有透视性又经济
## INDOOR-LiDAR：弥合模拟与真实差距，用于机器人中心室内场景感知 - 一个混合点云数据集
补充材料
VT=VoteNet, GF=GroupFree3D
| Classification Precision (P) |
| Couch | 0.35 | 0.40 | 0.55 | 0.60 | 0.50 |
| Table | 0.25 | 0.30 | 0.45 | 0.50 | 0.40 |
| Person | 0.20 | 0.22 | 0.35 | 0.38 | 0.30 |
| Chair | 0.15 | 0.18 | 0.30 | 0.32 | 0.25 |
| Bounding Box |
| Mean IoU | 0.65 | 0.68 | 0.78 | 0.72 | 0.60 |
| Acc@IoU0.25 | 0.80 | 0.84 | 0.95 | 0.90 | 0.75 |
| Acc@IoU0.50 | 0.65 | 0.70 | 0.88 | 0.80 | 0.60 |
| Acc@IoU0.75 | 0.40 | 0.45 | 0.68 | 0.55 | 0.35 |
| L1 Loss | 1.95 | 1.80 | 1.25 | 1.50 | 2.20 |
| L2 Loss | 35.10 | 32.50 | 18.90 | 24.60 | 40.50 |
与模拟数据相比，GroupFree3D 在真实世界场景中表现出实质性的性能下降，尤其是在边界框指标方面，其性能低于甚至是最简单的 VoxelNet 和 SECOND 模型。
### 5. 结论
在本文中，我们介绍了 INDOOR-LiDAR，这是一个新颖的大规模数据集，旨在弥合 3D 感知中用于室内机器人的关键差距。我们的核心贡献是一个混合数据集，该数据集将广泛的程序生成模拟环境与使用通用、面向机器人的 LiDAR 传感器由地面机器人捕获的真实世界扫描相结合。通过为两个域提供细致的 KITTI 风格注释，并建立预定义的划分，我们提供了一个全面且易于访问的资源，供研究社区使用。通过我们在鸟瞰图和完整 3D 物体检测方面的广泛基准实验，我们不仅提供了稳健的性能基线，还表明了 LiDAR 感知中模拟到真实域差距的显著挑战。最终，INDOOR-LiDAR 不仅仅是一组数据；它是一个基础工具，旨在民主化研究并加速代表现实世界机器人系统的算法的开发，我们希望能够激发开发不仅准确，而且健壮、可靠且能够实际部署的室内感知算法。
致谢： 这项工作得到了欧盟委员会“玛丽·居里”行动（MSCA）项目RAICAM（GA101072634）的资助。
#### 6. 模拟场景的结构示例
INDOOR-LIDAR数据集包含各种室内环境，旨在挑战和评估3D感知算法。图8展示了我们数据集中的四个具有代表性的合成环境，每个环境都展示了不同的建筑布局和对象配置。这些环境在结构复杂性、对象密度和空间排列方面存在显着差异，从而可以在不同的室内场景中全面评估感知算法。每个场景都经过精心建模，具有准确的物理尺寸、材料属性和照明条件，以尽可能接近其真实世界的对应物。在多个场景中可见的白色圆柱形标记代表用于在整个环境中进行系统数据收集的激光雷达传感器位置。
#### 7. 真实场景的结构示例
图9中的可视化显示了一个复杂建筑物结构的俯视图，其中相互连接的走廊、房间和开放区域以洋红色渲染。该点云展示了真实世界激光雷达数据采集中固有的稀疏性和噪声模式，与之前显示的干净合成环境形成对比。该结构布局包括一个垂直穿过中心的main走廊，以及分支的走廊和相邻的各种大小的房间。此类真实世界扫描提供重要的验证数据，用于测试在合成环境中训练的算法，从而能够对室内感知任务中的模拟到真实世界的差距进行定量评估。
---
#### 8. 场景对象示例
我们的模拟环境包含一个多样化的3D对象资产库，旨在创建逼真且杂乱的室内场景。如图所示，该集合包括各种常见的家居用品，例如大型家具（例如，床、沙发、桌子、楼梯），存储单元（橱柜、架子）以及厨房电器（烤箱、微波炉、洗碗机、水槽）。这种各种对象类别、尺寸和几何形状对于严格训练和评估我们的机器人感知算法至关重要，尤其是在3D对象检测和语义分割等任务中，以确保我们的模型可以从模拟到复杂的真实世界环境进行泛化。
#### 9. 使用我们数据集的SLAM示例
为了验证我们数据集的真实序列的实用性，我们评估了两个非常流行的SLAM算法，DLIO [^4]和LIO-SAM [^36]的性能。两种方法都运行在我们的数据集中的同一组具有挑战性的室内轨迹上，以评估其映射和定位精度。如图所示，两种算法都成功处理了传感器数据，生成轨迹估计，这些轨迹在质量上非常相似。通过并排比较，可以证明我们的数据集提供了高质量、同步的传感器数据，适用于基准测试和开发最先进的SLAM系统。
#### 10. 使用我们数据集的基于BEV的检测器示例
我们进一步展示了我们数据集的实用性，通过在模拟数据上训练一个基于 CNN 的 Bird’s-Eye View (BEV) 对象检测器。 该模型旨在同时从输入点云中进行对象分类和边界框回归。 在我们的测试报告中总结的训练和评估结果很有希望。 该检测器在所有类别上实现了 0.679 的平均精度 (mAP)（图 17）。 在分类任务中，该模型实现了 0.698 的宏 F1 分数，详细的每个类别的性能以及混淆矩阵分别显示在图 12 和图 14 中。 边界框回归性能特别出色，均 IoU 为 0.987，在 IoU 阈值为 0.75 时，准确率为 0.990。 详细的 IoU 和损失分布分析见图 15、图 16 和图 13。 最后，在测试场景中，检测器的输出的定性示例见图 18。
#### 11. 基础模型详情
##### 11.1. 基于 BEV 的检测器
PillarNet [^9]. 一种轻量级的 BEV 检测器，它将点云划分为垂直的柱，并使用 2D CNN 后端进行快速推理。
PointNet++ (BEV projection) [^28]. 我们采用 PointNet++ 作为 BEV 特征提取器，通过将点投影到 BEV 空间。
---
(a) Classroom environment with structured desk arrangements and multiple (b) Restaurant setting with varied dining furniture arrangements and service workstations. areas.
(c) Hospital environment with patient rooms surrounding central corridors, sensor collection points marked.
(d) Laboratory workspace with specialized equipment and workstations.
Figure 8. Representative synthetic environments from the INDOOR-LIDAR dataset showcasing diverse indoor layouts: (a) classroom, (b) restaurant, (c) hospital, and (d) laboratory. Each environment features different architectural configurations, furniture arrangements, and complexity levels for comprehensive evaluation of 3D perception algorithms.
GroupFree3D-BEV [^22]. 一种用于 BEV 的转换器架构，通过在 BEV 补丁上应用分组和注意力操作，而不是在点簇上。
BEV MAE [^21]. 一种自监督掩码自动编码器，经过训练以重建 BEV 补丁，产生对低信号室内 LiDAR 数据的益处。
##### 11.2. 全 3D 对象检测器
VoxelNet [^60]. 一种开创性的基于体素的模型，它学习体素内的点特征，并使用 3D 卷积进行聚合。
---
Figure 9. LiDAR point cloud representation of a real-world indoor environment captured for the INDOOR-LIDAR dataset.
SECOND [^54]. 一种改进的基于体素的检测器，使用子空间稀疏 3D 卷积，可以显著提高推理速度。
PointRCNN [^37]. 一种两阶段、基于点的架构，直接从原始点生成建议，并使用点级别的特征来细化边界框。
VoteNet [^29]. 一种室内检测的基石，它利用学习的点特征上的霍夫投票来预测对象中心，广泛用于 ScanNet/Matterport3D 等室内数据集。
GroupFree3D [^22]. 一种基于转换器的点检测器，它用学习的组和自注意力来代替手工设计的投票或锚定框，在室内 3D 检测准确性方面实现了最先进的水平。
Figure 10. A selection of 3D object models from our asset library used to populate the simulation environment. The collection features a variety of common indoor items, including furniture, appliances, and storage, to support the training and testing of perception pipelines.
---
Figure 11. Qualitative comparison of SLAM trajectories from our real-world dataset. The results from DLIO (top row) and LIOSAM (bottom row) are shown for several different paths. The close similarity between the outputs highlights the dataset's quality and its utility for robust SLAM evaluation.
Figure 12. Detailed per-class classification performance of the BEV detector on the simulation test set, showing Precision, Recall, and F1-scores for each object category.
Figure 13. Detailed analysis of bounding box regression performance, visualizing key error metrics (e.g., L1/L2 loss) for the simulation test set.
Figure 14. Confusion matrix for the BEV detector's classification task on the simulation test set, showing inter-class misclassification rates.
Figure 15. Distribution of Intersection over Union (IoU) scores for all correct detections on the simulation test set. The high concentration at the right (IoU > 0.9) aligns with the 0.987 Mean IoU reported.
Figure 16. Distribution of the bounding box regression loss for test set samples, indicating that most predictions have very low error.
---
Figure 17. Precision-Recall (PR) curves for the BEV object detector on the simulation test set. The Mean Average Precision (mAP) of 0.679 is computed from these curves.
### 参考文献
[^1]: Gilad Baruch, Zhuoyuan Chen, Afshin Dehghan, Tal Dimry, Yuri Feigin, Peter Fu, Thomas Gebauer, Brandon Joffe, Daniel Kurz, Arik Schwartz, and Elad Shulman. Arkitscenes: A diverse real-world dataset for 3d indoor scene understanding using mobile rgb-d data, 2022. 3
[^2]: Nico Brandes. Light sensitive drug products need protection. West Pharma Blog, 2020. 2
Figure 18. Qualitative examples of the BEV detector's predictions on sample scenes from the simulation test set. This visualization shows the predicted bounding boxes and class labels overlaid on the input point cloud.
[^3]: Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Niessner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3D: Learning from RGBD data in indoor environments. International Conference on 3D Vision (3DV), 2017. 2, 3
## [^4]: Kenny Chen, Ryan Nemiroff, and Brett T Lopez. Direct lidar-inertial odometry: Lightweight lio with continuous-time motion correction. arXiv preprint arXiv:2203.03749, 2022. 7, 1
---
[^5]: Angela Dai, Angel X. Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes, 2017. 2, 3
[^6]: Epic Games. Unreal Engine. , 2023. Accessed: 2024-05-01. 4
[^7]: Maohao Fang, Yihan Wang, Sida Zhou, Yue Wang, and Yong Liu. SN-Student: Unsupervised domain adaptation for 3D object detection. In 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), pages 3170–3179, 2021. This work presents a domain adaptation technique for 3D object detection that leverages both labeled synthetic LiDAR data and unlabeled real-world LiDAR data. The approach demonstrates the viability of transferring knowledge from simulation to reality by exploiting the geometric consistency of LiDAR. 5
[^8]: Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, pages 3354–3361, 2012. 5
[^9]: Chao Ma Guangsheng Shi, Ruifeng Li. Pillarnet: Realtime and high-performance pillar-based 3d object detection. ECCV, 2022.7,1
[^10]: Ulas Gunes, Matias Turkulainen, Xuqian Ren, Arno Solin, Juho Kannala, and Esa Rahtu. Fiord: A fisheye indooroutdoor dataset with lidar ground truth for 3d scene reconstruction and benchmarking. 2025. 4
[^11]: Yanwen Guo, Yuanqi Li, Dayong Ren, Xiaohong Zhang, Jiawei Li, Liang Pu, Changfeng Ma, Xiaoyu Zhan, Jie Guo, Mingqiang Wei, Yan Zhang, Piaopiao Yu, Shuangyu Yang, Donghao Ji, Huisheng Ye, Hao Sun, Yansong Liu, Yinuo Chen, Jiaqi Zhu, and Hongyu Liu. Lidar-net: A real-scanned 3d point cloud dataset for indoor scenes. In 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 21989–21999, 2024. 2, 3, 4
[^12]: Timo Hackel, Nikolay Savinov, Lubor Ladicky, Jan Dirk Wegner, Konrad Schindler, and Marc Pollefeys. Semantic3d.net: A new large-scale point cloud classification benchmark. In ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, pages 91–98, 2017. 3
[^13]: Wolfgang Hess, Damon Kohler, Holger Rapp, and Daniel Andor. Real-time loop closure in 2D LIDAR SLAM. In 2016 IEEE International Conference on Robotics and Automation (ICRA), pages 1271–1278, 2016. This paper, foundational for Cartographer, describes a system built for a backpack platform. While successful, it highlights the importance of comprehensive sensor data for robust SLAM, implying that data gaps from occlusions could compromise performance in autonomous navigation scenarios. 2
[^14]: Yuanming Hu, Tzu-Mao Li, Luke Anderson, Jonathan Ragan-Kelley, and Fredo Durand. Taichi: a language for high-performance computation on spatially sparse data
structures. ACM Transactions on Graphics (TOG), 38(6): 1–16, 2019. 5
[^15]: Aecheon Jung, Soyun Choi, Junhong Min, and Sungeun Hong. Lam: Enhancing rgb-d instance segmentation with new benchmarks, 2025. 3
[^16]: Harri Kaartinen, Juha Hyyppa, Xiaowei Yu, Markus Holopainen, Matti Vaaja, and Antero Kukko. Personal laser scanning. In ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume I-5, pages 309–314, 2012. Discusses the development and challenges of personal laser scanning (PLS), implicitly highlighting how the operator's presence affects data collection, leading to incomplete captures compared to static or trolley-based systems. 2
[^17]: Pushyami Kaveti, Aniket Gupta, Dennis Giaya, Madeline Karp, Colin Keil, Jagatpreet Nir, Zhiyong Zhang, and Hanumant Singh. Challenges of indoor slam: A multi-modal multi-floor dataset for slam evaluation, 2023. 4
[^18]: N. Koenig and A. Howard. Design and use paradigms for gazebo, an open-source multi-robot simulator. In 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (IEEE Cat. No.04CH37566), pages 2149–2154 vol.3, 2004. 4
[^19]: Anton Koval, Vsevolod Hovorun, Roman Bartosh, and Mariusz Olszewski. Comprehensive Survey on SLAM in Challenging Environments for Autonomous Robots and Vehicles. Applied Sciences, 13(9), 2023.
[^20]: E Li, Shuaijun Wang, Chengyang Li, Dachuan Li, Xiangbin Wu, and Qi Hao. Sustech points: A portable 3d point cloud interactive annotation platform system. In 2020 IEEE Intelligent Vehicles Symposium (IV), pages 1108–1115, 2020. 6
[^21]: Zhiwei Lin, Yongtao Wang, Shengxiang Qi, Nan Dong, and Ming-Hsuan Yang. Bev-mae: bird's eye view masked autoencoders for point cloud pre-training in autonomous driving scenarios. In Proceedings of the Thirty-Eighth AAAI Conference on Artificial Intelligence and Third-Sixth Conference on Innovative Applications of Artificial Intelligence and Fourteenth Symposium on Educational Advances in Artificial Intelligence. AAAI Press, 2024. 7, 2
[^22]: Ze Liu, Zheng Zhang, Yue Cao, Han Hu, and Xin Tong. Group-free 3d object detection via transformers. arXiv preprint arXiv:2104.00678, 2021.7, 2, 3
[^23]: Viktor Makoviychuk, Lukasz Wawrzyniak, Yunrong Guo, Michelle Lu, Kier Storey, Miles Macklin, David Hoeller, Nikita Rudin, Arthur Allshire, Ankur Handa, and Gavriel State. Isaac gym: High performance gpu-based physics simulation for robot learning, 2021. 4
[^24]: Daniel Munoz, J. Andrew Bagnell, Nicolas Vandapel, and Martial Hebert. Contextual classification of 3d point clouds. In 2009 IEEE Workshop on 3D Object Recognition, pages 1–8, 2009. 3
## [^25]: Maxime Merizette, Nicolas Audebert, Pierre Kervella, and Jer' ome Verdun. 3ds: an indoor lidar point cloud segmen-
---
^ tation 数据集，包含来自 3D 模型的真实和伪标签，2025 年。2, 3, 4
[^26]: Franc,ois Pomerleau, Francis Colas, Roland Siegwart, and Stephane Magnenat. Comparing icp variants on real-world data sets: Full-featured, high-performance point cloud registration. Autonomous Robots, 39(1):1–18, 2015. This article provides a comprehensive comparison of point cloud registration algorithms, which are fundamental to LiDAR-based mapping and localization, demonstrating the technology's central role in creating high-fidelity spatial representations.
[^27]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. arXiv preprint arXiv:1612.00593, 2016.5
[^28]: Charles R. Qi, Li Yi, Hao Su, and Leonidas J. Guibas. Pointnet++: deep hierarchical feature learning on point sets in a metric space. In Proceedings of the 31st International Conference on Neural Information Processing Systems, page 5105–5114, Red Hook, NY, USA, 2017. Curran Associates Inc. 5, 7, 1
[^29]: Charles R. Qi, Or Litany, Kaiming He, and Leonidas J. Guibas. Deep hough voting for 3d object detection in point clouds, 2019. 5, 7, 3
[^30]: Ishraq Rached, Rafika Hajji, Tania Landes, and Rashid Haffadi. Structscan3d v1: A first rgb-d dataset for indoor building elements segmentation and bim modeling. Sensors, 25 (11), 2025. 3
[^31]: Santhosh K. Ramakrishnan, Aaron Gokaslan, Erik Wijmans, Oleksandr Maksymets, Alex Clegg, John Turner, Eric Undersander, Wojciech Galuba, Andrew Westbury, Angel X. Chang, Manolis Savva, Yili Zhao, and Dhruv Batra. Habitatmatterport 3d dataset (hm3d): 1000 large-scale 3d environments for embodied ai, 2021. 3
[^32]: J.D. Ribeiro, R.B. Sousa, J.G. Martins, A.S. Aguiar, F.N. Santos, and H.M. Sobreira. IILABS 3D: iilab Indoor LiDAR-based SLAM Dataset, 2025. [Dataset]. 4
[^33]: Xavier Roynard, Jean-Emmanuel Deschaud, and Francois Goulette. Paris-lille-3d: A point cloud dataset for urban scene segmentation and classification. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 2140–2144, 2018. 3
[^34]: Karim Saleh, Krystian Kadem, Guy Andre Boy, and Anis Bounsiar. An overview of the sim-to-real gap for the perception of autonomous systems in modern LiDAR simulators. In 2022 IEEE International Conference on Systems, Man, and Cybernetics (SMC), pages 894–901, 2022. This paper reviews the challenges of transferring perception models from simulation to reality (sim-to-real), highlighting that LiDAR's geometric data is generally more robust to the domain gap than camera images, which are sensitive to visual factors like texture and lighting. 2, 5
[^35]: Andres Serna, Beatriz Marcotegui, Francois Goulette, and Jean-Emmanuel Deschaud. Paris-rue-madame: A 3d semantic labeling of a complete urban street. In 2014
IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 4771–4776, 2014. 3
[^36]: Tixiao Shan, Brendan Englot, Drew Meyers, Wei Wang, Carlo Ratti, and Daniela Rus. Lio-sam: Tightly-coupled lidar inertial odometry via smoothing and mapping. In 2020 IEEE/RSJ international conference on intelligent robots and systems (IROS), pages 5135–5142. IEEE, 2020. 7, 1
[^37]: Shaoshuai Shi, Xiaogang Wang, and Hongsheng Li. Pointrcnn: 3d object proposal generation and detection from point cloud. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. 7, 3
[^38]: Nathan Silberman, Derek Hoiem, Pushmeet Kohli, and Rob Fergus. Indoor segmentation and support inference from rgbd images. In Proceedings of the 12th European Conference on Computer Vision - Volume Part V, page 746–760, Berlin, Heidelberg, 2012. Springer-Verlag. 3
[^39]: Shuran Song, Samuel P. Lichtenberg, and Jianxiong Xiao. Sun rgb-d: A rgb-d scene understanding benchmark suite. In 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 567–576, 2015. 3
[^40]: Julian Straub, Thomas Whelan, Lingni Ma, Yufan Chen, Erik Wijmans, Simon Green, Jakob J. Engel, Raul Mur-Artal, Carl Ren. Shobhit Verma. Anton Clarkson. Mingfei Yan. Brian
Cari Ren, Shobnit Verma, Anton Clarkson, Mingrel Yan, Brian Budge, Yajie Yan, Xiaqing Pan, June Yon, Yuyang Zou, Kimberly Leon, Nigel Carter, Jesus Briales, Tyler Gillingham, Elias Mueggler, Luis Pesqueira, Manolis Savva, Dhruv Batra, Hauke M. Strasdat, Renzo De Nardi, Michael Goesele, Steven Lovegrove, and Richard Newcombe. 室内空间的数字副本数据集，2019. 2, 3 [^41] Jiaqi Tan, Weijie Lin, Angel X. Chang, and Manolis Savva. 针对镜面表面的深度优化，2021. 3
[^42]: Weixuan Tan, Yulan Guo, and Hui-Liang Shen. Toronto-3d: A large-scale mobile lidar dataset for semantic segmentation of urban roadways. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pages 2016–2025, 2020. 3
[^43]: Longbiao Tang, Yongbo Lu, Jia Yu, Yuanxiu Hu, Jingwei Wu, and Chengqun Yu. Backpack-Lidar and Camera-Based Visual and Lidar SLAM for Forests Environments. Forests, 14(8), 2023.2
[^44]: Sebastian Thrun, Wolfram Burgard, and Dieter Fox. Probabilistic Robotics. MIT Press, 2005. A foundational text in robotics that extensively covers how LiDAR is used for key tasks such as mapping, localization, and SLAM (Simultaneous Localization and Mapping), establishing its indispensable ability. 2
[^45]: Emanuel Todorov, Tom Erez, and Yuval Tassa. Mujoco: A physics engine for model-based control. 2012 IEEE/RSJ international conference on intelligent robots and systems, pages 5026–5033, 2012. 4
## [^46]: Maciej Trzeciak, Kacper Pluta, Yasmin Fathy, Lucio Alcalde, Stanley Chee, Antony Bromley, Ioannis Brilakis, and Pierre Alliez. Conslam: Periodically collected real-world construction dataset for slam and progress monitoring. In Computer Vision–ECCV 2022 Workshops: Tel Aviv, Israel
---
2022年10月23日至27日，论文集，第VII部分，第317-331页。 Springer，2023. 4
[^47]: Unity Technologies. Unity Real-Time Development Platform. , 2023. Accessed: 202405-01. 4
[^48]: Bruno Vallet, Mathieu Bredif, Andres Serna, Beatriz Marcogregui, and Nicolas Paparoditis. Terramobilita/iqmulus urban point cloud analysis benchmark. In Computers & Graphics, pages 126–133. Elsevier, 2015. 3
[^49]: Puthucode Ganesh Vignesh, Nithin Kumar S, Senthil Kumar T, and Jeyakumar G. Lidar-based elderly fall detection system for indoor environments using neural network algorithms. In 2025 4th International Conference on Sentiment Analysis and Deep Learning (ICSADL), pages 1564–1568, 2025. 4
[^50]: Hexiang Wei, Jianhao Jiao, Xiangcheng Hu, Jingwen Yu, Xupeng Xie, Jin Wu, Yilong Zhu, Yuxuan Liu, Lujia Wang, and Ming Liu. Fusionportablev2: A unified multi-sensor dataset for generalized slam across diverse platforms and scalable environments, 2024. 4
[^51]: Weina Wen, Wenting Dai, Shengxi Fan, Xiyu Zhang, Tofael Ahamed Eite, and Sisi Zlatanova. A Review of SLAMBased Indoor Mobile-Mapping Systems: Accuracy, Performance, and Usability. Remote Sensing, 12(22), 2020.
[^52]: Benjamin H Williams, Amy Lau, Christopher Martius, Mischa Ruttimann, and Ulrike Grote. A review of the applica-"tion of terrestrial laser scanning for forested environments. Forests, 12(8):1006, 2021. 2
[^53]: Bicheng Wu, Xuanyu Xu, Jialong Dai, Ang Wan, Peizhen Zhang, Zoe Wei, and Kurt Keutzer. SqueezeSegV2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud. In The IEEE International Conference on Computer Vision (ICCV), 2019. This paper successfully applies unsupervised domain adaptation to a LiDAR segmentation task, using synthetic data for training. It explicitly addresses the domain shift between synthetic and real LiDAR data, reinforcing LiDAR's suitability as a modality for such hybrid approaches. 5
[^54]: Yan Yan, Yuxing Mao, and Bo Li. Second: Sparsely embedded convolutional detection. Sensors, 18(10), 2018. 7, 3
[^55]: Chandan Yeshwanth, Yueh-Cheng Liu, Matthias Nießner, and Angela Dai. Scannet++: A high-fidelity dataset of 3d indoor scenes. In Proceedings of the International Conference on Computer Vision (ICCV), 2023. 3
[^56]: Lintong Zhang, Michael Helmberger, Lanke Frank Tarimo Fu, David Wisth, Marco Camurri, Davide Scaramuzza, and Maurice Fallon. Hilt-oxford dataset: A millimeter-accurate benchmark for simultaneous localization and mapping. IEEE Robotics and Automation Letters, 8(1):408–415, 2023. 4
[^57]: Wenshan Zhao, Zhide Qu, Yiwei Zhou, Jingda Zhang, Keke You, and Volker Tresp. Sim-to-real: A survey. arXiv preprint arXiv:2003.01369, 2020. This survey provides a comprehensive overview of the sim-to-real problem, defining it as the challenge of transferring policies or models
由于两个领域之间的差异，尤其是在感官数据方面，在模拟环境中训练的模型难以应用到真实世界。 5
[^58]: Xiting Zhao and Soren Schwertfeger. "3dref: 3d dataset and benchmark for reflection detection in rgb and lidar data. 3DV, 2024. 4"
[^59]: Wenxu Zhou, Kaixuan Nie, Hang Du, Dong Yin, Wei Huang, Siqiang Guo, Xiaobo Zhang, and Pengbo Hu. II3d: A largescale indoor layout dataset for llm-driven 3d scene generation, 2025. 3
[^60]: Yin Zhou and Oncel Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection, 2017. 7, 2