# IndoorBEV: 利用遮罩预测在室内场景中，通过基于遮罩的预测，对物体进行联合检测和足迹补全，以实现鸟瞰视图感知 李海川 $^{\dagger1}$ 田昌达 $^{\dagger2}$ Panos Trahanias $^{2}$ Tomi Westerlund $^{1}$ ![Image](images/f708943a8c598dba534e100340593e4c348abf6da6347c1039a48ffd08532647.jpg)
Figure 1: A unified high-performance IndoorBEV framework generates BEV representations and predicts object footprint masks directly from raw lidar point cloud data in indoor environments. The first column represents the raw 3D point clouds as each input. Next, the axis fusion results for each correlated input are presented. The third column shows the features maps generated by the backbone, followed by the predicted mask of each object in each secnes in the next column. Finally, the last column shows the final BEV result of each input.
摘要：在复杂室内3D点云中检测各种物体对机器人感知提出了重大挑战，特别是当物体形状各异、存在拥堵，并且同时存在静态和动态元素时，传统的边界框方法往往难以胜任。为了克服这些局限性，我们提出了IndoorBEV，这是一种用于室内移动机器人的新型基于遮罩的鸟瞰图 (BEV) 方法。在BEV方法中，3D场景被投影到2D BEV网格中，该网格可以自然处理遮挡，并提供一致的俯视视图，有助于区分静态障碍物和动态代理。获得的2D BEV结果可以直接用于下游机器人任务，例如导航、运动预测和规划。我们的架构利用轴紧凑编码器和基于窗口的骨干网络来从这个BEV地图中提取丰富的空间特征。一个基于查询的 --- 解码器头部然后利用学习到的物体查询，在BEV空间中同时预测物体类别和实例遮罩。这种以遮罩为中心的公式有效地捕获了静态和动态物体的足迹，无论其形状如何，这为边界框回归提供了一种更稳健的替代方案。我们使用自定义的室内数据集，该数据集包含各种物体类别，包括静态物体和动态元素（如机器人和其他物品），来展示IndoorBEV的有效性，这表明了其在鲁棒室内场景理解方面的潜力。 关键词：鸟瞰图，点云，机器人感知，室内场景理解 ## 1 引言 将自主机器人部署在室内环境中，需要精确、实时的感知周围环境，以确保安全、高效的导航。激光雷达传感器已成为该领域的一项关键技术，它提供了高分辨率的3D点云数据，该数据对不同的照明条件具有鲁棒性，并且能够捕获复杂的空间细节。然而，将这种非结构化的点云数据转换为可用于任务（如物体检测、分割和导航）的有效表示仍然是一个艰巨的挑战，尤其是在室内环境中通常存在复杂性和拥堵。 近年来的研究进展致力于解决这些挑战。例如，MakeWay [^1] 系统引入了由激光雷达数据得到的目标感知代价图，以提升室内主动导航性能。类似地，LV-DOT框架 [^2] 利用激光雷达与视觉数据的融合，改进了室内环境下的动态障碍物检测与跟踪效果。这些方法凸显了将机器学习技术与激光雷达数据结合来增强室内感知能力的潜力。 鸟瞰图（Bird's-Eye View, BEV）表示天然能够处理遮挡，且由于它可以提供环境自上而下、空间一致的视图，因此得到的表示可以直接适用于导航、规划等下游机器人任务。[^3] [^4]。然而，将BEV方法适配到室内环境并非易事。室内环境通常存在传感器量程有限、不同形状物体带来的严重杂乱、频繁遮挡等挑战，这些问题会降低传统BEV生成与感知技术的性能。 在本文中，我们提出了一种新型的环境感知框架，称为IndoorBEV。IndoorBEV提供针对室内环境的实时BEV感知，重点是从激光雷达点云直接进行联合目标检测和足迹掩码预测。我们的方法利用维度融合预处理。最初，3D点云数据由编码器处理，以融合轴信息，然后生成2D BEV网格。之后，这个BEV网格被输入到骨干网络中，该网络学习BEV网格中的丰富空间上下文。重要的是，与传统的边界框预测不同，我们的方法采用基于查询的解码器头，该头使用一组学习的目标查询与BEV特征图进行交互。每个查询都经过训练，以预测类别、3D姿态属性（位置、偏航角），最重要的是，一个像素级的实例掩码，该掩码表示对象在BEV网格中的足迹。这种以掩码为中心的公式允许算法捕获各种复杂室内对象的精确2D范围，这为诸如碰撞避免和路径规划之类的任务提供了比边界框更灵活的表示。整个IndoorBEV算法如图1所示。 我们的IndoorBEV框架旨在在实时运行，从而能够与机器人运动模块无缝集成，以实现室内环境中的动态导航任务。本文的主要贡献如下： • 引入了一个基于BEV的室内机器人感知框架。 - 一种用于生成BEV表示并直接从室内环境中的原始激光雷达点云数据预测对象足迹掩码的统一高性能框架。 - 一个基于查询的掩码预测头，该头避免边界框回归，从而能够准确地捕获各种复杂室内对象形状，如图2所示。 --- - 一个结合模拟和真实世界激光雷达数据的混合数据集，有助于有效训练和评估所提出的系统。 ![Image](images/8826ea23e560697f5966d4993c4ac69715acc1de2fead1ef848e67495ae7ab29.jpg)
Figure 2: From left to right: Original point cloud. BEV point cloud without complete boundaries. Masked object with whole edges. The first row is in simulation, the second in the real world.
## 2 相关工作 鸟瞰图表示法在3D目标检测中越来越受欢迎，尤其是在室外自动驾驶场景中。这些方法利用激光雷达点云的结构化特性，将信息投影到BEV空间中，其中卷积神经网络可以有效地推理空间关系。一种值得注意的方法是BEV-MAE [^5]，它引入了一个掩码自动编码框架，用于在激光雷达点云上进行预训练。通过采用基于BEV的掩码策略，BEV-MAE增强了鲁棒表示的学习，并在nuScenes数据集上实现了最先进的性能。此外，Mohapatra等人提出了一种实时3D目标检测网络BEVDetNet [^6]，该网络专门针对嵌入式系统进行了优化。其架构直接在BEV域中处理激光雷达数据，在计算效率和准确性方面都表现出色，非常适合在自动驾驶汽车中的实际部署。这些方法表明，在道路场景结构相对稳定且对象类别一致的室外环境中，基于BEV的框架非常成功。 传统的 BEV 检测方法通常依赖于回归方向边界框 [^7] [^8] [^9]，这在捕捉具有不规则形状的物体的精细结构方面可能存在局限性。为了解决这个问题，Zhao 等人提出了 MaskBEV [^10]，这是一个统一的框架，它将 BEV 对象检测重新定义为分割任务。他们的方法不是回归边界框，而是预测一组 BEV 实例掩码，这些掩码直接捕获对象的轮廓。这种基于分类的公式促进了在共享架构中联合学习对象检测和地图分割。虽然 MaskBEV 效果很好，但它仅在室外城市场景中进行了评估。 与此不同，在室内环境中利用BEV（鸟瞰图）感知技术的研究相对较少。室内场景呈现出独特的挑战，包括拥挤的布局、多样的物体几何形状以及在户外环境中通常不会遇到的遮挡。一个例外是Wang等人所做的研究，他们提出了BEV-SUSHI [^11]，这是一种基于BEV的、用于多目标、多摄像头3D检测和跟踪的框架，旨在用于一般的室内和室外监控应用。虽然BEV-SUSHI在多摄像头设置中显示出良好的效果，并且强调了BEV感知的通用性，但其主要重点在于跟踪和多视角聚合，而不是足迹预测或联合检测和分割。 据我们所知，目前还没有任何研究直接解决在室内环境中专门设计用于移动机器人的BEV空间感知问题。这一空白促使我们采取了一种方法，旨在利用BEV表示的优点，同时克服基于边界框的公式在复杂和拥挤的室内环境中的局限性。 --- ![Image](images/1bc9ada48beb150543fe1ec701d93bb9784cf2e68b09dc07bb94cd2b50630e06.jpg)
Figure 3: Overview of the IndoorBEV framework. Lidar point clouds are divided into clusters then fused with the axis information features and projected to a BEV map. The BEV features are processed by a window-based backbone to capture spatial context. Learnable object queries interact with the BEV features through a mask-based decoder to predict object classes, positions, dimensions and dense BEV masks.
## 3 方法 我们提出的IndoorBEV框架，直接从原始激光雷达点云中，在BEV表示中进行联合对象检测和实例足迹掩码预测。预测的掩码显示每个实例的完整边缘，这比传统的3D对象检测方法具有显著的优势。该方法允许对任意形状的物体进行补全，因为形状先验信息由地面真实标注以掩码的形式提供 [^12]。该架构遵循三个主要组件：轴融合编码器、基于窗口的骨干网络和基于掩码的解码器。该架构的概述如图3所示。 ### 3.1 维度融合编码器 轴融合编码器利用我们的轴融合点云紧凑网络 (AF-PCCN)。 在 AF-PCNN 中，输入的 3D 点云 $\mathcal{P} = \{\mathbf{p}_i\}_{i=1}^N$，具有 $\mathbf{p}_i \in \mathbb{R}^d$（X、Y、Z 轴的 $d = 3$，或 $d = 4$ 如果包含强度），首先根据预定义的空间范围 $((x_{\text{range}}, y_{\text{range}}, z_{\text{range}}))$ 和聚类大小 $(v)$ 分散成许多聚类。 这些划分的聚类通常是空的，因为点云的稀疏性，而非空的聚类通常只有几个点 [^13]。 与直接应用 PointNet [^14] 不同的，PointNet 通过填充大量的零来包含每个聚类中相同数量的点，我们使用基于可学习参数的网络来融合 $X - Z$ 轴和 $Y - Z$ 轴的特征，并将 2D 结果组合成一个伪图像。 这确保了将空聚类标记为噪声。 结果图像的大小为 $(F \times H \times W)$，其中 F 是聚类的嵌入维度，H 和 W 分别是 Y 轴和 X 轴上的聚类数量。 这些聚类特征然后被投影或散布到一个 2D BEV 网格上，大小为由函数 $\mathbf{F}_{\text{enc}} \in \mathbb{R}^{C_{\text{enc}} \times H \times W}$ 决定，其中 $H = (y_{\text{range}}^{\max} - y_{\text{range}}^{\min}) / v$，和 $W = (x_{\text{range}}^{\max} - x_{\text{range}}^{\min}) / v$。 这形成了一个初始的 BEV 特征图 $(F_{bev} \in \mathbb{R}^{C_{\text{enc}} \times H \times W})$。 我们的编码器在计算聚类特征时，结合了点坐标和距离特征。 ### 3.2 基于窗口的骨干网络 初始的 BEV 特征图 ( $F_{bev}$) 由一个基于窗口的骨干网络处理，以捕捉 BEV 平面上长距离的空间依赖性和上下文信息。 具体来说，我们采用 --- 自定义 SwinTransformer 架构，该架构是基于 SwinTransformer [^15] 对 BEV 特征处理的修改。 该骨干网络由四个阶段组成，每个阶段都包含使用窗口多头自注意力 (W-MSA) 和移位窗口多头自注意力 (SW-MSA) 的 Swin Transformer 块。 为了在保持初始分辨率的同时控制计算成本，我们配置该骨干网络，使其在各个阶段具有步长 $(1,2,2,2)$。 这意味着第一阶段以输入 BEV 分辨率 $(H \times W)$ 运行，而后续阶段通过因子 2 逐步降低空间分辨率，并增加特征通道维度。 我们使用一个轻量级配置，深度为 $(1,1,1,1)$，每个阶段的注意力头数为 $(2,4,8,8)$，窗口大小为 7，MLP 比例为 2。 启用梯度检查点 $(with\_cp = True)$ 以减少训练期间的内存消耗。 尽管骨干网络可以从多个阶段输出特征图 $(out\_indices = (0,1,2,3))$，但只有来自最终阶段的特征图 $(F_{backbone} \in \mathbb{R}^{C_{backbone} \times H' \times W'})$，其中 $(H', W')$ 是最下采样后的维度。 最终阶段的特征图在上采样后传递给后续的解码器头。 ### 3.3 基于查询的检测和遮罩头部解码器 受到基于查询的对象检测框架 (如 DETR [^16] 和 Mask2Former [^17]) 的启发，我们采用一个基于掩码的解码器头 (SimpleMaskHead)，用于同时进行对象分类、3D 属性回归和实例掩码预测。 上采样和投影：最终的骨干网络特征图 $(F_{backbone})$ 首先通过自适应上采样模块 (AdaptiveUpsampler，后跟输入头中的 input_proj 和 input_proj_norm) 重新上采样回原始 BEV 分辨率 $(H \times W)$，并投影到隐藏维度 $(C_{hidden})$。 这会产生一个精炼的特征图 $(F_{proj} \in \mathbb{R}^{C_{hidden} \times H \times W})$，作为解码器的内存输入。 目标查询与掩码解码器：我们初始化了一组$(N_q)$可学习目标查询$(Q = q_j, j = 1^{N_q})$，以嵌入向量$(q_j \in \mathbb{R}^{Chidden})$（query_embed）的形式表示。这些查询会经过一组标准Transformer解码器层处理。每个解码器层会在查询之间执行自注意力，并在查询与投影后的BEV特征图$(F_{proj})$之间执行交叉注意力。这使得每个查询都能从BEV图的相关空间位置聚合信息，专门用于预测特定的目标实例。最终解码器层的输出就是一组优化后的查询嵌入$(Q' = q'_j, j = 1^{N_q})$。 预测头：多个预测头对细化的查询嵌入 (Q‘) 进行操作： - 分类头：一个线性层预测每个查询的类别logits $(L_{cls} \in \mathbb{R}^{N_q \times N_{classes}})$，其中 $(N_{classes})$ 包含前台类别和一个背景/无对象类别。 - 回归头：线性层预测与每个查询相关联的3D属性：尺寸 $(D \in \mathbb{R}^{N_q \times 3})$ (长度、宽度、高度)、位置 $(P \in \mathbb{R}^{N_q \times 3})$ (x、y、z) 和偏航角 $(Y \in \mathbb{R}^{N_q \times 1})$。 - 掩码预测头：此头动态生成实例掩码。首先，一个MLP $(mask\_embed\_head)$ 将每个细化的查询嵌入 $(q'_j)$ 转换为掩码嵌入 $(m_j \in \mathbb{R}^{Chidden})$。最终的掩码logits $(M \in \mathbb{R}^{N_q \times H \times W})$ 通过掩码嵌入和投影的BEV特征之间的矩阵乘积计算得出： $(M_j = m_j \cdot F_{proj})$，其中乘法发生在通道维度上，结果被重塑为BEV网格维度。这允许每个查询根据其学习的专业知识和输入特征生成唯一的空间掩码。 ### 3.4 基于MuJoCo-Taichi的激光雷达仿真 我们使用MuJoCo [^18] 进行环境建模和Taichi [^19] 进行大规模并行光线投射，开发了一个高保真度的激光雷达仿真器。具有各种对象几何形状的程序化室内场景是生成的，包括平面、盒子、球体、圆柱体、胶囊和椭圆体。 --- 给定传感器姿态 $\mathbf{T}_s \in \mathrm{SE}(3)$，使用球坐标发射光线 $(\theta, \phi)$： $$ \mathbf{d}(\theta,\phi)=\begin{bmatrix}\cos\phi\cos\theta\\ \cos\phi\sin\theta\\ \sin\phi\end{bmatrix},\quad\mathbf{p}(t)=\mathbf{o}+t\mathbf{d}, $$ 其中 o 是传感器原点，t 是光线距离。 每个光线被变换到对象局部坐标系中，以便进行高效的交点测试。与每个几何体的交点都简化为求解解析形式，这在附录8.2中所示。 为每个光线保留最近的有效命中点 $t^* = \arg\min_{t>0} t$，这些命中点形成传感器坐标系中的点云 $\mathcal{P} = \{\mathbf{p}_i\}_{i=1}^N$。 我们的Taichi实现并行化光线追踪，在所有光线和对象之间进行并行化，利用优化内存预分配、选择性更新和内核融合。该系统即使在具有密集激光雷达扫描（>100k光线）的情况下，也能保持实时性能，支持动态场景更新，而无需重新初始化内存结构。 ## 4 实验 本节详细介绍了仿真环境、数据集、训练设置、具体实现、评估指标，并展示了我们提出的IndoorBEV框架的结果。 ### 4.1 数据集 我们在一个专为室内机器人环境设计的混合数据集上评估我们的方法，该数据集包含模拟数据和真实世界数据。 模拟数据。我们使用定制的 MuJoCo 流程生成合成数据，从而产生多样化的平面图、物体布局（例如，桌子、椅子、架子或杂物）、随机的物体姿态以及激光雷达噪声模型。对于每个帧，都会自动提取完美的地面真值注释，包括物体类别、3D 姿态以及物体（长度、宽度、高度）的尺寸信息。MuJoCo 场景使用基于 Taichi 的高性能激光雷达模拟器进行光线追踪，以模拟逼真的点云测量。 真实世界数据。真实世界的扫描数据是使用安装在移动机器人上的 Livox MID-360 采集的，该机器人行驶在办公室、实验室和走廊中，如图 4(c) 所示。使用半自动流程生成地面真值注释（物体类别、3D 姿态和轮廓掩码），并通过 SUSTechPOINTS [^20] 进行手动验证。数据集分为约 $\sim$4.5k 个帧用于训练，1k 个用于验证，1k 个用于测试。 数据格式和预处理。每个帧都按照受 KITTI [^21] 对象检测基准启发的形式存储： 输入点云：激光雷达扫描数据存储在 .bin 文件中，包含 $N \times 4$ NumPy 数组 (x, y, z, intensity)。标签：注释遵循 KITTI 的 label_2 格式，记录物体类型（例如，人、桌子或椅子）、截断、遮挡级别、尺寸、3D 位置以及偏航角。校准：无需传感器融合校准，因为只使用单个激光雷达传感器。 对于基于俯视 (BEV) 的训练，3D 标签被栅格化为 2D 实例掩码： - 栅格化：每个物体都使用其 3D 尺寸、位置和偏航角投影到俯视平面。我们的项目中名为 MaskRasterizer 的函数将物体轮廓映射到俯视网格，作为一个填充的、分配了唯一实例 ID 的多边形。 - 标签格式：掩码和类标签被转换为填充的张量，以匹配对象的数量，并具有辅助字段（尺寸、位置、偏航角），以实现多任务监督。 --- 此流程可确保具有几何和语义多样性的训练数据，从而增强了面向实例的俯视感知任务的鲁棒性。 ### 4.2 基于模拟的数据生成和 ROS2 集成 为了支持大规模训练和领域自适应，我们开发了一个自定义的激光雷达模拟系统，该系统使用 MuJoCo 进行基于物理的 3D 建模，并使用 Taichi 进行高性能光线追踪。该模拟器可以生成具有各种几何形状、材料和光照的室内布局。每个帧通过在密集球形网格上发射光线并计算与场景物体的交点来渲染合成激光雷达扫描。此外，我们使用 ROS2 [^22] 系统将帧记录到 bag 文件中。 每个光束方向 $(\theta_i, \phi_i)$ 产生一个归一化的向量 $\mathbf{r}_i$，并使用形状特定的分析求解器获得最近的交点。将命中点转换为激光雷达帧，并将它们累积到 3D 点云中。 ![Image](images/f527a85fac674280efd936c8b3fc6cbcd923eaf3400bf25649a2cac8e254c34d.jpg)
(a) Simulation Scene
![Image](images/a03609d8df76086be54072631fecc6bdce6fa165f8bfca081504321c2faab516.jpg)
(b) Simulation Point Cloud
![Image](images/52e31abe50e2f00111f0c04a41598a466b95b61e994d7f21b10c6efef1a88e33.jpg)
(c) Data Collection Platform
Figure 4: (a): Simulated indoor environment in MuJoCo. (b): 3D point cloud rendered from ray-traced lidar. (c): The mobile robot we used for the data collection
### 4.3 训练和损失函数 我们采用基于集合的训练框架，类似于 DETR [^16]，使用匈牙利算法 $N_{q}$ 对 [^23] 个预测查询和地面真值对象之间的二分匹配。匹配成本考虑分类、掩码和回归项： $$ \mathcal{C}=\alpha_{\mathrm{c l s}}(1-\hat{p}_{\mathrm{c l s}})+\alpha_{\mathrm{d i c e}}\big(1-\mathrm{D i c e}(\hat{M},M)\big)+\alpha_{\mathrm{f o c}}\mathrm{F o c a l}(\hat{M},M)+\alpha_{\mathrm{r e g}}\left\|\hat{\mathbf{b}}-\mathbf{b}\right\|_{1}, $$ 其中，$\hat{p}_{cls}$ 和 $\hat{M}$ 分别表示预测的类别概率和掩码，$\hat{b}$ 表示 3D 盒子参数（尺寸、位置、偏航角）。对于匹配的对，最小化的最终损失为： $$ \mathcal{L}=\lambda_{\mathrm{cls}}\mathcal{L}_{\mathrm{cls}}+\lambda_{\mathrm{dice}}\mathcal{L}_{\mathrm{dice}}+\lambda_{\mathrm{mask}}\mathcal{L}_{\mathrm{focal}}+\lambda_{\mathrm{dim}}\|\hat{\mathbf{d}}-\mathbf{d}\|_{1}+\lambda_{\mathrm{pos}}\|\hat{\mathbf{p}}-\mathbf{p}\|_{1}+\lambda_{\mathrm{yaw}}\|\hat{\boldsymbol{\psi}}-\boldsymbol{\psi}\|_{1}, $$ 其中，$\mathcal{L}_{\mathrm{cls}}$ 是交叉熵损失（带有对背景类进行降权），$\mathcal{L}_{\mathrm{dice}}$ 和 $\mathcal{L}_{\mathrm{focal}}$ 是掩码损失，回归损失对尺寸、位置和偏航角使用 L1 损失。在中间解码器层添加辅助损失。权重默认设置为 (2.0, 5.0, 2.0, 0.1, 0.1, 0.1)，未匹配的查询分配背景权重 0.1。 ### 4.4 实现细节 簇大小设置为 $v = 0.02$ 米，感知工作空间为 $[-5, 5] \times [-5, 5] \times [-3, 3]$ 米，从而得到大小为 $500 \times 500$ 的鸟瞰图网格。编码器输出的特征维度为 $C_{\mathrm{enc}} = 64$。骨干网络是轻量级的 CustomSwinTransformer，具有四个阶段，步长为 (1, 2, 2, 2)，深度为 $(1, 1, 1, 1)$。基于掩码的解码器（SimpleMaskHead）使用 $N_q = 30$ 个对象查询，隐藏维度为 $C_{\mathrm{hid}} = 64$，四个 Transformer 解码器层和 256 个注意力头。分类头预测 $N_{\mathrm{cls}} = 9$ 个类别。 训练使用 AdamW 优化器 [^24]，初始学习率为 $5 \times 10^{-5}$，权重衰减为 $10^{-4}$，并使用余弦学习率调度，带有 plateau 预热。该算法在 --- 五个节点上进行训练，每个节点都配备两个 Intel Xeon 处理器，代号 Cascade Lake，每个处理器具有 20 个核心，运行速度为 2.1 GHz，并且包含四个 Nvidia A100 GPU，训练了 12k 次迭代，批次大小为 16。数据增强包括随机翻转、旋转、范围 dropout 和全局缩放抖动。在推理过程中，使用类概率阈值 0.8 过滤预测结果，并且由于进行了双向匹配，因此不应用非最大抑制。 ### 4.5 评估指标 我们使用标准的用于目标检测和实例分割的指标，并对其进行了修改，以在鸟瞰图空间中评估检测和分割。对于检测，我们使用基于掩码交并比 (IoU) 计算的平均精度 (AP) 指标，阈值为 0.25 和 0.50 (AP@0.25, AP@0.50)。对于分割，我们使用平均交并比 (mIoU)，对所有前景类别进行平均，将预测的掩码与正确检测到的对象的地面真实掩码进行比较。对于整体，我们使用 Panoptic Quality (PQ) [^25]，它结合了检测（RQ - 识别质量）和分割（SQ - 分割质量）的性能。 ### 4.6 结果 定量结果。由于训练数据的数量有限，我们的算法在真实世界的测试数据集上实现了 78.4% 的 AP@0.25，63.7% 的 AP@0.50，67.2% 的 mIoU 和 64.5% 的 PQ。 定性结果。图 1 和图 5 显示了来自测试集中具有代表性的场景的定性结果。可视化结果包括输入点云鸟瞰图投影、地面真实掩码以及叠加到鸟瞰图上的预测掩码。这些结果表明，该模型能够准确地检测到各种对象（包括静态家具和动态元素，例如机器人），并精确地描绘它们的轮廓，即使在具有遮挡的拥挤场景中也是如此。掩码预测比传统边界框更忠实地捕捉对象的形状。 ## 5 结论 我们提出了一种名为 IndoorBEV 的新颖框架，旨在利用激光雷达点云在复杂的室内环境中实现鲁棒的感知。 我们的方法解决了传统 3D 目标检测方法的局限性，特别是它们对边界框的依赖，而边界框在处理室内环境中常见的各种形状和杂乱无章的情况时存在困难。 我们的基于查询的解码器头部直接预测 BEV 空间中的实例足迹掩码，以及目标类别和 3D 姿态属性。 这种以掩码为中心的公式消除了对边界框回归的需要，从而使该框架能够准确地捕获各种物体的 2D 空间范围，而无需强几何先验。 通过预测掩码，IndoorBEV 提供了一种直接有利于下游机器人任务的表示，例如碰撞检测、路径规划和交互。 我们的实验是在一个结合模拟和真实世界室内激光雷达扫描的混合数据集上进行的，证明了 IndoorBEV 的有效性。 此外，IndoorBEV 可以在实时运行，这使其适用于在移动机器人平台上部署，以进行即时感知和决策。 这项工作开创了 BEV 感知在移动机器人上实现全面室内场景理解的应用。 它提供了一个统一的检测和分割解决方案，为在具有挑战性的室内环境中运行的自主系统提供了一个有价值的感知模块。 未来的研究方向包括结合时间信息以增强对动态对象的跟踪、探索 BEV 框架中的多模态融合，以及进一步优化以在计算资源受限的硬件上部署。 ## 感谢 本研究工作获得了欧盟委员会“地平线”玛丽·居里行动（MSCA）的资助，项目编号为 101072634，项目名称为 RAICAM。 --- ## 6 局限性 虽然 IndoorBEV 取得了有前景的成果，但仍然存在一些局限性，这些局限性突出了未来改进的重要方向： - 稀疏的点云输入。 我们移动机器人平台上采用的 MID-360 激光雷达传感器具有高便携性和广阔的视野，但会产生相对低密度的点云。 这种稀疏性会降低环境表示的分辨率，并可能对检测和分割性能产生负面影响，尤其是在复杂的或杂乱的室内环境中。 未来的工作可以通过集成更高分辨率的传感器或采用多传感器融合技术来实现更密集和更具信息量的扫描，而不会牺牲移动性。 • 有限的真实世界数据集多样性。 我们的真实世界训练数据仅来自五个室内环境，涵盖了有限的空间布局、物体类别和环境条件范围。 相对较小且同质的数据集可能会限制模型在未见或高度变化的室内场景中的泛化能力。 扩展数据集以包含更多样化的环境、动态对象和环境变化对于提高鲁棒性至关重要。 - 计算约束对移动平台的影响。移动机器人通常需要在严格的计算和功耗限制下运行，这限制了板载感知模型的复杂性。虽然 IndoorBEV 旨在实时处理，但在模型大小、速度和精度之间可能会出现权衡，这可能会导致导航过程中出现延迟或精度降低。为了缓解这种情况，未来的工作应探索模型压缩、量化和硬件加速推理技术，以在资源受限的环境中保持高性能。 通过系统地解决这些限制，IndoorBEV 可以进一步开发，用于在各种动态且计算受限的室内机器人应用中部署。 ## 7 未来工作 在 IndoorBEV 奠定的基础上，计划进行以下几个方面的未来研究： • 扩展的真实世界数据收集。我们将扩展我们的数据集，以包括更广泛的室内布局、物体类别和环境条件，使用各种配备不同传感器配置的移动平台。 - 广泛的比较评估。未来的工作将对比 IndoorBEV 与更广泛的基线，包括传统的 LiDAR 检测器、BEV 分割框架以及面向实时运行的室内感知系统。 - 真实世界的部署和优化。我们的目标是将 IndoorBEV 集成到完整的实时机器人导航系统中，从模拟过渡到物理部署。这涉及通过诸如模型剪枝、量化和流水线加速等技术优化板载推理，以确保低延迟、闭环运行。 这些未来的工作旨在进一步推进基于 BEV 的室内感知技术，使其在自主移动机器人的实际部署中更加可靠。 ## 8 附录 ### 8.1 数据增强 应用了广泛的预处理和增强： --- - 点云增强：随机洗牌、旋转、稀疏化、抖动、全局噪声注入和随机点删除。 - 对象级别增强：在位置、大小和偏航角上添加噪声；从预构建的对象数据库中采样和插入对象，并进行碰撞检查。 • 掩码增强：对 BEV 掩码进行额外的扰动，以模拟标签噪声。 ### 8.2 光线-物体交点测试的解析形式 几何交点方程 平面 $\mathbf{n}\cdot(\mathbf{o}+t\mathbf{d})+d=0$ 球体 在 $^{2}+bt+c=0$处求解，其中 $a=\|\mathbf{d}\|^{2}$、$b=2\mathbf{o}\cdot\mathbf{d}$、$c=\|\mathbf{o}\|^{2}-r^{2}$ 盒 通过分片法求解轴向上的交点区间 圆柱体 在 xy 平面上求解二次方程，并在 z 轴方向上添加高度边界 椭圆体 转换到单位球空间，然后求解为球体 胶囊 由圆柱体和半球体的交点组合 表 1：光线-物体交点测试的解析表达式。 ### 8.3 IndoorBEV：聚类编码和基于查询的掩码预测算法 ```pseudo // Algorithm 1: IndoorBEV: Cluster Encoding and Query-Based Mask Prediction ``` 1 输入：点云批次 $\{P_b\}_{b=1}^B$，其中 $P_b = \{p_i\}_{i=1}^{N_b}$、$p_i \in \mathbb{R}^d$。 2 参数：聚类大小 v，空间范围 $(x_{\text{range}}, y_{\text{range}}, z_{\text{range}})$，查询数量 $N_q$。 3 个模块：聚类分割 $\mathcal{V}$，AF-PCCN $\mathcal{E}_{pillar}$，BEVScatter $S_{bev}$，主干网络 $\mathcal{B}$，上采样器 $\mathcal{U}$，解码器头部 $\mathcal{H}_{\text{dec}}$。 4 Output: Detections per batch item: $\{\text{logits}_j, \text{dim}_{S_j}, \text{pos}_j, \text{yaw}_j, \text{mask}_j\}_{j=1}^{N_q}$. 5.开始： 1：初始化空列表，用于存储批处理的聚类 $V_{batch}$，坐标 $C_{batch}$，点数 $N_{p\_batch}$。 2：对于批处理中的每个点云 $P_b$， 3：$P_b^{filtered} \leftarrow \text{FilterInRange}(P_b, x_{\text{range}}, y_{\text{range}}, z_{\text{range}})$ % 移除超出范围的点 4：$V_b, C_b, N_{p\_b} \leftarrow \mathcal{V}(P_b^{filtered})$ % 聚类点 5：将 $V_b$ 添加到 $V_{batch}$，$N_{p\_b}$ 添加到 $N_{p\_batch}$。 6：将批处理索引添加到坐标 7：$C_{b\_padded} \leftarrow \text{PadBatchIndex}(C_b, b)$ % 将批处理索引添加到坐标 8：添加 for 9：将 $C_{b\_padded}$ 添加到 $C_{batch}$。 10: 添加 $C \leftarrow \text{Concatenate}(V_{batch})$ % 合并批次中的簇 11: 添加 $N_p$ 到 $N_{p\_batch}$ % 合并坐标 12: 添加 $C_{axis} \leftarrow \mathcal{E}_{compact}(V, N_p, C)$ % 合并点数 13: 添加 $F_{bev} \leftarrow S_{bev}(F_{axis}, C, B)$ % 提取每个紧凑内容的功能 14: 添加 $F_{bev} \leftarrow \text{LayerNorm}(F_{bev})$ % 将轴向特征散布到 BEV 网格 15: 添加 $F_{backbone} \leftarrow \mathcal{B}(F_{bev})$ % 归一化 BEV 地图 16: 添加 $F_{upsampled} \leftarrow \mathcal{U}(F_{backbone})$ % 使用骨干网络处理 BEV 地图 17: 添加 $L_{cls}, D, P, Y, M \leftarrow \mathcal{H}_{dec}(F_{upsampled})$ % 将特征通过基于查询的解码器头部传递 18: Add $F_{bev} \leftarrow \text{LayerNorm}(F_{bev})$ Add the $F_{bev}$ to the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $F_{bev}$ value of the $ F_{ --- ![Image](images/a512ae5f55a3e47275ce4fb30d2eaa9dac6abbb617c2ac548b17abf52efd2ea1.jpg)
Figure 5: Results of IndoorBEV: The first column represents the raw 3D point clouds as each input. The second column is the axis fusion result of each correlated input. The third column illustrates the predicted mask of each objects in each secnes. The last column is the final BEV result of each input
## 参考文献 [^1]: B. Xu, A. Tao, H. Thomas, J. Zhang, and T. D. Barfoot. Makeway: Object-aware costmaps for proactive indoor navigation using lidar, 2024. URL . ## [^2]: Z. Xu, H. Shen, X. Han, H. Jin, K. Ye, and K. Shimada. Lv-dot: Lidar-visual dynamic obstacle detection and tracking for autonomous robot navigation, 2025. URL --- [^3]: Z. Li, W. Wang, H. Li, E. Xie, C. Sima, T. Lu, Y. Qiao, and J. Dai. Bevformer: Learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers. In Computer Vision – ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part IX, page 1–18, Berlin, Heidelberg, 2022. Springer-Verlag. ISBN 978-3-031-20076-2. doi:10.1007/978-3-031-20077-9_1. URL . [^4]: H. Li, C. Sima, J. Dai, W. Wang, L. Lu, H. Wang, J. Zeng, Z. Li, J. Yang, H. Deng, H. Tian, E. Xie, J. Xie, L. Chen, T. Li, Y. Li, Y. Gao, X. Jia, S. Liu, J. Shi, D. Lin, and Y. Qiao. Delving into the devils of bird's-eye-view perception: A review, evaluation and recipe. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(4):2151–2170, 2024. doi:10.1109/TPAMI.2023.3333838. [^5]: Z. Lin, Y. Wang, S. Qi, N. Dong, and M.-H. Yang. Bev-mae: Bird's eye view masked autoencoders for point cloud pre-training in autonomous driving scenarios. arXiv preprint arXiv:2212.05758, 2022. [^6]: S. Mohapatra, S. Yogamani, H. Gotzig, S. Milz, and P. Mader. Bevdetnet: bird's eye view lidar point cloud based real-time 3d object detection for autonomous driving. In 2021 IEEE International Intelligent Transportation Systems Conference (ITSC), pages 2809–2815. IEEE, 2021. [^7]: R. Ma, C. Chen, B. Yang, D. Li, H. Wang, Y. Cong, and Z. Hu. Cg-ssd: Corner guided single stage 3d object detection from lidar point cloud. ISPRS Journal of Photogrammetry and Remote Sensing, 191:33–48, 09 2022. doi:10.1016/j.isprsjprs.2022.07.006. [^8]: G. Raut and A. Patole. End-to-end 3d object detection using lidar point cloud, 2023. URL . [^9]: A. Barrera, C. Guindel, J. Beltrán, and F. García. Birdnet+: End-to-end 3d object detection in lidar bird's eye view. In 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), page 1–6. IEEE Press, 2020. doi:10.1109/ITSC45102.2020.9294293. URL . [^10]: X. Zhao, X. Zhang, D. Yang, M. Sun, M. Li, S. Wang, and L. Zhang. Maskbev: Towards a unified framework for bev detection and map segmentation. In Proceedings of the 32nd ACM International Conference on Multimedia, pages 2652–2661, 2024. [^11]: Y. Wang, T. Meinhardt, O. Cetintas, C.-Y. Yang, S. S. Pusegaonkar, B. Missaoui, S. Biswas, Z. Tang, and L. Leal-Taixé. Bev-sushi: Multi-target multi-camera 3d detection and tracking in bird's-eye view. arXiv preprint arXiv:2412.00692, 2024. [^12]: A. Chen, K. Zhang, R. Zhang, Z. Wang, Y. Lu, Y. Guo, and S. Zhang. Pimae: Point cloud and image interactive masked autoencoders for 3d object detection, 2023. URL . [^13]: Y. Zhou and O. Tuzel. Voxelnet: End-to-end learning for point cloud based 3d object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018. doi:10.1109/CVPR.2018.00472. [^14]: C. Qi, H. Su, K. Mo, and L. J. Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. ## [^15]: C. Hwang, W. Cui, Y. Xiong, Z. Yang, Z. Liu, H. Hu, Z. Wang, R. Salas, J. Jose, P. Ram, J. Chau, P. Cheng, F. Yang, M. Yang, and Y. Xiong. Tutel: Adaptive mixture-of-experts at scale, 2022 --- [^16]: N. Carion, F. Massa, G. Synnaeve, N. Usunier, A. Kirillov, and S. Zagoruyko. End-to-end object detection with transformers. In A. Vedaldi, H. Bischof, T. Brox, and J.-M. Frahm, editors, Computer Vision – ECCV 2020, pages 213–229, Cham, 2020. Springer International Publishing. ISBN 978-3-030-58452-8. [^17]: B. Cheng, I. Misra, A. G. Schwing, A. Kirillov, and R. Girdhar. Masked-attention mask transformer for universal image segmentation. 2022. [^18]: E. Todorov, T. Erez, and Y. Tassa. Mujoco: A physics engine for model-based control. In 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 5026–5033. IEEE, 2012. doi:10.1109/IROS.2012.6386109. [^19]: Y. Hu, T.-M. Li, L. Anderson, J. Ragan-Kelley, and F. Durand. Taichi: a language for high-performance computation on spatially sparse data structures. ACM Transactions on Graphics (TOG), 38(6):1–16, 2019. [^20]: E. Li, S. Wang, C. Li, D. Li, X. Wu, and Q. Hao. Sustech points: A portable 3d point cloud interactive annotation platform system. In 2020 IEEE Intelligent Vehicles Symposium (IV), pages 1108–1115, 2020. doi:10.1109/IV47402.2020.9304562. [^21]: A. Geiger, P. Lenz, and R. Urtasun. Vision meets robotics: The kitti dataset. International Journal of Robotics Research, 32(11):1231–1237, 2013. [^22]: O. Robotics. Robot operating system 2 (ros2). , 2017–present. Accessed: 2025-04-27. [^23]: H. W. Kuhn. The Hungarian Method for the Assignment Problem. Naval Research Logistics Quarterly, 2(1–2):83–97, March 1955. doi:10.1002/nav.3800020109. [^24]: I. Loshchilov and F. Hutter. Decoupled weight decay regularization. In International Conference on Learning Representations, 2019. URL . [^25]: A. Kirillov, K. He, R. Girshick, C. Rother, and P. Dollár. Panoptic segmentation. In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9396–9405, 2019. doi:10.1109/CVPR.2019.00963.