# MV-DETR: 基于多视图检测Transformer的多模态室内物体检测 $^{*}$注意：技术报告版本 1^{st} 董子超 UDeer.ai 2^{nd} 张艺琳 浙江大学 6^{th} 辛 占 UDeer.ai 3^{rd} 黄旭峰 UDeer.ai 4^{th} 姬航 5^{th} 占展 UDeer.ai 浙江大学 7^{th} 陈俊博 * UDeer.ai 摘要：我们介绍了一种新型的 MV-DETR 流程，该流程在高效的同时，也具有很强的性能。对于输入的 RGBD 数据，我们注意到 RGB 数据具有非常强的预训练权重，而与深度相关的数据效果较差。首先，我们认为几何和纹理线索都至关重要，但可以分别编码。其次，我们发现与 3D 空间中的几何特征相比，视觉纹理特征的提取相对困难。不幸的是，包含数千个数据的单个 RGBD 数据集不足以用于训练和区分视觉纹理特征提取的过滤器。最后，我们设计了一个轻量级的 VG 模块，该模块由视觉纹理编码器、几何编码器和 VG 连接器组成。 与以前的先进技术相比，例如 V-DETR [^18]，可以观察到预训练的视觉编码器带来的优势。在 ScanNetV2 数据集上的广泛实验表明了我们方法的有效性。值得一提的是，我们的方法在 ScanNetV2 基准测试中达到了 78% 的 AP，创造了新的最先进水平。 关键词：室内物体检测，多模态物体检测。 ## 1. 引言 物体检测是感知中的一项重要任务，尤其适用于自动驾驶和具身人工智能。然而，具有多模态输入的 3D 空间中的物体检测是当今的热点话题。原因在于，3D 空间中的检测结果可以直接用于诸如导航和规划等下游模块。而 2D 图像空间中的检测结果需要通过视图转换算法转换为 3D 空间，这不可避免地会降低精度。此外，多模态输入可以提供更多信息，这对于物体检测任务非常有帮助。 与相机或激光雷达相比，深度相机可以提供充足且准确的信息，包括几何和视觉上下文。因此，深度相机通常用于室内感知任务，例如物体检测和分割。然而，在从原始传感器接收 RGBD 数据作为输入时，大多数以前的工作会联合提取 RGBD 中的特征，而没有利用现代视觉基础模型的预训练。在我们的工作中，我们提出了一种简单而有效的 VG 模块，用于并行提取几何和视觉纹理特征。 我们的贡献可以总结如下： 1. 利用现代强大的视觉预训练权重，以获得具有区分性的视觉纹理特征。 2. 一个简单的融合层，用于关联每个点的视觉和几何特征。 ### 2. 相关工作 3. 在 ScanNetV2 物体检测基准测试中取得新的最先进结果。 ### A. 多模态目标检测 在3D感知领域，基于点云的方法传统上是主要方法。这些方法可以分为基于点的方法和基于体素的方法。基于点的方法，例如PointNet++和PTV3 [^20]，可以有效地从点云中提取原始几何特征，但由于需要识别相邻关系，计算量很大。这种方法特别适用于室内3D感知任务，因为在室内环境中，详细的几何信息至关重要。另一方面，基于体素的方法将3D空间离散化为体素网格，从而实现结构化数据处理。然而，这些方法受到体素化的计算需求的限制，通常需要采用鸟瞰图（BEV）假设。该假设通过将3D空间投影到2D平面来简化3D感知，其中物体具有相同的x和y坐标，这使其适用于户外应用。 虽然基于点云的方法在捕捉物体的几何特性方面表现出色，但在语义区分方面不如基于视觉的方法。基于视觉的方法，特别是使用相机数据的图像方法，在将2D图像特征转换为3D空间方面取得了显著进展。 --- 通过BEV表示。例如，BEVFormer [^7]通过网格形状的BEV查询来集成空间和时间特征，而BEVDepth [^6]引入了基于相机的深度估计模块，以提高3D检测精度。此外，基于稀疏查询的范式利用从代表性数据派生的全局对象查询，从而能够高效地进行3D边界框预测，并且在推理过程中具有最小的计算开销。最近的进展探索了点云和相机数据的融合，以利用两种模态的优势。基于BEV的方法特别有前景，因为它们能够有效地将相机和LiDAR数据集成到一个统一的BEV表示中，并使用2D卷积进行各种3D感知任务。然而，这些方法，特别是那些采用LSS [^10]（升采样-铺展-射击）投影的方法，面临校准困难和逆问题的病态性问题。 ### B. BEVFusion BEVFusion [^8]是一种用于自动驾驶的3D感知的、高效的多任务多传感器融合框架。它创新地在共享的鸟瞰图（BEV）空间中统一了相机和LiDAR特征，从而保留了几何和语义信息。其主要组件包括一个优化的BEV池化算子，该算子可以加速相机到BEV的转换，以及一个卷积BEV编码器，该编码器可以提取与任务无关的特征，用于下游的任务特定头。BEVFusion在自动驾驶的多传感器融合方面树立了新的基准，它提供了一个全面的解决方案，通过有效地将多模态数据集成到一个统一的表示中，在效率和性能之间取得平衡，从而增强了3D感知能力。 ### C. 视图变换 从RGB-D图像生成彩色点云是计算机视觉和3D重建中的一项基本技术。此过程涉及将深度信息和相应的RGB值转换为全面的3D表示。相机的内参，如焦距和主点，对于准确地将深度图像像素映射到3D坐标至关重要。深度图像中的每个像素都会被转换为一个3D点，并从中提取其对应的颜色信息。生成的点云不仅捕获了空间结构，还保留了颜色信息，从而可以创建更详细、更真实的3D模型。 ### D. PointNet++ PointNet++ [^13] 扩展了PointNet [^12]，通过引入分层特征学习框架来捕获点集中局部结构。它递归地对输入点集的嵌套分区应用PointNet，从而在不同的尺度上学习特征。该架构由集合抽象层组成，这些层将点分组为重叠的局部区域，并使用PointNet对其进行编码。PointNet++在捕获精细的几何细节和局部结构方面，比其前身有了显着的改进，这使其成为3D点云处理领域的重要进步。 ### E. EfficientViT 基于相机的感知任务可以提供关于3D世界的相对准确的信息，尤其是在模型配备高分辨率密集预测功能时。然而，挑战在于实现这种高分辨率预测所需的显着计算资源和处理时间。 最近，视觉Transformer领域的进展通过优化效率、同时又不牺牲性能来解决了这些挑战。一项值得注意的进展是EfficientViT [^9]，这是一系列专门设计用于高效高分辨率密集预测的新型视觉Transformer模型。EfficientViT引入了一种新颖的多尺度线性注意力模块，该模块支持全局感受野和多尺度学习，同时保持硬件效率。这种创新使得处理高分辨率任务更加可扩展和有效，使其成为基于相机3D感知的持续发展中的一种有前景的方法。 ### F. V-DETR 最近，基于Transformer的架构被应用于点云数据，在3D目标检测领域取得了进展。一个值得注意的贡献是V-DETR [^18]，它引入了一种新的3D顶点相对位置编码（3DV-RPE）方案，以增强稀疏3D数据中的局部建模。Shen等人 [^18] 证明，将DETR [^1] 直接应用于3D检测会产生次优结果，因为该模型无法从有限的训练数据中学习准确的归纳偏差。为了解决此限制，他们提出了3DV-RPE，该方法基于预测的3D边界框顶点计算位置编码，从而为注意力机制提供明确的指导，使其能够关注相关的局部区域。值得注意的是，V-DETR通过不依赖于许多现有方法中常见的复杂操作（如体素扩展）[^15]，[^19]，实现了这些改进。这表明基于DETR的方法有可能统一室内和室外3D检测架构，这是一个长期存在的挑战。 ### III. METHOD ### A. Overview 我们的 MV-DETR 主要由四个主要组件构成：几何编码器、视觉纹理编码器、连接器和检测解码器。 简而言之，两个点嵌入模块将从 3D 空间和透视视图中提取精确特征，然后通过融合层作为连接器馈送到检测模块。 下面的部分将详细描述。 MV-DETR 的流程图如图 1 所示。 详细信息和实验结果将在以下部分中说明。 ### B. 几何编码器 类似于 PointNet [^12] 和 PointNet++ [^13]，我们使用一个 3D 空间中的点级编码器作为我们的几何编码器。 值得注意的是，我们仅使用 xyz 作为此模块的输入。 上述 xyz 通过深度和相机内参在相机坐标系中进行转换。 首先，我们使用一个点嵌入层将 xyz 投影到一个具有 d 维度的单个点特征。 之后，每个点通过 MLP 与其 k 个最近邻居在欧几里得空间中进行通信。 --- ![Image](images/ee2323e4a6e7e762f82177f8819476260d5a7472146dbc53c2f1b04fda752176.jpg)
Fig. 1. Pipeline of MV-DETR. The MV-DETR is mainly constructed by four main components: geometry encoder, visual texture encoder, connector and detection decoder.
在我们的设计中，此层旨在提取诸如形状之类的低级几何特征，同时保持准确的 3D 位置信息。 其中，深度表示深度图，K 表示相机的内参矩阵。 $$ \begin{pmatrix}X\\Y\\Z\end{pmatrix}=Depth(u,v)\cdot K^{-1}\begin{pmatrix}u\\v\\1\end{pmatrix} $$ ### C. 视觉纹理编码器 ### C. 视觉纹理编码器 除了几何特征，视觉纹理特征无疑对物体识别非常有用。此外，受益于大型图像预训练数据集，如ImageNet [^17] 和ADE20k [^22]，与从头开始训练相比，视觉纹理模式可以得到更好的学习。 众所周知，即使在零样本情况下，物体在RGB域中也更容易被识别，例如CLIP [^14]。 我们使用EfficientViT [^9] 块作为我们的实现，并从ADE20k分割数据集借用预训练模型。 ### D. VG 连接器 对于shot，VG分别代表视觉和几何。 我们的连接器类似于以前的多模态融合模型，如BEVFusion [^8]。 采用点级别的几何特征和视觉纹理特征作为输入，这两个特征在通道维度上连接，然后输入到MLP中。 激活函数和归一化也进行了处理。 在我们的实验中，我们发现简单的MLP层足以用于几何和视觉融合任务。 ### E. 用于物体检测的解码器 我们的方法采用与V-DETR中用于3D物体检测的方法一致的解码器架构。 相似 ![Image](images/2a402a963420b887989021b942bdadb7b54f4d5fcd86a34588bb38c4e673c750.jpg)
Fig. 2. Components of VG Connector. We only use simple linear layer as adaptor to fuse feature from multiple domain.
to V-DETR，我们的框架使用一组可学习的3D对象查询，包括内容查询和位置查询，这些查询通过Transformer解码器的多层进行处理，以逐步细化对象表示。此外，我们还在每个解码器层的交叉注意力机制中集成了3D顶点相对位置编码（3DV-RPE）[^18]。该编码计算每个点相对于预测的3D边界框顶点的相对位置，从而引导注意力机制关注相关的局部区域。3DV-RPE是在规范的对象空间中计算的，以确保编码的一致性，无论对象方向如何。 此外，我们的方法还结合了一个轻量级的feed-forward网络（FFN），用于预测初始的3D边界框，这些边界框随后通过解码器层进行迭代优化。这种设计使我们的模型能够有效地捕捉稀疏3D点云中的局部信息，从而解决了将naive的DETR方法应用于3D检测任务所固有的挑战。最终，解码器的输出用于预测最终的3D边界框和对象分类。 ---
MethodScanNetV2
$AP_{{25}}$$AP_{{50}}$
TR3D [^16]72.959.3
Point-GCC+TR3D [^2]73.159.6
SPGroup3D [^23]74.359.6
CAGroup3D [^19]75.161.3
Swin3D-L+CAGroup3D [^21]76.463.2
OneFormer3D [^4]76.965.3
V-DETR [^18]77.865.9
MV-DETR(Ours)78.065.8
TABLE I
与最先进方法的比较（在SCANNETV2数据集上）。 ### IV. 实验 ### A. 数据集 我们使用ScanNetV2数据集验证我们提出的MV-DETR方法。 1) ScanNetv2：ScanNetv2包含1613个室内场景，其中1201个用于训练，312个用于验证，100个用于测试。它由从各种室内场景中捕获的RGB-D视频中恢复的3D网格组成。它包含约12000个训练网格和312个验证网格，每个网格都带有约18个对象的语义和实例分割掩码。我们遵循[^11]从网格中提取点云。 ### B. 实施细节 1) 几何编码器：在几何编码器中，每个点被投影为16维特征向量。此外，我们在k近邻搜索步骤中设置k=5。我们的MV-DETR中，KNN通信层会重复两次。我们使用GELU [^5]作为激活函数，BN [^3]作为归一化函数。 2) 视觉纹理编码器：为了提高效率，我们使用EfficientViT-b0版本作为我们的基本架构，该架构是在ADE20k数据集上预训练的。值得注意的是，我们仅使用前两个块来提取纹理特征。通过此层后，每个点被投影为16维特征向量。 3) VG连接器：如上所述，视觉纹理模块和几何编码器模块都为每个点输出一个16维特征向量。我们首先将它们连接为32维特征向量。随后是一个包含32个感知器的MLP层。 ### C. 数量化评估 表I显示了在ScanNetV2数据集上的定量结果。 --- [^1]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In European conference on computer vision, pages 213–229. Springer, 2020. [^2]: Guofan Fan, Zekun Qi, Wenkai Shi, and Kaisheng Ma. Point-gcc: Universal self-supervised 3d scene pre-training via geometry-color contrast. arXiv preprint arXiv:2305.19623, 2023. [^3]: Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift, 2015. [^4]: Maxim Kolodiazhnyi, Anna Vorontsova, Anton Konushin, and Danila Rukhovich. Oneformer3d: One transformer for unified point cloud segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20943–20953, 2024. [^5]: Minhyeok Lee. Gelu activation function in deep learning: A comprehensive mathematical analysis and performance, 2023. [^6]: Yinhao Li, Zheng Ge, Guanyi Yu, Jinrong Yang, Zengran Wang, Yukang Shi, Jianjian Sun, and Zeming Li. Bevdepth: Acquisition of reliable depth for multi-view 3d object detection, 2022. [^7]: Zhiqi Li, Wenhai Wang, Hongyang Li, Enze Xie, Chonghao Sima, Tong Lu, Qiao Yu, and Jifeng Dai. Bevformer: Learning bird's-eye-view representation from multi-camera images via spatiotemporal transformers, 2022. [^8]: Tingting Liang, Hongwei Xie, Kaicheng Yu, Zhongyu Xia, Zhiwei Lin, Yongtao Wang, Tao Tang, Bing Wang, and Zhi Tang. Bevfusion: A simple and robust lidar-camera fusion framework, 2022. [^9]: Xinyu Liu, Houwen Peng, Ningxin Zheng, Yuqing Yang, Han Hu, and Yixuan Yuan. Efficientvit: Memory efficient vision transformer with cascaded group attention, 2023. [^10]: Jonah Philion and Sanja Fidler. Lift, splat, shoot: Encoding images from arbitrary camera rigs by implicitly unprojecting to 3d, 2020. [^11]: Charles R Qi, Or Litany, Kaiming He, and Leonidas J Guibas. Deep hough voting for 3d object detection in point clouds. In proceedings of the IEEE/CVF International Conference on Computer Vision, pages 9277–9286, 2019. [^12]: Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation, 2017. [^13]: Charles R. Qi, Li Yi, Hao Su, and Leonidas J. Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space, 2017. [^14]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision, 2021. [^15]: Danila Rukhovich, Anna Vorontsova, and Anton Konushin. Fcaf3d: Fully convolutional anchor-free 3d object detection. In European Conference on Computer Vision, pages 477–493. Springer, 2022. [^16]: Danila Rukhovich, Anna Vorontsova, and Anton Konushin. Tr3d: Towards real-time indoor 3d object detection. In 2023 IEEE International Conference on Image Processing (ICIP), pages 281–285. IEEE, 2023. [^17]: Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg, and Li Fei-Fei. Imagenet large scale visual recognition challenge, 2015. [^18]: Yichao Shen, Zigang Geng, Yuhui Yuan, Yutong Lin, Ze Liu, Chunyu Wang, Han Hu, Nanning Zheng, and Baining Guo. V-detr: Detr with vertex relative position encoding for 3d object detection. arXiv preprint arXiv:2308.04409, 2023. [^19]: Haiyang Wang, Lihe Ding, Shaocong Dong, Shaoshuai Shi, Aoxue Li, Jianan Li, Zhenguo Li, and Liwei Wang. Cagroup3d: Class-aware grouping for 3d object detection on point clouds. Advances in Neural Information Processing Systems, 35:29975–29988, 2022. [^20]: Xiaoyang Wu, Li Jiang, Peng-Shuai Wang, Zhijian Liu, Xihui Liu, Yu Qiao, Wanli Ouyang, Tong He, and Hengshuang Zhao. Point transformer v3: Simpler, faster, stronger, 2024. [^21]: Yu-Qi Yang, Yu-Xiao Guo, Jian-Yu Xiong, Yang Liu, Hao Pan, Peng-Shuai Wang, Xin Tong, and Baining Guo. Swin3d: A pretrained transformer backbone for 3d indoor scene understanding. arXiv preprint arXiv:2304.06906, 2023. [^22]: Bolei Zhou, Hang Zhao, Xavier Puig, Tete Xiao, Sanja Fidler, Adela Barriuso, and Antonio Torralba. Semantic understanding of scenes through the ade20k dataset, 2018. [^23]: Yun Zhu, Le Hui, Yaqi Shen, and Jin Xie. Spgroup3d: Superpoint grouping network for indoor 3d object detection. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 38, pages 7811–7819, 2024.