{
  "paper_id": "0137d01fb0b4a549c2320303d2cc8b00",
  "paper_title": "MV-DETR: Multi-modality indoor object detection by Multi-View DEtecton TRansformers",
  "paper_authors": [
    "Zichao Dong",
    "Yilin Zhang",
    "Xufeng Huang",
    "Hang Ji",
    "Zhan Shi",
    "Xin Zhan",
    "Junbo Chen"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "We introduce a novel MV-DETR pipeline which is effective while efficient transformer based detection method. Given input RGBD data, we notice that there are super strong pretraining weights for RGB data while less effective works for depth related data. First and foremost, we argue that geometry and texture cues are both of vital importance while could be encoded separately. Secondly, we find that visual texture feature is relatively hard to extract compared with geometry feature in 3d space. Unfortunately, single RGBD dataset with thousands of data is not enough for training an discriminating filter for visual texture feature extraction. Last but certainly not the least, we designed a lightweight VG module consists of a visual textual encoder, a geometry encoder and a VG connector. Compared with previous state of the art works like V-DETR, gains from pretrained visual encoder could be seen. Extensive experiments on ScanNetV2 dataset shows the effectiveness of our method. It is worth mentioned that our method achieves 78% AP which creates new state of the art on ScanNetV2 benchmark.\n",
  "keywords": [
    "Indoor object detection",
    "multi-modality object detection"
  ],
  "paper_institutions": [
    "UDeer.ai",
    "Zhejiang University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "deepseek-v4-flash",
  "prompt_template": "simple",
  "extracted_at": "2026-08-18T10:30:20.053208Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对室内三维多模态目标检测问题，提出 MV-DETR 管线。与仅依赖点云或难以利用视觉预训练模型的方法相比，现有 RGBD 检测通常联合提取特征，无法充分利用 RGB 强预训练权重；本文认为几何线索与纹理线索应分别编码，并针对单 RGBD 数据集规模不足导致视觉纹理特征难以学习的问题，设计轻量 VG 模块，由视觉纹理编码器（基于 EfficientViT，使用 ADE20k 预训练）、几何编码器（基于 PointNet/PointNet++ 风格，仅输入 xyz）和 VG 连接器（拼接后经 MLP 融合）组成。核心机制包括将深度图与相机内参转换为三维坐标的公式（X, Y, Z）^T = Depth(u,v) · K^{-1} · (u, v, 1)^T，以及采用 V-DETR 的 3DV-RPE 解码器进行检测。在 ScanNetV2 上，1201 训练场景、312 验证场景，几何编码器输出 16 维特征、KNN k=5、重复两次，视觉编码器使用 EfficientViT-b0 前两块输出 16 维特征，连接器拼接为 32 维后经 MLP；实验表明 MV-DETR 达到 78.0 AP_25 和 65.8 AP_50，在 AP_25 上超越 V-DETR 等现有方法，创造 ScanNetV2 新纪录。未来可探索统一室内外 3D 检测架构；该方法面向自主驾驶与具身智能等真实场景，受限于深度相机室内感知和有限 RGBD 数据，但通过分离几何与视觉纹理编码并复用视觉预训练权重来缓解约束。\n\n### 关键要点\n\n- MV-DETR 由几何编码器、视觉纹理编码器、连接器和检测解码器四个主要组件构成，分别从三维空间和透视视图提取特征，再经融合层送入检测模块。\n- 几何编码器仅使用由深度图和相机内参转换得到的 xyz 坐标，通过点嵌入层和 k 近邻（k=5）MLP 通信层提取形状等低层几何特征，并保留准确的三维位置信息。\n- 视觉纹理编码器采用 EfficientViT-b0 作为基础架构，并使用 ADE20k 分割数据集上的预训练权重，仅取前两个 block 为每个点提取 16 维纹理特征。\n- VG 连接器将几何特征与视觉纹理特征在通道维度拼接为 32 维向量，再通过一个含 32 个神经元的 MLP 层完成融合；实验发现简单 MLP 层足以胜任几何与视觉特征的融合。\n- 检测解码器沿用 V-DETR 的 3D 可学习查询和 3D Vertex Relative Position Encoding (3DV-RPE)，在 canonical object space 中计算点相对于预测 3D 包围盒顶点的位置编码，以引导注意力关注相关局部区域。\n- 实验在 ScanNetV2 数据集上进行，该数据集包含 1613 个室内场景，其中 1201 个用于训练、312 个用于验证、100 个用于测试，点云从 RGB-D 视频重建的网格中提取。\n- 实现细节上，几何编码器将每个点投影为 16 维特征，KNN 通信层重复两次，激活函数使用 GELU，归一化使用 BatchNorm；视觉纹理编码器输出也是 16 维。\n- 在 ScanNetV2 基准上，MV-DETR 达到 78.0 AP_25 和 65.8 AP_50，其中 AP_25 超过 V-DETR 的 77.8，创造新的 state-of-the-art 结果。\n- 与 TR3D、Point-GCC+TR3D、SPGroup3D、CAGroup3D、OneFormer3D 等方法相比，MV-DETR 在 AP_25 上最高，但 AP_50 略低于 V-DETR 的 65.9，说明高 IoU 下的精度仍有提升空间。\n- 该方法面向自主驾驶和具身智能等真实场景，深度相机可同时提供几何与视觉上下文；但单个 RGBD 数据集只有数千规模，不足以从头训练判别性视觉纹理特征，因此复用 RGB 预训练权重是关键约束缓解手段。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}