{
  "paper_id": "07252d26fbcf3821cc68390df6df04c7",
  "paper_title": "CNOS: A Strong Baseline for CAD-based Novel Object Segmentation",
  "paper_authors": [
    "Van Nguyen Nguyen",
    "Thibault Groueix",
    "Georgy Ponimatkin",
    "Vincent Lepetit",
    "Tomas Hodan"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)",
  "abstract": "本文提出一种简单而强大的方法，仅利用物体的CAD模型在RGB图像中分割新物体。该方法借助基础模型Segment Anything和DINOv2，在输入图像中生成分割候选，并将其与使用CAD模型预渲染的物体模板进行匹配；匹配通过比较候选区域和模板的DINOv2 cls token完成。方法输出一组分割掩码，并根据匹配分数为每个掩码赋予对应物体的置信度。实验表明，该方法在BOP挑战七个核心数据集的基于CAD模型的新物体分割任务上达到当前最优水平，比Chen等人的方法绝对提升19.8% AP。\n",
  "keywords": [
    "基于CAD模型的新物体分割",
    "零样本分割",
    "Segment Anything",
    "FastSAM",
    "DINOv2",
    "模板匹配",
    "BOP挑战",
    "6D位姿估计"
  ],
  "paper_institutions": [
    "LIGM, École des Ponts",
    "Adobe",
    "Reality Labs at Meta"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:56.055718Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对监督式物体检测与分割方法需要为每个目标物体采集或合成大量数据并重新训练，难以支持物流仓储、机器人和增强现实中快速引入新物体的问题，本文提出无需训练的CNOS。现有Template-Pose、MegaPose等方法主要解决给定2D边界框后的6D位姿估计，而许多RGB-D或立体视觉方法又依赖深度信息；CNOS则仅使用单张RGB图像和目标物体CAD模型完成新物体分割。其核心机制分为三步：首先在接入阶段从Blender二十面体球定义的42个均匀视角渲染CAD模板，使用真实边界框裁剪并提取DINOv2 cls token，得到维度为$N_o\\times V\\times C$的模板描述符，默认$V=42$、$C=1024$；然后在候选阶段用SAM或FastSAM生成无标签掩码，去除背景、缩放填充到$224\\times224$后提取维度为$N_p\\times C$的候选描述符；最后在匹配阶段计算余弦相似度，即$S_{i,o,v}=\\cos(D^p_i,D^r_{o,v})$，并用$Mean_k$（$k=5$）聚合每个物体的最高五个视角相似度，再通过$o_i=\\arg\\max_o$和$s_i=\\max_o$输出带标签的模态掩码$\\{M_i,o_i,s_i\\}$，实验中置信度阈值设为0.5。选择DINOv2是因为其能缩小真实图像与合成模板之间的域差距，BlenderProc基于物理的真实渲染则可进一步缓解该差距。实验在BOP挑战七个核心数据集LM-O、T-LESS、TUD-L、IC-BIN、ITODD、HB和YCB-V上进行，共覆盖132个具有纹理或无纹理、对称或非对称、家用或工业等属性的物体，场景包含杂乱与遮挡；评价遵循COCO/BOP协议，使用IoU从0.50到0.95的平均精度AP；实现中输入图像宽统一缩放为640像素，分割器采用默认ViT-H SAM或FastSAM，描述符采用默认ViT-H DINOv2，并在单张V100 GPU上测试。结果显示，CNOS（FastSAM + BlenderProc）平均AP达到41.2%，比Chen等人的21.4%绝对提升19.8%，并超过使用真实数据训练的Mask R-CNN（39.2%），但低于监督式ZebraPose的57.8%；真实渲染使SAM版本AP从36.1%提升到40.4%，42个视角已足够，增加到162个没有收益，$Mean_k$在均值、中位数、最大值等聚合方式中表现最好。运行时间方面，FastSAM候选阶段约0.22秒、匹配约0.12秒，Pyrender接入每个模型约1.22秒，而BlenderProc接入约42.1秒，说明真实渲染会增加一次性接入成本。定性分析表明SAM/FastSAM通常能产生对齐良好的掩码，主要错误来自DINOv2对候选区域的分类；DINOv2 cls token适合识别物体身份却不能可靠估计位姿，因此改进候选分类和位姿相关表征是后续方向。该方法适用于需要快速接入新产品的机器人、仓储和AR场景，约束是需要目标CAD模型、仅处理单张RGB输入、输出可见区域模态掩码，并且性能受候选掩码质量、分类置信度阈值和合成渲染真实感限制；其框架也可在无CAD的单样本或少样本分割中用参考图像描述符替代渲染模板。\n\n### 关键要点\n\n- CNOS是一种无需针对新物体重新训练的基于CAD模型的RGB新物体分割方法，可作为6D位姿估计流水线的前置检测分割模块。\n- 接入阶段默认从二十面体球定义的42个均匀视角渲染CAD模型，并使用DINOv2 cls token表示每个模板。\n- 候选阶段使用SAM或FastSAM生成无标签分割掩码，经背景移除、缩放和填充到224×224后批量提取DINOv2描述符。\n- 匹配阶段通过余弦相似度比较候选区域与渲染模板，并采用top-5相似度均值$Mean_k$聚合多视角分数。\n- 每个候选最终通过argmax分配物体ID，通过max获得置信度，输出由模态掩码、物体ID和置信度组成的标签结果。\n- 实验覆盖BOP七个核心数据集的132个物体，包含杂乱、遮挡、无纹理、对称和工业物体等多种挑战。\n- 评价指标为COCO风格的BOP AP，即IoU阈值0.50至0.95范围内的平均精度。\n- CNOS（FastSAM + BlenderProc）平均AP为41.2%，比Chen等人的21.4%绝对提高19.8%，并超过真实数据训练的Mask R-CNN。\n- BlenderProc真实渲染相比Pyrender可为SAM版本带来4.3% AP提升，说明缩小合成与真实图像域差距有效。\n- 消融实验显示42个视角已提供充分的三维覆盖，增加到162个视角没有提升，且$Mean_k$是测试中最佳聚合函数。\n- CNOS的主要错误通常不是候选掩码定位不准，而是DINOv2对候选区域的物体分类错误；DINOv2 cls token可识别身份但不能可靠估计位姿。"
}