{
  "paper_id": "2df5f70d78d8d51b678b17bf275770c4",
  "paper_title": "Invisible Marker: Automatic Annotation of Segmentation Masks for Object Manipulation",
  "paper_authors": [
    "Kuniyuki Takahashi",
    "Kenta Yonekura"
  ],
  "publication_date": "",
  "publication_venue": "2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)",
  "abstract": "本文提出一种利用隐形标记物自动、准确生成分割掩码标注的方法。隐形标记物在可见光条件下不可见，但在紫外光等不可见光下会显现。通过在目标物体上涂抹该标记物，并在常规光与紫外光之间高速切换采集图像，可以快速、低成本地构建大规模标注数据集。论文将该方法与人工标注进行比较，并在受控环境光条件下对衣物、液体和粉末等可变形物体进行语义分割验证；同时在办公室、住宅和户外等复杂且环境光不可控的场景中演示液体倾倒任务。该方法还支持相机运动状态下的数据采集，从而更容易构建大规模、多视角数据集。\n",
  "keywords": [
    "隐形标记物",
    "自动标注",
    "分割掩码",
    "物体操作",
    "可变形物体",
    "语义分割",
    "实例分割",
    "荧光涂料",
    "紫外光",
    "数据集构建"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:35:55.909463Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对机器人操作中衣物、液体、粉末等可变形物体难以精确识别，而深度学习语义分割又依赖大量像素级标注、人工标注耗时昂贵且容易受标注者主观判断影响的问题，论文提出一种基于隐形标记物的自动掩码标注方法。已有自动标注思路包括颜色跟踪、热成像、背景减除、AR标记、仿真生成以及特殊光成像，但这些方法分别存在背景相似时失效、改变物体外观、仿真到现实存在差距或适用任务有限等不足；本文扩展了以往荧光涂料光流数据采集工作，将其发展为面向可变形物体操作和深度学习训练的通用分割数据构建方案。该方法使用在常规光下近似透明、在紫外光下发光的荧光涂料，核心机制可概括为暗环境下 M=Threshold(I_UV)，在不可控常规光下 M=Threshold(I_UV-I_regular)，即通过紫外图像阈值化或常规光与紫外光图像差分提取被涂抹区域；为不同物体涂抹不同颜色荧光涂料还可实现实例分割，相机运动时则利用ORB特征提取、暴力特征匹配和单应性变换对齐两种光照下的视角。采集系统由RealSense D415相机、RGB LED、UV LED和NUCLEO-F303K8控制板组成，以30 Hz采集并通过高速交替照明形成15 Hz的常规光—紫外光配对数据。受控实验选择手帕、水和小苏打分别代表衣物、液体和粉末，记录叠布、摇晃瓶中液体和搅拌粉末等运动过程，共获得3920、3081和4199张图像；采用六种背景并进行六折交叉验证，每次在五个背景上训练、在未见过的第六个背景上测试，以验证跨背景泛化能力，图像统一缩放至160×120，并使用Chainer训练FCN、U-Net和SegNet三类典型语义分割模型，在8块Tesla P100上并行训练且每种材料训练时间不超过30分钟。不可控光实验面向室内、窗边和户外液体倾倒场景，采集21645个配对，用于验证复杂背景和日光条件下的数据生成能力。评价指标采用IoU：受控条件下人工标注之间的IoU在衣物、液体、粉末上分别为94.0%、93.6%和84.6%，隐形标记与人工标注之间分别为89.8%、77.6%和84.0%；静止液体实验中两者IoU达到93.6%，说明运动液体的较大差异主要来自快速运动造成的采集时序偏差。语义分割中U-Net在受控数据的三类物体上IoU分别为81.3%、87.8%和87.7%，FCN和SegNet也取得较高结果，证明网络泛化能力能够吸收时序错位；在未涂抹荧光涂料的物体上仍能准确分割，说明涂料造成的外观变化较小。不可控常规光下，静止液体的人工标注间平均IoU为85.5%，隐形标记与人工标注平均IoU为83.4%，FCN、U-Net和SegNet的液体分割IoU分别为87.1%、92.5%和90.1%。全部32845份数据的估算总成本从人工标注的27865降至318，单张成本从0.85降至0.0097，支持快速、低成本构建大规模数据集。该方法适用于洗衣、烹饪、生物医药实验等机器人操作场景，但要求预先在目标物上涂抹荧光涂料并配置紫外光源，快速运动仍会受相机采样率限制，阈值和涂料用量也需根据任务调整；未来工作将进一步面向机器人烹饪、叠衣等实际操作任务展开。\n\n### 关键要点\n\n- 隐形标记物采用在常规光下近似透明、在紫外光下发光的荧光涂料，可在不显著改变物体日常外观的情况下提供分割信号。\n- 在受控暗光环境中，开启紫外光后只有涂抹荧光涂料的区域明显可见，对RGB图像设置阈值即可生成目标物体的分割掩码。\n- 在环境光不可控时，系统采集有无紫外光照射的一对图像，通过两图差分和阈值化提取仅由荧光涂料产生变化的区域。\n- 为多个物体涂抹由红、绿、蓝混合得到的不同颜色荧光涂料，可以在重叠或多物体场景中分别标注目标，从而支持实例分割。\n- 相机移动会导致常规光图像与紫外光图像视角错位，论文使用ORB特征、暴力匹配和单应性变换对齐紫外图像，减少背景边缘被误标注的问题。\n- 受控实验使用手帕、水和小苏打，并设置六种背景执行叠布、摇液体和搅拌粉末动作，共获得11200张图像，通过六折交叉验证测试未训练背景上的泛化能力。\n- 与Amazon Mechanical Turk人工标注相比，隐形标记在衣物、液体和粉末上的IoU分别为89.8%、77.6%和84.0%；静止液体的IoU可达93.6%，表明动态液体的主要误差来自快速运动造成的时序偏差。\n- 使用自动标注数据训练FCN、U-Net和SegNet后，U-Net在受控条件下对三类物体的IoU均超过80%，在不可控光液体倾倒任务中达到92.5%，说明数据可有效训练深度分割网络。\n- 在未涂抹荧光涂料的液体上，训练后的网络仍能输出准确掩码，证明荧光涂料引起的外观变化可被深度学习的泛化能力吸收。\n- 论文共创建32845份数据，估算总成本由人工标注的27865降至318，单份数据成本由0.85降至0.0097，但方法仍依赖预先涂抹、紫外光源、阈值调节以及有限的相机采样率。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}