# 用于物体操作的不可见标记：分割掩码自动标注
高桥邦之 $^{*}\dagger$，米仓健太 $^{*}\dagger$
摘要— 我们提出了一种利用不可见标记来准确且自动地标注分割掩码的方法，以用于物体操作。这种不可见标记在可见光（常规光）条件下是不可见的，但在不可见光（如紫外线）下则会显现出来。通过在物体上涂抹这种不可见标记，并高速交替切换常规光与紫外光进行拍摄，就能快速且低成本地生成大量已标注的数据集。我们对比了所提出的方法与人工标注的结果。我们在受控环境光条件下，对衣物、液体和粉末等可变形物体进行了语义分割实验。此外，我们还在办公室、住宅和户外等复杂环境中，于非受控环境光条件下演示了液体倾倒任务。我们的演示还表明，即便相机处于运动状态也能采集数据，从而更轻松地获取大型数据集。
## 一、引言
准确的物体识别是机器人执行物体操作的重要功能之一。尤其是衣物、液体和粉末等可变形物体的处理颇具挑战性，但这类操作在洗衣任务以及生物学和医疗领域至关重要，这些领域亟需能够全自动完成实验室实验的机器人。然而，要准确识别这些可变形物体并非易事。
深度学习在计算机视觉（CV）、自然语言处理（NLP）以及机器人领域取得了显著成果 [^1] [^2] [^3] [^4] [^5] [^6]，但要取得良好性能，通常需要大规模数据集来进行训练。尽管需要大规模数据集，但创建数据集会耗费巨额成本，包括资金、时间和人力资源。由于创建大型数据集难度较大，许多物体仍无法被深度学习模型有效识别。
在本研究中，我们聚焦于为物体操作自动标注分割掩码，以便快速且低成本地创建大型且精准的数据集。我们使用了一种被称为“不可见标记”的材料，这种材料在可见光谱之外的光（不可见光）照射下会发光，比如紫外线，而它在可见光条件下并不会改变物体的外观。
(b) Uncontrolled environmental light condition
Fig. 1: Dataset creation using invisible marker for three kinds of objects: clothes, liquid, and powder. There are two conditions: environmental light is (a) controlled or (b) uncontrolled.
（常规光）（见图1）。我们对比了人工标注与所提出方法的效果，证明了该方法在受控环境光条件（如暗室中）下对衣物、液体和粉末等可变形物体进行自动标注的有效性。此外，我们还在办公室、住宅以及白天户外等非受控环境光条件（即常规光条件）下，演示了液体倾倒过程。
本文的其余部分结构如下：第II节介绍了相关工作，第III节阐述了我们的贡献，第IV节详细说明了所提出的方法。第V节描述了在受控光照条件下的实验设置与评估参数，相关结果则在第VI节呈现。此外，第VII节和第VIII节分别介绍了常规光照条件下的实验结果。第IX节讨论了所提方法的成本问题。最后，第X节给出了结论。
### II. 相关工作与贡献
为了降低数据集创建的工作量，人们一直在研发各类标注方法。这些方法主要分为两类：人工标注和自动标注。
---
### A. 人工标注
Pascal VOC、MS-COCO和COCO-Stuff等常用的语义分割数据集均采用人工标注方式[^7] [^8] [^9]。借助标注工具来减少标注人员的工作量[^10] [^11] [^12] [^13]，再加上众包模式的应用[^5]、[^14]，就能够创建大规模数据集。人工标注面临的一个挑战是：容易出现人为错误，且在模糊场景下会受个人判断的影响。
### B. 自动标注
为了避免人为错误并轻松创建高质量数据集，人们研发了自动标注方法。相关研究大致可分为四类。
1) 侧重于物体本身特征的方法，比如颜色追踪[^15]、利用热成像技术测量物体温度（例如对热液体的测量）[^16]，以及通过背景减除来识别物体[^17]：当多个物体或环境与某物体的特征相似时，这类方法就无法准确标注该物体。
2) 侧重于预先设定的特征的方法，比如增强现实（AR）标记[^18]、[^19]：即便存在多个物体，也可以通过每个物体上的不同标记来区分它们。不过，一旦给物体附加此类标记，物体的外观就会与未加标记时有所不同。
3) 仿真方法[^20]、[^21]：该方法可以通过切换不同的背景图像、从多个角度拍摄目标物体图像，来人工生成大规模数据集。不过，对于难以仿真的物体（如可变形物体），生成的数据集质量通常较低。仿真与现实世界之间的差距也是需要解决的难题，比如通过模拟到现实的迁移学习来弥合这一差距。
4) 这类方法侧重于预先设置能够被特定设备检测到的标记，或通过控制外部因素来实现，例如使用特殊光线。在正常条件下，物体的外观不会发生明显变化。只有涂有荧光涂料的部分在紫外光下才会显现出来。在医学领域，附着在材料上的荧光物质可通过荧光显微镜观察 [^22]、[^23]。在计算机视觉领域，已有研究探讨在物体上涂抹荧光涂料的方法 [^24]。为了创建光流数据集，计算机会在普通光和紫外光下分别拍摄图像对，随后让场景或摄像头产生微小移动 [^24]。
我们提出的方法属于第4类，可利用不可见的标记自动生成用于深度学习的分割掩码标注。
### 三、主要贡献
我们的主要贡献是将以往的工作 [^24] 扩展为通用数据创建方法，并构建大型数据集。具体贡献如下。
1) 将该方法应用于可变形物体操控（第六节A部分）：以往的研究 [^22] [^23] [^24] 中，目标物体和材料轮廓清晰，且为刚性且静止的物体。在我们的研究中，虽然刚性物体也能通过该方法处理，但主要研究对象是可变形物体。此外，由于物体在运动过程中会发生形变，我们收集了可变形物体操控过程中的数据集。文中还描述了可变形物体操控中出现的挑战及其解决方案。
2) 将人工标注结果与我们的方法进行比较以评估准确性（第六节B部分）：用荧光涂料创建的数据集被用作评估其他方法的基准，但使用荧光涂料的方法本身的准确性尚未得到评估 [^24]。我们通过众包方式将我们提出的方法与人工标注结果进行了比较。
3) 利用可变形物体数据集训练深度神经网络（第六节C部分）：以往使用荧光涂料的研究 [^24] 旨在获取光流信息，因此无需大型数据集。尽管有潜力创建大型数据集，但原有数据集规模太小，无法应用于深度学习。我们收集了足够的数据用于训练，并验证了深度学习的泛化性能能否应对可变形物体。
4) 探究荧光涂料引起的外观变化（第六节D部分）：在 [^22] [^23] [^24] 中，涂抹荧光涂料导致的物体外观变化并不在其研究范围内，因为这类研究的结果不受外观变化的影响。然而在我们的研究中，如果荧光涂料造成的外观变化较大，语义分割的推理性能就会下降，尤其是未涂抹荧光涂料的物体。我们研究了深度学习的泛化能力是否仍能有效处理未涂抹荧光涂料的物体。
5) 在多个物体上应用多种颜色的荧光涂料（第六节E部分）：我们证明了通过在场景中多个物体上涂抹不同颜色的荧光涂料，即可完成实例分割的标注。
6) 提出一种在光照条件无法控制的室内及室外日光环境下创建数据集的方法（第八节A部分）：在先前的研究[^24]中，数据集只能在可控制外部光照的暗室内采集，因此只能在小型实验环境中收集数据集。在本研究中，我们提出了一种在无法控制外部光照的室内及室外环境中创建数据集的方法。
7) 提出一种在摄像头运动过程中采集数据集的方法（第八节B部分）：虽然使用固定位置的摄像头不会影响标注质量，但会限制数据采集过程。然而，移动摄像头会导致难以获取连续拍摄的图像对，尽管这样能让我们快速从不同视角创建多样化的数据集。我们提出了一种即便摄像头在拍摄时移动也能吸收其运动影响的方法。
8) 创建大型数据集（第五节C部分及第七节C部分）：我们提出的方法能够低成本、高效率地创建数据集。本研究共创建了32845个数据集。
---
### 四、隐形标记
隐形标记在可见光谱之外的光线下发光，而在可见光（即常规光）下则发出较弱的光或不发光。若选用在常规光下呈（近）透明状态的材料作为隐形标记，那么应用隐形标记后物体的外观不会改变；只要满足该条件，任何材料均可用作隐形标记。根据目标物体的不同，可使用喷剂或液体作为隐形标记。由于荧光漆易于获取，我们选用了它。涂有荧光漆的物体在紫外光下会发光；在黑暗环境中这一现象尤为明显，但在常规光下照射紫外光时仍可见。因此，我们的方法既适用于（1）受控环境光照条件（即暗环境），也适用于（2）非受控环境光照条件（即常规光环境）。
1) 未涂有荧光漆的物体即使在开启紫外光的情况下在黑暗中也无法被看见，而涂有荧光漆的物体则可见。在此紫外光条件下拍摄图像时，只有涂有荧光漆的部分才会显现出来（见图1第二行）。通过对图像的RGB值设定阈值，仅将涂漆部分标注为分割任务的类别标签。
2) 在常规光下，场景中的所有物体仍然可见，但涂有荧光漆的部分在紫外光下外观会发生变化。给定一对在常规光条件下拍摄的图像——一张照射紫外光，另一张不照射——通过计算这两幅图像的差值即可获得仅涂有荧光漆的区域。随后，与暗环境下的处理方式类似，通过对RGB值设定阈值即可得到分割掩码。
在同时移动相机并拍摄照片，且交替使用普通光和紫外光的情况下，相机可能会在以不同光照条件拍摄同一场景之前就发生移动。因此，带有紫外光和无紫外光条件下拍摄的图像之间会出现视角偏移。如果采用上述方法生成分割掩码，由于这种偏移，标注掩码便无法再与普通光下拍摄的配对图像相匹配（实验细节将在第VIII-B节中介绍）。尤其是当相机在普通条件下移动时（即前一段中的第(2)点），这种偏移就会成为问题，因为分割掩码是根据有无紫外光照射时拍摄的一对图像之间的差异计算得出的。所以，有必要对图像进行变换，使两幅图像的视角保持一致。变换过程分为三步：1）提取普通光和紫外光条件下拍摄的图像特征；2）匹配普通光下拍摄的图像中与紫外光下拍摄的图像特征点距离最短的特征点；3）将紫外光下拍摄的图像转换为
Fig. 2: Fluorescent paint under regular light and UV light
Fig. 3: The whole capturing system and timing chart.
一种与普通光下拍摄的图像相匹配的形式。特征提取方法采用了定向FAST和旋转BRIEF（ORB），这是考虑到其计算成本和匹配精度[^25]。特征匹配则采用简单的暴力匹配器。在图像变换方面，我们使用了单应性变换，与仿射变换不同，它可以通过投影变换将平面映射到另一平面上，从而把矩形转换为梯形。
由于只有目标物体才能被隐形标记物提取出来，我们提出的方法不依赖于背景的复杂程度，也不受未涂有荧光漆物体的影响，仅能提取涂有荧光漆的物体。此外，由于通过混合红、绿、蓝三种颜色可以调配出多种颜色的荧光漆（见图2），我们的方法还能为不同物体赋予不同颜色，从而区分多个物体，这对实例分割而言非常有用。更多细节将在第VI-E节中讨论。
### 五、可控光照条件下的实验设置
在可控环境光照条件（黑暗条件）下开展实验的目的如下：1）验证利用隐形标记物生成的可变形物体数据集的准确性（第VI-A节）；2）将所提方法与人工标注结果进行比较（第VI-B节）；3）评估用于深度学习的已创建数据集（第VI-C节）；4）研究隐形标记物引起的外观变化效应（第VI-D节）；5）在同一场景中为多个物体应用几种不同颜色的荧光漆并观察结果（第VI-E节）。
### A. 数据采集设备
生成分割掩码所需的数据集需要一组普通光下的图像作为输入数据，以及包含像素所属类别标签的输出数据。我们开发了一套系统，能够利用隐形标记物自动生成普通光和隐形（紫外）光下的配对图像（见图3）。该系统由三部分组成：
• 用于拍摄目标物体图像的相机部分
• 用于控制光照输出的照明部分
- 用于控制图像拍摄时机和光照条件切换的控制部分
---
在摄像头部分，我们选用一种可通过外部触发信号控制拍摄时机的摄像头。当摄像头接收到来自控制部分的外部触发信号时，便会拍摄目标物体的图像，随后将该图像发送至控制计算机。在本实验中，我们使用的是RealSense D415摄像头 [^26]。
在照明方面，我们采用RGB LED作为常规光源，UV LED则作为“不可见”光源。通过功率型LED驱动电路来控制它们。
在控制部分，NUCLEO-F303K8开发板 [^27] 会向照明部分发送触发信号，用以控制发光时机与强度。NUCLEO-F303K8开发板可通过USB接口由计算机进行控制。同时，控制部分还会向摄像头部分输出触发信号，以调控拍摄时机（详见图3中的时序图）。为了生成针对动态变化物体的分割掩码数据集，我们会高速交替切换常规光源与UV光源。
### B. 目标物体
### C. 数据采集
在工业和日常生活中，准确识别衣物、液体、粉末等可变形物体至关重要，例如用于叠衣服、操控药品以及烹饪等场景。我们选取了布料（手帕）、液体（水）和粉末（小苏打），并将它们与荧光涂料混合。
数据采集过程中，数据采集系统会在物体运动期间拍摄图像：包括折叠布料、摇晃塑料瓶中的液体以及用勺子搅拌粉末。摄像头的采样率为30 Hz；由于需交替切换常规光源与UV光源来生成配对图像数据集，因此采样率设为15 Hz。我们准备了六种不同的背景（见图4），每种背景下进行一种动作，因此每个物体共对应六种动作。衣物、液体和粉末类别所获取的图像数量分别为3920张、3081张和4199张。该数据集的规模足以支撑多种深度学习模型实现高精度推理。相关细节将在第VI-C节中详述。六个背景中的五个用于训练，剩余一个背景的数据则用于通过6折交叉验证来评估模型性能，即评估模型在未训练过的背景上的表现。采集到的图像尺寸会从$640 \times 480$调整为$160 \times 120$。
### D. 深度学习与训练
为了验证使用不可见标记创建的数据集的有效性，我们测试了它们能否用于训练三种典型的语义分割深度学习模型：FCN [^1]、U-Net [^2] 和 SegNet [^3]。这些模型以常规光源下的图像为输入，以该方法生成的标注数据作为输出来进行训练。实现过程中使用了深度学习库Chainer [^28]。我们所有的网络实验均在配备以下硬件的机器上完成：
Fig. 4: Six type of backgrounds for data collection
256GB RAM, an Intel Xeon E5-2667v4 CPU, and eight Tesla P100-PCIE with 12GB. Training time for each material was within 30 minutes by parallel processing with 8 GPUs.
### VI. 可控光照条件下的实验结果
### A. 基于不可见标记的标注结果
我们首先展示用于可变形物体操控的数据集示例（见图1(a)）。在图1(a)中，我们可以观察到粉末边缘的细微不平整处被准确标注出来。此外，尽管背景中包含与物体颜色相似的区域，但只有目标物体被标注，而手和勺子等未涂荧光漆的物体则被忽略。关于更复杂背景下的结果将在第VIII节中介绍。传统方法，如基于颜色或背景减除的方法，通常难以在这种情况下进行标注。如果背景颜色与目标物体相似，基于颜色的方法就无法正确标注；而在背景减除方法中，不仅目标物体，手、勺子和塑料瓶也会被一并标注。此外，正如第VI-E节所述，这些方法在处理多个物体及实例分割时也存在困难。
### B. 所提方法与人工标注方法的比较
本节旨在验证我们方法的准确性。我们将人工标注结果与使用不可见标记生成标注结果进行比较。为了严格对比所提方法与人工标注，需要创建人工标注数据集并用其训练网络。然而，尽管我们的数据集仅包含11200张图像，但由于人工标注成本约为10000美元，受预算限制，该实验难以开展，因此我们遗憾地未能进行此项实验。
作为这种高成本方法的替代方案，我们利用交并比（IoU）对少量样本进行了两次比较。交并比简单来说就是两个区域并集与交集的比值。这两次比较如下：
1) 仅在人工标注之间应用IoU以衡量个体差异；
2) 将所提方法生成的标注与人工标注应用IoU，以衡量所提方法与人工标注的接近程度。
如果两种IoU值相近，则说明我们使用不可见标记的方法至少与人类标注一样准确。至于比较过程，我们为每个物体和每种背景各选取了三张图像，共计54张图像，并安排每幅图像由三人通过Amazon Mechanical Turk（AMT）进行标注。
---
TABLE I: Comparison of annotations between the manual method and the proposed method.
| cloth | liquid | powder |
| IoU among manual | 94.0% ( $\pm$3.55%) | 93.6% ( $\pm$2.21%) | 84.6% ( $\pm$10.4%) |
| IoU b/w manual & invisible marker | 89.8% ( $\pm$7.19%) | 77.6% ( $\pm$9.25%) | 84.0% ( $\pm$8.95%) |
Fig. 5: Annotated images for powder by proposed method and manual by three people.
1) 人工标注之间的差异：表I显示了相关比较的平均值与标准差。从表I中人工标注的IoU值可以看出，个体差异似乎取决于目标物体与其他物体之间边界的清晰度。对于衣物和液体而言，由于这些物体的边界清晰，不同标注者之间的差异较小；而当物体与其他物体之间的边界不清晰时，比如边界处有少量粉末，个体差异就会较大。从图5中手动与自动标注的粉末图像也能看出这一点——手动标注结果之间存在明显差异。
人工标注员No.1会忽略细粉区域，而人工标注员No.2则试图覆盖细粉的整个区域，人工标注员No.3的标注方式介于No.1和No.2之间。当人们标注含有粉末等成分的模糊场景时，个人判断的差异会导致数据集出现多样性。我们提出的方法可以通过调节荧光涂料的用量来控制紫外光下发出的光强度，进而调整用于提取分割掩码的RGB阈值，从而控制标注结果。在本实验中，我们调节了荧光涂料的用量和阈值，使其像人工标注员No.1那样忽略细粉区域，因为该区域通常过于细小，机器人难以对其进行操作。
2) 所提方法与人工方法之间的差异：表I中手动标注与不可见标记之间的IoU结果显示，在液体上，手动标注与不可见标记之间的差异比在衣物和粉末上更为显著。图6的第一行和第二行展示了由于物体和手部的快速移动，导致普通光照下的图像与标注图像之间存在较大差异的例子。这种移动会使液体发生位移，人手在布料上的位置也会随之改变。我们认为液体方面的差异比布料更大，是因为由于惯性特性，液体的移动幅度更大且更快。
Fig. 6: Images for annotation gaps due to the fast movements and the gaps absorbed by deep learning
TABLE II: Comparison of annotations between the manual and proposed method using stationary liquid
| liquid |
| IoU among manual | 94.6% ( $\pm$1.95%) |
| IoU b/w manual & invisible marker | 93.6% ( $\pm$1.41%) |
为了探究拍摄时机是否是造成这些差异的主要因素，我们采用与表I相同的方式评估IoU值，只不过将移动的液体替换为桌面上静止的液体。我们选取了四张静止液体的图像，每张图像分配三个人通过AMT进行标注。结果如表II所示。可以看出，所提方法与人工方法之间的差异很小。如果我们使用高速摄像机，就能缓解这种相机硬件带来的挑战，不过摄像机的采样率始终存在局限性。在本研究中，我们侧重于从软件层面来解决数据集中的差异问题。通过在大规模数据集上训练深度神经网络，利用网络的泛化能力来消除这些差异。实验结果将在第VI-C节中介绍。
### C. 语义分割结果
本节旨在测试能否利用不可见标记数据集训练深度学习模型，并评估深度学习是否具有足够的泛化能力，以弥补如第VI-B.2节所述、由物体快速移动导致的普通光照图像与紫外光图像之间的差异。表III显示了在6种背景上应用6折交叉验证后，在验证数据（仅包含未训练过的背景）上推断出的分割掩码的IoU值。在U-Net模型中，所有物体在验证数据上的准确率均超过80%。图7展示了在未经训练的背景数据上，衣物、液体和粉末的推断结果示例。从表III和图7可以看出，准确率均在80%左右，由此我们可以得出结论：利用创建的数据集可以正确训练深度神经网络。
如第VI-B.2节所述，物体的快速移动会造成普通光照下拍摄的图像之间存在差异。
---
TABLE III: IoU of semantic segmentation
| IoU | cloth | liquid | powder |
| FCN | 76.7% | 84.8% | 83.1% |
| U-Net | 81.3% | 87.8% | 87.7% |
| SegNet | 72.7% | 83.4% | 84.4% |
Fig. 7: Inferred results of cloth, liquid, and powder
### D. 非混合荧光物体的推理
以及紫外线（参见图6的第一行和第二行）。图6第三行中的推断结果显示，深度学习的泛化能力能够弥补这些差异，因此仍能准确推断出分割掩码。这些图像也是在未经训练的背景上推断得出的。我们由此得出结论：所提出的方法能够自动生成高质量的可变形物体操作标注数据集，其质量足以用于训练深度神经网络以正确推断分割掩码。
为了探究荧光涂料引起的外观变化所产生的影响，我们使用该方法生成的数据集对网络进行训练，随后在未混合荧光涂料的物体上进行验证。如果物体的外观因荧光涂料而发生改变，由于其与训练集中的样本存在差异，网络便无法为这类物体正确推断分割掩码。图8展示了液体的推断结果；待推断的目标物体正是外观变化最显著的液体。推断结果表明，即便没有荧光涂料，分割掩码依然准确。因此我们可得出结论：荧光涂料引起的外观变化极小（即便存在的话），完全可以被深度学习的泛化能力所吸收。
### E. 多种颜色的隐形标记与多个物体
在所提出的方法中，每个物体可设置不同的隐形标记颜色。即使存在多个物体，也可为它们分别涂上不同颜色。即便物体相互重叠，或是同一物体/多个物体并存，也能对每个物体单独进行标注（图9(a)展示了多个物体、重叠物体以及两个白色瓶子和一个棕色瓶子的实例分割结果）。此外，只需在物体的某一部位而非整体涂抹隐形标记，就能生成仅包含物体抓取点的标注数据集。更进一步，若给同一物体的不同抓取点赋予不同颜色，机器人便能区分它们并对其进行操作。
Fig. 8: Inferred result of non-mixed fluorescent paint using the trained networks through the datasets with fluorescent paint
Fig. 9: (a) Semantic segmentation for multiple object, overlapped situation, and instance segmentation (b) Grasping points
可根据实际需求进行区分（图9(b)展示了使用两种不同类别标签对两个抓取点进行标注的情况）。
### VII. 常规光照下的实验设置
我们在与第V节所述的黑暗条件下（受控环境光照条件）类似的常规光照条件（非受控环境光照条件）下开展了实验。
### A. 常规光照下的数据采集设备
数据采集设备的配置与此前一致，只是由于外部环境光线充足，我们仅开启紫外线灯，不再使用普通光源。
### B. 常规光照下的目标物体与环境
在可变形物体中，液体在室内外均有广泛应用，比如医药工厂、实验室以及家庭环境中。我们在室内、窗边及室外等不同场所开展了液体倾倒任务，液体中混有荧光涂料。
### C. 常规光照下的数据采集
在数据收集过程中，图像是由第VII-A节所述的数据采集系统在倒水动作期间拍摄的。摄像头的采样率为30 Hz，由于拍摄时需要在紫外光和普通光之间切换，因此生成配对图像的采样率降为15 Hz。总共获取了21645对图像。普通光照条件下背景复杂且多变，因此需要一个大型数据集；相关细节将在第VIII-A节中阐述。获取的图像尺寸从$320 \times 240$调整为$160 \times 120$。
### 八、普通光照条件下的实验结果
### A. 非受控光照下的标注结果
我们展示了在普通光照条件（非受控环境光条件）下拍摄的液体倾倒任务数据集示例（图1(b)）。除此之外，
---
Fig. 10: (a) without and (b) applying image transformation
这些示例还包括在室内不同地点、窗户附近以及室外进行的实验，具体请查看附带的视频文件和已发布的数据。从图1(b)可以明显看出，环境光并未受控，也就是说在照射紫外光时无法关闭环境光；因此不仅能看到荧光涂料，其他物体也清晰可见。当照射紫外光时，只有混有荧光涂料的液体会变为红色。原本以为在窗户附近和室外环境下，由于阳光中含有紫外线，荧光涂料总会发生反应并变成红色。然而，阳光中的紫外线强度不足以影响我们的实验。通过对比普通光下与紫外光下的图像，仅提取因荧光涂料而发光的区域，便得到了用于分割掩码的标注。上述结果说明，即便在环境光无法控制且背景复杂的情况下，也能正确生成分割掩码。
### B. 针对非固定视角的图像变换结果
本节展示了为应对普通光图像与紫外光图像之间相机视角差异而进行的图像变换结果；拍摄过程中相机是移动的。在交替切换普通光和紫外光同时拍照时，带紫外光与不带紫外光拍摄的图像之间会出现视角偏移，从而导致普通光下拍摄的配对图像无法与标注掩码匹配。因此，必须对相关图像进行变换以使两者视角一致。图10展示了图像变换前后的对比情况。若不执行图像变换，由于视角偏移，普通光下拍摄的图像会将目标液体及背景边缘一并标注；而执行图像变换后，视角变换带来的偏移影响得以减小，仅目标物体被正确标注。上述结果证明，通过这种图像变换，即便不固定相机视角也能创建出高质量的数据集。
### C. 所提方法与手动方法的对比
为了评估在普通光照条件下创建数据集的效果是否与暗环境下相当，我们进行了评估——
TABLE IV: cf. annotations b/w the manual and proposed method using stationary liquid under regular light cond.
| Indoor | By window | Outdoor | Ave. |
| IoU among manual | 85.2% | 79.3% | 92.1% | 85.5% |
| ( $\pm$4.82%) | ( $\pm$7.65%) | ( $\pm$2.08%) | ( $\pm$7.40%) |
| IoU b/w manual & invisible marker | 83.4% | 77.9% | 89.0% | 83.4% |
| ( $\pm$2.56%) | ( $\pm$6.42%) | ( $\pm$3.66%) | ( $\pm$6.33%) |
Fig. 11: Inferred results of liquid pouring tasks
我们采用与表II中相同的方法来计算IoU，只不过这次是在普通光照条件下进行。我们从收集的数据中选取了9张液体处于静止状态的图像。如果所提出的方法与人工标注方法之间存在差异，就可以说明普通光照条件并未对我们的数据创建过程产生影响。我们指派三人使用AMT对每张图像进行标注，对比结果如表II所示。结果表明，即便在普通光照条件下，所提出的方法与人工标注方法之间的差异也极小。因此我们可以得出结论：我们的方法即使在普通光照条件下也能准确创建数据集。
### D. 普通光照条件下的语义分割结果
本节旨在验证深度神经网络是否能够利用普通光照条件下获取的数据集进行训练。在验证数据上，FCN、U-Net和SegNet所生成的分割掩码的IoU分别达到了87.1%、92.5%和90.1%。这些网络能够在室内、窗边以及室外等复杂环境中正确推断出分割掩码（见图11；更多示例可查看附带的视频）。我们由此得出结论：深度神经网络能够利用我们方法创建的数据集进行正确训练。
### IX. 成本讨论
在本节中，我们将探讨人工标注与所提出方法在时间和金钱上的成本差异。表V展示了人工标注与所提出方法的总成本。人工标注在时间和金钱上的成本都较高，而给物体上色以及数据采集系统的成本则相对较低（且多为一次性支出）。在所提出的方法中，为每个物体涂抹荧光漆仅需几分钟时间。由于只需涂抹一次，而每个物体会拍摄大量图像，因此单张图像的耗时可以忽略不计。所有实验中所有物体所用的荧光漆成本仅为18美元。对于所提出的方法而言，需要紫外线灯作为额外设备来搭建数据采集系统，但一旦建成该系统便可重复使用。至于人工标注……
---
TABLE V: Cost for manual method and the proposed method
| Manual annotation | Proposed method |
| Total images | 32845 | 32845 |
| Time in total for objects and image | 10 [days] for recording images\n22.8 [hours] for annotation $^{{1}}$\n0 [min] for painting | 10 [days] for recording images\n0 [min] for annotation\nLess than 5 [min] for painting |
| Time per image | About 2.5 [min] / image | About 0 [min] / image |
| Money in total for objects and images | 200 for camera\n 75 for LED | 200 for camera\n 75 for LED\n 25 for UV light\n 18 for fluorescent paint |
| Total cost | 27865 | 318 |
| Money per image | 0.85 / image | 0.0097 / image |
$^{1}$ 本研究中通过AMT进行标注的平均时间为每张图像约2.5分钟。
$^{2}$ 该数值是根据AMT上建议的最低语义分割标注成本0.84美元/张图像计算得出的。
对于人工标注而言，随着图像数量的增加总成本也会上升，且随着数据集规模的扩大，单张图像的成本并不会降低。即便是LabelMe这类标注工具[^10]也只能减少单张图像的时间和成本，但随着标注图像数量的增多，总成本仍会持续上升。而在所提出的方法中，由于物体被涂上不可见标记后便可重复使用，因此单张图像的时间和金钱成本都会降低。鉴于深度学习需要数千到数万张图像，显然与人工标注相比，所提出的方法能够更快速且低成本地创建数据集。
### X. 结论
在本文中，我们提出了一种利用不可见标记自动生成注释的方法，这种标记在紫外光下可见，而在普通光下不可见。通过高速切换普通光和紫外光，我们的系统能够在受控和非受控环境光条件下，甚至是在视角不固定的情况下，创建大量动态变化的可变形物体操作数据集。由于1）拍摄时机导致的位移以及2）不可见标记引起的外观变化所产生的注释间隙问题，可以通过深度学习的泛化能力得到有效解决。实验表明，基于我们方法创建的数据集训练的FCN、U-Net和SegNet等多种深度学习模型在分割任务中均表现出高精度。我们得出结论：所提出的方法能够准确、快速且低成本地创建大规模数据集。
这些数据集能够拓展机器人任务的范围，例如叠衣服、烹饪以及生物医学应用等。在未来的工作中，我们希望研究机器人执行的烹饪和衣物折叠等操作任务。
## 致谢
作者感谢斋藤俊太在讨论和实验方面的帮助，也感谢Wilson Ko对本文的校对和修改。
## 参考文献
[^1]: J. Long, et al., “Fully convolutional networks for semantic segmentation,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 3431–3440.
[^2]: O. Ronneberger, et al., "U-net: Convolutional networks for biomedical image segmentation," in International Conference on Medical image computing and computer-assisted intervention. Springer, 2015, pp. 234–241.
[^3]: V. Badrinarayanan, et al., “Segnet: A deep convolutional encoder-decoder architecture for image segmentation,” IEEE transactions on
模式分析与机器智能，第39卷，第12期，第2481–2495页，2017年。
[^4]: T. Young, et al., “Recent trends in deep learning based natural language processing,” IEEE Computational Intelligent Magazine, vol. 13, no. 3, pp. 55–75, 2018.
[^5]: J. Hatori, et al., “Interactively picking real-world objects with unconstrained spoken language instructions,” 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018.
[^6]: K. Takahashi and J. Tan, "Deep visuo-tactile learning: Estimation of tactile properties from images," 2019 IEEE International Conference on Robotics and Automation (ICRA), 2019.
[^7]: M. Everingham, et al., “The pascal visual object classes (voc) challenge,” International journal of computer vision, vol. 88, no. 2, pp. 303–338, 2010.
[^8]: T.-Y. Lin, et al., “Microsoft coco: Common objects in context,” in European conference on computer vision. Springer, 2014, pp. 740–755.
[^9]: H. Caesar, et al., “Coco-stuff: Thing and stuff classes in context,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 1209–1218.
[^10]: B. C. Russell, et al., "Labelme: a database and web-based tool for image annotation," International journal of computer vision, vol. 77, no. 1-3, pp. 157–173, 2008.
[^11]: X. Huang, et al., “The apolloscape dataset for autonomous driving,” arXiv: 1803.06184, 2018.
[^12]: F. Yu, et al., “BDD100K: A Diverse Driving Video Database with Scalable Annotation Tooling,” arXiv e-prints, p. arXiv:1805.04687, May 2018.
[^13]: M. Andriluka, et al., “Fluid annotation: a human-machine collaboration interface for full image annotation,” in 2018 ACM Multimedia Conference on Multimedia Conference. ACM, 2018, pp. 1957–1966.
[^14]: A. Chang, et al., “Matterport3d: Learning from rgb-d data in indoor environments,” arXiv preprint arXiv:1709.06158, 2017.
[^15]: C. Liensberger, et al., “Color-based and context-aware skin detection for online video annotation,” in 2009 IEEE International Workshop on Multimedia Signal Processing. IEEE, 2009, pp. 1–6.
[^16]: C. Schenck and D. Fox, “Detection and tracking of liquids with fully convolutional networks,” arXiv preprint arXiv:1606.06266, 2016.
[^17]: S. Brutzer, et al., “Evaluation of background subtraction techniques for video surveillance,” in CVPR 2011. IEEE, 2011, pp. 1937–1944.
[^18]: E. Brachmann, et al., “Learning 6d object pose estimation using 3d object coordinates,” in European conference on computer vision. Springer, 2014, pp. 536–551.
[^19]: W. Kehl, et al., “Ssd-6d: Making rgb-based 3d detection and 6d pose estimation great again,” in Proceedings of the IEEE International Conference on Computer Vision, 2017, pp. 1521–1529.
[^20]: Z.-W. Hong, et al., “Virtual-to-real: Learning to control in visual semantic segmentation,” arXiv preprint arXiv:1802.00285, 2018.
[^21]: A. Hämäläinen, et al., “Affordance learning for end-to-end visuomotor robot control,” CoRR, vol. abs/1903.04053, 2019.
| A. Dufour等人，“利用耦合活动曲面在动态三维显微镜图像中分割和跟踪荧光细胞”，《IEEE图像处理汇刊》，第14卷，第9期，第1396–1410页，2005年。
[^23]: A. Rizk, et al., “Segmentation and quantification of subcellular structures in fluorescence microscopy images using squash,” Nature protocols, vol. 9, no. 3, p. 586, 2014.
[^24]: S. Baker, et al., “A database and evaluation methodology for optical flow,” International journal of computer vision, vol. 92, no. 1, pp. 1–31, 2011.
[^25]: E. Rublee, et al., “Orb: An efficient alternative to sift or surf,” in 2011 International conference on computer vision. Ieee, 2011, pp. 2564–2571.
[^26]: L. Keselman, et al., “Intel (r) realsense (tm) stereoscopic depth cameras,” in 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2017, pp. 1267–1276.
[^27]: “Nucleo-f303k8,” , 2019.
[^28]: S. Tokui, et al., “Chainer: a next-generation open source framework for deep learning,” in Workshop on machine learning systems on Neural Information Processing Systems, 2015.