
# 拥挤环境中基于俯视深度数据的语义头部分割卷积网络

达尼埃莱·利乔蒂，玛丽娜·保兰蒂，罗科·彼得里尼，埃马努埃莱·弗龙尼，普里莫·津加雷蒂，意大利安科纳马尔凯理工大学信息工程系（DII），布雷切比安卡街12号，邮编60131

邮箱：<mailto:d.liciotti@pm.univpm.it>, <mailto:m.paolanti@pm.univpm.it>, <mailto:r.pietrini@pm.univpm.it>, <mailto:e.frontoni@univpm.it>, <mailto:p.zingaretti@univpm.it>

摘要——在持续拥挤的环境（如零售场所、机场、车站等）中检测和跟踪人员，是出于安全目的开展人类行为分析的一项挑战性任务。本文提出一种基于CNNs的方法，利用俯视深度视觉数据，在严重遮挡情况下实现人员检测与跟踪的语义分割。本文研究目标是设计一种新型U-Net架构U-Net3，与以往架构相比，该架构在每层的末尾都进行了修改。具体而言，本文在第一个ReLU激活函数之后，以及每个最大池化和上采样操作之后都添加了批量归一化。该方法在一个全新的公开数据集TVHeads Dataset上进行了应用和测试，该数据集由俯视安装的RGB-D相机拍摄的人体深度图像组成。我们的改进架构在推理时保持了计算效率，同时性能优于基准架构。结果显示该方法准确率较高，证明了我们方法的有效性与适用性。

## 一、引言

检测与跟踪人员是众多交互智能系统（如视觉监控和人机交互）中一项重要且富有挑战性的任务。近年来，该领域一直是研究热点，针对仅存在瞬时遮挡的孤立人员或少量人员跟踪，已经开发出了鲁棒性良好的方法[^1]。然而，在人员密集的拥挤场景中进行跟踪，由于存在诸多严重问题，例如持续遮挡、外观变化、动态复杂背景，该问题目前仍未得到有效解决[^2]。事实上，所有这些问题在拥挤环境中都会带来极大挑战，因为传统监控技术难以完成图像理解任务[^3]。在这类场景中，RGB-D相机因可靠性高、易获取、成本低廉成为了可行的传感器选择。研究人员已经证明，深度相机在应对人员间严重遮挡和复杂背景方面具有巨大价值，无论是效率还是准确率都表现出色[^4]。高分辨率深度信息与视觉信息的结合，为众多应用中的行为识别和人员跟踪带来了新的挑战与机遇。可靠的深度图可以提供宝贵的额外信息，大幅提升跟踪与检测的结果[^5]。在处理二维图像、视频乃至三维数据时，语义分割已被公认为一项高层任务。它为完整的场景理解铺平了道路，目前通常使用深度学习架构（即卷积神经网络CNNs）来解决该问题，卷积神经网络在准确率乃至效率方面都大幅超越了其他方法[^6], [^7], [^8], [^9]。语义分割是从像素层面对图像进行理解。因此，图像中的每个像素都需要被分配到一个目标类别。除了目标识别，该技术还可用于界定每个目标的边界。

Silberman等人[^10]率先开展了利用深度信息实现全图像语义标注任务的研究。NYU数据集发布后，室内RGB-D像素级语义分割开始受到广泛关注[^11]。该数据集验证了深度通道对提升分割效果的作用。他们的方法将RGB-SIFT、深度-SIFT和像素位置等特征输入神经网络分类器，完成像素预测。其他用于语义图像分割的数据集中，物体都位于图像中心，且光照条件良好[^12], [^13]。Gupta等人[^14]和Hermans等人[^15]所采用方法的共同点是，使用人工设计特征对RGB或RGBD图像进行分类。上述前者在进行类别分割前使用了边界检测和分层分组，后者使用随机森林作为分类器，专注于实时联合重建与语义分割。如前所述，卷积神经网络（CNN）在目标分类上的成功，促使研究人员将其特征学习能力应用到分割任务中。该方向发展出三个子类别：分块训练[^16], [^17]、像素级分类的端到端学习[^18], [^19], [^20]以及多尺度语义分割[^21], [^19], [^22], [^23]。在[^16]中，采用了分块分类方法。

本文概述了一种深度图像中的行人检测与跟踪方法，该深度图像由低

---

分辨率飞行时间（Time-of-Flight, ToF）相机采集得到。该深度传感器垂直于地面放置，可从俯视视角提供距离信息。本文提出一种结合卷积神经网络语义分割的方法，利用拥挤环境下的俯视深度数据，实现存在持续和临时严重遮挡场景下的行人检测与跟踪。尽管已有大量研究针对RGB-D图像开展语义分割，但大多数现有方法要么仅聚焦医学图像，要么仅针对室内环境的目标识别。据我们所知，将俯视配置的RGB-D相机采集的数据用于拥挤环境下的行人检测与跟踪，这尚属首次。本文工作在分割方法和识别方法上都与上述已有研究不同。所提方法已应用于新采集的TVHeads数据集，该数据集由俯视安装的RGB-D相机记录的行人深度图像组成。本文的目标是设计一种新颖的U-Net架构，即U-Net3，相较于以往的架构，该架构在每一层的末尾都进行了修改。具体来说，在第一个ReLU激活函数之后，以及每次最大池化和上采样操作之后都添加了批归一化。本文提出的方法不要求行人第一次进入场景时处于无遮挡的孤立状态。要识别行人，我们只要求至少其头部区域可见。我们假设，在俯视配置的RGB-D相机下，行人行走在已知地平面上，不会因阴影、反射或其他原因产生显著误报。

简言之，本工作的主要贡献如下：（i）证明了语义分割可实时应用于拥挤环境下的人体检测与跟踪；（ii）提出了一种用于语义分割的新型U-Net3设计；（iii）构建了一个具有挑战性的深度图像新数据集，该数据集采集于高度拥挤环境（每平方米超过3人），由俯视配置的RGB-D相机采集，并手工标注了真实值语义分割结果。将本文方法应用于TVHeads数据集，在精确率、召回率和F1分数指标上均取得了良好结果，证明了所提方法的有效性。

本文组织结构如下：第二节介绍本文提出的方法，包括改进型U-Net（第II-A1小节）、与现有最优卷积神经网络的对比（第II-A2、II-A3、II-A4小节），并详细介绍“TV-Heads数据集”（第II-B小节）。后续章节分别给出实验结果（第三节）和结论与未来工作展望（第四节）。

### 第二节 方法

在本节中，我们介绍一种用于头部图像分割的新型改进U-Net结构，即所谓的U-Net3。我们还介绍了从文献中选取的用于图像分割的卷积网络，以及用于对比实验的数据集。后续小节将展开详细介绍。本文提出的结构在TVHeads数据集上进行了全面评估。数据采集和真实值标注的细节将在第II-B小节讨论。

### A. 用于图像分割的卷积网络

1) U-Net3：U-Net3 $^{1}$ 结构如图1所示。我们构建了一种更简洁优雅的结构，对[^23]、[^24]中提出的结构进行修改和扩展，使其能够在训练样本极少的情况下正常工作，并得到更精确的分割结果。该结构由两个主要部分组成：收缩路径（左侧）和扩张路径（右侧）。收缩路径遵循卷积网络的典型架构，由重复应用两次$3 \times 3$卷积（无填充卷积）组成，每次卷积后接ReLU激活函数，以及步长为2的$2 \times 2$最大池化操作进行下采样。每完成一次下采样步骤，特征通道的数量加倍。扩张路径的每一步包含：先对特征图进行上采样，之后接一个$2 \times 2$卷积（“上卷积”），将特征通道数量减半，然后与收缩路径中对应裁剪后的特征图进行拼接，再进行两次$3 \times 3$卷积，每次卷积后接ReLU激活函数。在最后一层，使用一个$1 \times 1$卷积将每个32维特征向量映射到所需的类别数量。与[^23]、[^24]相比，本文提出的U-Net3结构在每层的末端进行了修改，核心思路是在第一个ReLU激活函数之后，以及每次最大池化和上采样操作之后添加批量归一化。

![Image](images/e317b6dd5050c6b54917ce2dcadd965fcbf572c7f0065a53fa67772027986eab.jpg)

<div style="text-align: center;">Fig. 1: Illustration of implemented U-Net3 architecture.</div>

2) SegNet：SegNet由Vijay等人在[^20]中提出。该结构由一系列非线性处理层（编码器）和一组对应的解码器组成，解码器之后接一个像素级分类器。通常，每个编码器包含一个或多个卷积层，卷积层后接批量归一化和ReLU非线性激活，之后再进行不重叠的最大池化和下采样。池化过程得到的稀疏编码会在解码器中利用最大池化索引进行上采样，

---

编码序列。SegNet的一个核心设计是在解码器中使用最大池化索引对低分辨率特征图进行上采样。这一做法的重要优势在于，既可以保留分割图像中的高频细节，还能减少解码器中可训练参数的总数量。整个架构可以通过随机梯度下降实现端到端训练。即使不使用基于CRF的后处理，原生SegNet的预测结果也通常较为平滑。

3）ResNet：ResNet由一系列残差单元构成[^25]。ResNet中第n个残差单元（RU）的输出$x_{n}$的计算公式如下：

 $$ x_{n}=x_{n-1}+F(x_{n-1};W_{n}) $$

其中$F(x_{n-1}; W_{n})$为残差，由$W_{n}$参数化。通过这种设计，F不需要直接计算输出$x_{n}$，仅需要计算残差，再将其叠加到输入$x_{n-1}$上。该设计被称为跳跃连接，因为存在一条从输入$x_{n-1}$到输出$x_{n}$、跳过实际计算F的直连。实验表明，与传统前馈网络相比，ResNet拥有更优异的训练特性，这可以用网络内部梯度流的改善来解释。

4）FractalNet：分形网络由Larsson等人在文献[^26]中提出。设C为截断分形$f_{C}(\cdot)$的索引（即若干堆叠的层），截断分形的基础情况是单个卷积：

 $$ f_1(z)=conv(z) $$

根据扩展规则：

 $$ z^{\prime}=conv(z) $$

 $$ f_{C+1}(z)=c o n v(c o n v(z^{\prime})\oplus f_{C}(z^{\prime})) $$

后续分形结构可以递归定义，其中$\oplus$为连接操作，$\text{conv}(\cdot)$为卷积算子。连接操作$\oplus$用于合并两个特征块。由于这两个特征块包含来自不同视觉层级的特征，将它们连接可以提升网络的判别能力。通常来说，该操作可以是求和、取最大值或者拼接。为了扩大感受野并纳入更多上下文信息，上述扩展规则中加入了下采样和上采样操作，具体来说，新增了步长为2的最大池化和步长同样为2的反卷积。下采样操作后，分形结构的感受野会变得更大。当通过连接操作融合不同大小的感受野后，网络可以利用多尺度视觉线索，提升自身的判别能力。

### B. TVHeads数据集

TVHeads $^{2}$数据集包含由安装在俯视视角的RGB-D相机采集的人体深度图像。该数据集的高密度拥挤场景定义为：相机覆盖区域内每平方米至少有3人经过，且存在进入关注区域的人员之间发生身体接触的情况。该数据集的核心目标是对进入相机视场的人员进行头部定位。共采集了1815张尺寸为$320 \times 240$像素的16位深度图像。此外，在图像预处理阶段，深度图像还经过了适当的缩放转换，通过提升图像对比度和亮度，得到了能够突出头部轮廓的8位图像。真实标签由6名人工标注员通过多数投票规则手动标注完成。图2展示了一个数据集样本示例，包含上述三张图像：16位深度图、8位深度图和对应的真实标签。

### III. 实验结果与讨论

本节报告了在TVHeads数据集上开展的实验结果。除U-Net3的性能之外，本文还展示了文献中不同基于CNN的方法在解决头部图像分割问题上的性能表现。为突出头部轮廓、改善图像的对比度和亮度，每种CNN实现都使用两种深度图像进行训练：16位（原始深度图像）和8位（缩放后图像）。基于神经网络的模型的通用训练流程是将数据集划分为三个部分：训练集、验证集和测试集。本研究分别使用训练集、验证集和测试集来学习模型参数。训练完成后，最优模型还会在从未见过的测试集上进行评估。此外，本文测试了不同的超参数组合，本研究最终使用的学习率为0.001，优化算法为Adam。

1) 性能评估：语义分割的实验结果分为两张不同的表格展示。表I分别给出了训练集和验证集上的Jaccard [^27] 和 Dice [^28] 系数。表II报告了准确率、精确率、召回率和F1分数指标下的实验结果。两张表格对应的训练过程均为200个epoch。

在表I中，表现最优的CNN架构是8位版本的U-Net3。实际上，其训练集上的Jaccard系数达到了0.962520。第二优的是16位版本的Fractal Net，它在验证集上也取得了更高的分数。对于每个网络，本文用红色标出了表现最优的位深版本模型。

和之前的情况一致，在表II中，就准确率而言，表现最优的CNN架构同样是8位版本的U-Net3，而16位版本的Fractal Net在精确率、召回率和F1分数指标上略胜一筹。

图3展示了训练拟合过程中各CNN的Jaccard系数变化趋势。可以清晰看到FractalNet和ResNet迅速达到了较高的数值。

---

![Image](images/6ed026c38b46390dc4c2f1bf5a019f5a7bd0ac00c1fe251dfd5ac8802ded2645.jpg)

<div style="text-align: center;">(a) 8 bit Depth image.</div>

![Image](images/1b84caf647ebc56883de1028505e61933fc09d60ebd665e890d28b905e4e5a08.jpg)

<div style="text-align: center;">(b) Ground truth.</div>

<div style="text-align: center;">Fig. 2: TVHeads Dataset. It consists of 8 bit scaled depth image (Figure 2a) and the corresponding ground truth (Figure 2b).</div>

<div style="text-align: center;">TABLE I: Jaccard and Dice indices of different CNN architectures.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Net</td><td style='text-align: center; word-wrap: break-word;'>Bit</td><td style='text-align: center; word-wrap: break-word;'>Jaccard Train</td><td style='text-align: center; word-wrap: break-word;'>Jaccard Validation</td><td style='text-align: center; word-wrap: break-word;'>Dice Train</td><td style='text-align: center; word-wrap: break-word;'>Dice Validation</td></tr><tr><td rowspan="2">Fractal [^26]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.960464</td><td style='text-align: center; word-wrap: break-word;'>0.948000</td><td style='text-align: center; word-wrap: break-word;'>0.979833</td><td style='text-align: center; word-wrap: break-word;'>0.973306</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.961636</td><td style='text-align: center; word-wrap: break-word;'>0.947762</td><td style='text-align: center; word-wrap: break-word;'>0.980443</td><td style='text-align: center; word-wrap: break-word;'>0.973180</td></tr><tr><td rowspan="2">U-Net [^23]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.896804</td><td style='text-align: center; word-wrap: break-word;'>0.869399</td><td style='text-align: center; word-wrap: break-word;'>0.945595</td><td style='text-align: center; word-wrap: break-word;'>0.930138</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.894410</td><td style='text-align: center; word-wrap: break-word;'>0.869487</td><td style='text-align: center; word-wrap: break-word;'>0.944262</td><td style='text-align: center; word-wrap: break-word;'>0.930188</td></tr><tr><td rowspan="2">U-Net2 [^24]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.923823</td><td style='text-align: center; word-wrap: break-word;'>0.939086</td><td style='text-align: center; word-wrap: break-word;'>0.960403</td><td style='text-align: center; word-wrap: break-word;'>0.968586</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.923537</td><td style='text-align: center; word-wrap: break-word;'>0.938208</td><td style='text-align: center; word-wrap: break-word;'>0.960249</td><td style='text-align: center; word-wrap: break-word;'>0.968119</td></tr><tr><td rowspan="2">U-Net3</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.962520</td><td style='text-align: center; word-wrap: break-word;'>0.931355</td><td style='text-align: center; word-wrap: break-word;'>0.980902</td><td style='text-align: center; word-wrap: break-word;'>0.964458</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.961540</td><td style='text-align: center; word-wrap: break-word;'>0.929924</td><td style='text-align: center; word-wrap: break-word;'>0.980393</td><td style='text-align: center; word-wrap: break-word;'>0.963690</td></tr><tr><td rowspan="2">SegNet [^20]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.884182</td><td style='text-align: center; word-wrap: break-word;'>0.823731</td><td style='text-align: center; word-wrap: break-word;'>0.938531</td><td style='text-align: center; word-wrap: break-word;'>0.903347</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.884162</td><td style='text-align: center; word-wrap: break-word;'>0.827745</td><td style='text-align: center; word-wrap: break-word;'>0.938520</td><td style='text-align: center; word-wrap: break-word;'>0.905756</td></tr><tr><td rowspan="2">ResNet [^25]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.932160</td><td style='text-align: center; word-wrap: break-word;'>0.856337</td><td style='text-align: center; word-wrap: break-word;'>0.964889</td><td style='text-align: center; word-wrap: break-word;'>0.922609</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.933436</td><td style='text-align: center; word-wrap: break-word;'>0.848240</td><td style='text-align: center; word-wrap: break-word;'>0.965572</td><td style='text-align: center; word-wrap: break-word;'>0.917889</td></tr></table>

<div style="text-align: center;">TABLE II: Semantic segmentation results of different ConvNet architectures.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Net</td><td style='text-align: center; word-wrap: break-word;'>Bit</td><td style='text-align: center; word-wrap: break-word;'>Accuracy</td><td style='text-align: center; word-wrap: break-word;'>Precision</td><td style='text-align: center; word-wrap: break-word;'>Recall</td><td style='text-align: center; word-wrap: break-word;'>F1-Score</td></tr><tr><td rowspan="2">Fractal [^26]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.994414</td><td style='text-align: center; word-wrap: break-word;'>0.991400</td><td style='text-align: center; word-wrap: break-word;'>0.993120</td><td style='text-align: center; word-wrap: break-word;'>0.992235</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.994437</td><td style='text-align: center; word-wrap: break-word;'>0.992667</td><td style='text-align: center; word-wrap: break-word;'>0.993297</td><td style='text-align: center; word-wrap: break-word;'>0.992970</td></tr><tr><td rowspan="2">U-Net [^23]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.992662</td><td style='text-align: center; word-wrap: break-word;'>0.946475</td><td style='text-align: center; word-wrap: break-word;'>0.950483</td><td style='text-align: center; word-wrap: break-word;'>0.948408</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.992569</td><td style='text-align: center; word-wrap: break-word;'>0.945083</td><td style='text-align: center; word-wrap: break-word;'>0.948957</td><td style='text-align: center; word-wrap: break-word;'>0.946938</td></tr><tr><td rowspan="2">U-Net2 [^24]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.993156</td><td style='text-align: center; word-wrap: break-word;'>0.970013</td><td style='text-align: center; word-wrap: break-word;'>0.969206</td><td style='text-align: center; word-wrap: break-word;'>0.969568</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.993165</td><td style='text-align: center; word-wrap: break-word;'>0.967884</td><td style='text-align: center; word-wrap: break-word;'>0.970557</td><td style='text-align: center; word-wrap: break-word;'>0.969123</td></tr><tr><td rowspan="2">U-Net3</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.994572</td><td style='text-align: center; word-wrap: break-word;'>0.990451</td><td style='text-align: center; word-wrap: break-word;'>0.990387</td><td style='text-align: center; word-wrap: break-word;'>0.990419</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.994559</td><td style='text-align: center; word-wrap: break-word;'>0.989382</td><td style='text-align: center; word-wrap: break-word;'>0.989411</td><td style='text-align: center; word-wrap: break-word;'>0.989396</td></tr><tr><td rowspan="2">SegNet [^20]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.992683</td><td style='text-align: center; word-wrap: break-word;'>0.946304</td><td style='text-align: center; word-wrap: break-word;'>0.953136</td><td style='text-align: center; word-wrap: break-word;'>0.949625</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.992699</td><td style='text-align: center; word-wrap: break-word;'>0.946237</td><td style='text-align: center; word-wrap: break-word;'>0.953342</td><td style='text-align: center; word-wrap: break-word;'>0.949658</td></tr><tr><td rowspan="2">ResNet [^25]</td><td style='text-align: center; word-wrap: break-word;'>8</td><td style='text-align: center; word-wrap: break-word;'>0.993789</td><td style='text-align: center; word-wrap: break-word;'>0.968399</td><td style='text-align: center; word-wrap: break-word;'>0.968374</td><td style='text-align: center; word-wrap: break-word;'>0.968359</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>16</td><td style='text-align: center; word-wrap: break-word;'>0.993819</td><td style='text-align: center; word-wrap: break-word;'>0.968765</td><td style='text-align: center; word-wrap: break-word;'>0.969256</td><td style='text-align: center; word-wrap: break-word;'>0.968992</td></tr></table>

仅经过少数几个epoch后就能达到较高数值。与之相反，U-Net3的数值上升速度更慢。经典U-Net的性能始终低于所有其他网络。

2) 定性评估：表III展示了语义分割的定性实验结果。表格中给出了每种架构的预测图像。使用U-Net3（8位和16位版本）取得了最优结果，而经典U-Net和SegNet输出的图像更为平滑圆钝。

![Image](images/3c2e8107523deb97e9c9530b415fabb9912b26b1f5f3a22bcfcd98505381c642.jpg)

<div style="text-align: center;">Fig. 3: Jaccard index trends.</div>

头部形状。

可以看出，所有网络的性能都表现良好，F1分数均超过90%，证明了本文所提方法的有效性和适用性。对比结果表明U-Net3的性能优于此前的U-Net设计。该系统在单核CPU上即可达到10 fps的运行速度，能够保证实时性能。

### 四、结论

在存在大量行人、目标持续被遮挡的拥挤场景中开展人体检测与跟踪，是一项极具挑战性却富有研究价值的任务。本文针对人头语义分割提出了U-Net3网络，该网络利用安装在俯视构型下的RGB-D相机采集深度图像开展研究。为解决人头图像分割问题，我们将这一新型网络的性能与已发表文献中各类基于CNN的方法进行对比，对比方法包括U-Net、U-Net2、FractalNet、SegNet和ResNet。U-Net3方法能够学习图像内容的高阶表征，可实现较高的精确率与召回率。在TVHeads数据集上的实验取得了较高准确率，验证了本文方法的有效性与适用性。后续研究将通过使用更大规模的数据集改进本文方法，此外我们还将扩展评估工作，对

---

![Image](images/8fcc86dbeef759040f3ce46bde1ff33e9fdee6799f232c81ec5f828f7e491cd2.jpg)

<div style="text-align: center;">(a) Fractal Net 8-bit.</div>

![Image](images/4052fe194c36327f109f236964512f184d404c2bfa4f499421646cf58772c85f.jpg)

<div style="text-align: center;">(b) Fractal Net 16-bit.</div>

![Image](images/9772b074fbcdf08d1f3092d3334fc7190d71553f63eb7c65670b3eecc61f0278.jpg)

![Image](images/64c35db9980786d9b6038f4f0d205bd9c912992dee86c4ae9a7b7087d016d355.jpg)

<div style="text-align: center;">(c) U-Net 8-bit.</div>

<div style="text-align: center;">(d) U-Net 16-bit.</div>

![Image](images/81fd5fce22728a8f9a9f8ae78f1d08687ede6cf7cb0de3c13f333160a9697b31.jpg)

<div style="text-align: center;">(e) U-Net2 8-bit.</div>

![Image](images/d92d7f6bf1c29c445c00a7e80e7adaaaa6991bdc41934e1dae4ca05bea510793.jpg)

<div style="text-align: center;">(f) U-Net2 16-bit.</div>

![Image](images/c8364da2077c1ad2f814eefc5e9cabc117e28acee3fec6d0318f551cf8b10f27.jpg)

<div style="text-align: center;">(g) U-Net3 8-bit.</div>

![Image](images/2f1e107ead2bd2dd2c1351058c5ae3f12044b65d748fc42cfd85ddf093f09c4b.jpg)

<div style="text-align: center;">(j) SegNet 16-bit.</div>

<div style="text-align: center;">(h) U-Net3 16-bit.</div>

![Image](images/3f33e34209787cc127afbf3e0b6633d3f06cd750668515946c40b5728466bb82.jpg)

![Image](images/6c27456cff5347271ac649685bc272f6eae40f207b0c32d5d02f9b21781e264a.jpg)

<div style="text-align: center;">(i) SegNet 8-bit.</div>

![Image](images/c7e17fe6435c3204aab4ec8dd84323e381d7b925a2c49e2bcc59db1a24c3947e.jpg)

<div style="text-align: center;">(k) ResNet 8-bit.</div>

<div style="text-align: center;">Fig. 4: Jaccard index results.</div>

![Image](images/b14a8c6b7e8581d5e5e756919d6ee2ac5c190a9d712ca3fce9be27ee36665306.jpg)

<div style="text-align: center;">(1) ResNet 16-bit.</div>

已有文献中的其他CNN模型与本文提出的U-Net3进行对比。我们还将采集包含更多不同拥挤场景的复杂数据集，以构建更具挑战性的测试环境。

## 参考文献

[^1]: T. Zhao, R. Nevatia, and B. Wu, “Segmentation and tracking of multiple humans in crowded environments,” IEEE transactions

《模式分析与机器智能汇刊》，第30卷，第7期，pp. 1198–1211，2008年。

[^2]: J. Liu, Y. Liu, G. Zhang, P. Zhu, and Y. Q. Chen, "Detecting and tracking people in real time with rgb-d camera," Pattern Recognition Letters, vol. 53, pp. 16–23, 2015.

[^3]: W. Ye and Z. Zhong, “Robust people counting in crowded environment,” in Robotics and Biomimetics, 2007. ROBIO 2007. IEEE International Conference on. IEEE, 2007, pp. 1133–1137.


## [^4]: M. Sturari, D. Licotti, R. Pierdicca, E. Frontoni, A. Mancini,


---

标签

![Image](images/9ce93e0ec7bd0b840b1faf46122f58f8c80d54d81fa83264ecef52e431612d4c.jpg)

ResNet [^25]

M. 孔蒂尼亚尼，P. 津加雷蒂，《基于视觉与无线信标传感器融合的稳健低成本零售客户画像分析》，《模式识别通讯》，2016年。

[^5]: D. Licotti, M. Paolanti, E. Frontoni, and P. Zingaretti, “People detection and tracking from an rgb-d camera in top-view configuration: Review of challenges and applications,” in International Conference on Image Analysis and Processing. Springer, 2017, pp. 207–218.

[^6]: M. Paolanti, C. Kaiser, R. Schallner, E. Frontoni, and P. Zingaretti, “Visual and textual sentiment analysis of brand-related social media pictures using deep convolutional neural networks,” in International Conference on Image Analysis and Processing. Springer, 2017, pp. 402–413.

[^7]: M. Sturari, M. Paolanti, E. Frontoni, A. Mancini, and P. Zingaretti, “Robotic platform for deep change detection for rail safety and security,” in Mobile Robots (ECMR), 2017 European Conference on. IEEE, 2017, pp. 1–6.

[^8]: B. Hariharan, P. Arbeláez, R. Girshick, and J. Malik, “Simultaneous detection and segmentation,” in European Conference on Computer Vision. Springer, 2014, pp. 297–312.

托尼，《基于深度学习的单目图像视觉与文本分析，用于零售勘测与库存盘点的移动机器人》，收录于2017年欧洲移动机器人会议（ECMR）论文集，IEEE，2017年，pp. 1–6。

[^9]: M. Paolanti, M. Sturari, A. Mancini, P. Zingaretti, and E. Fron-

[^10]: N. Silberman and R. Fergus, “Indoor scene segmentation using a structured light sensor,” in Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on. IEEE, 2011, pp. 601–608.

[^11]: N. Silberman, D. Hoiem, P. Kohli, and R. Fergus, “Indoor segmentation and support inference from rgbd images,” Computer Vision–ECCV 2012, pp. 746–760, 2012.

[^12]: S. Gould, R. Fulton, and D. Koller, “Decomposing a scene into geometric and semantically consistent regions,” in Computer Vision, 2009 IEEE 12th International Conference on. IEEE, 2009, pp. 1–8.

[^13]: C. Liu, J. Yuen, and A. Torralba, “Sift flow: Dense correspondence across scenes and its applications,” IEEE transactions on pattern analysis and machine intelligence, vol. 33, no. 5, pp. 978–994, 2011.

[^14]: S. Gupta, P. Arbelaez, and J. Malik, “Perceptual organization and recognition of indoor scenes from rgb-d images,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2013, pp. 564–571.

[^15]: A. Hermans, G. Floros, and B. Leibe, “Dense 3d semantic mapping of indoor scenes from rgb-d images,” in Robotics and Automation (ICRA), 2014 IEEE International Conference on. IEEE, 2014, pp. 2631–2638.

[^16]: C. Farabet, C. Couprie, L. Najman, and Y. LeCun, “Learning hierarchical features for scene labeling,” IEEE transactions on pattern analysis and machine intelligence, vol. 35, no. 8, pp. 1915–1929, 2013.

[^17]: D. Grangier, L. Bottou, and R. Collobert, “Deep convolutional networks for scene parsing,” in ICML 2009 Deep Learning Workshop, vol. 3, 2009.

[^18]: J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 3431–3440.

[^19]: H. Noh, S. Hong, and B. Han, "Learning deconvolution network for semantic segmentation," in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 1520–1528.

[^20]: V. Badrinarayanan, A. Kendall, and R. Cipolla, “Segnet: A deep convolutional encoder-decoder architecture for image segmentation,” CoRR, 2015.

[^21]: F. Yu and V. Koltun, “Multi-scale context aggregation by dilated convolutions,” arXiv preprint arXiv:1511.07122, 2015.

[^22]: L.-C. Chen, Y. Yang, J. Wang, W. Xu, and A. L. Yuille, “Attention to scale: Scale-aware semantic image segmentation,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 3640–3649.

[^23]: O. Ronneberger, P. Fischer, and T. Brox, "U-net: Convolutional networks for biomedical image segmentation," arXiv preprint arXiv:1505.04597, 2015.

[^24]: H. Ravishankar, R. Venkataramani, S. Thiruvenkadam, P. Sudhakar, and V. Vaidya, “Learning and incorporating shape models for semantic segmentation,” in International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, 2017, pp. 203–211.

[^25]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 770–778.

[^26]: G. Larsson, M. Maire, and G. Shakhnarovich, “Fractalnet: Ultra-deep neural networks without residuals,” arXiv preprint arXiv:1605.07648, 2016.

[^27]: P. Jaccard, “Etude comparative de la distribution florale dans une portion des alpes et des jura,” Bull Soc Vaudoise Sci Nat, vol. 37, pp. 547–579, 1901.

[^28]: L. R. Dice, “Measures of the amount of ecologic association between species,” Ecology, vol. 26, no. 3, pp. 297–302, 1945.
