ESANN 2016 proceedings, European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning. Bruges (Belgium), 27-29 April 2016, i6doc.com publ., ISBN 978-287587027-8. Available from > 层级融合与决策层融合。Choi等人[^4]应用联合双线性滤波器在像素层融合热红外图像与可见光图像。在[^5]中，研究者通过扩展[^6]的聚合通道特征检测器，开发了一种基于特征层融合的方法。Torresan等人[^7]分别在可见光图像和热红外图像中检测并跟踪行人，引入额外的合并与验证流程在决策层融合信息。本文利用了在可见光领域已取得成功的基于深度模型的检测方法，并将这些方法扩展到多光谱场景中。据我们所知，这是首次尝试使用深度模型融合可见光相机与热红外相机的图像。我们在KAIST多光谱行人检测基准[^5]上评估了本文提出的模型与训练方法，并将其与当前最优方法进行比较。结果表明，经过额外预训练的基于晚融合的深度模型性能显著优于当前最优基线。 ## 2 多光谱基准与基线 KAIST多光谱行人基准数据集[^5]包含时间与空间对齐的可见光图像和热红外图像，分辨率为$640 \times 512$像素。该数据集总共包含9.53万对可见光-热红外图像对，划分为训练集和测试集：训练集共5.02万张图像，包含4.15万个标注行人；测试集共4.51万张图像，包含4.47万个标注行人。目前，在KAIST基准上性能最优的方法是[^6]中提出的聚合通道特征（ACF）检测器的扩展版本。原始ACF检测器以滑动窗口方式运行，使用经过下采样和滤波的通道作为特征。这些通道包括CIELUV颜色空间分量、归一化梯度幅值和方向梯度直方图。ACF检测器的多光谱扩展版本（ACF+T+THOG）额外将对比度增强后的热红外图像以及热红外图像的HOG特征作为通道加入模型。我们实验中使用的ACF+T+THOG检测器是KAIST基准数据集提供的现有检测器的重新训练版本。在重新训练版本中，我们调整了真值边界框的标准化流程。按照[^2]的建议，我们在标准化边界框时保持高度和中心固定，仅调整宽度。 ## 3 多光谱深度模型我们的模型构建于R-CNN检测框架[^8]之上，该框架首次被应用于行人检测是在[^9]中。在R-CNN框架中，候选区域生成器用于生成候选边界框。这些候选区域的图像数据会被转换为标准尺寸，再由CNN进行评估。我们使用ACF+T+THOG检测器生成候选区域。基于这些候选区域，CNN用于融合不同模态的信息并执行二分类。 --- ESANN 2016会议论文集，欧洲人工神经网络、计算智能与机器学习研讨会。2016年4月27日-29日，比利时布鲁日，i6doc.com出版，ISBN 978-287587027-8。可从获取。 ### 3.1 融合架构我们研究了基于早融合和晚融合的CNN架构，用于融合可见光图像与热成像图像的信息（图1）。早融合架构（EarlyFusion）在像素层面融合两种模态的信息。相比之下，晚融合CNN（LateFusion）使用独立的子网络为每种模态生成特征表示，这些表示会在额外的全连接层中完成融合。类似的晚融合架构已被应用于[^10]中的RGB-D目标识别任务，以及[^11]中的视频动作识别任务。早融合架构的结构，以及晚融合架构的子网络，均基于CaffeNet [^12]构建。下文介绍的网络参数是对超参数进行粗略手动调优后得到的结果。 ![Image](images/c157d762af53cf9674404fe88c72c4de2eab870328f5efaad4152b4f67be8d0b.jpg)

(a) Early Fusion

![Image](images/bdf385359156ba7ae20abbcdb5541a7215d63d71c109972123f7c550bb5c4631.jpg)

(b) Late Fusion

Fig. 1: Architectures with changes compared to CaffeNet [^12] visualized. $C(f, s)$ represents a convolutional layer with f filters and a stride of s.

早融合架构。对于该架构，我们基于CaffeNet进行修改，将每个卷积层的滤波器数量增加了$4/3$倍，以补偿新增的第四个输入通道。此外，我们将全连接层的神经元数量减少至2048，并将原有的1000类分类层替换为二分类层。另外，为了在最后一个卷积层输出后获得足够的空间分辨率，我们将第一个卷积层的步幅降低至2。通过在像素层面融合两种模态，我们期望能够更好地利用不同传感器模态之间的内在关联。晚融合架构。晚融合架构在子网络中分别处理两种模态的数据，随后在全连接层中融合得到的特征表示。两个子网络均基于移除分类层的CaffeNet构建，并且和早融合CNN类似，它们的全连接层都包含2048个神经元，第一个卷积层的步幅也均为2。在处理热成像图像的子网络中，我们额外将每个卷积层的滤波器数量减半。0.5这个系数是根据CaffeNet第一个卷积层中灰度滤波器的数量得出的。两个子网络经第二个全连接层生成的激活结果会被拼接，随后输入到包含4096个神经元的全连接层中完成融合。融合层之后依次连接ReLU非线性层、dropout层，最后是二分类层。晚融合网络的参数是以端到端的方式学习得到的。 --- ESANN 2016 会议论文集，欧洲人工神经网络、计算智能与机器学习研讨会。2016年4月27-29日，比利时布鲁日，i6doc.com出版，ISBN 978-287587027-8。可从获取。 ### 3.2 训练流程训练深度网络时，能否获得足够大量的标注数据通常是关键问题。由于数据生成和标注存在相应成本，绝大多数应用场景下可用训练数据的规模都是有限的。解决该问题的一种常用方法是在大型辅助数据集上对网络进行预训练。为了展示预训练的优势，我们对网络进行了两次训练：一次仅使用多光谱基准提供的训练数据，另一次额外在辅助数据集上对网络进行预训练。由于缺乏可用的大规模可见光-热红外图像数据集，我们在可见光数据上预训练我们的模型，使用红色通道作为热红外通道的粗略近似。因此，在预训练过程中，早融合架构的输入图像会包含两次红色通道。考虑到真实数据中红色图像和热红外图像存在差异，这种近似可能过于粗糙。此外，早融合架构能否学习到可利用替换后热通道的互补特征，这一点仍然存疑。我们的预训练流程包含以下两个步骤：第一步，使用ImageNet [^13] 数据集，在图像分类任务上训练CaffeNet-T、CaffeNet-RGB和EarlyFusion网络的卷积层。第二步，我们使用CALTECH基准 [^2] 的所有图像对这些网络进行微调。我们沿用已经训练完成的卷积层权重，对全连接层的权重使用随机值初始化。此外，我们为每个网络额外添加一个随机初始化的分类层。在上述预训练步骤中，晚融合架构的两个子网络仅单独进行训练。在KAIST数据上训练晚融合模型同样分为两个步骤：根据是否使用预训练，LateFusion架构的两个子网络分别使用预训练权重或随机值初始化。我们从这些初始参数出发，分别优化两个子网络。第二步则对整个晚融合架构进行联合微调。正如 [^10] 所提出的，固定子网络权重、仅训练融合层可以得到最佳的融合结果。由于结构简单，早融合网络可以根据是否使用预训练，以常规方式完成训练或微调。与基准检测器的数据采样策略不同，我们参照 [^9] 的方法，仅使用KAIST训练数据集的隔帧数据。此外，我们将原始训练数据划分为包含92%图像的训练集和包含剩余8%图像的验证集。 ## 4 实验结果对检测器的评估在KAIST测试数据的合理子集上开展。合理日间子集和合理夜间子集分别包含日间和夜间拍摄的图像，全合理数据集由这两个数据集的并集构成。我们遵循 [^5] 中定义的评估协议，并额外按照 [^2] 的要求对纵横比- ---

ESANN 2016 proceedings, European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning. Bruges (Belgium), 27-29 April 2016, i6doc.com publ., ISBN 978-287587027-8. Available from > 通过宽度调整，将边界框统一设置为固定值0.41。图2展示了各检测器的ROC曲线，以及它们的对数平均漏检率，该指标的定义见[^2]。对于每一种融合架构，我们分别报告了带预训练和不带预训练的性能，PreTraining后缀即为预训练模型的标记。此外，我们还可视化了两个预训练后期融合子网络CaffeNet-T+PreTraining和CaffeNet-RGB+PreTraining的性能。基于预训练后期融合的深度架构性能显著优于当前最优的ACF+T+THOG基线方法，也优于在三个测试集上评估的所有其他检测器。在白天场景下，LateFusion+PreTraining架构的性能比基线方法高出5.12%，在夜间场景则高出10.4%。尽管预训练中用红色通道替代热通道的替换操作是非常粗糙的近似，但它仍能让所有架构获得显著的性能提升。大多数情况下，早期融合架构无法达到当前最优ACF+T+THOG的性能水平。我们认为，该现象至少存在三个原因：未预训练的早期融合网络性能不佳，大概率可以归因于KAIST数据集的可用数据量有限。此外我们推测，由于缺少来自 ![Image](images/b5d94ea746a5700c1760328e6721a96f0a89bd8861050984ce60b75db042736f.jpg)

(a) Detector ROC curves on the reasonable all data split

Detector	log-average miss rate
Detector	all	day	night
ACF+T+THOG	50.48 %	51.27 %	47.40 %
LateFusion+PreTraining	43.80 %	46.15 %	37.00 %
LateFusion	51.30 %	55.27 %	41.58 %
EarlyFusion+PreTraining	53.94 %	50.90 %	51.76 %
EarlyFusion	57.96 %	58.22 %	57.78 %
CaffeNet-RGB+PreTraining	56.52 %	53.51 %	63.40 %
CaffeNet-T+PreTraining	54.67 %	59.77 %	42.09 %

(b) Log-average miss rate on the reasonable all, day and night data split

Fig. 2: Detection performance comparison of the introduced fusion architectures, with the recent state-of-the-art detector ACF+T+THOG.

---

ESANN 2016 proceedings, European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning. Bruges (Belgium), 27-29 April 2016, i6doc.com publ., ISBN 978-287587027-8. Available from > 所选热通道近似方法的互补信息，早期融合网络在预训练过程中没有学习到有意义的多模态特征。早期融合架构性能不佳的第三个原因是存在微小的非系统性对齐误差，该误差在数据集的部分图像中较为明显。后期融合网络能够应对这类误差，因为它是在空间信息相关性较低的阶段进行信息融合。正如预期，热模态在夜间性能优于可见光模态，在白天则相反。 ## 5 结论本文首次将深度卷积神经网络应用于多光谱图像数据的行人检测任务，评估了分别用于早期融合和后期融合的两种深度架构。我们在KAIST多光谱基准数据集上的分析表明，基于预训练的后期融合架构性能显著优于当前最优的ACF+T+THOG方案，而早期融合架构在大多数情况下无法达到当前最优性能。这可能是因为在给定设置下，早期融合网络无法学习到有意义的多模态抽象特征。 ## 参考文献 [^1]: R. Benenson, M. Omran, J. Hosang, and B. Schiele. Ten years of pedestrian detection, what have we learned? In CVRSUAD, ECCV Workshop, 2014. [^2]: P. Dollár, C. Wojek, S. Bernt, and P. Perona. Pedestrian detection: An evaluation of the state of the art. IEEE Trans. on Pattern Anal. and Mach. Intell., 34(4):743–761, 2012. [^3]: R. Gade and T. B. Moeslund. Thermal cameras and applications: A survey. Machine Vision Applications, 25(1):245–262, 2014. [^4]: E.-J. Choi and D.-J. Park. Human detection using image fusion of thermal and visible image with new joint bilateral filter. In ICCIT, pages 882–885, 2010. [^5]: S. Hwang, J. Park, N. Kim, Y. Choi, and I.S. Kweon. Multispectral pedestrian detection: Benchmark dataset and baseline. In CVPR, 2015. [^6]: P. Dollár, R. Appel, S. Belongie, and P. Perona. Fast feature pyramids for object detection. IEEE Trans. Pattern Anal. Mach. Intell., 36(8):1532–1545, 2014. [^7]: H. Torresan, B. Turgeon, C. Ibarra-castanedo, P. Hébert, and X. Maldague. Advanced surveillance systems: Combining video and thermal imagery for pedestrian detection. In In Proc. of SPIE, Thermosense XXVI, volume 5405 of SPIE, pages 506–515, 2004. [^8]: R. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. In CVPR, 2014. [^9]: J. Hosang, R. Benenson, M. Omran, and B. Schiele. Taking a deeper look at pedestrians. In CVPR, 2015. [^10]: A. Eitel, J. T. Springerberg, L. Spinello, M. Riedmiller, and W. Burgard. Multimodal deep learning for robust rgb-d object recognition. In IROS, 2015. [^11]: K. Simonyan and A. Zisserman. Two-stream convolutional networks for action recognition in videos. In NIPS, pages 568–576, 2014. [^12]: Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell. Caffe: Convolutional architecture for fast feature embedding. arXiv preprint arXiv:1408.5093, 2014. [^13]: O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, and L. Fei-Fei. ImageNet Large Scale Visual Recognition Challenge. IJCV, 115(3):211–252, 2015.