# 一种基于激光雷达的人体活动识别多模态数据处理系统
Jamie Roche $^{ID}$、Varuna De-Silva、Joosep Hook、Mirco Moencks $^{ID}$，以及IEEE高级会员Ahmet Kondoz
摘要——如今，检测和识别人类行为的任务越来越多地交由处理摄像头或可穿戴传感器数据的各类神经网络完成。由于摄像头易受光照影响，可穿戴传感器普遍存在数据不足的问题，两种单模态都无法稳定获取完成任务所需的充足数据。在此背景下，激光探测与测距（LiDAR，激光雷达）这类距离传感器可以补充感知过程，让环境感知更加鲁棒。近年来，研究人员一直在探索将卷积神经网络应用于三维数据的方法，这些方法通常依赖单模态，无法利用互补传感器流的信息来提升准确率。本文提出了一种结合传感器融合与多模态机器学习优势的人体活动识别框架，给定RGB数据和点云数据，我们的方法使用区域卷积神经网络（R-CNN）和三维改进Fisher向量网络描述目标的活动。在自定义采集的多模态数据集上的评估表明，该模型的人体活动分类准确率极高，达到90%。此外，该框架可用于体育分析、社会行为理解、监控，尤其值得一提的是可应用于自动驾驶汽车（AV）在城区和室内环境下的数据驱动决策策略。
索引术语——卷积神经网络、快速RCNN、Fisher向量、人体活动识别（HAR）、多模态机器学习（ML）。
## 一、引言
人体活动识别（HAR）吸引了大量研究者，已成为机器视觉领域最热门、最活跃的研究方向之一。凭借其学术价值以及在体育分析 [^1]、人机交互 [^2]、环境辅助生活（AAL） [^3] 和自动驾驶汽车（AV）研究 [^4]、[^5] 中的实际应用价值，HAR研究的核心是刻画群体中个体或独立个体的行为。若要机器理解人类的行为，就需要开发出能够对人类行为进行推理的智能系统。
要对人类行为进行推理，必须解决三个核心挑战。首要挑战是让机器理解人类根据环境快速调整行为时产生的复杂交互。这些交互会受到诸多因素的影响，例如智能体之间的距离或行进方向。因此，智能体的位置和行为对于提升机器理解人类行为的能力同等重要。
第二个挑战是待测量属性以及测量所用传感器的选择。作为一个热门且活跃的研究领域，该方向存在诸多不同的研究方案，因此需要考虑传感器的不准确性、应用限制以及侵入性问题。例如，可穿戴传感器能够提供关于智能体行为的可靠信息，但遗憾的是，可穿戴传感器尚未达到应用所需的普及程度。智能手机加速度计已经向普及迈进了一步，但它能捕获的信息量远不及相机。类似地，相机在捕获宽视场（FoV）方面表现出色，但易受光照条件干扰。既然每种传感器都存在缺陷，不可避免的选择就是通过多模态进行过度补偿，从而提升捕获所有提升准确率所需必要数据的概率。
第三个挑战是训练分类器所需的数据量极大。当代大多数监督机器学习（ML）方法都需要样本进行学习。原则上，若拥有无限数据，大多数监督ML范式都能够对任意场景下的任意活动进行分类。但问题在于，实际应用中我们能否获取完成该任务所需的足量数据。因此，构建一个能够更智能地利用数据的框架本身就是一项重大挑战。
为解决这些挑战，我们提出了一种新型CNN架构，以利用多模态ML和传感冗余的优势。所提框架采用预训练CNN（ResNet-50）[^8] 和区域候选网络（RPN）作为目标检测器[^6]。目标检测器的作用是在图像中识别出包含正在执行活动的人体的感兴趣区域（ROI）。对应ROI会经过平移并与点云数据对齐，之后再进行分割和分类。该方法拓展了基于高斯混合模型（GMM）得到的三维改进Fisher向量表示的相关研究[^7]。
本文提出的框架解决了上述三项挑战，结果表明传感器数据冗余和多模态ML让我们能够更智能地利用数据，适应
---
Fig. 1. Proposed HAR pipeline. Given RGB data, we first detect a subject and generate an ROI. Each RGB ROI is translated and aligned onto the 3-D point cloud. The corresponding 3-D ROI is then passed onto the classifier before deciding what activity is being performed.
多样化的特征空间，并对智能体的活动和位置进行联合推理。具体而言，我们开发了一种技术：将检测得到的ROI投影到激光雷达（LiDAR）数据上，随后对人类执行的活动进行点云分类，如图1所示。
本研究的主要贡献是提出了一种全新、准确可靠的HAR方法，该方法利用了多传感模态。次要贡献和第三项贡献分别为ROI检测和三维数据中捕获目标的分割。本文余下内容结构安排如下：第二节概述了HAR领域的当前研究现状；第三节详细介绍所提出的框架；第四节报告了所提框架的对比性能和可视化结果；第五节讨论了该方法的部分局限性，第六节给出本文结论。
### 二、相关工作
HAR所采用的相关技术和传感器差异极大。本研究使用相机和LiDAR传感器对人类执行的不同活动进行分类。相机采集的是常规二维数据，LiDAR采集三维数据也就是点云数据。因此，在全文中我们将三维数据和点云数据交替使用。
多模态机器学习（Multimodal ML）是一个研究领域，其最早的应用之一出现在音视频语音识别（AVSR）领域[^8]，如今该领域的应用已经延伸到情感识别[^9]、[^10]、多智能体跟踪[^11]以及交通异常检测[^12]等当代方向。和传感器数据融合类似，多模态机器学习会利用多种传感器模态，以并行或串联的方式运行多个ML算法，以此优化整体框架性能[^13]。多模态机器学习领域需要解决五项核心技术挑战[^14]，分别为：1）表示，关注不同数据类型之间的差异；2）转换，指将数据从一个层面转换到另一个层面的机制；3）对齐，表征不同传感器流之间的邻近关系；4）融合，指对多源传感器数据进行合并；5）协同学习，指如何从一个模态中学习知识，供另一模态使用。
尽管ML领域已经取得了众多进展，但大多数成果都是在控制严格、结果明确的环境中得到验证的，这类成果通常仅用于执行单一任务，且一般只使用单路传感器流[^15]。开发能够利用从现实环境中采集的上下文信息进行决策的智能体，仍然是一项核心任务，尤其是在我们希望机器理解周边正在发生的事件的场景中。
场景的上下文信息可以通过各类仪器、测量技术和传感器获取。这一过程也被称为多模态感知，即通过多种传感器模态采集其所处工作环境的上下文信息[^16]和[^17]。该研究方向通常也被称为传感器数据融合，其面临的挑战可分为两类[^5]、[^16]：1）采集层面的挑战；2）数据源不确定性带来的挑战。
多模态机器学习和传感器数据融合应用最广泛的领域之一是AAL领域。相关算法通常应用于医院、康复中心和养老护理机构[^18]，用于判断哪些场景需要紧急医疗救助。这一过程通常会利用多组信号判断身体状态是否偏离内稳态[^19]，再通过多模态机器学习融合多种生物特征推断刚刚发生的事件。
与之密切相关的研究领域是用于HAR和行人检测的多模态机器学习[^20] [^21] [^22]。利用从AAL领域总结出的原理，研究人员有望减少道路事故，提升道路安全。例如，Diederichs等人[^23]和Rehder等人[^24]提出了多模态机器学习在行人识别系统中的一项有趣应用：该系统会将预测的行人意图与车辆行驶方向匹配，并根据匹配结果制动车辆，避免碰撞。
大多数HAR领域的研究都集中在RGB、RGB-D或可穿戴传感器数据三类方向上。这些技术会提取人体轮廓，在时间域对其进行跟踪，并基于分析得到的模式[^12]或是智能体提供的速度和加速度数据进行活动分类。例如，[^25] [^26] [^27]中的研究利用微机电系统（MEMS）实现了基于可穿戴传感器的活动识别方案。MEMS尺寸小、重量轻，同时适配室内和室外环境，因此是这类应用场景的理想选择。此外，当像[^28]中的研究者那样结合多模态机器学习方法后，使用可穿戴传感器的优势就变得十分明显。但遗憾的是，MEMS距离普及还有很长的路要走。尽管智能手机已经非常普及，也可用于该用途，但单一流的低层次数据（例如加速度数据）不足以区分带手机行走和单纯行走之间更细微的差异[^20]，[^29]。
在某些场景下，单一流低层次数据可用于检测跌倒这类动作。但实际上，这类识别系统的实际表现往往远低于研究报告中公布的结果[^30]。例如，Igual等人[^31]对不同跌倒检测算法进行交叉验证后得到了不理想的结果，这些不佳结果可归因于设备
---
硬件以及传感器相对位置的差异[^32]。显然，处理加速度数据时，传感器的放置位置是至关重要的[^33] [^34] [^35] [^36] [^37] [^38]。例如，跌倒是一类需要识别的活动，虽然仅靠智能手机输出的单一流低层次数据就可以完成识别，但传感器类型以及用户携带设备的位置是影响算法准确判断动作能力的重要因素。尽管可以用可穿戴MEMS替代智能手机，但我们又会回到之前提到的覆盖稀缺性问题，这使得光学和距离传感器成为普及率尚低的可穿戴MEMS的理想替代品。
可穿戴MEMS（例如心电图（ECG）和光电容积描记图（PPG））可以提供相当可靠的信息。然而，HAR这类实际应用会因衣物伪影出现信号衰减[^39]，还很容易受到饮食的影响[^40]，并且会因处方药物产生错误数据[^41]。例如，衣物产生的伪信号会干扰电极处的正常心脏信号。饮食中的钠与左心室质量不良改变、高血压以及水潴留增加相关，会显著降低颈股脉搏波传导速度（PWV）。相反，像左旋多巴（L-Dopa）这类通常用于治疗帕金森患者的药物，会引发体位性低血压——即下肢血液淤积，导致无法区分PPG信号的舒张期峰值。这并不是说可穿戴MEMS不是有价值的数据采集传感器，只是当它们应用于HAR领域时，存在覆盖不足、易受外部因素干扰的问题，最终会产生不准确或错误的数据。
本文就此阐述了部分行为识别研究人员聚焦RGB传感器而非可穿戴MEMS的原因。例如，Bagautdinov等人 [^1] 提出了一种用于HAR的统一框架，使用循环神经网络（RNN）结合成像传感器识别人体目标。[^42] 的研究人员使用RNN和成像数据完成了除单个体行为识别之外的相同任务。[^43] 的研究人员则提出了一种基于视觉的HAR系统，该系统使用移动摄像头，并从特征空间中提取方向梯度直方图（HOG）。
在基于RGB的研究基础上，部分学者进一步转向可承载深度信息与真彩色的数据流。Mukherjee等人 [^44] 借助两个名为ResNet [^45] 的并行CNN进行行为分类，提出了一种通过生成与输入视频对应的动态图像来捕获整段视频运动信息的方法。与之类似，Cippitelli等人 [^46]、Feng等人 [^47] 和Arzani等人 [^48] 分别提出了三类方法：利用从RGB-D传感器提取的骨骼数据的行为识别算法、基于三维骨骼序列的行为场景识别方法，以及可用于对简单和复杂行为建模的生成循环子图概率图模型。
尽管大多数行为识别系统一直聚焦于可穿戴MEMS、RGB或RGB-D数据，但多数当代系统都配备了摄像头和激光雷达（LiDAR）这类测距传感器。这类传感器通常可以与传统摄像头（RGB成像传感器）形成互补，从而更稳健地感知环境。在2004年、2005年美国国防高级研究计划局（DARPA）大挑战赛以及2007年DARPA城市挑战赛等赛事的推动下，激光雷达与摄像头的配置几乎已成为所有AV设计中的通用方案 [^49], [^50].
激光雷达并不只是在AV研究中被用作数据采集设备。AAL研究也常使用激光雷达来方便障碍人士导航 [^51], [^52]。此外，低成本型号的激光雷达传感器已开始进入商用领域 [^53], [^54]，可获得性大幅提升。这一趋势让部分人认为，激光雷达数据与图像数据融合是摄影技术的未来发展方向 [^55]。业界希望通过取消传感器的机械部件来大幅降低成本 [^27].
就用于行为识别的ML方法而言，CNN是目前非常受欢迎的选择 [^56] [^57] [^58]。但遗憾的是，点云数据并非CNN的天然输入。CNN原本设计用于处理RGB图像或规整格式的数据，因此让CNN适配三维数据并非简单的扩展工作。受传感器FoV影响，点云数据具有非结构化、无序的特点，还容易出现点缺失并受噪声干扰 [^7].
早期使用点云数据训练CNN的尝试需要将三维数据转换为多个视角下的一系列RGB图像。这类网络学习的是场景的深度图而非三维目标本身 [^59]。尽管该方法取得了一定成功，但转换过程中会丢失信息，导致网络精度下降 [^60], [^61].
近年来，研究人员提出了一种名为PointNet的深度学习（DL）架构 [^62]，[^63]。在训练过程中，PointNet将无序数据点作为输入，通过一组函数把点集映射为一个向量。执行分类任务时，会将该向量表示与数据集中识别出的模式进行比对。
PointNet的优势在于它是一个端到端网络，可直接处理3-D数据，无需将其转换为复杂表示 [^63]。尽管PointNet擅长分类任务，但它缺乏支持检测与定位的机制。此外，该处理过程受可用内存限制，也无法捕捉数据点之间的关联关系。
通过梳理现有研究，我们了解到用于HAR的ML方法主要分为RNN和CNN两类，数据采集采用三类传感器中的一种。从实用性角度来看，可穿戴传感器能够取得出色的效果，但受基础设施要求限制，且数据易受干扰，因此并不适用。尽管RGB或RGB-D传感器能够采集更多信息，但它们易受光照条件影响，因此可靠性不足。
因此，人类活动分类方案需要基于传感器提供的数据，合理地降低维度，并在不需要泛在基础设施的前提下充分捕捉所有必要属性。该方法需要借鉴多模态ML技术和传感器数据融合，并且考虑到人类所处环境的多样性，算法需要兼具鲁棒性和易用性。
---
Fig. 2. Proposed MfV Net. We first leverage the power of a CNN to detect objects and propose an ROI. The geometrically aligned and translated point cloud data allows us to identify the corresponding 3-D ROI in the 3-D sample. This segmented ROI is converted into a modified Fisher vector representation before being passed onto the classification network. The resultant class is overlaid on the image, indicating the location and activity of the subject.
### 三、研究方法
本节介绍我们提出的基于多模态ML和感知冗余的HAR方法。所提方法基于一种先进的CNN架构。图2所示的本文框架利用鲁棒的目标检测器识别ROI，并通过点云分类器识别受试者的行为。该流程需要先将2-D ROI转换并与LiDAR数据对齐，再将分割后的点云数据分类为对应的活动。
### A. 目标检测
所提架构的核心组件是在从RGB数据中提取ROI之前完成对目标的检测与定位。我们修改了ResNet [^44]，通过训练RPN和区域分类网络（RCN）来提取ROI。该方法被称为Faster-RCNN [^6]，它对每个区域仅执行一次卷积运算，之后生成数据的特征图。作为RCNN和Fast RCNN [^6]的扩展，Faster RCNN的基础分类网络采用ResNet-50。该模型在ImageNet数据集 [^64]上预训练，并使用拉夫堡伦敦HAR数据集（LboroLdnHAR）[^3]的子集（仅含RGB图像）进行微调。我们利用真实边界框与预测ROI之间的交并比（IoU）对所提框架的这一部分进行验证。IoU用于检测RGB图像的标注边界框与预测ROI之间的差异。使用尺寸为{30, 19; 60, 38; 120, 76}的锚框对，当交并比大于0.65时，ROI被标记为正样本（存在感兴趣目标），小于0.35时被标记为负样本（不存在感兴趣目标）。
在这种情况下，分类器针对某一区域返回的准确率可作为检测器的阈值。训练过程中，所有图像的最短边被缩放至246像素。该RCNN网络使用随机梯度下降训练，学习率为0.0001，动量为0.9，所使用的补丁大小为$16 \times 16$像素。
### B. 几何对齐
几何对齐过程需要掌握邻近性、方向和传感器模态相关知识。就模态而言，采集RGB、RGB-D和点云数据的传感器之间存在极大差异。例如，点云数据是空间中一组三维坐标集合的表示形式。这些坐标主要可以通过两种方式采集：1) 三维扫描 和 2) 摄影测量 [^65]。这类数据在结构和排列顺序上都与RGB数据有诸多不同 [^61]。例如，相机核心的CCD或CMOS传感器会采集拍摄对象反射的光线，反射光线击中传感器的具体位置，连同该处采集数据的真实颜色值会被一同记录。与之相反，点云数据采集的是物体在三维空间中的位置，距离数据的记录没有固定顺序，不同扫描结果的分辨率也各不相同，返回被测物体的球面坐标、柱面坐标或笛卡尔坐标。
我们通过转换和对齐不同传感器模态来解决这些问题，该过程分为两个阶段。第一阶段将Kinect传感器采集的RGB-D数据转换并对齐到LiDAR采集的点云数据。第二阶段将合并后的三维数据流转换到RGB相机数据。需要注意的是
---
Fig. 3. Plan view of the setup showing the position of the sensors relative to the testbed.
Fig. 4. Elevation view of the setup showing the position of the sensors relative to the testbed.
在第一阶段，数据类型具有可比性，因此流程相对简单。而在第二阶段，由于我们需要转换不同类型的数据，流程更为复杂。图3和图4分别展示了传感器布局的平面图和仰视图。了解这些数据对于找到不同传感器模态之间的对应数据点至关重要。
在几何对齐过程中，假设空间中有一个由三维坐标表示的点。要移动该点的原点，需要为每个坐标添加一个标量。为便于说明，假设存在物体O，其位于Kinect传感器前方4.76米（x方向）、右侧2.75米（y方向）、水平轴下方0.9米（z方向）处。
如果我们已知Kinect传感器相对于LiDAR存在偏移：($\Delta x$)轴偏移0.45米，($\Delta y$)轴偏移0米，($\Delta z$)轴偏移0.5米，那么只需将标量添加到对应坐标，即可根据这组
$$ X_{T}=\Delta x+x $$
$$ Y_{T}=\Delta y+y $$
$$ Z_{T}=\Delta z+z. $$
在该过程的第二阶段，我们需要为RGB传感器输出的特定像素找到对应的三维点。由于数据类型不具备可比性，这一过程比第一阶段更为复杂。
进行这一推导时，假设存在物体O，它与LiDAR的距离$(c)$为5.6米。在这种情况下，物体$(O)$对应的方位角$(B^{\prime})$为$3^{\circ}$，天顶角为$99^{\circ}$。LiDAR和RGB传感器之间的垂直距离$(b)$为27厘米，RGB传感器的位置$(H_{0} + \Delta z + b)$在地面上方122厘米处。考虑物体O与LiDAR传感器之间的距离c，我们可以将相对RGB方位角B描述为
$$ B=\sin^{-1}\left(\frac{\sin(A)\times b}{a}\right)\Rightarrow\sin^{-1}\left(\frac{\sin(99^\circ)\times0.27}{5.62}\right)=2.7^\circ. $$
在该案例中，RGB传感器和LiDAR传感器位于同一纵轴上，且我们已知LiDAR的天顶角A。据此，我们可以将RGB的天顶角C表示为
$$ C=180-A-B\Rightarrow180-99-2.72=78.2^{\circ}. $$
物体O与RGB传感器之间的距离a可以表示为
$$ a=\frac{\sin(C)\ \times a}{\sin(A)}\Rightarrow\frac{\sin(78.28)\ \times5.62}{\sin(99^\circ)}=5.5\ m. $$
该操作的目的是将LiDAR数据流转换为图像数据。我们假设相机和RGB传感器的纵轴是对齐的；不过，如果存在需求，也可以对偏移量进行校正处理。
### C. 点云分类
与二维RGB数据不同，三维数据不包含特征学习网络对感兴趣目标进行分类时所用的有效描述子——HOG、色调饱和度方差（HSV）等。就其性质而言，三维数据需要经过处理后才能被CNN分类。本文提出的点云数据分类方法主要包含两个核心模块：第一个模块将三维数据转换为改进的Fisher向量表示形式；第二个模块通过CNN处理改进后的Fisher向量表示，最终得到分类结果。本研究中使用的点云分类器的详细说明可以参见[^7]。
1) Fisher向量表示：类内变异性描述同一类别的两个不同视角之间的外观差异，或是同一类别的两个不同实例之间的外观差异。例如，在行为识别任务中，两个不同实例之间就可能出现显著的外观差异。Fisher向量是处理类内变异性的一种方法，它可以确定在给定基础理论的条件下得到特定数据的概率。
Fisher向量的二维表示如图5所示。从形式上定义，它是观测信息的期望值。理想情况下，它对应一个峰值非常尖锐的概率分布；相反，我们也可能得到曲线非常平缓宽泛的分布，这种情况意味着概率在很大范围的点上都有较高的似然值。
利用GMM，我们可以通过分析不同点的概率分布来量化曲率，该量化结果通常被称为曲率向量。它描述了似然函数在最大值附近的曲率程度。简单来说，Fisher向量越大，分布的曲率就越大，意味着该场景下的数据约束性越强。
---
Fig. 5. Three 2-D points superimposed on a 2-D Gaussian on the left of the image. The center image is the FV, and the right image is the FV representation for the three points. The vector in the center of the image indicates the rate of curvature for the data.
(a)
(b)
Fig. 6. (a) Spherical Gaussians superimposed on the point cloud data. (b) Modified Fisher vector representation of the GMM for the point cloud data.
将球形高斯分布放置在粗网格上，可以为图像表示提供结构、尺寸和基础。如果我们计算每个点相对于高斯参数的导数，并使用三个对称函数（最大值、最小值和求和）聚合结果，就能得到尺寸固定的Fisher向量表示，该表示对不同点数的排列变换具有不变性。
对于由网格上多个高斯分布组成的GMM中的多个点，Fisher向量表示可以被解释为三维数据在统计意义上的唯一指纹[^66]。图6(a)展示了叠加在点云数据上的球形高斯分布，图6(b)展示了改进后的Fisher向量表示。需要注意的是，图6(b)中的改进Fisher向量表示仅用于可视化目的。
2) Fisher向量表示的分类：用于对该表示进行分类的网络主要部分包含多个Inception模块、最大池化层和四个全连接层 [^67], [^68]。训练采用反向传播算法，结合批量归一化，使用标准SoftMax和交叉熵损失函数。在全连接层添加Dropout，以防止训练过程中出现过度共适配和过拟合问题。Dropout指的是在正向或反向传播过程中，按一定概率忽略特定神经元响应的技术。在最后一个最大池化层与第一个全连接层之间，该网络共有约460万个训练参数。
Inception模块的总体目标是克服乘法效应带来的维度问题。一个Inception模块允许我们在单个模块中使用多个滤波器 [^68]。虽然这会让网络架构更宽、更复杂，但就我们想要实现的目标而言，该方法的效果非常出色。
分类网络的倒数第二个组件是最大池化层。最大池化层可以进一步降低Inception模块输出的维度。
最大池化层的工作原理是将Inception模块的所有输出元素传入一个 $n \times n$ 滤波器。该 $n \times n$ 滤波器以固定步长在数据上滑动。对于第一个 $n \times n$ 区域，我们计算该区域的最大值，再将其传递到下一步。重复该过程：让滤波器遍历所有数据元素，利用步长值逐步移动池化滤波器。
分类网络的最终组件是四个全连接层。先前各层的输出会被展平为一个单一的值向量。这些值表示某一特征属于特定类别的概率。例如，在HAR中，当一个人正在跑步时，全连接层应当以高概率识别出代表该动作的特征。
### 四、实验结果
本节分为六个部分。第一部分总结了 [^3] 中开发的LboroLdnHAR数据集。第二、第三和第四部分分别报告了本文提出的框架、PointNet [^62] 以及用于HAR的深度神经网络框架（DNN）[^3], [^46] 的性能。
通过这种方式对框架进行对比评估，对于将本文提出方法的性能与现有最优方法进行比较而言十分必要。目前并不存在通用的评估方式，因为适用于一种框架的方法不一定适用于另一种框架，在处理不同数据类型时尤其如此。考虑到这一点，本文对我们使用的评估指标及其选择原因进行了说明。
在第五部分，我们使用SYSU-3D数据集将本文提出的框架与HAR的基线方法进行了基准测试，随后在最后一部分展示了该框架的一些可视化结果。
### A. 数据集
现有HAR技术对视角变化十分敏感，这是从依赖视角的图像中提取特征带来的结果。相比之下，我们通过挖掘RGB数据来识别点云扫描中的目标区域。由于我们对不依赖视角的数据进行分割和分类，因此该技术对视角变化不敏感。为实现这一点，我们需要特定类型的数据集来满足需求。
---
多模态范畴，同时可从已知位置的至少两个传感器流提供光学数据和距离数据。
LboroLdnHAR [^3] 数据集包含6712个经过手工标注的点云、RGB-D和RGB样本。数据由三款传感器采集得到，分别是VLP-16 LiDAR、Kinect和$360^{\circ}$相机。该数据集包含16名参与者完成的九种典型人类活动数据。活动的选择基于办公环境中开展的真实日常活动，具体包括：搬箱子、躺下、推板子、跑步、坐在椅子上、坐在凳子上、站立发消息，以及行走和边走边发消息。
每次数据采集的平均时长约为35秒。受试者在采集的开始和结束阶段都保持T字姿势，即直立站立、双臂展开。实验过程中，RGB $360^{\circ}$相机、RGB-D Kinect V2和VLP-16 LiDAR传感器的数据采集帧率分别为30帧/秒、30帧/秒和5帧/秒。
我们将数据集划分为三个子集。第一个子集包含带有标注真值ROI标签的图像，用于训练目标检测器。第二个子集包含经过对齐的Kinect和LiDAR数据，该子集用于训练点云分类器。最后一个子集由少量经过对齐和变换的点云、RGB-D和RGB样本组成，未在本文提出框架的训练或验证阶段使用，该部分数据集用于直观展示所提框架的性能。
### B. 所提框架的性能
在本节中，我们报告所提框架各个组件的性能。我们选择以这种方式评估所提框架，是为了给点云分类器的选择提供参考。并非所有点云分类器都适用于行为识别。有些分类器无法保留不同点之间的关键关联，而这种关联正是我们理解由铰接关节连接的刚性段组成的人体运动系统的基础。同理，在对比所提框架的性能时，与使用可穿戴MEMS的框架进行对比没有意义，因为两类数据差异极大。为此，我们选择单独评估框架的各个组件，将本文分类方法与另一种点云分类器和DNN进行对比，而非对比处理MEMS数据的分类器。
1) 目标检测性能：我们使用目标检测器完成目标的定位与检测。我们在LboroLdnHAR数据集的第一个子集上训练并评估了该目标检测器[^3]。为衡量检测器的性能，我们重点关注三个指标：平均精度（见图7）、对数平均漏检率（见图8），以及表I中详细列出的F分数。平均精度是一种综合评估方法，同时体现了检测器的正确分类能力（即精确率）和检测器找到所有相关目标的能力（即召回率）。
对数平均漏检率通过改变检测器置信度预测的阈值得到，用于衡量真阳性和假阳性的变化率。一般而言，对数平均漏检率会返回
Fig. 7. Average precision of the object detector portion of the proposed framework showing the tradeoff between precision and recall.
log Average Miss Rate = 0.1
Fig. 8. Log-average miss rate of the object detector portion of the proposed framework indicating the quality of detection of the object detector.
TABLE I
OBJECT DETECTION PERFORMANCE
| PERFORMANCE |
| PRECISION | 0.95 |
| RECALL | 0.96 |
| LOG-AVERAGE MISS RATE | 0.1 |
| F-SCORE | 0.95 |
目标检测器相较于真值标注的检测结果。该指标是衡量目标检测器性能的另一种方法[^69]，[^70]。我们测得，本文检测器的平均精度和对数平均漏检率分别为0.95和0.1。
F分数同时考虑了检测器的精确率和召回率，结合二分类与F分数，我们可以确定该框架的准确率[^71]。F分数的定义为：两倍的精确率乘以召回率，再除以精确率与召回率之和，它的最优值为1，最差值为0。我们测得目标检测器的F分数为0.95，结果列于表I中。这些指标常被用于评估目标检测器的性能。
---
TABLE II
PROPOSED FRAMEWORK PERFORMANCE TESTED ON A SUBSET OF THE LBOROLDN HAR DATASET
| CARRYING BOXES | LYING DOWN | PUSHING A BOARD | RUNNING | SITTING ON A CHAIR | SITTING ON A STOOL | STANDING WHILE TEXTING | WALKING | WALKING WHILE TEXTING |
| PRECISION | 1 | 1 | 0.988 | 0.726 | 0.881 | 0.968 | 0.9134 | 0.722 | 0.864 |
| RECALL | 0.959 | 1 | 1 | 0.688 | 0.890 | 0.957 | 0.989 | 0.776 | 0.795 |
| F-SCORE | 0.979 | 1 | 0.994 | 0.706 | 0.885 | 0.962 | 0.95 | 0.748 | 0.828 |
| SAMPLE NO | 74 | 103 | 86 | 73 | 101 | 94 | 104 | 72 | 81 |
TABLE III
POINTNET PERFORMANCE TESTED ON A SUBSET OF THE LBOROLDN HAR DATASET
| CARRYING BOXES | LYING DOWN | PUSHING A BOARD | RUNNING | SITTING ON A CHAIR | SITTING ON A STOOL | STANDING WHILE TEXTING | WALKING | WALKING WHILE TEXTING |
| PRECISION | 0.013 | 0.057 | 0.87 | 0 | 0.059 | 0 | 0 | 0 | 0 |
| RECALL | 0.019 | 0.714 | 0.11 | 0 | 0.038 | 0 | NAN | NAN | NAN |
| F-SCORE | 0.016 | 0.106 | 0.20 | 0 | 0.046 | 0 | 0 | 0 | 0 |
| SAMPLE NO | 74 | 103 | 86 | 73 | 101 | 94 | 104 | 72 | 81 |
Fig. 9. Confusion matrix for the classifier portion of the proposed framework.
2) 点云分类器性能：表II给出了在LboroLdnHAR数据集上测试时各个类别的平均得分[^3]。为衡量分类器的性能，我们重点考察了每个类别的精确率、召回率和F分数。图9展示了该点云分类器的混淆矩阵，y轴为输出类别，x轴为目标类别。对角单元格表示分类正确的真阳性样本，非对角单元格表示分类错误的假阳性样本。该分类器的整体准确率为0.903，精确率和召回率分别为0.895和0.894。
我们将所提方法的性能与PointNet进行了对比[^62]。PointNet [^62]的训练和测试均
Fig. 10. Confusion matrix for PointNet. PointNet was tested on the same data used to test the proposed framework.
### C. PointNet 性能
在LboroLdnHAR数据集上完成[^3]。表III给出了PointNet各个类别的平均得分。与上一部分一致，我们同样重点考察了精确率、召回率和F分数。
图10展示了PointNet的混淆矩阵[^62]。该分类器的整体准确率为0.098，精确率和召回率分别为0.111和0.147。值得注意的是，该网络无法对躺卧、坐在椅子上和坐在凳子上的目标进行分类。尽管该网络能够给出部分预测结果，但相较于三维分类网络，它的性能未达到标准要求。
### D. DNN 性能
为开展进一步对比，我们将所提方法的性能与[^3]中报道的用于HAR的DNN框架进行基准测试。该框架与[^46]中报道的框架类似，是一种常用于识别
---
TABLE IV
DNN PERFORMANCE TESTED ON A SUBSET OF THE LBOROLDN HAR DATASET
| CARRYING BOXES | LYING DOWN | PUSHING A BOARD | RUNNING | SITTING ON A CHAIR | SITTING ON A STOOL | STANDING WHILE TEXTING | WALKING | WALKING WHILE TEXTING |
| PRECISION | 0.283 | 1 | 0.895 | 0.876 | 1 | 1 | 1 | 0.569 | 0.654 |
| RECALL | 0.677 | 1 | 0.987 | 0.771 | 0.980 | 1 | 0.990 | 0.577 | 0.441 |
| F-SCORE | 0.400 | 1 | 0.939 | 0.820 | 0.990 | 1 | 0.995 | 0.573 | 0.527 |
| SAMPLE NO | 74 | 103 | 86 | 73 | 101 | 94 | 104 | 72 | 81 |
Fig. 11. Confusion matrix for the DNN framework. The DNN framework was tested on the same data used to test the proposed framework.
来自RGB-D数据的人体行为。该DNN框架使用LboroLdnHAR数据集完成训练和测试[^4]。表IV给出了该DNN框架每个类别的精确率、召回率和F分数。图11展示了该DNN框架的混淆矩阵。该分类器的整体准确率为0.835，精确率和召回率分别为0.808和0.825。值得关注的是该网络对运动状态目标的分类性能：例如，它对静止目标分类的准确率明显高于动态类别，这一点在图11中十分明显，该框架经常对行走、跑步和搬运箱子的样本进行错误分类。
### E. SYSU-3D 数据集上的性能
为了对所提框架进行基准测试，我们在SYSU-3D数据集的联合数据上对网络进行了训练和测试。SYSU-3D数据集包含40名受试者完成的12种动作：1）喝水；2）倒水；3）打电话；4）玩手机；5）背背包；6）收拾背包；7）坐到椅子上；8）移动椅子；9）取出钱包；10）从钱包中取物；11）拖地；12）扫地。图12展示了所提框架在SYSU数据集上测试得到的混淆矩阵。该分类器的整体准确率为0.954，精确率和召回率分别为0.956和0.958。表V报告了
Fig. 12. Confusion matrix for the proposed framework trained and tested on the SYSU-3D dataset.
所提框架中每一类的精确率、召回率和F分数。表VI给出了不同HAR技术的对比结果，表明所提框架的准确率比基线方法高出8.5%。
由于SYSU-3D数据集提供的骨骼数据存在噪声，且视角变化范围大，所提框架不仅实现了显著的性能提升，还证明了动作识别过程可以对视角变化不敏感。
### F. 所提框架的可视化结果
所提算法的目的是辅助自动驾驶汽车（AV）或环境辅助生活（AAL）完成人体动作识别（HAR）。由于所提框架有多模态要求，此处展示的结果是取自LboroLdnHAR数据集[^3]的子集，实验时平台处于静止状态。所有样本均采集自光照可控的室内场景。
图13场景1（c）、场景2（c）、场景3（c）和场景4（c）给出的结果表明，所提HAR框架达到了预期性能。在所有案例中，执行动作的受试者都被正确检测、分割和分类。
例如，图13场景1（a）的图像展示了一名搬运箱子的受试者。所提
---
TABLE V
PROPOSED FRAMEWORK PERFORMANCE TESTED ON A SUBSET OF THE SYSU-3D DATASET
| CALLING PHONE | DRINKING | MOPPING | MOVING CHAIR | PACKING BACKPACK | PLAYING PHONE | POURING | SITTING CHAIR | SWEEPING | TAKING FROM WALLET | TAKING OUR WALLET | WEARING BACKPACK |
| PRECISION | 0.975 | 0.993 | 0.966 | 0.979 | 0.990 | 0.896 | 1 | 0.982 | 0.981 | 0.958 | 0.802 | 0.947 |
| RECALL | 0.901 | 0.978 | 0.980 | 0.988 | 0.995 | 0.980 | 0.988 | 0.950 | 0.962 | 0.887 | 0.894 | 0.985 |
| F-SCORE | 0.937 | 0.986 | 0.973 | 0.983 | 0.993 | 0.936 | 0.994 | 0.966 | 0.972 | 0.921 | 0.846 | 0.966 |
| SAMPLE NO | 1100 | 783 | 687 | 624 | 1182 | 1262 | 798 | 469 | 660 | 1255 | 710 | 946 |
场景1
场景2
由目标检测器识别出感兴趣区域（ROI）的图像（A） 从点云数据中分割得到的3D ROI（B） 检测到的ROI与分类后的人类动作（C）
场景4
由目标检测器识别出感兴趣区域（ROI）的图像（A） 从检测到的ROI中分割得到的3D ROI与分类后的人类动作（C） 点云数据（B）
Fig. 13. Scenario 1 showing the subject carrying a box. Scenario 2 showing the subject standing while texting. Scenario 3 showing the subject walking while texting. Scenario 4 showing the subject lying down. Images in the first column indicate the output of the object detector. The center column shows the segmented point cloud data. The final column shows the output of the network and the associated class identified for the activity being performed. (a) Image with ROI identified by the object detector. (b) Three-dimensional ROI segmented from point cloud data. (c) Detected ROI and human activity classified.
框架的目标检测器以99%的高置信度识别出了该人员所在的位置和区域。
图13场景1（b）展示了目标检测器在二维图像中识别出的三维ROI。尽管三维ROI中存在多余伪影，但如图13场景1（c）所示，受试者执行的动作仍然得到了正确分类。
在图13场景1（a）的背景中，除目标受试者外还有另一个人。这种情况下，目标检测器没有达到预期性能。这可以归因于Faster-RCNN网络的设计：长宽比为$360 \times 360$的输入图像会在处理前被缩小尺寸。
需要记住的重要一点是，在处理图像时，Faster-RCNN会在前几层提取特征。当处理小图像中的小目标时，特征实际上会在检测完成前就消失在网络的中间层。在这种情况下，背景中的人物无法被检测到，因此他们的行为永远不会在网络的后续部分被分类。尽管该框架漏掉了这个目标，但结果表明，当使用相机采集的RGB数据以及Kinect或LiDAR采集的点云数据时，多模态机器学习可以成功应用于人体行为识别（HAR）。
类似但略有不同的问题出现在图13场景2(a)中。在这张图像中，目标人物正站着发短信，目标检测器正确识别出了
TABLE VI
COMPARISON OF ACTION-RECOGNITION ACCURACY (%) WITH STATE-OF-THE-ART METHODS ON THE SYSU-3D DATASET
| METHOD | YEAR | ACCURACY |
| ST-LSTM [^72] | 2018 | 73.4% |
| DYNAMIC SKELETONS [^73] | 2017 | 75.5% |
| DPRL [^74] | 2018 | 76.9% |
| VA-LSTM [^75] | 2017 | 77.5% |
| COMPLETE GR-GCN [^76] | 2019 | 77.9% |
| LOCAL+LGN [^77] | 2020 | 83.1% |
| ELEATT-GRU [^78] | 2020 | 85.7% |
| VA-FUSION [^75] | 2018 | 86.7% |
| SGNET [^79] | 2020 | 86.9% |
| PROPOSED FRAMEWORK | 2020 | 95.4% |
该目标人物的ROI，但由于遮挡，漏掉了计算机后方的人。与之相反，我们关注的目标人物被正确检测到，对应的三维（3-D）ROI也从三维数据中提取了出来。尤其值得关注的是图13场景2(b)：在这张图像中，目标人物直立站立，双手在身前握住手机。该ROI被送入所提网络的分类器模块，之后正确的结果被叠加到图13场景2(c)所示的图像上。
需要注意的是，图13场景2(b)中的手机仅占据19个三维点。相反，图13场景1(a)中坐在背景的人物占据79个像素。鉴于目标检测器没能识别出
---
背景中的这个人，由此可推断点云分类器擅长识别点云特征，不受目标远近的影响。
另一个动态行为的示例如图13场景3(a)所示，图中的目标人物一边走路一边发短信。在这张图像中，目标人物被识别的置信度为98%。利用目标检测器识别出的ROI分割得到的对应三维ROI如图13场景3(b)所示。和图13场景2(b)一样，这张图像中的目标人物也是双手在身前握住手机。该ROI被送入分类器模块，之后正确的结果被叠加到图13场景3(c)所示的图像上。
图13场景4(a)展示了一名躺下的目标人物。在这张图像中，目标人物所占区域连同部分沙发被识别出来，置信度为97%。图13场景4(b)展示了目标检测器识别出的三维ROI。在这张图像中，该ROI包含目标人物的三维数据和一部分沙发。当被送入分类器后，正确的结果被叠加到图像上。和图13场景1中目标人物搬运箱子的情况非常相似，目标人物完成活动所使用的物体也被纳入了分类过程。
### 五、讨论
在图13中，我们展示了四个场景，用以说明所提出的HAR框架的不同模块。在每个场景中，模型都输出了相当准确的结果。此外我们发现，所提出的框架能够仅利用点数较少的部分数据做出准确预测。
例如，在图13场景4(b)中，目标人物仰卧在沙发上。点云数据缺失不能归因于设备本身，而是由设备的工作原理导致的。可以注意到激光接触到的水平平面：距离越远，平面之间的间隙越大。
在这种情况下，激光接触到目标的点被缩减到单个平面，导致分类十分困难。此外，由于数据点模糊且存在缺失，即使是人类尝试标注同一数据，也会认为这项任务难度很高。
尽管取得了不少成果，我们确实观察到一些需要注意的固有问题。最主要也最突出的问题与LiDAR（激光雷达）的帧率（5 Hz）有关。虽然提高帧率是可行的，但这会减少单次扫描捕获的点数量。尽管本文提出的框架对低数据量捕获场景表现出了鲁棒性，但当数据匮乏到一定程度时，网络仍会出现分类错误。虽然可以将帧率降至5 Hz以下，从而增加单帧捕获的数据量，但这样做会导致高速运动目标出现时间重影。当重影发生时，RGB数据、点云和RGB-D数据会出现对齐错位。不过，只要仔细选择设备的帧率就可以解决这个问题。
我们还遇到了其他问题：目标检测器无法对距离相机较远的目标进行分类。正如结果部分所述，图13场景1(a)显示了一名正在执行任务的目标和一名坐在沙发上的人。在该场景中，目标检测器漏检了沙发上的人，但识别出了我们关注的目标。这个问题的成因是目标距离RGB传感器较远。一般认为，使用可对远处目标生成高分辨率图像块的传感器就能解决该问题。
就点云分类器而言，需要注意的是，给定大小为N的数据集D，所有监督学习框架的核心目标都是找到连接输入X与输出Y的模式[^59]，[^60]。简单来说，每个输入都有一个维度向量，代表我们希望机器学习算法学习的数据。这种表示通常被称为特征，是算法在训练过程中形成的对X的理解。从输出Y的角度来看，输出可以是任意形式，但我们假设它与训练所用数据集中的分类变量或名义变量相匹配。
一般而言，使用监督学习方法处理上下文数据时，CNN取得的效果优于传统特征学习算法。当然，在数据稀疏的场景中，CNN的性能可能不及其他方法。例如，如果CNN在一个数据集上训练后，需要对它从未接触过的陌生数据进行分类，就会分类失败。但如果CNN已经经过训练能够识别特定动作（比如跌倒），该框架的性能就会优于所有其他类型的特征学习算法。遗憾的是，我们并不总能获取训练CNN识别所有特定动作所需的全部数据。因此，我们在采集数据时，重点关注了人类持续时长有限的室内活动。从我们在第四节给出的结果可以清晰看出，如果我们在训练所提框架所用的数据集中加入更多活动，这些活动也能被高精度分类。
在与其他点云分类器比较、分析它们对三维特征学习的适用性时，我们参考了[^62]、[^80]和[^81]的研究。[^81]的研究人员将点云数据转换为体素网格数组。CNN在体素上的表现取决于网格的粒度——粗粒度还是细粒度。如果将该方法应用于HAR，选择粗粒度网格会导致量化误差，造成大量信息损失，而细粒度网格则会增加计算成本。
PointNet是另一种直接处理无序点云的分类方法[^62]，[^80]。此处指该模型不假设特征之间存在任何空间关系，这和HAR的情况不同，HAR假设不同点的位置之间存在相邻关系。因此，无论PointNet在物体分类上表现多出色，它在HAR分类任务中的表现都很差。
需要说明的是，尽管本文提出框架的主要组件是点云分类器，但点云分类本身并不是我们的核心目标。我们的核心目标是对人体动作进行鲁棒分类。基于这一思路，我们将提出的框架与一种用于HAR的DNN框架进行了对比[^3]，[^46]。尽管该DNN框架表现良好，但它存在一些固有缺陷。该DNN框架的问题主要和处理的数据类型有关。众所周知，采集RGB-D数据的传感器
---
易受光照变化[^82]或其他基于结构光的传感器干扰[^83]的影响。因此，视觉系统环境中的光照质量是该类方案能否成功的关键因素。对于使用Kinect这类传感器的网络来说尤其如此。同样，处理RGB数据的网络受到的影响程度较小D。
### 六、结论
本文提出了一种利用多模态机器学习处理RGB、RGB-D和LiDAR数据的HAR方法。该算法由一个目标检测器和一个点云分类网络构成。目标检测器利用Faster R-CNN识别出包含正在执行动作的人体的ROI。不同数据类型的转换与对齐实现了点云数据的高效分割。对应的三维ROI会被转换为改进的Fisher向量表示，之后再由CNN对动作进行分类。通过这种方式执行HAR，无需依赖穿戴式传感器即可在室内和室外环境下工作。本文提出框架的技术难点在于不同传感器模态的精准对齐与转换。另一项技术难点来自传感器工作频率——传感器工作频率在正确感知目标存在的过程中发挥着不可或缺的作用。
本文提出框架的目标检测部分能够精准识别图像中的目标存在，平均精度为95%，对数平均漏检率为0.1。框架的分类部分对目标执行的动作分类准确率达到90.3%，精确率和召回率分别为89.5%和89.4%。与其他点云分类器相比，本文提出的框架性能显著优于次优方案PointNet，高出了惊人的80.5%。此外，研究发现该框架的性能优于当前最优的、使用DNN处理RGB-D数据的HAR框架，高出了6.9%。
为了对本文提出的框架进行基准测试，我们使用SYSU-3D数据集开展了系统评估。本文提出的方法在准确率上优于所有已报道的基线方法，高出8.5%。由于SYSU-3D数据集中提供的骨骼数据存在噪声，且视角变化大，因此本文提出的框架带来了显著的性能提升。需要说明的是，SYSU-3D数据集比LboroLdnHAR数据集大得多，多出约10万个样本。这种样本量差异可以解释该框架在不同数据集上训练时的性能差异。
本研究的意义在于，它可催生能够在多变环境条件、不同观测视角下无需可穿戴传感器即可更好识别人类活动的机器。间接而言，本研究能够让机器识别出人们何时需要帮助，让AV推导数据驱动的决策策略，并且有望将人机交互推进到一个全新的理解层次。
## 参考文献
[^1]: T. M. Bagautdinov, A. Alahi, F. Fleuret, P. Fua, and S. Savarese, “Social scene understanding: End-to-end multi-person action localization and collective activity recognition,” in Proc. 30th IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 3425–3434.
[^2]: X. Liu and C.-S. Chua, "Multi-agent activity recognition using observation decomposed hidden Markov models," Image Vis. Comput., vol. 24, no. 2, pp. 166–175, Feb. 2006.
[^3]: M. Moencks, V. De-Silva, J. Roche, and A. Kondoz, “Adaptive feature processing for robust human activity recognition on a novel multi-modal dataset,” 2019. [Online]. Available: arXiv:1901.02858.
[^4]: R. Q. Mínguez, I. P. Alonso, D. Fernández-Llorca, and M. Á. Sotelo, “Pedestrian path, pose, and intention prediction through Gaussian process dynamical models and pedestrian activity recognition,” IEEE Trans. Intell. Transp. Syst., vol. 20, no. 5, pp. 1803–1814, May 2019.
[^5]: V. De Silva, J. Roche, and A. Kondoz, “Robust fusion of LiDAR and wide-angle camera data for autonomous mobile robots,” Sensors, vol. 18, no. 8, p. 2730, 2018.
[^6]: S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 6, pp. 1137–1149, Jun. 2017.
[^7]: Y. Ben-Shabat, M. Lindenbaum, and A. Fischer, "3DmFV: Three-dimensional point cloud classification in real-time using convolutional neural networks," IEEE Robot. Autom. Lett., vol. 3, no. 4, pp. 3145–3152, Oct. 2018.
[^8]: B. P. Yuhas, M. H. Goldstein, and T. J. Sejnowski, “Integration of acoustic and visual speech signals using neural networks,” IEEE Commun. Mag., vol. 27, no. 11, pp. 65–71, Nov. 1989.
[^9]: X. Zhang et al., “Emotion recognition from multimodal physiological signals using a regularized deep fusion of kernel machine,” IEEE Trans. Cybern., early access, May 14, 2020, doi: 10.1109/TCYB.2020.2987575.
[^10]: A. Hong et al., “A multimodal emotional human-robot interaction architecture for social robots engaged in bidirectional communication\wspace*7pt,” IEEE Trans. Cybern., early access, Mar. 6, 2020, doi: 10.1109/TCYB.2020.2974688.
[^11]: Y. Yuan, Y. Lu, and Q. Wang, "Tracking as a whole: Multi-target tracking by modeling group behavior with sequential detection," IEEE Trans. Intell. Transp. Syst., vol. 18, no. 12, pp. 3339–3349, Dec. 2017.
[^12]: Y. Yuan, D. Wang, and Q. Wang, “Anomaly detection in traffic scenes via spatial-aware motion reconstruction,” IEEE Trans. Intell. Transp. Syst., vol. 18, no. 5, pp. 1198–1209, May 2017.
[^13]: L.-P. Morency and T. Baltrušaitis, “Multimodal machine learning: Integrating language, vision and speech,” in Proc. 55th Annu. Meeting Assoc. Comput. Linguist. Tutorial Abstracts, 2017, pp. 3–5.
[^14]: T. Baltrusaitis, C. Ahuja, and L. P. Morency, “Multimodal machine learning: A survey and taxonomy,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 41, no. 2, pp. 423–443, Feb. 2019.
[^15]: F. P. Such, V. Madhavan, E. Conti, J. Lehman, K. O. Stanley, and J. Clune, “Deep neuroevolution: Genetic algorithms are a competitive alternative for training deep neural networks for reinforcement learning,” 2017. [Online]. Available: arXiv:1712.06567.
[^16]: D. V. S. X. De Silva, W. A. C. Fernando, and S. T. Worrall, “Intra mode selection method for depth maps of 3D video based on rendering distortion modeling,” IEEE Trans. Consum. Electron., vol. 56, no. 4, pp. 2735–2740, Nov. 2010.
[^17]: H. M. Le, P. Carr, Y. Yue, and P. Lucey, “Data-driven ghosting using deep imitation learning,” in Proc. MIT Sloan Sports Anal. Conf., Boston, MA, USA, Mar. 2017, pp. 1–12. [Online]. Available:
[^18]: V. Ghasemi and A. A. Pouyan, “Human activity recognition in ambient assisted living environments using a convex optimization problem,” in Proc. 2nd Int. Conf. Signal Process. Intell. Syst., 2017, pp. 1–6.
[^19]: H. T. Malazi and M. Davari, “Combining emerging patterns with random forest for complex activity recognition in smart homes,” Appl. Intell., vol. 48, no. 2, pp. 315–330, 2018.
[^20]: O. Banos, M. Damas, H. Pomares, F. Rojas, B. Delgado-Marquez, and O. Valenzuela, “Human activity recognition based on a sensor weighting hierarchical classifier,” Soft Comput., vol. 17, no. 2, pp. 333–343, 2013.
[^21]: K. Gadzicki, R. Khamsehashari, and C. Zetzsche, “Early vs late fusion in multimodal convolutional neural networks,” in Proc. 23rd Int. Conf. Inf. Fusion, 2020, pp. 1–6.
22] G. Chevy, M. White, M. Singh, and A. Misina, Multi-modal acuity recognition based on automatic feature discovery," in Proc. Int. Conf. Comput. Sustain. Global Dev. (INDIACom), 2014, pp. 632–637, doi: 10.1109/IndiaCom.2014.6828039.
## [^23]: F. Diederichs, T. Schuttke, and D. Spath, "Driver intention algorithm for pedestrian protection and automated emergency braking systems," in Proc. IEEE Conf. Intell. Transp. Syst., 2015, pp. 1049–1054.
---
[^24]: E. Rehder, H. Kloeden, and C. Stiller, “Head detection and orientation estimation for pedestrian safety,” in Proc. 17th IEEE Int. Conf. Intell. Transp. Syst., 2014, pp. 2292–2297.
[^25]: P. Gupta and T. Dallas, “Feature selection and activity recognition system using a single triaxial accelerometer,” IEEE Trans. Biomed. Eng., vol. 61, no. 6, pp. 1780–1786, Jun. 2014.
[^26]: E. Garcia-Ceja, R. F. Brena, J. C. Carrasco-Jimenez, and L. Garrido, “Long-term activity recognition from wristwatch accelerometer data,” Sensors, vol. 14, no. 2, pp. 22500–22524, 2014.
[^27]: Z. Chen, Q. Zhu, Y. C. Soh, and L. Zhang, “Robust human activity recognition using smartphone sensors via CT-PCA and online SVM,” IEEE Trans. Ind. Informat., vol. 13, no. 6, pp. 3070–3080, Dec. 2017.
[^28]: Z. Zhang and S. Poslad, “Improved use of foot force sensors and mobile phone GPS for mobility activity recognition,” IEEE Sens. J., vol. 14, no. 12, pp. 4340–4347, Dec. 2014.
[^29]: Y. Kwon, K. Kang, and C. Bae, “Unsupervised learning for human activity recognition using smartphone sensors,” Expert Syst. Appl., vol. 41, no. 14, pp. 6067–6074, 2014.
[^30]: M. Janidarmian, A. R. Fekr, K. Radecka, and Z. Zilic, “A comprehensive analysis on wearable acceleration sensors in human activity recognition,” Sensors, vol. 17, no. 3, p. 529, 2017.
[^31]: R. Igual, C. Medrano, and I. Plaza, “A comparison of public datasets for acceleration-based fall detection,” Med. Eng. Phys., vol. 37, no. 9, Sep. 2015, pp. 870–878.
[^32]: A. Stisen et al., “Smart devices are different: Assessing and mitigating mobile sensing heterogeneities for activity recognition,” in Proc. 13th ACM Conf. Embedded Netw. Sens. Syst., 2015, pp. 127–140.
[^34]: D. M. Karantonis, M. R. Narayanan, M. Mathie, N. H. Lovell, and B. G. Celler, “Implementation of a real-time human movement classifier using a triaxial accelerometer for ambulatory monitoring,” IEEE Trans. Inf. Technol. Biomed., vol. 10, no. 1, pp. 156–167, Jan. 2006.
[^33]: F. Attal, S. Mohammed, M. Dedabrishvili, F. Chamroukhi, L. Oukhellou, and Y. Amirat, “Physical human activity recognition using wearable sensors,” Sensors, vol. 15, no. 12, pp. 31314–31338, 2015.
[^35]: L. Atallah, B. P. L. Lo, R. C. King, and G.-Z. Yang, “Sensor placement for activity detection using wearable accelerometers,” in Proc. Int. Conf. Body Sens. Netw., 2010, pp. 24–29.
[^36]: J.-Y. Yang, J.-S. Wang, and Y.-P. Chen, “Using acceleration measurements for activity recognition: An effective learning algorithm for constructing neural classifiers,” Pattern Recognit. Lett., vol. 29, no. 16, pp. 2213–2220, 2008.
[^37]: M. M. Hamdi, M. I. Awad, M. M. Abdelhameed, and F. A. Tolbah, "Lower limb gait activity recognition using Inertial Measurement Units for rehabilitation robotics," in Proc. 17th Int. Conf. Adv. Robot., 2015, pp. 316–322.
[^38]: X. Hu, C. Yao, and G. S. Soh, “Performance evaluation of lower limb ambulatory measurement using reduced inertial measurement units and 3R gait model,” in Proc. IEEE Int. Conf. Rehabil. Robot., 2015, pp. 549–554.
[^39]: S. I. Patel and M. J. Souter, “Equipment-related electrocardiographic artifacts: Causes, characteristics, consequences, and correction,” Anesthesiology, vol. 108, no. 1, pp. 138–148, 2008.
[^40]: A. Vaidya, R. Bentley-Lewis, X. Jeunemaitre, G. K. Adler, and J. S. Williams, “Dietary sodium alters the prevalence of electrocardiogram determined left ventricular hypertrophy in hypertension,” Amer. J. Hypertens., vol. 22, no. 6, pp. 669–673, 2009.
[^41]: D. B. Calne, J. Brennan, A. S. D. Spiers, and G. M. Stern, “Hypotension caused by L-dopa,” Brit. Med. J., vol. 1, no. 5694, pp. 474–475, 1970.
[^42]: S. U. Park, J. H. Park, M. A. Al-Masni, M. A. Al-Antari, M. Z. Uddin, and T. S. Kim, “A depth camera-based human activity recognition via deep learning recurrent neural network for health and social care services,” Procedia Comput. Sci., vol. 100, pp. 78–84, Oct. 2016.
[^43]: K.-T. Song and W.-J. Chen, “Human activity recognition using a mobile camera,” in Proc. 8th Int. Conf. Ubiquitous Robots Ambient Intell. (URAI), 2011, pp. 3–8.
[^44]: K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), 2016, pp. 770–778, doi: 10.1109/CVPR.2016.90.
[^45]: S. Mukherjee, L. Anvitha, and T. M. Lahari, “Human activity recognition in RGB-D videos by dynamic images,” Multimed. Tools Appl., vol. 79, pp. 19787–19801, Mar. 2020.
[^46]: E. Cippitelli, S. Gasparrini, E. Gambi, and S. Spinsante, “A human activity recognition system using Skeleton data from RGBD sensors,” Comput. Intell. Neurosci., vol. 2016, Mar. 2016, Art. no. 4351435.
[^47]: H. Feng, S. Wang, H. Xu, and S. S. Ge, “Object activity scene description, construction, and recognition,” IEEE Trans. Cybern., early access, Apr. 1, 2019, doi: 10.1109/TCYB.2019.2904901.
[^48]: M. M. Arzani, M. Fathy, A. A. Azirani, and E. Adeli, “Switching structured prediction for simple and complex human activity recognition,” IEEE Trans. Cybern., early access, Jan. 14, 2020, doi: 10.1109/TCYB.2019.2960481.
[^49]: J. Byun, K.-I. Na, M. Noh, and S. Kim, “ESTRO: Design and development of intelligent autonomous vehicle for shuttle service in the ETRI,” in Proc. Workshop Plan. Percept. Navig. Intell. Veh., Portugal, 2012.
[^50]: N. Suganuma and T. Uozumi, “Development of an autonomous vehicle—System overview of testride vehicle in the Tokyo motor show 2011,” in Proc. SICE Annu. Conf. (SICE), 2012, pp. 215–218.
[^51]: A. Mancini, E. Frontoni, and P. Zingaretti, “Embedded multisensor system for safe point-to-point navigation of impaired users,” IEEE Trans. Intell. Transp. Syst., vol. 16, no. 6, pp. 3543–3555, Dec. 2015.
[^52]: T. Palleja, M. Tresanchez, M. Teixidó, and J. Palacin, “Bioinspired electronic white cane implementation based on a LIDAR, a triaxial accelerometer and a tactile belt,” Sensors, vol. 10, no. 12, pp. 11322–11339, 2010.
[^53]: LiDAR—Overview of Technology, Applications, Market Features & Industry, Centre for Applied Remote Sensing, Modelling and Simulation, Univ. Victoria, Victoria, BC, Canada, 2006.
[^54]: R. Saracco, LIDAR Hits Mass Market, IEEE Future Directions, Piscataway, NJ, USA, 2020.
[^55]: R. Saracco, Light Field Technology—The Future of Photography? IEEE Future Directions, Piscataway, NJ, USA, 2020.
[^56]: F. Luo, S. Poslad, and E. Bodanese, “Temporal convolutional networks for multi-person activity recognition using a 2D LIDAR,” IEEE Internet Things J., vol.7, no. 8, pp. 7432–7442, Aug. 2020.
[^57]: J. Wang, Y. Chen, S. Hao, X. Peng, and L. Hu, “Deep learning for sensor-based activity recognition: A survey,” Pattern Recognit. Lett., vol. 119, pp. 3–11, Mar. 2019.
[^58]: H. F. Nweke, Y. W. Teh, M. A. Al-garadi, and U. R. Alo, “Deep learning algorithms for human activity recognition using mobile and wearable sensor networks: State of the art and research challenges,” Expert Syst. Appl., vol. 105, pp. 233–261, Sep. 2018.
[^59]: C. R. Qi, H. Su, M. Nießner, A. Dai, M. Yan, and L. J. Guibas, “Volumetric and multi-view CNNs for object classification on 3D data,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), 2016, pp. 5648–5656, doi: 10.1109/CVPR.2016.609.
[^60]: Z. Wang, W. Zhan, and M. Tomizuka, “Fusing bird’s eye view LIDAR point cloud and front view camera image for 3D object detection,” in Proc. IEEE Intell. Veh. Symp., 2018, pp. 1–6.
[^61]: Y. Cai, T. Zhang, H. Wang, Y. Li, Q. Liu, and X. Chen, "3D vehicle detection based on LiDAR and camera fusion," Automot. Innov., vol. 2, pp. 276–283, Nov. 2019.
[^62]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep hierarchical feature learning on point sets in a metric space,” in Advances in Neural Information Processing Systems. Red Hook, NY, USA: Curran Assoc., 2017.
[^63]: C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep learning on point sets for 3D classification and segmentation,” in Proc. 30th IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), 2017, pp. 77–85.
[^64]: A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet," in Advances in Neural Information Processing Systems 25. Red Hook, NY, USA: Curran Assoc., 2012.
[^65]: D. W. James, J. Eckermann, B. Fawsi, and J. Sienz, “Point cloud data from Photogrammetry techniques to generate 3D Geometry,” in Proc. Conf. Assoc. Comput. Mech. Eng., 2015, p. 4.
[^66]: R. A. Fisher, “Inverse probability,” Math. Proc. Cambridge Philos. Soc., vol. 26, no. 4, pp. 528–535, 1930.
[^67]: C. Szegedy et al., “Going deeper with convolutions,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), 2015, pp. 1–9, doi: 10.1109/CVPR.2015.7298594.
[^68]: C. Szegedy et al., “Going deeper with convolutions,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2015, pp. 1–9.
[^69]: M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, and A. Zisserman, “The PASCAL visual object classes (VOC) challenge,” Int. J. Comput. Vis., vol. 88, pp. 303–338, 2010.
[^70]: S. Ceri et al., An Introduction to Information Retrieval. Cambridge, U.K.: Cambridge Univ. Press, 2013.
[^71]: P. Bhatia, Data Mining and Data Warehousing: Principles and Practical Techniques. Cambridge, U.K.: Cambridge Univ. Press, 2019.
## [^72]: J. Liu, A. Shahroudy, D. Xu, A. C. Kot, and G. Wang, “Skeleton-based action recognition using spatio-temporal LSTM network with trust gates,” 2017. [Online]. Available: arXiv:1706.08276.
---
[^73]: J.-F. Hu, W.-S. Zheng, J. Lai, and J. Zhang, “Jointly learning heterogeneous features for RGB-D activity recognition,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 11, pp. 2186–2200, Nov. 2017.
[^74]: Y. Tang, Y. Tian, J. Lu, P. Li, and J. Zhou, “Deep progressive reinforcement learning for skeleton-based action recognition,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2018, pp. 5323–5332.
[^75]: P. Zhang, C. Lan, J. Xing, W. Zeng, J. Xue, and N. Zheng, "View adaptive recurrent neural networks for high performance human action recognition from skeleton data," in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp. 2136–2145.
[^76]: X. Gao, W. Hu, J. Tang, J. Liu, and Z. Guo, “Optimized skeleton-based action recognition via sparsified graph regression,” in Proc. 27th ACM Int. Conf. Multimedia, 2019, pp. 601–610.
[^77]: Q. Ke, M. Bennamoun, H. Rahmani, S. An, F. Sohel, and F. Boussaid, “Learning latent global network for skeleton-based action prediction,” IEEE Trans. Image Process., vol. 29, pp. 959–970, 2020.
[^78]: P. Zhang, J. Xue, C. Lan, W. Zeng, Z. Gao, and N. Zheng, "EleAtt-RNN: Adding attentiveness to neurons in recurrent neural networks," IEEE Trans. Image Process., vol. 29, pp. 1061–1073, 2020.
[^79]: P. Zhang, C. Lan, W. Zeng, J. Xing, J. Xue, and N. Zheng, “Semantics-guided neural networks for efficient skeleton-based human action recognition,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2020, pp. 1109–1118.
[^80]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum PointNets for 3D object detection from RGB-D data,” in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2018, pp. 918–927.
[^81]: Y. Zhou and O. Tuzel, "VoxelNet: End-to-end learning for point cloud based 3D object detection," in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., 2018, pp. 4490–4499.
[^82]: J. Jancek, D. Aleinikava, and G. M. Mirsky, “Optimizing kinect depth sensing using dynamic polarization,” in Proc. Conf. Integr. Technol. Comput. Sci. Educ. (ITiCSE), 2017, pp. 767–768.
[^83]: R. M. Martin, M. Lorbach, and O. Brock, “Deterioration of depth measurements due to interference of multiple RGB-D sensors,” in Proc. IEEE Int. Conf. Intell. Robots Syst., 2014, pp. 4205–4212.