2024年1月31日收到，2024年2月22日录用，出版日期为2024年2月27日，当前版本日期为2024年3月15日。 Digital Object Identifier 10.1109/ACCESS.2024.3371022 ![Image](images/f662677bf439f8c934d8151f207bf8548697b30ee2a8b5096ca03b7ca4ed8650.jpg) RESEARCH ARTICLE # 使用生成式图像修复和 YOLOv5 的 3D LiDAR 技术在私家车中进行人员识别 WEIRONG SHAO $^{ID1}$, (Graduate Student Member, IEEE), MONDHER BOUAZIZI $^{ID2}$, (Member, IEEE), XIANG MENG $^{1}$, (Graduate Student Member, IEEE), AND TOMOAKI OHTSUKI $^{ID2}$, (Senior Member, IEEE) $^{1}$ 日本，横滨 223-8522，庆应义塾大学，理科技术研究生院 $^{2}$ 日本，横滨 223-8522，庆应义塾大学，理科技术学部 Corresponding author: Tomoaki Ohtsuki () 本研究由 JST ASPIRE 项目（日本）资助，项目编号为 JPMJAP2326。 ## ABSTRACT 人员识别是开发现代汽车的关键方面，旨在提高安全性和舒适性。 大多数传统的人员识别方法使用 RGB 图像或视频。 在这项研究中，我们介绍了一种利用 3D 光探测和测距 (LiDAR) 技术、基于上下文注意的生成图像修复和 YOLOv5 模型的创新方法，用于识别私家车场景中的个体。 首先，我们使用 3D-LiDAR 设备收集数据，然后将采集的深度数据转换为深度图像。 随后，对深度图像进行手动标注，以指示占据不同座椅的各种人员的位置和标识符。 此处标注的数据用作 YOLOv5 模型的训练材料，以实现识别和分类对象。 然而，由于坐在后排的乘客的身体部分通常会被前排座椅和乘客遮挡，因此我们采用生成图像修复技术来显示被遮挡的部分。 此步骤显着提高了检测和识别坐在后排座椅上的人员的精度。 我们在一个受限的四名参与者群体上实施了我们的策略，并在相同的环境中进行训练和测试。 在进行修复处理之前，分类的 F1 分数达到 66.5%。 修复后，我们观察到后排乘客的 F1 分数显著提高，提高了 17.1%。 关键词：YOLOv5, GAN, 人员识别, 3D LiDAR, 深度学习。 ### I. INTRODUCTION 随着现代社会快速发展，汽车已成为每个家庭最重要的工具之一。 它大大提高了每个家庭的生活便利性。 另一方面，人员识别技术正在快速发展，并在车辆中得到广泛应用。 通过使用这项技术，可以更准确地识别驾驶员的行为和身份，从而提高驾驶的整体舒适性和安全性。 对本手稿进行评审并批准发表的审稿人是 Sangsoon Lim $^{ID}$. 通过车载人员识别技术，可以观察、学习和预测人类身份。它能够评估驾驶员的专注程度，发现疲劳迹象，警告驾驶员，甚至接管驾驶以防止事故[^1]。此外，它可以识别驾驶员并根据他们的偏好调整车辆设置，从而增加舒适性和个性化[^2]。 目前，用于识别个人的方法主要使用RGB图像或视频[^3]。这些数据可能会受到环境条件的影响，例如光照变化或恶劣天气，从而导致识别中的潜在 --- 不准确性。除了这些挑战之外，还存在与使用RGB图像和视频相关的重大隐私问题，因为它们可以捕获详细的个人信息[^4]。考虑到这些限制，探索既能抵抗环境因素，又能更好地保护个人隐私的替代人员识别方法至关重要。此类创新可以为各种应用开辟更安全、更可靠的识别系统。 为了解决当前人员识别实践中固有的问题，我们的实验使用了3D激光雷达（LiDAR）技术。我们的实验通过使用红外激光束来克服传统RGB图像的局限性。这些光束仔细绘制周围环境，生成详细的3D空间表示。通过这种方法，3D激光雷达可以获取精确的距离和角度数据，这比RGB图像所能提供的精度高得多。 3D激光雷达在保护隐私方面具有独特的优势[^4]。与RGB相机捕获的详细图像可能会无意中泄露个人信息不同，3D激光雷达通过仅记录其视野中物体的整体轮廓和距离信息来巧妙地避免这个问题。这种方法确保个人详细信息保持机密，在识别需求和隐私保护之间取得平衡。 3D激光雷达技术的另一个优点是其在各种照明条件下的出色性能，包括完全黑暗。此特性对于诸如在私家车内进行人员识别的应用特别有价值，因为车内照明通常很低，尤其是在夜间。在这种情况下，3D激光雷达不仅保持其有效性，而且是更优越的替代方案，能够在低光条件下发挥最佳性能，同时保护乘客隐私。因此，采用3D激光雷达设备有望为各种环境提供一种强大的人员识别解决方案，从而解决传统识别技术所面临的挑战。 尽管在私家车环境中采用3D激光雷达进行人员识别具有诸多优点，但也存在一些缺点。一个主要挑战是在尝试检测后排乘客时。通常，代表这些乘客的数据会被前排座椅及其乘客遮挡。这种遮挡会导致检测精度不佳，并降低了分类的整体准确性。 为了解决这个挑战，我们的实验利用了生成式图像修复技术。生成式图像修复旨在恢复和修复图像中可能缺失或损坏的部分 [^5]。此技术非常有用，因为它有助于重建后排乘客身体的遮挡部分。通过这样做，它显着提高了检测精度，从而确保更准确的识别过程。通过整合此方法，我们设想一个整体系统，该系统利用 3D LiDAR 的优势，同时减轻其在私家车环境中的局限性。 总而言之，我们的主要贡献如下： 1) 将 3D LiDAR 设备捕获的深度数据转换为深度图像。 2) 重建后排座椅上人员的遮挡部分。 3) 验证将 YOLOv5 模型应用于 3D-LiDAR 图像的人员识别的潜力，并比较重建前后结果。 我们的早期实验结果已提交为会议论文，以供发表在 [^6]。当前的论文详细说明了我们提出的方法，详细介绍了我们模型的参数调整和实验设置，并为我们选择模型、参数和场景提供了更可靠的依据。尽管如此，提供了更详细的结果，并对结果进行了更彻底的分析，包括我们提出的方法的优点和局限性，以及需要解决的潜在未来挑战。 在我们的实验中，我们使用动态非线性映射 (DNLM) [^7] 将深度信息转换为深度图像。这种转换为更复杂的视觉分析奠定了基础。 我们遇到的一个重要挑战是准确识别坐在私家车后排的乘客。由于传统方法的固有局限性以及视线中偶尔出现的遮挡，可能难以清晰地识别这些人员。为了解决这个问题，我们设计了一种重建遮挡部分的身体的方法，从而显着提高了这些视觉表示的清晰度和分辨率。 我们研究的下一个部分围绕评估 YOLOv5 模型 [^8] 的性能，该模型是目标检测领域的常用模型。该模型以其强大的功能而闻名，我们试图了解其在基于 3D-LiDAR 的人员识别领域的性能。我们的实验证实了它在该领域的卓越潜力。此外，我们比较了重建前后的人员识别结果，以评估生成式图像修复在人员识别中的作用。这些发现强调了我们的重建技术与 YOLOv5 结合时产生的深远影响。 总之，我们工作的创新之处在于，它将 3D LiDAR 技术与生成式图像修复算法相结合，从而大大提高了这些情况下的识别精度，从而克服了 RGB 图像和视频在环境昏暗时无法清晰显示的问题。3D LiDAR 提供了精确的深度信息和空间感知能力，可以有效地识别和定位车辆中的人员，即使视线部分被遮挡，也可以做出准确的判断。此外，我们采用 DNLM 技术来提高深度图像的清晰度，尤其是在狭小空间，如私家车内部。 --- 这种方法确保了，即使在这些狭窄的场景中，深度图像也能得到清晰的渲染，从而有助于更准确的分析和解释。 值得注意的是，目前没有已有的先进研究利用 3D LiDAR 在这种情况下进行个体识别。 ### II. 相关工作和动机 ### A. 动机和挑战 3D LiDAR（光探测与测距）因其能够捕获高分辨率空间信息，而成为人类识别的一种有前景的技术。 采用 3D LiDAR 的一个主要动机是其能够产生详细的 3D 点云 [^9] 和深度信息 [^10]，这可以揭示人类形状和步态的细微之处。 此外，与传统的摄像头系统不同，LiDAR 不受照明条件的限制，使其成为具有多变或低照明环境的理想选择。 这一特性不仅增强了其多功能性，而且还尊重个人隐私，因为 LiDAR 不像摄像头那样捕获面部特征或其他敏感的个人详细信息 [^11]。 将 3D LiDAR 与其他传感器系统（例如 RGB 摄像头 [^12]）集成，可以进一步提高其准确性，从而创建一种强大的多模式识别系统。 然而，在人类识别中使用 3D LiDAR 并非没有挑战。 一个主要的问题是，目前缺乏针对 LiDAR 数据的专门的识别方法，因为传统的生物识别技术（如面部识别）更加成熟 [^13]。 由于人类的形状、大小和姿势本身就存在差异，这给确保一致的识别带来了额外的挑战。 收集的数据也可能受到噪声和环境伪影的影响，尤其是在室内环境中，人们可能部分被遮挡，这会使识别过程复杂化，并使特征提取成为一项复杂任务。 ### B. 相关工作 3D LiDAR 是一种光探测与测距技术，它通过测量激光束发射后反射回所需的时间来创建三维 (3D) 地图 [^14]。 3D LiDAR 的应用范围广泛。 3D LiDAR 在人类方面的最基本应用之一是检测和跟踪各种环境中的个体 [^15]、[^16]、[^17]。 Yan 等人 [^18]、[^19] 提出，3D LiDAR 可以创建高分辨率点云，可用于识别人类的整体形状和大小。 在公共活动或繁忙的交通枢纽等场景中，LiDAR 可以提供人群动态的洞察力，从而实现高效的人群管理和安全措施 [^20]。 Lin 等人使用 3D LiDAR 在场所识别领域 [^21]。 它可用于机器人领域。 步态，即个体的行走方式，是独特的，可以作为生物识别标识符。 借助 LiDAR 的详细空间数据，研究人员能够研究步态模式的细微差别 [^22]、[^23]。 这些模式可用于识别个体或检测行走模式的异常，这对于医疗应用可能很有用。 在跌倒检测方面，尤其是在医疗保健和老年护理领域，LiDAR 可用于检测是否有人跌倒，从而实现及时医疗干预 [^24]、[^25]。 机器学习，特别是深度学习，与 3D LiDAR 数据的融合，扩展了人员识别的潜力。诸如卷积神经网络 (CNN) 之类的技术处理 3D 点云数据 [^26]，[^27]，从而实现复杂的特征提取和识别。具体来说，PointNet 等架构经过专门设计，可以直接处理点云数据，从而提高识别系统的准确性和可靠性 [^28]。Zhou 和 Tuzel [^29] 提出了一种名为 VoxelNet 的架构，用于处理点云数据。VoxelNet 从 3D 体素网格中的稀疏点中提取特征，并在 KITTI 基准数据集上获得了出色的性能。 传统的物体检测是一种两阶段算法。Girshick 等人 [^30] 率先介绍了基于区域的卷积神经网络 (R-CNN)，开创了两阶段检测器的领域。R-CNN 首先使用选择性搜索生成约 2000 个区域建议，然后使用 CNN 对其进行分类。虽然实现了最先进的性能，但 R-CNN 的计算成本很高，不适用于实时应用。为了解决其前身计算效率低下的问题，Girshick 提出了 Fast R-CNN [^31]。与 R-CNN 不同，R-CNN 为每个建议区域单独应用 CNN，而 Fast R-CNN 首先使用 CNN 处理整个图像，然后提取每个区域建议的特征，从而大大提高了其速度。He 等人进一步扩展了 Faster R-CNN 的功能，提出了 Mask R-CNN [^32]，它增加了一个并行分支来预测分割掩码。这种增强使其既可以执行实例分割任务，也可以执行物体检测任务。 YOLO [^33] 是一种基于深度学习的实时物体检测系统。YOLO 采用单次方法进行物体检测，这大大提高了检测速度，使其在实时应用中表现良好，与 Fast R-CNN 等其他物体检测算法不同 [^31]，[^34]。YOLO 中使用的卷积神经网络 (CNN) 接收整个图像，并在一次前向传播中输出物体类别和位置数据。它已在 3D LiDAR 技术领域得到应用。YOLO 用于物体分类和检测，结合 LiDAR 和相机融合 [^35]，[^36]，[^37]。此外，Simon 等人 [^38]，[^39]，[^40] 提出了 Complex-YOLO，该算法为 3D 物体检测领域做出了贡献。这种神经网络架构经过精心设计，用于实时 3D 物体检测任务。与依赖于数据类型组合的传统模型不同，Complex-YOLO 的特点是它直接处理点云数据。此外，其适应性也扩展到语义点云数据，这两种数据均由 3D LiDAR 系统生成 [^41]。深度学习和 3D LiDAR 之间的这种协同作用 --- ![Image](images/4fa89b8bc5fed0802e21d905161fd5b21f367515f88c567a19c141cb7bda9a50.jpg)
FIGURE 1. A flowchart describing the steps of our proposed framework.
为更复杂和准确的人员识别解决方案铺平了道路。YOLO 和 3D LiDAR 的结合在自主领域得到了广泛认可 [^42]。这种集成对于推进自主物体检测至关重要，正如 Tian 和 Guo 的工作所示 [^43]，他们提出了一种结合 YOLO 和 3D LiDAR 的新方法。进一步的研究，Wu 等人 [^44]，将研究重点放在使用相机和 3D LiDAR 进行物体检测，这为自主系统中的区域物体检测提供了见解。 #### III. 总体系统描述和设备 A. 总体系统描述 我们的实验流程如图 1 所示。最初，通过 3D LiDAR 设备捕获深度数据。然后，通过动态非线性映射 (DNLM) [^7] 将这些数据转换为深度图像。为了提高图像质量，使用上下文注意力生成图像修复技术修复任何缺失的部分 [^45], [^46]。 随后，对图像中的个体进行标注。标注的图像用作 YOLOv5 ![Image](images/1637c7286a7aae6b900fda4a8ff0204ba84e37809abaabe3b2570ccd32a26e27.jpg)
FIGURE 2. LiDAR system.
模型的训练数据，优化该模型以用于从 LiDAR 图像中检测人员。经过训练的模型可以有效地用于在私人汽车场景中检测和识别人员。 ### B. 设备 LiDAR（光探测与测距）是一种遥感技术，它使用红外激光（IR）束来测量物体与传感器之间的距离。与 RGB 相机不同，RGB 相机需要可见光才能记录图像，而 3D LiDAR 可以在完全黑暗的环境中运行。3D LiDAR 特指能够捕获三维空间信息的设备。其工作原理如下：系统首先发射一个短暂、高精度的激光脉冲。当这个脉冲撞击到物体表面时，会被反射并被 LiDAR 探测器捕获。通过计算激光脉冲发射和接收之间的时间差，并考虑到光速，系统可以准确测量到物体的距离。距离的计算公式如下： $$ R=C\cdot\frac{T}{2}, $$ 其中，R 是测得的距离，C 是光速，T 是激光信号发射和接收之间的时间差。 为了获取三维数据，LiDAR 在多个方向和角度进行扫描，通常通过机械旋转、 galvanometer 扫描或光学相阵来实现，系统如图 2 所示。最终，这些数据被转换为三维点云模型，每个点都具有其在空间中的 x、y 和 z 坐标，如图 3 所示，坐标由 Eqs. (2) 到 (4) 获得， $$ x=S\cdot\sin\phi\cdot\cos\theta, $$ $$ y=S\cdot\sin\phi\cdot\sin\theta, $$ $$ z=S\cdot\cos\phi, $$ 其中，S 是 LiDAR 测得的距离，$\phi$ 是激光脉冲的垂直扫描角度，$\theta$ 是激光脉冲的水平扫描角度。 --- ![Image](images/ba68ee058bf55f00a50686a156b550f697f965f323ad65e94796a2bdcf607802.jpg)
FIGURE 3. LiDAR three-dimensional coordinate.
![Image](images/7c7571372eea962561bf3c14527f090a91d464957e8f26d529158d0336ad4a66.jpg) ![Image](images/fdb4e84ba830c23eda2b92860de7a075ab7ac1469a934988e6c4ef63506ae43b.jpg) ![Image](images/7d02c7842051dfe6bfca3407dc88ca950e2c84ba8294259a33491f5e1b3b0328.jpg)
FIGURE 4. 3D LiDAR generated depth images in different illuminations.
通过快速重复此过程，可以使用 3D LiDAR 生成被测环境的三维信息。通过收集每个物体相对于传感器的距离和角度，该表示提供了环境的详细图像。在设置 3D LiDAR 设备时，我们验证了在各种光照条件下深度图像的成像状态。图 4(a) 显示了在明亮环境中两个实验参与者的 RGB 图像，而图 4(b) 显示了相应的深度图像。图 4(c) 是两个参与者在相对黑暗环境中的 RGB 图像，而图 4(d) 是其对应的深度图像。可以看出，在不同光照条件下生成的深度图像没有显著差异。这表明 3D LiDAR 可以在不同的光照条件下良好工作。 DNLM 是一种将 3D LiDAR 信息转换为 3D LiDAR 图像的技术，这些图像也称为深度图像。它可以准确地捕获和解释原始 3D 数据中的复杂非线性关系，确保 3D 图像的真实性和细节。 在我们的实验中，我们使用一个 3D+RGB IP67 套件（Helios2 & Triton 3.2MP 套件），该设备的规格见表 1。我们使用 LUCID Vision Labs 提供的 LUCID Arena SDK 来收集 3D LiDAR 信息。LUCID Arena SDK 的详细信息见表 2。我们使用 OpenCV 来执行图像处理任务，例如生成和保存深度图像；使用 Pytorch 库来调用、微调和推断必要的深度学习模型，用于人员识别和图像修复。数据以不同的场景收集，这些场景模拟私家车。设备放置在四个乘客的前面。设备与前排乘客的距离小于 1.0 米，后排乘客的距离约为 1.5 米，以适应真实私家车中的场景。
ParameterValue
Number of pixels0.3 MP
Resolution$640 \times 480$ px
Frame rate30 fps
Angle of view$69^{\circ} \times 51^{\circ}$
VCSEL wavelength850 nm, Indoors
Number of exposure modes62.5/250/1000 $\mu s$
TABLE 1. The specifications of the 3D LiDAR used in the experiments.
TABLE 2. LUCID Arena SDK for windows.
FeatureDescription
Data InterfaceGigabit Ethernet (1000 Mbit/s)
Operating SystemWindows 7 / 10 (32-bit and 64-bit)
CompilerVisual Studio 2015 project files included.
Programming LanguagesC++, C, and C#
我们设置了三种不同的场景： ### IV. 详细系统描述 ### A. 数据收集 1：在我们的第一个场景中，我们将四个人，方便地标记为 A、B、C 和 D，放置在不同的座位上，面对一个 3D LiDAR 设备。这些对象是验证我们提出的技术有效性的主要实体。为了确保全面收集数据，我们旋转这些对象，使每个对象在连续的间隔中占据不同的座位。在每个这样的间隔中，收集大约 500 帧数据，因为这些对象会进行各种活动，例如说话、玩手机等，总共收集 2000 帧数据，专门用于此配置。 2：在下一个场景中，我们引入了另一种复杂性，通过将一个未知人员纳入其中。这个未知人员会不时地取代我们原始对象（A、B、C 或 D）中的一个，来自第一个场景。与之前的设置一样，每个迭代收集 2000 帧数据。此外，为了保持一致性，每个对象的独特座位排列都会产生 500 帧数据。 3：关于第三组场景，我们的目标是收集用于图像修复的数据。在这里，我们的主要对象 A、B、C 和 D 依次占据两个特定的座位：后排左侧和后排右侧。这种配置是为了为我们的生成式图像修复测试提供一个基准。 在收集了多个 3D LiDAR 数据的帧之后，下一步是将这些 3D LiDAR 信息转换为深度图像。深度图像的一个重要局限性是它们对附近物体的表示。如果物体彼此靠近，它们在深度图像中的相应颜色往往相似。这种相似性在私家车环境中尤其明显，因为乘客座位紧挨着。因此，深度方面的区分在前后排乘客之间经常变得不明显，有时甚至会与背景融合。 --- ![Image](images/24095814a5225e031bfff76ef23847a3d17bbfb36ce8bc6556fd0390a99ad3c3.jpg) ![Image](images/7aae8397d566df4b43e27924dabfcd50670b76c94f60387f5f1d70d37b4ebc7d.jpg)
FIGURE 5. Depth images before and after using DNLM: Image a is before using DNLM, image b is after using DNLM.
为了解决这个问题，我们利用了 DNLM 的高级功能将 3D LiDAR 数据转换为深度图像。DNLM 因其动态适应性而闻名，可以进行精细的实时调整。这种灵活性可确保生成的深度图像能够适应各种场景，以满足不同的需求，同时使对象区分变得更加容易。 为了应对这一挑战，我们利用了 DNLM 的高级功能，将 3D LiDAR 数据转换为深度图像。 DNLM 因其动态适应性而闻名，可以根据需要进行精细调整。 这种多功能性可确保生成的深度图像能够适应各种场景，满足不同的要求，同时使物体区分变得更加容易。 如图 5 所示，我们观察到一个颜色条，称为“范围”。 实际上，该颜色条是一个颜色映射，分为几个不同的部分。 这些部分中的每一个都代表一个特定的颜色值，用作视觉指南。 图 5(a) 试图建立这些范围与色谱图之间的一一对应关系。 相比之下，图 5(b) 旨在确定非线性中心并调整范围区间。 仔细观察图 5，会发现图 5(a)存在清晰度问题，因为它无法区分前排乘客、后排乘客和背景。 这种清晰度问题源于前排和后排座椅之间的距离很小。 然而，通过将 DNLM 应用于 3D LiDAR 数据，可以清楚地区分前排和后排乘客，从而克服了之前的模糊性。 图 6 提供了更多由 DNLM 生成的深度图像的示例。 这种增强不仅有助于立即解释，而且也为更深入的后续研究奠定了坚实的基础，为更好的 3D LiDAR 数据分析铺平了道路。 ### B. 人员识别模型 近年来，深度学习方法的进步以及 GPU 硬件的发展极大地 ![Image](images/5a7bba43490172e6b83f6e5f705336bdd94fd87e05e74cff256c3e5b1b8225f4.jpg) ![Image](images/8be9eb5fade62436a843d5b2f9280281d5b38508f41f41ef73a03f5fdcd1bdc4.jpg) ![Image](images/418d418e3a437670980275a07f5133bf4ff62ac29cc88ca496e74fd2ff885a22.jpg) ![Image](images/975031a56830732487946aa7ee76930c134132cbf569173c29a829f19c0f20ca.jpg) ![Image](images/6bc4b3b021abf7bc8854e2a405b1b0881716baf006a6170d90c8680d8923f008.jpg) ![Image](images/fb66ed1161d26a60f928721b95430f2ec37b3f5523a51974448420e2d447603f.jpg) ![Image](images/d2d0c53625ffe9250e3dfa9bd05331d4841da4caa2965193643586ef8a1eea37.jpg) ![Image](images/06e15e6980b98192c700a21ef8c33e6c1f23fb0d543c4da06488380ac608478c.jpg)
FIGURE 6. Examples of depth images.
推动了计算机视觉技术的进步。 利用计算机视觉来减少人力具有深远的实际意义。 目标检测是数字图像处理和计算机视觉的一个基本方面。 它也是智能监控系统的核心组件，广泛应用于各种应用。 YOLO 目标检测算法是由 Jiang 等人提出的第一个单阶段目标检测算法 [^47]。 它是 YOLO 的缩写，意思是“你只需要看一次”。 使用 3D LiDAR 进行人员识别的方法依赖于 YOLO 的第 5 版 (YOLOv5)。 它于 2020 年 6 月由 Ultralytics 推出 [^8]。 如今，它是一个领先的目标检测算法。 YOLOv5 是一种创新的卷积神经网络 (CNN) [^48]，可以在实时环境中以惊人的精度识别对象。 与多次评估不同，该模型使用单个神经网络通过对整个图像进行扫描。 然后，它将图像划分为多个部分，并预测每个部分的边界框及其关联概率。 这些边界框根据其预测概率进行排序。 YOLO 的独特之处在于其方法：它只需要一次“看”或一次通过网络进行预测。 预测完成后，通过一个称为非最大抑制的过程来呈现检测到的对象，以确保 --- 每个对象都得到明确的识别。 YOLOv5 架构如图 7 所示。 从架构的角度来看，YOLOv5 模型类似于 YOLOv4 [^49]，并依赖于三个关键子网络：主干网络、颈部网络和头部网络。 - 主干网络：作为任何检测系统的基础，主干网络负责从提供的图像中提取特征。在框架中，CSPDarknet 的使用，由 Bochkovskiy 等人提出 [^49]，是一个关键的选择。与 YOLOv3 模型中使用的 Darknet53 相比，CSPDarknet 是一种显着的改进，如 Redmon 和 Farhadi 指出的那样 [^50]。CSPDarknet 的核心原理是将来自前一级别的特征图分成两部分，然后对部分特征进行一系列卷积操作，这被称为跨级层级 (CSH) 特征 [^51]。这种方法不仅由于其精简的架构而提高了速度，而且还保证了可比甚至更好的检测精度。本质上，这种优化的结构促进了从输入图像中高效、精确地提取关键特征。 - 颈部：颈部位于主干网络和头部之间，其主要功能是管理和细化主干网络提取的特征。具体来说，Path Aggregation Network (PANet) [^52] 负责这项任务。它仔细构建特征金字塔网络 (FPN)，这对于在不同对象尺度上实现泛化非常有用。PANet 的主要优点是它能够将信息从每个提取的特征层直接引导到相关的子网络。这确保了在主干网络到后续阶段的过渡过程中，没有关键数据丢失或被稀释。 头部：系统的最后一部分，头部负责最终的对象检测任务。它生成与不同特征图对应的锚框，有效地作为潜在对象位置的参考点。此外，头部输出指示类别概率和检测到的边界框的确切坐标的向量。这与早期 YOLO 迭代中使用的技术一致。本质上，头部将主干网络和颈部采购和完善的抽象特征转换为具体且可解释的结果。 根据 Ultralytics 的研究，YOLOv5 在尺寸和速度方面比大多数 YOLO 版本有了显着改进，同时保持了相当的精度。例如，YOLOv5 的尺寸大约小 88%，仅为 27 MB，而 YOLOv4 为 244 MB。此外，它的运行速度大约快 180%，达到 140 FPS，而 YOLOv4 为 50 FPS。在精度方面，两个版本在同一任务上表现非常接近。 ![Image](images/27aa03e18588a79a83580136cf8c2a820daa69a7edf75d33ac5ffbe11a87c89e.jpg)
FIGURE 7. The architecture of YOLOv5 model. CSP stands for cross stage partial network. Conv stands for convolutional layer. SPP stands for spatial pyramid pooling. Concat stands for concatenate function.
TABLE 3. An example of YOLO format annotated data.
Subject IDX centerY centerWidthHeight
00.7421880.5177080.3093750.735417
10.2765620.5291670.3031250.725000
20.5781250.5479170.1000000.520833
30.4429690.5760420.1109370.510417
![Image](images/82022f28dcf94702d5f73494e98608d87ba71213784ee56aecc707f3a83d24f3.jpg)
FIGURE 8. Operation interface of rectangular box label.
### C. 数据标注 人员识别是一项受监督学习任务，如 [^53] 中所述。使用标注工具 LabelImg [^54]，我们手动标记不同的个体，将每个人都包含在矩形边界框内，如图 8 所示。该工具以 YOLO 格式生成注释，并将它们保存为.txt 文件。在这些 YOLO 格式的注释文件中，每个图像的对象由多个列描述，其中每列对应一个不同的对象。具体来说，每一行提供对象的 ID、x 中心坐标、y 中心坐标、宽度和高度。其中： - 对象 ID：它是一个整数，表示对象的类别索引（例如，0 表示“汽车”，1 表示“人”等）。 --- ![Image](images/6d0e35e559d318418ce5780634e651b70a893bc06d96834f947b2fd925e95114.jpg)
FIGURE 9. An overview of generative inpainting framework: Reconstruction loss is utilized to train the coarse network, refine network are trained by WGAN-GP global and local adversarial loss, as well as reconstruction loss.
TABLE 4. Annotation category information of YOLO.
CategorySubject ID
Subject A0
Subject B1
Subject C2
Subject D3
- X 中心坐标、Y 中心坐标：表示对象中心的坐标，相对于图像的宽度和高度进行归一化。这意味着这些值在 0 和 1 之间。 - 宽度、高度：它是对象的宽度和高度，也相对于图像的宽度和高度进行了归一化。 我们项目的 YOLO 格式标注的代表性样本见表 4。实验中 YOLO 标注所使用的分类的详细信息见表 5。 ### D. 数据增强 3D LiDAR 设备主要通过测量物体与设备之间的距离和角度来捕获物体的深度信息。但是，这种方法存在固有的局限性：随着物体与 LiDAR 之间的距离增加，捕获信息的准确性会降低，这通常会导致数据稀疏 [^55]。例如，考虑一个私家车场景：后排乘客与 3D LiDAR 之间的距离比前排乘客远。此外，后排乘客经常被前排乘客遮挡，导致数据出现显着的遮挡。我们提出的解决方案是，通过填充遮挡的部分身体，从而增强识别过程。 在我们的研究中，我们采用了一种增强上下文感知的生成图像修复方法。修复网络的架构如图 9 所示，其特点是两阶段设计。第一部分“粗略网络”侧重于生成图像的粗略预测。这通过使用重建损失来指导其训练来实现。然后，“精细网络”用于细化预测。与粗略网络不同，精细网络的训练利用重建损失和生成对抗网络 (GAN) 损失。与传统的生成式修复技术不同，这些技术通常使用深度卷积 GAN (DCGAN) [^56] 进行对抗式监督，我们的算法采用 Wasserstein GAN 梯度惩罚 (WGAN-GP) [^57]、[^58]。因为当生成器和判别器的性能差距很大时，会发生梯度消失问题，导致训练停止。因此，WGAN 通过限制判别器的训练采用某些方法（如权重裁剪），从而在生成器和判别器之间保持平衡，从而有助于保持训练的稳定和持续进行。此外，传统的 GAN 损失函数通常基于 Jensen-Shannon 散度 [^59]，这可能导致训练不稳定。为了确保全局和局部一致性，我们将 WGAN-GP 损失应用于第二阶段细化网络的全局和局部输出。WGAN 使用 Wasserstein 距离 [^57] 作为损失函数，它是一种衡量两个概率分布之间差异的指标。Wasserstein 距离即使在真实数据和生成数据之间存在很大差异时，也能提供更平滑的梯度，从而实现更稳定的训练过程。将 WGAN-GP 损失集成到我们的网络的第二阶段，该损失将 l1 重建与 l1 距离度量相结合，称为 Wasserstein-L 距离 $W(\mathbb{P}_{r}, \mathbb{P}_{g})$。该模型是通过应用 Kantorovich-Rubinstein 对偶 [^60] 并借鉴 Gulrajani 等人 [^58] 的改进而构建的，后者通过添加梯度惩罚项来升级 WGAN，其公式如下： $$ \begin{array}{r}{W(\mathbb{P}_{r},\mathbb{P}_{g})=\operatorname*{i n f}_{\gamma\in\Pi(\mathbb{P}_{r},\mathbb{P}_{g})}E_{(x,y)\sim\gamma}[\|x-y\|],}\end{array} $$ 其中，$W(\mathbb{P}_r, \mathbb{P}_g)$ 是两个概率分布 $\mathbb{P}_r$ 和 $\mathbb{P}_g$ 之间的 Wasserstein 距离，inf 是下确界，$\gamma$ 是在 $\mathbb{P}_r$ 和 $\mathbb{P}_g$ 之间的联合分布。$\Pi(\mathbb{P}_r, \mathbb{P}_g)$ 是所有将 $\mathbb{P}_r$ 和 $\mathbb{P}_g$ 耦合在一起的可能联合分布的集合。$E_{(x,y) \sim \gamma}$ 是期望，它是在 x 和 y 从联合分布 $\gamma$ 中随机抽取时计算的。最后，$[\|x - y\|]$ 是 x 和 y 之间的欧几里得距离。 上下文注意力是图像重建模型中的另一个重要部分，如图 10 所示：首先，从背景区域提取一个 $3 \times 3$ 补丁， --- ![Image](images/d262d24fb47c3879a4ff453bdf326f7c16f640f7b0ec05e80cc2e3ad265c24a8.jpg)
FIGURE 10. Illustration of the contextual attention layer.
它被用作卷积内核，为了匹配前景（缺失区域）补丁，使用标准化内积（残差选择相似性）来衡量它，然后使用 Softmax 计算每个背景补丁的权重，最后选择最佳补丁并进行反卷积以生成前景区域。重叠像素的平均值用于反卷积过程。为了确保更大的图像一致性，使用感知传播。该技术涉及对前景区域应用一个偏移，该偏移与背景中的类似偏移对齐。这通过使用单位矩阵作为卷积内核来实现。上下文注意力采用两步方法：首先从左到右传播，然后从上到下传播。这种双相方法可以改进注意力分数。值得注意的是，该方法显着提高了恢复结果，并在训练阶段引入了更丰富的梯度。 在将感知网络集成到恢复网络的第二阶段时，在第二阶段的修复结构中设计了一种双分支架构。该架构如图 11 所示。下分支的任务是使用扩张卷积来恢复缺失区域的内容。相反，上分支致力于从背景中提取感兴趣的区域。在最后一步，两个分支的输出使用连接函数合并。然后，将合并的输出通过解码器，并使用反卷积进行处理，以产生最终结果。 在我们的方法中，我们首先将前景中的主体（坐在前排的人）视为 ![Image](images/e8d6dd02f6152b60c2ed0c7be0f07890aa149d894e0d8541be043f19735fb727.jpg)
FIGURE 11. Illustration of detailed refine network.
障碍物。对应于其身体的图像区域被标记出来，以创建坐在后排的人的掩码。我们用于执行此任务的方法是 Canny 算法 [^61]。首先，我们将图像转换为灰度，从而简化了后续的增强阶段。为了提高分割过程的保真度，我们实现了阈值化 [^4]。此步骤提高了图像的对比度，为更精确的边缘检测铺平了道路。在成功检测到边缘后，这些数据用于创建图像的分割掩码。此掩码被仔细地叠加到原始图像上，以确保在定义的区域中保留原始像素值。 我们对 Yu 等人的实现进行了改进 [^45]，[^46]，这是一个用于生成图像修复任务的开源框架。 这是一个基于深度生成模型的流行方法，擅长创建独特的图像结构。 为了我们的训练目的，我们从场景 3 中获取了 ground truth 数据。 该数据集包含 7,000 张图像。 为了确保我们模型的完整性和性能，我们还另外隔离了 1,000 张图像，专门用于验证阶段。 我们所有的训练都遵循特定的环境配置，详细信息见表 6。 该表提供了参数、设置和配置的完整列表，以确保可重复性并清楚了解我们的训练条件。 训练后的模型接收原始图像及其相应的掩码图像。 这种设置对于我们的模型至关重要，因为它使我们的模型能够处理这些图像，主要目标是删除坐在前排的乘客，同时重建坐在后排的乘客。 如图 12 所示，我们的模型实现效果的视觉示例。 --- ![Image](images/478b50a595a1d737f89fc485434eca65089738787ca8c4c37db8f65e5efc7877.jpg)
(a)
(b)
(c)
FIGURE 12. An example of people reconstruction: Image (a) is the original picture, image (b) is a mask segment extracted from people in the front, and image (c) is people in the back seat after reconstruction.
### E. 遮挡率 在私人汽车监控中，检测性能对于确保乘客的安全和舒适至关重要，尤其是对于坐在后排的乘客 [^62]。 评估此性能的一个重要指标是遮挡率，它量化了后排乘客有多少被遮挡。 为了准确计算此比率，该研究重点是确定乘客被遮挡部分的比例与他们的总可见面积之比。 要实现此目标，需要精确识别框架中乘客的轮廓或边界，这可以使用图像分割和边缘检测技术完成。 采用的方法首先通过高斯模糊进行图像分割 [^63]，这是一种通过减少噪声和次要细节来平滑图像的技术。 这样做可以使图像中的重要边界更加突出。 随后，应用 Canny 边缘检测方法 [^61]，该方法以其在突出图像中大强度变化方面的效率而闻名，以确定这些边界。 一旦定义了这些边缘，就可以确定代表乘客的区域。 然后使用特定的公式，即公式 (6)，计算遮挡率，该公式将可见面积与总可能面积进行比较，从而提供基于百分比的遮挡率。 $$ O_{r}(\%)=1-\frac{A_{n}}{A_{t}}\cdot100, $$ 其中 $O_{r}$ 表示遮挡率，$A_{n}$ 是乘客未被遮挡的部分的面积，而 $A_{t}$ 是乘客的总面积。 ### V. 实验 ### A. 实验配置 实验配置见表 5。 本工作中使用的 YOLOv5 的实现是 Jocher 等人的 [^8]。 ### B. 评估指标 由于不同的实验会产生不同的模型，因此建立一个稳健的指标至关重要。 这有助于
TABLE 5. Configuration of experimental environment.
NameParameter
GPUQuadro RTX 5000, 16384 MB
SystemWindows 11
Operating memory16 GB
Environment configurationPython-3.7.16 torch-1.13.1+cu117
TABLE 6. The hyperparameters used during the training.
NameValue
Batch size4
Epoch30
Learning rate0.01
OptimizerSGA
Weightsyolov5s.pt
选择实验结果中效果最有效的模型。 在我们的实验中，我们使用 F1 分数，计算方法如公式 (7) 到 (9) 所示，以及在交并比 (IoU) 阈值为 50% 时计算的平均精度均值 (mAP) 和 50%-95% (mAP50-95)。 $$ Precision=\frac{TP}{TP+FP}, $$ $$ Recall=\frac{TP}{TP+FN}, $$ $$ \mathrm{F1}=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}=\frac{TP}{2\cdot TP+FP+TN}. $$ 精度代表所有正面预测中的真正正面预测的比例。TP（真正正面）表示正确预测为正面的正面实例的数量，而FP（假正面）表示错误预测为正面的负面实例的数量。高精度表明，预测为正面的实例大部分确实是正面的。召回率，也称为灵敏度或真正正面率，召回率衡量模型正确识别的实际正面实例的比例。FN（假负面）表示错误预测为负面的正面实例的数量。高召回率意味着模型能够正确识别大部分实际的正面实例。F1分数是精度和召回率的调和平均值。它提供了一个在精度和召回率之间的平衡度量，尤其是在存在显着的类别不平衡时很有用。高F1分数表明模型在精度和召回率方面表现良好。 ### C. 结果与讨论 主要训练超参数如表5所示。训练完成后，表7总结了包括F1分数、mAP50值以及每个人的mAP50-95的信息。valid是验证数据集的数量。instances是指验证数据集中标注的人数。 ---
TABLE 7. Results of people identification.
ClassValidInstancesF1mAP50mAP50-95
All55216710.6650.7530.626
A5525520.5170.6320.48
B5524530.7110.8230.684
C5521150.5060.6420.566
D5525510.8440.9150.774
在表7中，我们展示了对我们的检测和识别模型的评估。获得的结果显示出令人印象深刻的性能基准。具体来说，我们提出的方法注册了超过60%的F1分数。此外，mAP50分数超过了75%。这表明我们的方法在自信地识别具有高度重叠的对象方面具有鲁棒性。此外，我们的模型在保持高mAP50-95分数（超过60%）的能力，表明了其在各种IoU阈值下的稳定性和准确性，这说明了其在不同检测场景中的适应性。 图13提供了我们发现的更直观的表示。在该图中，读者可以直观地看到人们的检测和识别的直接实例，展示了我们提出的模型在模拟真实场景中的实际应用和有效性。同时，图14深入探讨了模型的训练结果。在这里，我们展示了混淆矩阵，它提供了关于真正正面、假正面、真正负面和假负面率的详细视图。根据图14，D主体的预测性能最佳，正确分类率为0.90，这意味着90%的D主体被正确预测为D。B主体的正确分类百分比排名第二，为0.76。C主体的正确分类率为0.75。A主体的正确分类比例相对较低，为0.56。A主体被错误分类为C主体的比例为0.18，这是一个相对较高的错误分类比例。这可能是因为A和C参与者是亚洲男性，而B参与者是白人男性，D参与者是亚洲女性，他们的体型在A和C之间存在相对差异。因此，A主体很容易被错误分类为C主体。该矩阵证明了YOLOv5模型在3D LiDAR图像中区分和准确识别个人的能力。 同样重要的是要强调，我们数据集中的所有个体的检测F1分数和mAP值并不一致。这些值存在变化，主要受每个个体相关的遮挡程度的影响。这种遮挡可能来自各种场景，包括重叠的个体、遮挡物，甚至捕获角度。 考虑到有些人可能会被坐在他们前面的其他人遮挡，我们在实验中评估了不同遮挡率下的 F1 分数、mAP50 值和 mAP50-95 值。根据数据集的分布，以及通过公式 (6) 的计算，我们观察到后排乘客的遮挡率落在三个范围内：低于 60%、在 60% 到 70% 之间以及高于 70%。这些三个区间的数据分布相当一致。有关数据分布的详细可视化，请参见图 15。我们分别对后排左侧和右侧的每个人进行了 F1 分数、mAP50 值和 mAP50-95 值的评估。 ![Image](images/ec623914ad1c7cef6ccdad0082923136c8a5ffaff51e7b9ee2213c544a234e62.jpg)
FIGURE 13. Some examples of people identification results.
![Image](images/e45e9fb81e7b6c56b0369e72e518dc387d64ce0b9d2e6203b44e2074d6b10d58.jpg)
FIGURE 14. Confusion matrix of training results.
在不同遮挡率下，每个人的具体数据已记录在表 8 中。“OR” 列表示“遮挡率”， “BL” 表示“后排左侧”， “BR” 表示“后排右侧”。如果某个范围内的数据量不足以进行训练，则该范围内没有数据（None）。 --- ![Image](images/af8608daf38b46579d0d0b98cb872b75b93cfd0c0a3c340b7ecd1711c1d608b3.jpg)
FIGURE 15. Data distribution of different occlusion rates.
如图 16 和 17 所示，这些图表分别显示了不同遮挡率下，每个人的 F1 分数、mAP50 值和 mAP50-95 值的具体值。一般来说，随着遮挡率的增加，性能指标（尤其是 F1 分数、mAP50 值和 mAP50-95 值）的趋势是下降的。这一观察结果贯穿于数据集中的不同个体，表明较高的遮挡率会使准确的检测和识别变得更加困难。这可以解释为什么 D 编号的个体在人员检测和识别方面表现出更好的性能，这主要是由于其遮挡率以低于 60% 的比例为主。较低的遮挡率自然有助于提高检测和识别指标。此外，一个需要考虑的独特之处是，D 编号的个体是我们在实验中唯一的女性参与者。她与男性同伴不同的体型，可能提高了人员识别的准确性，这为我们的模块提供了一个独特且显著的特征。 为了解决一些个体可能被坐在他们前面的其他人遮挡，从而影响人员识别训练的问题。在我们的实验中，我们使用 YOLOv5 模型，分别对参与人员的右侧和左侧后排座椅的预重建图像和后重建图像进行训练。训练环境如表 6 所示。然后，我们比较这些实例的 F1 分数和 mAP 值。结果如表 10 和表 10 所示。 从表 8 和表 10 可以看出，生成式图像修复技术的应用显著提高了我们的人员识别模型的性能。图表显示了重建前后值的变化。 此外，之前被这些障碍物遮挡的身体部位已被重建，从而产生了更准确和更完整的个体身体形状。
TABLE 8. Training results from different occlusion rates.
ClassORSeatF1mAP50mAP50-95
ABelow 60%BL0.8160.910.465
60%-70%0.7550.8760.273
Over 70%0.6610.5110.353
Below 60%BR0.6640.8570.655
60%-70%0.6610.4830.246
Over 70%0.5870.4480.267
BBelow 60%BL0.7850.9170.575
60%-70%0.6160.7620.602
Over 70%NoneNoneNone
Below 60%BR0.4540.3320.263
60%-70%0.4170.3240.236
Over 70%0.3740.2630.182
CBelow 60%BL0.6590.750.461
60%-70%0.5300.5680.364
Over 70%0.3130.4640.173
Below 60%BR0.9030.9950.625
60%-70%0.8510.9360.595
Over 70%NoneNoneNone
DBelow 60%BL0.6560.7120.401
60%-70%NoneNoneNone
Over 70%0.6450.7040.312
Below 60%BR0.7280.8770.63
60%-70%NoneNoneNone
Over 70%NoneNoneNone
TABLE 9. Comparing the results before and after the reconstruction, people are in the left back seat.
ClassInstancesF1mAP50mAP50-95
Before Reconstruction
A700.7070.7870.501
B500.8660.9610.810
C500.7740.7880.519
D500.6010.6190.265
Overall2200.7370.7880.523
After Reconstruction
A700.8300.9120.534
B500.9980.9950.881
C500.9440.9740.809
D500.7700.8820.279
Overall2200.8850.9410.626
TABLE 10. Comparing the results before and after the reconstruction, people are in the right back seat.
ClassInstancesF1mAP50mAP50-95
Before Reconstruction
A700.6700.5690.220
B500.4880.3790.248
C500.8940.9190.601
D500.5670.6470.432
Overall2200.6550.6280.375
After Reconstruction
A700.8920.9650.770
B500.6180.9600.712
C500.9980.9950.782
D500.8930.9560.770
Overall2200.8500.9690.759
Figure 18. Such reconstruction not only elevates the F1 score but also bolsters the mAP50 values and mAP50-95 values metrics across all test subjects. This improvement can be attributed to the successful mitigation of visual obstructions that previously hindered clear views of individuals in the
--- ![Image](images/3681157b1f753a97a9a1a4919b3abe3a0e9b115d319bd6a45920e0b79d1c7b8e.jpg) ![Image](images/27c02ce89c1490284d0a00c061625900fdee337955f8c92883287a072b528002.jpg) ![Image](images/283fa551229909b85312d30171bad28d0506d0135c115a51682866c5e93a898c.jpg) ![Image](images/506a3b555cb66ad19debea853aa2f57bf22ab9fe5bb20ba94ec289d5b1ceffb7.jpg)
FIGURE 16. F1 scores, mAP50 values, and mAP50-95 values associated with different occlusion rates in the back left seats.
![Image](images/210f9b65eb4d948639c9ff28c7b5513f15433fb2574d85132d2715913fa1609f.jpg) ![Image](images/ee70737feeba770dfda7463ff4d45b343d28e17bea7c84c0b6fb54341f900015.jpg) ![Image](images/7c6c37a6528e72a9795f2463d260ffce3acdc6db2fe34611be036f6cc5000dde.jpg) ![Image](images/1380cc63efebb0bc26677c1f30e7cb5affd151882fd6bc37b2eccf3da157230f.jpg)
FIGURE 17. F1 scores, mAP50 values, and mAP50-95 values associated with different occlusion rates in the back right seats.
![Image](images/3ac5476ca66567370cb09027699f26a3020ae3d857e97ec19df88758a0a14bd6.jpg) ![Image](images/3d954aabbf6926a77858f05dc49b94f2d22f87871f3ae379b6f33ac2ecb27dbd.jpg) ![Image](images/6b10ec053cf3d7fbeed3a96be59eb8c7bef103ded26548a82e9f1b6cf7a85660.jpg) ![Image](images/27dc8b1da5f43efccb8b4e870ea6ab56be974b82092cba0cd09767bd50f5262b.jpg) 后排座椅。 此外，之前被这些障碍物遮挡的任何身体部位都已重建，从而使个人的身体形状更加准确和完整。
FIGURE 18. Comparison between before and after image reconstruction.
根据结果，参与者的分数在重建后显示出显着的提升。对于A组，分数从0.707提高到0.830；对于B组，从0.866提高到0.998；对于C组，从0.774提高到0.944；对于D组，从0.601提高到0.770。同样，在检查车辆后排座椅的乘客时，F1分数在重建后也得到了显著的提升：A组的得分从0.670提高到0.892，B组的得分从0.488提高到0.618，C组的得分从0.894提高到0.998，D组的得分从0.567提高到0.893。总体F1分数提高了17.1%。关于mAP值，在重建之前，后排左侧座椅的A、B、C和D组的mAP50值分别为0.787、0.961、0.788和0.619。它们对应的mAP50-95值分别为0.501、0.81、0.519和0.265。在重建过程后，这些指标得到了明显的提升。A组的mAP50提高了0.912，mAP50-95为0.534。B组的mAP50略有下降到0.995，但mAP50-95提高了0.881。C组和D组的mAP50值分别提高了0.974和0.882，相应的mAP50-95提高了0.809和0.279。在后排右侧座椅，在重建之前，A、B、C和D组的mAP50得分分别为0.569、0.379、0.919和0.647，mAP50-95值分别为0.220、0.248、0.601和0.432。重建后，所有组都取得了进步。A组的指标提高了到mAP50为0.965，mAP50-95为0.77。B组的值提高了到mAP50为0.96，mAP50-95为0.712。C组虽然mAP50略有上升到0.995，但mAP50-95略有下降到0.782。D组的情况与A组类似，mAP50提高了0.956，mAP50-95提高了0.77。 根据我们所知，没有研究使用 3D LiDAR 传感器进行与我们实验完全相同的实验，用于人员识别。虽然先前的研究使用不同的传感器设备来收集 3D LiDAR 图像或方法来重建 3D LiDAR 图像，但我们提供了对整体系统准确性的全面比较，见表 11。山田等人。[^22] ---
TABLE 11. Performance comparison with state-of-the-art technologies.
MethodSensorModelDatasetDataset TypeAccuracy
Yamada et al. [^22]Microsoft KinectCNN+LSTMPCG [^22]Depth images0.718
Jin et al. [^64]PrimeSenseIResNet100UMIST [^65]RGB-D images0.780
Jin et al. [^64]PrimeSenseIResNet34UMIST [^65]RGB-D images0.802
Ours3D+RGB IP67 KitYOLOv5Own datasetDepth images0.807
进行了关于基于 LiDAR 的步态分析的深入实验。 类似地，金等人。[^64] 使用深度加生成对抗网络方法来生成伪 RGB-D 图像，用于识别个体。 由于其他最先进的方法使用深度图像且没有遮挡，因此我们将它们的准确性与我们重建实验的结果进行比较。 结果表明，山田等人。[^22] 使用 Kinect 传感器和 CNN+LSTM 模型在点云步态 (PCG) 数据集 [^22] 上，该数据集由他们创建，实现了 0.718 的准确率。 金等人。[^64] 使用 PrimeSense 传感器和不同的 IResNet 模型进行了两项研究，在 UMIST 数据集 [^65] 上实现了 0.78 和 0.802 的准确率，该数据集是一个包含 20 个个体的 564 张图像的面部数据库。 我们的方法，使用 3D+RGB IP67 套件和 YOLOv5 模型，在我们的数据集上实现了最高的准确率，为 0.807。 这些结果表明，我们提出的模型显著提高了识别和检测的准确性，特别是对于最初被前排人员遮挡的后排乘客。 在本研究中，我们主要模拟了私家车环境下的场景，但尚不清楚我们的发现是否会在实际的私家车环境中得到重复。此外，我们实验中使用的数据集和参与者数量也存在一定的局限性。我们使用的数据集相对较小，且分布不均匀，这可能会影响我们结果的稳健性和可靠性。在未来的研究中，至关重要的是扩大数据收集的范围，确保更全面和多样化的数据集。这包括纳入更多来自不同背景的参与者，以提高我们发现的普遍性。此外，在实际私家车等真实环境中进行广泛的实验，对于验证和完善我们模型的有效性至关重要。这些努力预计将提供更具体的见解，并可能导致更稳健和更具适应性的解决方案，以应对我们当前研究中确定的挑战。 ### VI. 消融实验 为了验证我们提出的方法的有效性，我们在 RGB 数据集上进行了消融实验。这些实验是在与第 IV.A 节中描述的相同条件下设置的。我们建立了不同的照明场景，如图 19 和图 20 所示，以观察我们的方法在不同的照明环境中产生的不同结果。结果如表 12 和表 13 所示。 ![Image](images/fb0f0b75265ac09275419912e1a61cfaa144529ca57a23dfae362cfde08a9309.jpg)
FIGURE 19. Experiments in a lit environment.
![Image](images/0dff1df2a083cdf603756ec6d9a09239cd953d383da7c90212dc5b2193d63fd3.jpg)
FIGURE 20. Experiments in a dark environment.
TABLE 12. Results of people identification in RGB images in a lit environment.
ClassValidInstancesF1mAP50mAP50-95
All40015970.9370.9410.782
A4004000.8390.8460.712
B4003990.9900.9950.828
C4003990.9400.9360.786
D4003990.9790.990.804
TABLE 13. Results of people identification in RGB images in a dark environment.
ClassValidInstancesF1mAP50mAP50-95
All40015970.3470.3490.248
A4004000.3430.3540.158
B4003990.3500.3580.291
C4003990.3360.3310.259
D4003990.3600.3500.285
根据表 13 和表 14，在光线充足的环境中，识别结果良好。总 F1 分数为 0.937，总 mAP50 值为 0.941，总 mAP50-95 值为 0.596。相反，在黑暗环境中，识别结果并不 ---
TABLE 14. Comparison of the results in RGB images in a different environment and in depth images.
ClassInstancesF1mAP50mAP50-95
RGB images in a lit environment
Overall15970.9370.9410.782
RGB images in a dark environment
Overall15970.3470.3490.248
Depth images
Overall16710.6650.7530.626
理想。总 F1 分数为 0.347，总 mAP50 值为 0.349，总 mAP50-95 值为 0.248。通过比较使用 RGB 图像和 3D LiDAR 实验的训练结果，在光线充足的环境中，RGB 图像的结果优于深度图像的训练结果。但是，在图像重建后，深度图像的结果在光线充足的环境中与 RGB 结果非常接近，整体比较结果如表 14 所示。深度图像的结果在黑暗环境中表现出优异的性能。这表明我们提出的方法有效地解决了在黑暗环境中检测效果降低的问题。 ### VII. 结论 在本文中，我们展示了 YOLOv5 模型在私家车场景中检测和识别个人的能力，使用 3D LiDAR 图像。传统上，3D LiDAR 的使用常常面临挑战，主要在于其在获取关于后排乘客的全面信息方面的局限性。车辆的固有设计以及技术的性质使得这些乘客的某些部分被遮挡，从而在实现彻底的识别和识别方面带来了一个明显的挑战。 为了解决这一限制，我们将生成式图像修复技术集成到我们的方法中。这种创新重建技术与高级检测模型的融合，显著提高了我们的结果。值得注意的是，在重建后，诸如 F1 分数、mAP50 和 mAP50-95 值等指标得到了显着的提升，这突显了结合这些技术以实现私家车中优化人员识别的变革潜力。 ## 参考文献 [^1]: C. Papageorgiou and T. Poggio, “A trainable system for object detection,” Int. J. Comput. Vis., vol. 38, no. 1, pp. 15–33, 2000. [^2]: D. M. Jang and M. Turk, “Car-Rec: A real time car recognition system,” in Proc. IEEE Workshop Appl. Comput. Vis. (WACV), Jan. 2011, pp. 599–605. [^3]: M. Ye, J. Shen, G. Lin, T. Xiang, L. Shao, and S. C. H. Hoi, “Deep learning for person re-identification: A survey and outlook,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 44, no. 6, pp. 2872–2893, Jun. 2022. [^4]: M. H. Chowdhury and W. D. Little, “Image thresholding techniques,” in Proc. IEEE Pacific Rim Commun. Comput. Signal Process., May 1995, pp. 585–589. [^5]: S. Iizuka, E. Simo-Serra, and H. Ishikawa, “Globally and locally consistent image completion,” ACM Trans. Graph., vol. 36, no. 4, pp. 1–14, Aug. 2017. [^6]: W. Shao, M. Bouazizi, and T. Ohtsuki, "3D-LiDAR-based people identification by generative image inpainting with YOLOv5 in private car scenario," in Proc. IEEE ICIP, Oct. 2024. [^7]: X. Lu, J. Wu, X. Ren, B. Zhang, and Y. Li, “The study and application of the improved region growing algorithm for liver segmentation,” Optik, vol. 125, no. 9, pp. 2142–2147, May 2014. [^8]: G. Jocher, A. Chaurasia, A. Stoken, J. Borovec, Y. Kwon, K. Michael, Taoxie, J. Fang, Z. Yifu, C. Wong, D. Montes, Z. Wang, C. Fati, J. Nadar, V. Sonck, P. Skalski, A. Hogan, D. Nair, M. Strobel, and M. Jain, “Ultralytics/YOLOv5: V7.0—YOLOv5 SOTA realtime instance segmentation,” Zenodo, Ultralytics, CA, USA, Tech. Rep., Nov. 2022, doi:10.5281/zenodo.7347926. [^9]: B. Douillard, J. Underwood, N. Kuntz, V. Vlaskine, A. Quadros, P. Morton, and A. Frenkel, “On the segmentation of 3D LiDAR point clouds,” in Proc. IEEE Int. Conf. Robot. Autom., May 2011, pp. 2798–2805. [^10]: H. Guan, J. Li, S. Cao, and Y. Yu, “Use of mobile LiDAR in road information inventory: A review,” Int. J. Image Data Fusion, vol. 7, no. 3, pp. 219–242, Jul. 2016. [^11]: A. Asvadi, P. Girão, P. Peixoto, and U. Nunes, “3D object tracking using RGB and LiDAR data,” in Proc. IEEE 19th Int. Conf. Intell. Transp. Syst. (ITSC), Nov. 2016, pp. 1255–1260. [^12]: X. Zhao, P. Sun, Z. Xu, H. Min, and H. Yu, “Fusion of 3D LiDAR and camera data for object detection in autonomous vehicle applications,” IEEE Sensors J., vol. 20, no. 9, pp. 4901–4913, May 2020. [^13]: V. Bruce and A. Young, “Understanding face recognition,” British J. Psychol., vol. 77, no. 3, pp. 305–327, 1986. [^14]: Y. Li and J. Ibanez-Guzman, “LiDAR for autonomous driving: The principles, challenges, and trends for automotive LiDAR and perception systems,” IEEE Signal Process. Mag., vol. 37, no. 4, pp. 50–61, Jul. 2020. [^15]: J. Gómez, O. Aycard, and J. Baber, “Efficient detection and tracking of human using 3D LiDAR sensor,” Sensors, vol. 23, no. 10, p. 4720, May 2023. [^16]: M. Hasan, J. Hanawa, R. Goto, R. Suzuki, H. Fukuda, Y. Kuno, and Y. Kobayashi, “LiDAR-based detection, tracking, and property estimation: A contemporary review,” Neurocomputing, vol. 506, pp. 393–405, Sep. 2022. [^17]: W. Wang, X. Chang, J. Yang, and G. Xu, “LiDAR-based dense pedestrian detection and tracking,” Appl. Sci., vol. 12, no. 4, p. 1799, Feb. 2022. [^18]: Z. Yan, T. Duckett, and N. Bellotto, “Online learning for 3D LiDAR-based human detection: Experimental analysis of point cloud clustering and classification methods,” Auto. Robots, vol. 44, no. 2, pp. 147–164, Jan. 2020. [^19]: Z. Yan, T. Duckett, and N. Bellotto, “Online learning for human classification in 3D LiDAR-based tracking,” in Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst. (IROS), Sep. 2017, pp. 864–871. [^20]: Z. Chen, T. Fan, X. Zhao, J. Liang, C. Shen, H. Chen, D. Manocha, J. Pan, and W. Zhang, “Autonomous social distancing in urban environments using a quadruped robot,” IEEE Access, vol. 9, pp. 8392–8403, 2021. [^21]: L. Li, X. Kong, X. Zhao, T. Huang, W. Li, F. Wen, H. Zhang, and Y. Liu, "RINet: Efficient 3D LiDAR-based place recognition using rotation invariant neural network," IEEE Robot. Autom. Lett., vol. 7, no. 2, pp. 4321–4328, Apr. 2022. [^22]: H. Yamada, J. Ahn, O. M. Mozos, Y. Iwashita, and R. Kurazume, “Gait-based person identification using 3D LiDAR and long short-term memory deep networks,” Adv. Robot., vol. 34, no. 18, pp. 1201–1211, Sep. 2020. [^23]: J. Ahn, K. Nakashima, K. Yoshino, Y. Iwashita, and R. Kurazume, “2V-Gait: Gait recognition using 3D LiDAR robust to changes in walking direction and measurement distance,” in Proc. IEEE/SICE Int. Symp. Syst. Integr. (SII), Jan. 2022, pp. 602–607. [^24]: M. Bouazizi, C. Ye, and T. Ohtsuki, “2-D LiDAR-based approach for activity identification and fall detection,” IEEE Internet Things J., vol. 9, no. 13, pp. 10872–10890, Jul. 2022. [^25]: M. Bouazizi, C. Ye, and T. Ohtsuki, “Activity detection using 2D LiDAR for healthcare and monitoring,” in Proc. IEEE Global Commun. Conf. (GLOBECOM), Dec. 2021, pp. 1–6. [^26]: M. Roth, D. Jargot, and D. M. Gavrila, “Deep end-to-end 3D person detection from camera and LiDAR,” in Proc. IEEE Intell. Transp. Syst. Conf. (ITSC), Oct. 2019, pp. 521–527. ## [^27]: Y.-C. Fan, B.-T. Wu, C.-J. Huang, and Y.-H. Bai, “Environment detection of 3D LiDAR by using neural networks,” in Proc. IEEE Int. Conf. Consum. Electron. (ICCE), Jan. 2019, pp. 1–2 --- [^28]: C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum PointNets for 3D object detection from RGB-D data,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 918–927. [^29]: Y. Zhou and O. Tuzel, “VoxelNet: End-to-end learning for point cloud based 3D object detection,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2018, pp. 4490–4499. [^30]: R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2014, pp. 580–587. [^31]: R. Girshick, “Fast R-CNN,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Dec. 2015, pp. 1440–1448. [^32]: K. He, G. Gkioxari, P. Dollár, and R. Girshick, “Mask R-CNN,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 2980–2988. [^33]: J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2016, pp. 779–788. [^34]: S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” in Proc. Adv. Neural Inf. Process. Syst., vol. 28, 2015, pp. 1–9. [^35]: J. Kim, J. Kim, and J. Cho, “An advanced object classification strategy using YOLO through camera and LiDAR sensor fusion,” in Proc. 13th Int. Conf. Signal Process. Commun. Syst. (ICSPCS), 2019, pp. 1–5. [^36]: J. Han, Y. Liao, J. Zhang, S. Wang, and S. Li, “Target fusion detection of LiDAR and camera based on the improved YOLO algorithm,” Mathematics, vol. 6, no. 10, p. 213, Oct. 2018. [^37]: K. S. Arikumar, A. Deepak Kumar, T. R. Gadekalu, S. B. Prathiba, and K. Tamilarasi, “Real-time 3D object detection and classification in autonomous driving environment using 3D LiDAR and camera sensors,” Electronics, vol. 11, no. 24, p. 4203, Dec. 2022. [^38]: M. Simon, S. Milz, K. Amende, and H.-M. Gross, “Complex-YOLO: Real-time 3D object detection on point clouds,” 2018, arXiv:1803.06199. [^39]: M. Simon, K. Amende, A. Kraus, J. Honer, T. Samann, H. Kaulbersch, S. Milz, and H. Michael Gross, “Complexer-YOLO: Real-time 3D object detection and tracking on semantic point clouds,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR) Workshop, Jun. 2019, pp. 1–10. [^40]: M. Simony, S. Milzy, K. Amendey, and H.-M. Gross, “Complex-YOLO: An euler-region-proposal for real-time 3D object detection on point clouds,” in Proc. Eur. Conf. Comput. Vis. (ECCV) Workshops, Sep. 2018, pp. 1–14. [^41]: Y. Shao, Z. Sun, A. Tan, and T. Yan, “Efficient three-dimensional point cloud object detection based on improved complex-YOLO,” Frontiers Neurorobotics, vol. 17, Feb. 2023, Art. no. 1092564. [^42]: S. Y. Alaba and J. E. Ball, “A survey on deep-learning-based LiDAR 3D object detection for autonomous driving,” Sensors, vol. 22, no. 24, p. 9577, Dec. 2022. [^43]: H. Tian and L. Guo, “JYOLO: Joint point cloud for autonomous driving 3D object detection,” in Proc. IEEE Int. Conf. Signal Process., Commun. Comput. (ICSPCC), Oct. 2022, pp. 1–4. [^44]: Q. Wu, X. Li, K. Wang, and H. Bilal, “Regional feature fusion for on-road detection of objects using camera and 3D-LiDAR in high-speed autonomous vehicles,” Soft Comput., vol. 27, no. 23, pp. 18195–18213, Dec. 2023. [^45]: J. Yu, Z. Lin, J. Yang, X. Shen, X. Lu, and T. S. Huang, “Generative image inpainting with contextual attention,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Jun. 2018, pp. 5505–5514. [^46]: J. Yu, Z. Lin, J. Yang, X. Shen, X. Lu, and T. Huang, “Free-form image inpainting with gated convolution,” in Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV), Oct. 2019, pp. 4470–4479. [^47]: P. Jiang, D. Ergu, F. Liu, Y. Cai, and B. Ma, “A review of YOLO algorithm developments,” Proc. Comput. Sci., vol. 199, pp. 1066–1073, Jan. 2022. [^48]: L. O. Chua and T. Roska, “The CNN paradigm,” IEEE Trans. Circuits Syst. I, Fundam. Theory Appl., vol. 40, no. 3, pp. 147–156, Mar. 1993. [^49]: A. Bochkovskiy, C.-Y. Wang, and H.-Y. Mark Liao, “YOLOv4: Optimal speed and accuracy of object detection,” 2020, arXiv:2004.10934. [^50]: J. Redmon and A. Farhadi, “YOLOv3: An incremental improvement,” 2018, arXiv:1804.02767. [^51]: Y. Liu, Q. Wen, H. Chen, W. Liu, J. Qin, G. Han, and S. He, “Crowd counting via cross-stage refinement networks,” IEEE Trans. Image Process., vol. 29, pp. 6800–6812, 2020. [^52]: S. Liu, L. Qi, H. Qin, J. Shi, and J. Jia, “Path aggregation network for instance segmentation,” in Proc. IEEE Conf. Comput. Vis. Pattern Recog., Jun. 2018, pp. 8759–8768. [^53]: M. Bäuml, M. Tapaswi, and R. Stiefelhagen, “Semi-supervised learning with constraints for person identification in multimedia data,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2013, pp. 3602–3609. [^54]: D. Tzutalin, "LabelImg," GitHub Repository, vol. 6, 2015. [^55]: G. L. Heritage and A. R. G. Large, “Principles of 3D laser scanning,” in Laser Scanning for the Environmental Sciences. Oxford, U.K.: Wiley-Blackwell, 2009, pp. 21–34. [^56]: A. Radford, L. Metz, and S. Chintala, “Unsupervised representation learning with deep convolutional generative adversarial networks,” 2015, arXiv:1511.06434. [^57]: M. Arjovsky, S. Chintala, and L. Bottou, "Wasserstein generative adversarial networks," in Proc. Int. Conf. Mach. Learn., 2017, pp. 214–223. [^58]: I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and A. C. Courville, "Improved training of Wasserstein GANs," in Proc. Adv. Neural Inf. Process. Syst., vol. 30, 2017, pp. 1–11. [^59]: I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, “Generative adversarial nets,” in Proc. Adv. Neural Inf. Process. Syst., vol. 27, 2014, pp. 1–9. [^60]: S. T. Rachev, “Duality theorems for Kantorovich–Rubinstein and Wasserstein functionals,” Ph.D. thesis, Instytut Matematyczny Polskiej Akademi Nauk, Warszawa, Poland, 1990. [^61]: T.-S. Liu, R.-X. Liu, and S.-W. Pan, “Improved Canny algorithm for edge detection of core image,” Open Automat. Control Syst. J., vol. 6, no. 1, pp. 426–432, 2014. [^62]: Y.-Y. Lin, T.-L. Liu, and C.-S. Fuh, “Fast object detection with occlusions,” in Proc. 8th Eur. Conf. Comput. Vis. (ECCV), Prague, Czech Republic, 2004, pp. 402–413. [^63]: R. A. Haddad and A. N. Akansu, “A class of fast Gaussian binomial filters for speech and image processing,” IEEE Trans. Signal Process., vol. 39, no. 3, pp. 723–727, Mar. 1991. [^64]: B. Jin, L. Cruz, and N. Gonçalves, “Pseudo RGB-D face recognition,” IEEE Sensors J., vol. 22, no. 22, pp. 21780–21794, Nov. 2022. [^65]: D. B. Graham and N. M. Allinson, “Characterising virtual eigenvalues for general purpose face recognition,” in Face Recognition: From Theory to Applications. Berlin, Germany: Springer, 1998, pp. 446–456. ![Image](images/2bfb7f8cf86be59f6a3350e8113327d30e4380175e061b70223bfee1787c73ac.jpg) WEIRONG SHAO (IEEE 成员，研究生) 毕业于北京化工大学自动化控制专业，于 2017 年获得学士学位，并于 2019 年获得纽约大学电气工程硕士学位。目前，他正在东京的庆应大学攻读计算机科学博士学位。 ![Image](images/d8f8d25d13d1ef3b400f418cd13c3898dfb178baad9f5839202b6bd7330ca79e.jpg) MONDHER BOUAZIZI (IEEE 成员) 毕业于突尼斯喀尔梯亚大学 SUPCOM 通信工程专业，于 2010 年获得学士学位，并于 2017 年和 2019 年分别获得庆应大学的硕士和博士学位。他曾在 Ooredoo 突尼斯（原名）担任通信工程师（接入网络质量和优化）三年。目前，他是庆应大学理学技术学院的特别任命高级讲师。他发表了多篇期刊和国际会议论文。他的研究兴趣包括机器学习、深度学习、数据挖掘、传感器和信号处理。他是计算机学会 (ACM) 和电子、信息和通信工程师协会 (IEICE) 的成员。他获得了 2016 年的电信发展基金学生奖、IEEE/ACM ICSIM 2021 和 2022、IEEE APPC 2021 最佳论文奖以及 A3 Workshop 2021 最佳演示奖。 --- ![Image](images/255981782b6a8302a038b1a85e0bb596e78a75e974da7f019ff862af64c30549.jpg)
XIANG MENG (Graduate Student Member, IEEE) received the B.E. degree from the School of Automation Engineering, University of Electronic Science and Technology of China, in 2020, and the M.E. degree from Keio University, where she is currently pursuing the Ph.D. degree with the Graduate School of Science and Technology. Her research interests include fall detection based on 3D-LiDAR and deep learning.
![Image](images/d29e811e9b5fb6d16f2be7355779988655dc2140866e4785442d841904e422f6.jpg) TOMOAKI OHTSUKI（电气工程师，高级会员）于1990年、1992年和1994年分别获得庆应义塾大学横滨校区的电气工程学士、硕士和博士学位。1994年至1995年，他担任庆应义塾大学电气工程系的博士后研究员和访问学者。1993年至1995年，他获得了日本科学促进会为日本青年科学家的特别研究奖。1995年至2005年，他曾在东京理科大学任职。2005年，他加入了庆应义塾大学，现任庆应义塾大学教授。1998年至1999年，他曾在加州大学伯克利分校的电气工程和计算机科学系任职。他从事无线通信、光通信、信号处理和信息理论的研究。他曾获得1997年Inoue青年科学家研究奖、1997年Hiroshi Ando纪念青年工程师奖、爱立信青年科学家奖2000、2002年Funai信息科学奖青年科学家奖、2001年IEEE亚太地区青年研究者奖、2011年国际通信基金（ICF）研究奖、2011年IEEE SPCE杰出服务奖、第27届TELECOM系统技术奖、ETRI Journal 2012年度最佳审稿人奖、2014年第九届中国通信与网络国际会议（CHINACOM'14）最佳论文奖、2020年Yagami奖以及2021年亚太地区通信会议（APCC2021）最佳论文奖。他发表了超过266篇期刊论文和490篇国际会议论文。他曾担任IEEE通信协会、信号处理与通信和电子技术委员会的主席。他曾担任IEEE无线通信杂志的技术编辑和爱思唯物理通信杂志的编辑。他目前担任IEEE车辆技术期刊的区域编辑和IEEE通信调查与教程杂志的编辑。他同时担任IEEE通信协会亚太地区理事。他曾担任多项会议的总协调主席、研讨会协调主席和技术方案委员会协调主席，包括IEEE GLOBECOM 2008、SPC、IEEE ICC 2011、CTS、IEEE GLOBECOM 2012、SPC、IEEE ICC 2020、SPC、IEEE APWCS、IEEE SPAWC和IEEE VTC。他曾在许多国际会议上进行教程和主题演讲，包括IEEE VTC、IEEE PIMRC、IEEE WCNC等。他曾担任日本电机工程师协会（IEICE）的副主席和主席，也是IEEE的杰出讲师。他是IEICE的会员，也是日本工程院的成员。