文章 # LidPose：具有非重复圆形扫描模式的稀疏激光雷达点云实时三维人体姿态估计 洛兰特·科瓦奇 $^{1,2}$ $^{ID}$，巴拉兹·M·博迪斯 $^{1,2}$ $^{ID}$，乔鲍·贝内德克 $^{1,2,*}$ $^{ID}$ $^{1}$ 匈牙利布达佩斯H-1111肯德街13-17号，HUN-REN计算机科学与控制研究所（SZTAKI） $^{2}$ 匈牙利布达佩斯H-1083普拉特街50/A，帕兹曼尼·彼得天主教大学信息技术与生物工程学院 通讯作者： 学术编辑：尼古拉·卡赞斯基 ![Image](images/54d646828a3d1d6a0c76d8c7496d6a44f63fc57d8c350b4b7e5df80769395327.jpg) 引用：Kovács, L.; Bódis, B.M.; Benedek, C. LidPose: Real-Time 3D Human Pose Estimation in Sparse Lidar Point Clouds with Non-Repetitive Circular Scanning Pattern. Sensors 2024, 24, 3427. 收稿日期：2024年4月29日 修回日期：2024年5月17日 录用日期：2024年5月23日 发表日期：2024年5月26日 摘要：本文提出了一种新颖的基于视觉Transformer的端到端姿态估计方法LidPose，用于在非重复圆形扫描（NRCS）激光雷达点云中实现实时人体骨架估计。本文基于ViTPose架构进行改进，针对NRCS激光雷达的独特性质——即点云稀疏性和特殊的玫瑰形扫描模式引入了全新的适配方案。所提方法解决了NRCS激光雷达感知任务中的一个常见问题，也就是测量结果的稀疏性问题：该问题需要在采集数据的空间分辨率和时间分辨率之间取得平衡，才能对各类现象进行高效分析。LidPose利用针对NRCS激光雷达传感器的前景-背景分割技术选取感兴趣区域（RoI），因此是一套完整的端到端方案，可处理监控场景下由静态传感器采集的原始NRCS激光雷达测量序列，完成移动行人检测与骨架拟合。为了评估该方法，我们构建了一个全新的真实场景多模态数据集，包含来自Livox Avia传感器的相机图像和激光雷达点云，并标注了二维和三维人体骨架真值。 ![Image](images/359fbcbd122d8e0300ecda865f4dafe7815018deef3fba368aa9779ce72a9dd7.jpg) 版权：© 2024 作者所有 授权方：瑞士巴塞尔MDPI 本文是开放获取文章 发布遵循以下条款和 知识共享的条件 署名（CC BY）许可协议（https:// creativecommons.org/licenses/by/ 4.0/). 关键词：仅激光雷达三维人体姿态估计；实时监控；点云；玫瑰图案非重复圆形扫描；NRCS激光雷达 ## 1. 引言 人体姿态估计是机器感知领域的一项基础任务，拥有诸多实际应用，包括机器人技术 [^1]、安全与监控 [^2] [^3]、自动驾驶 [^4]、人机交互 [^5]、运动表现分析 [^6]、医疗保健 [^7]、法医学 [^8]以及娱乐游戏 [^9]等。 姿态估计的主要任务是在三维空间中定位人体的解剖学关键点。 在本文中，我们验证了将一款高性价比激光雷达传感器Livox Avia [^10]用于人体姿态估计的有效性。该款激光雷达传感器具备独特的非重复圆周扫描（NRCS）模式。我们提出了一种基于视觉Transformer的神经网络方法，仅依靠NRCS激光雷达数据即可检测并拟合人体骨骼模型。 ### 1.1. 相关工作 人体姿态估计通常在图像空间中通过基于相机的方法[11–13]解决。然而，这类方案天生存在诸多局限：相机无法直接测量距离、采集的图像对各类光照和天气条件敏感度高，且现实世界物体的视觉外观多变。引入额外深度信息可以提升姿态估计的鲁棒性，正如[^1]所示，该研究使用RGBD相机进行三维人体姿态估计，性能优于 --- 基于相机的三维估计器和仅使用深度信息的方法。在对隐私高度重视的应用场景中，基于激光雷达的人体监测能够得到有效应用，因为在稀疏点云中观测者无法识别被观测人员的身份。 针对三维人体姿态估计，参考文献[^4] [^14]采用半监督学习方法，将二维标注升维到三维空间，并融合相机图像与激光雷达点云数据进行处理。 除基于相机的方法外，研究人员也通过处理激光雷达测量数据来解决人体姿态估计任务。 基于激光雷达的人体姿态估计面临多项挑战，包括数据表示稀疏和空间分辨率有限。这些问题源于激光雷达的工作原理：传感器的视场（FoV）有限，要么仅覆盖垂直轴，要么同时覆盖垂直和水平方向，因此会生成不完整和/或稀疏的点云。在提出基于激光雷达的解决方案时，必须解决这些问题。 在[^15]中，作者提出了一种从点云序列估计三维人体姿态和形状的方法。尽管该方法可以回归出人体的三维网格，但无法对底层人体骨架进行预测。类似地，[^16]中提出的LiveHPS也利用旋转多波束（RMB）激光雷达记录的点云序列估计人体姿态和形状。虽然该方法可以提取逐点特征并预测人体关节位置，但它和[^17]中描述的LIP方法类似，在姿态检测时需要同时结合惯性测量单元（IMU）传感器数据与激光雷达点云。正如[^18]所示，密集深度图像可用于估计人体姿态，该方法采用基于深度图卷积神经网络的网络[^19]。该方法的输入是由深度相机记录的二维深度图像生成的点云，依赖点云的致密性，因此不适用于处理NRCS激光雷达传感器采集的稀疏点云。 LPFormer方法[^20]适用于RMB激光雷达采集的点云，该方法在Waymo开放数据集[^21]上完成开发与测试。然而，该技术除三维点坐标外，还需要利用特定的测量模态，即每个激光点对应的强度、延伸率和时间戳；这类要求限制了LPFormer方法在包括NRCS激光雷达传感器在内的不同类型激光雷达上的应用。 近年来，视觉Transformer在多项计算机视觉任务[^22] [^23]中取得了显著进展与成果，应用场景覆盖目标检测[^24]、图像生成[25–27]，也包括姿态估计[^20] [^28] [^29]。针对基于相机的人体姿态估计，ViTPose[^28]是一种广受关注的方法，它是基于视觉Transformer的人体姿态估计器。该方法可在相机图像上实时运行，同时取得当前最优性能。得益于ViTPose[^28]的优良特性，以及Transformer[^22]处理稀疏数据的效果优于多数基于卷积的骨架估计方法[30–32]这一特点，本文提出一种改进的ViTPose架构，用于处理稀疏激光雷达输入数据，实现三维人体姿态估计；我们期望这种基于Transformer[^22]的方案，能够比多数基于卷积的骨架检测方法[30–32]更高效地处理稀疏激光雷达输入数据。 #### 1.2. NRCS 激光雷达传感器 Livox Avia传感器[^10]拥有6个排列成线性光束阵列的激光雷达光束，光束在传感器内部进行移动旋转，以扫描其视场（FoV）：水平方向为$70^{\circ}$，垂直方向为$77^{\circ}$，角度精度为$0.05^{\circ}$。当目标物体的光线反射率不低于80%时，该传感器的探测距离最远可达320米；当目标反射率为10%时，探测距离最远可达190米。在20米距离处，该传感器的距离误差（ $1\sigma$）小于2厘米；角度误差（ $1\sigma$）小于$0.05^{\circ}$ [^33]。 大多数旋转扫描激光雷达（例如Velodyne HDL-64、Ouster OS传感器系列）采用重复扫描模式，与之不同，Avia不会在每一帧重复完全相同的扫描路径，激光器会覆盖视场的全新区域。这一关键差异既有优势也存在不足。NRCS激光雷达会随时间推移覆盖整个视场，能够提供丰富的空间信息，在静态场景中该优势尤为明显。 --- 另一方面，由于同一区域的扫描频率低于常规RMB激光雷达，动态物体（例如人体）会带来挑战，因为它们会使采集到的NRCS点云产生严重的运动模糊。 本文使用的Livox Avia是一种有源激光传感器，可在不同光照条件下高效工作。但这种鲁棒性在恶劣天气条件下会下降：该传感器在雾、雪或大雨环境下性能会减弱[^34]。在浓雾或大雨中，水滴会反射传感器发射的激光束，从而为观测场景带来错误的距离测量结果。针对天气相关的点云去噪，一种可行方案是WeatherNet网络，相关内容记载于[^35]。 正如[^36] [^37]所示，NRCS方法适用于从同步定位与地图构建（SLAM）到低速自动驾驶在内的广泛感知应用场景。NRCS激光雷达传感器具备实时场景分析能力，且与其他激光雷达传感器相比，其市面售价更低[^38]。该传感器沿视场（FoV）内的非重复圆形路径运动，持续记录距离测量值并附带时间戳。本文中，Livox Avia传感器每秒可采集约24万个点[^33]。 通过设定一致的积分时间，按顺序采集得到的点可以被分组为不同的激光雷达时间帧。当前的核心挑战之一在于如何有效管理采集到的点云数据的空间和时间分辨率。延长积分时间虽然能让激光束覆盖更大范围的视场，提升测量帧的空间分辨率，但观测区域内动态物体的运动会产生各类运动伪影（例如图1a中所示的模糊行人轮廓），从而增加对其精准感知的难度。 相反，如果在更短的时间窗口（例如100毫秒）内采集测量数据，得到的点云会呈现稀疏性，导致整个视场的空间细节减少：图1b展示了一个在100毫秒内采集得到、包含$\sim$24000个点的示例帧。 采集数据的另一个该传感器特有的性质是点云密度不均匀。 更具体地说，视场中心会在扫描图案的每一次旋转中被扫描到，而外部区域的采样频率更低，如图2所示。这种特殊的不均匀点密度分布使得现有的激光雷达点云处理方法难以应用于NRCS激光雷达测量序列[^39]。需要注意的是，除深度数据外，该传感器还会根据朗伯反射模型记录激光束0–100%范围内的反射强度[^33]。 ![Image](images/38b707c630e78007e21be1d48a930b342bdeee5ec3e2fc0c889225ea1c11da0e.jpg)
(a) NRCS lidar point cloud with 1000 ms integration time
![Image](images/250b06b3f1fdd1029d879c044d16a7c2e750f8b97c7095d7e66fbf08b4ae90c7.jpg)
(b) NRCS lidar point cloud with 100 ms integration time
Figure 1. Point cloud sample recorded on the same scene with different integration times using the NRCS lidar. The sparse point cloud can be seen on the left, while a denser cloud is visible on the right. Note that while increased integration time brings more density, it also introduces motion blur
--- 聚焦于动态目标，如红色矩形标记的移动行人所示。行人的点按激光雷达强度着色，背景按y轴数值着色。 ![Image](images/de7607da894ac7ef47cdbed992cf70750c055bd7268979c902b0d8d6310b09da.jpg)
Figure 2. Non-repetitive circular scanning (NRCS) lidar point cloud with 100 ms integration time represented as a 2D range image overlaid on a sample camera image. NRCS lidar point cloud is colored by the distance: the lighter the point's color, the greater its distance.
#### 1.3. 贡献与论文大纲 我们的贡献如下： - 我们提出了一种仅使用稀疏NRCS激光雷达点云的新型实时端到端3D人体姿态估计方法。 - 构建了一个包含经过同步与校准的激光雷达、相机数据以及人体姿态标注的新数据集。需要说明的是，在我们仅使用激光雷达的方案中，相机图像仅用于参数训练和结果验证。 - 利用该数据集，我们通过多次实验验证了可在NRCS激光雷达点云中实现精准实时三维人体姿态估计的合适输入数据与网络架构。 本文大纲如下：第2节详细介绍了所提出的方法，包括其处理步骤、各类输入类型，以及二维和三维预测输出。第3节介绍了我们为训练和测试所提方法构建的新数据集。第4节对定量和定性评估结果进行了描述与分析。第5节总结全文，并给出未来的研究方向。 ### 2. 提出的方法 本文提出方法的目标是检测NRCS激光雷达传感器采集的激光雷达帧中的人体姿态。所提方法是面向固定位置放置NRCS激光雷达传感器的监控场景，针对移动人物检测与姿态估计的端到端解决方案。人体姿态由有序的解剖学关键点列表表示，下文中将这些关键点称为关节。 该传感器的非重复圆形扫描模式带来了一项重大挑战：扫描激光束无法在一个数据采集窗口内密集覆盖传感器的整个FoV。这一限制导致单帧激光雷达中存在大量稀疏甚至空白区域，尤其是在传感器FoV的边缘附近。此外，点云密度存在明显的不均匀性，如图1所示。 人体姿态估计任务可应用于对实时解决方案有需求的监控场景中。为满足这一需求，我们的方法将NRCS激光雷达点云的表示从三维笛卡尔坐标转换为球极坐标，这与我们在[^39] [^40]中的前期工作思路一致。我们通过对水平和垂直FoV进行离散化生成二维像素网格，每个三维点到传感器的距离会被映射到由对应方位角和仰角确定的像素中。 --- 极角和方位角分别对应水平与垂直像素坐标，而距离则被编码为对应像素的“灰度”值。这一处理过程使得我们提出的纯激光雷达三维人体姿态估计方法的后续步骤，都可以在二维距离图像域中开展。 如图1所示，受数据采集时间窗口和NRCS扫描模式的影响，特定激光雷达帧的距离图像可能存在大量距离值未定义的像素。这些未定义像素的数量同时取决于测量积分时间和距离图像的预设尺寸。在我们的实验中，我们利用Livox Avia传感器的精度参数，将其FoV映射到$600 \times 660$像素网格上，得到的空间分辨率为每度8.5像素。需要注意的是，由于扫描方式的特性，距离图像边缘区域的有效距离值密度会逐渐下降：扫描图案穿过传感器光学中心的频率高于其覆盖FoV外围区域的频率。这种基于二维距离图像的数据表示方式，有利于高效、稳健地利用稀疏激光雷达数据。 本文提出的方法基于当前面向相机图像的最优人体姿态估计方法ViTPose [^28]，该方法采用视觉Transformer（ViT）架构 [^23]，并在COCO数据集 [^41]上训练得到。 #### 2.1. ViTPose ViTPose 是一种基于深度学习的人体骨架估计方法，可实现实时性能和出色的估计准确率 [^28]。ViTPose 处理经过紧密裁剪、仅包含单个人体的图像。它主要由三个部分构成：网络骨干、网络头和关节位置重建。该网络的骨干是一个简单的非层级化视觉 Transformer。其输入是围绕人体主体裁剪后的相机图像。骨干通过补丁嵌入和下采样将输入数据编码为令牌，这些嵌入令牌被输入到多个 Transformer 层中。每个 Transformer 层都由多头自注意力（MHSA）层和前馈网络（FFN）构成。Transformer 层的输出由解码器处理。ViTPose 的网络头就是解码器网络，负责在特征空间中处理 Transformer 块的输出。它采用带双线性插值的直接上采样，之后接一个整流线性单元（ReLU）和一个 $3 \times 3$ 卷积。网络头的输出是一组热图，在降采样的统一特征空间中，每个关节对应一张热图。热图对每个像素位置存在关节的概率进行编码，因此热图的局部最大值对应可能的关节位置。该方法的第三部分从网络头预测的热图中提取最终关键点预测结果，并将关键点位置变换回原始输入图像域。 #### 2.2. LidPose 本文提出的 LidPose 方法是一种端到端解决方案，适用于传感器固定安装的监控场景，仅使用 NRCS 激光雷达测量数据即可完成人体检测和姿态估计任务。LidPose 方法的工作流程如图 3 所示。 首先，如 [^39] 所述，我们采用一种基于高斯混合模型（MoGs）的前景-背景分割技术，在距离图像域中处理 NRCS 激光雷达测量序列，将运动物体与静态场景区域分离。遵循为距离值应用的 MoGs 方法 [^42]，我们为距离图像的每个像素维护一个局部背景（Bg）模型。由于捕获的点云具有稀疏性，在给定时间帧内，仅更新对应实际测量点的距离图像像素的 MoGs 背景模型分量。随后，通过将测量得到的距离值与局部 MoGs 分布匹配，将新来的测量点分类为前景或背景。 --- ![Image](images/a7a30784870e713a54ce40c8c13856a89c0166628e27d2059b6ee21c8c37df00.jpg)
Figure 3. LidPose end-to-end solution. Lidar data: full lidar point cloud. Select RoI: selects the 3D points in the vicinity of the observed human. Projection stores the 3D point cloud in a 2D array. Input types: 3D XYZ coordinates (XYZ), depth (D), and intensity (I). LidPose network: both LidPose-2D and LidPose-3D use our patch-embedding module and the encoder backbone visible in blue. LidPose-2D and LidPose-3D use the corresponding decoder head and LidPose-2D+ is calculated from the 2D prediction and the input point cloud.
第二步，对前景点区域进行分割以分离出独立的运动物体，并估计检测到的候选行人的足迹位置。我们在此步骤中将二维晶格拟合到地平面，并将前景区域投影到地面。如 [^43] 所述，我们统计地面晶格每个单元格中投影得到的前景点数量，并以此提取每个脚的位置。该步骤的结果是一组检测到的人体的边界框，可同时在三维空间和二维距离图像域中表示。如 [^43] 所示，由于利用了直接距离测量，对部分遮挡行人的分离精度很高；但在人群密集的场景中，该方法的效率会下降。 下一步，我们使用确定得到的边界框对 NRCS 激光雷达点云和距离图像进行裁剪。裁剪得到的区域对应激光雷达测量片段，其中包含来自人体或其脚下地面的点。 为了联合表示不同的可用测量模态，我们提出了一种全新的二维数据结构，该结构可直接从原始激光雷达测量中得到，还能高效用于我们所提出LidPose模型的训练与测试。更具体地说，我们基于输入点云，在激光雷达传感器的二维距离图像网格上构建了一张五通道图像：其中两个通道直接存储激光雷达测量的深度值与强度值，剩余三个通道则表示对应激光雷达点在三维世界坐标系中的X、Y、Z坐标。 需要说明的是，在我们的模型中，该方法的位姿估计器部分与传感器放置位置无关。尽管本文仅在静态激光雷达传感器设置下演示了该方法的应用，但我们需要指出，针对特定场景搭配合适的分割方法后，LidPose的位姿估计步骤也可以适配多种传感器配置，甚至是移动传感器配置。 为全面探索和分析将NRCS激光雷达数据用于人体位姿估计任务的潜力，我们提出并评估了三种不同的模型变体： - LidPose-2D在二维域中预测人体位姿，即它检测关节（也就是骨架关键点）在距离图像像素网格上的投影，如图4a所示。该方法可以实现鲁棒的二维位姿检测，但无法预测关节位置的深度信息。 - LidPose-2D+将LidPose-2D的预测结果拓展到三维：仅针对激光雷达点云距离图像表示中存在有效值的关节生成三维预测，如图4b所示。该方法作为三维预测的基线，其局限在于：由于激光雷达距离测量的稀疏性，部分关节无法得到有效的深度值（在图4b中用蓝色框标出）。 --- - LidPose-3D是LidPose-2D+的扩展版本，它通过训练步骤为所有关节估计深度值。该方法从稀疏输入激光雷达点云预测世界坐标系下的三维人体位姿，如图4c所示。 ![Image](images/2d055a65f6dca033c60c372fed44dbc4e81b26c913d22b3c9aad7c91b199607e.jpg)
(a)
![Image](images/27aabada6b4963fc530c8582f7dbf619dc5e5e248f4b01e39f142d2047a96144.jpg)
(b)
![Image](images/f4fe4707b757a971e93d40bbe1b3becf501196b7df56cc5a400009e6646b84e9.jpg)
(c)
Figure 4. Predicted human poses of the LidPose variants, overlaid on the input data. (a) LidPose-2D: 2D predicted skeleton (red) over the 2D lidar point cloud representation (colored based on 3D coordinate value). (b) LidPose-2D+: 2D predicted skeleton (red) is extended to the 3D space using the lidar points (gray) where they are available. Points where lidar measurements are not available are highlighted in blue. (c) LidPose-3D: 3D predicted skeleton (red) over the lidar point cloud (gray).
在本文所提出LidPose方法的位姿估计网络研发过程中，我们以ViTPose [^28] 网络结构作为起点。我们针对LidPose方法的主要贡献如下： - 我们在网络主干中应用了全新的补丁嵌入（patch-embedding）实现，以高效动态处理不同的输入通道数。 - 我们增加了LidPose主干中transformer块的数量，通过更多参数提升网络的泛化能力。 - 我们还修改了LidPose-3D配置的输出，扩展了预测维度，使其能够在二维预测之外同时预测关节深度。 如图3所示，LidPose网络结构可根据上述五层图像结构的所选通道适配不同的输入输出配置。最优通道配置是该方法的超参数，可通过实验评估选择，详见第4节。在我们的研究中，我们测试了LidPose网络在以下五种输入数据配置下的表现： 仅深度（D）； 仅三维坐标（XYZ）； 三维坐标+深度（XYZ+D）； 三维坐标+强度（XYZ+I）； 3D + 深度 + 强度（XYZ + D + I）。 为了训练和测试本文提出的方法，我们引入了一个新数据集，该数据集包含一段NRCS激光雷达点云，以及每个样本对象经过配准的人体姿态真值（GT）信息。本文第3节对该数据集进行了详细介绍。上文提到的三种模型变体将在以下小节中详细说明。 --- ##### 2.2.1. LidPose-2D 针对二维域的姿态估计任务，我们基于ViTPose [^28]架构构建了LidPose-2D网络。我们修改了ViTPose骨干网络的补丁嵌入模块，使其能够处理不同通道配置（XYZ、D、I及其组合）的自定义输入维度。 这种全新的网络架构从未经训练的空白网络开始进行端到端训练。我们针对上述输入组合训练了五个不同的网络。对于这些预测二维关节位置的方法，训练损失在关节热图域中计算。LidPose-2D预测的示例如图4a所示。 ##### 2.2.2. LidPose-2D+ 在这个名为$LidPose-2D^{+}$的模型变体中，$LidPose-2D$配置生成的二维预测被直接扩展到三维空间。 我们会对每个预测得到的二维关节进行检查：如果激光雷达距离图像中该关节像素位置周围存在有效的深度测量值，则根据该关节的二维像素位置和直接测量得到的深度值计算其三维位置。这种从二维空间到三维空间的转换是三维姿态预测模型的一种简单基线方法。然而，$LidPose-2D+$方法存在一个严重缺陷，该缺陷源于NRCS激光雷达点云固有的稀疏性：位置落在二维距离图像深度测量缺失区域的二维关节无法扩展到三维空间。$LidPose-2D+$预测的示例如图4b所示，图中标出了三个无法匹配距离测量值的关节。 ##### 2.2.3. LidPose-3D LidPose-2D+的缺陷可以被名为LidPose-3D的全新网络解决，该网络旨在独立于关节在距离图像网格中的像素位置，预测每个检测到的关节的深度。与上述LidPose-2D变体类似，该网络结构可以处理不同XYZ、D、I通道配置的输入。 LidPose-3D网络的输出是ViTPose [^28]的扩展，可在关节二维坐标之外额外预测关节的深度值。归一化深度预测在单通道二维深度图像上完成，该图像与预测关节热图的图像处于同一降尺度图像空间（64 × 48）。LidPose-3D预测的示例如图4c所示。 #### 2.3. LidPose训练 训练输入数据是具有指定通道数的二维数组，通道数取决于训练配置（XYZ、D、I的组合）。针对不同的通道配置，我们定义了不同的补丁嵌入模块，以适配输入的不同参数数量，如图3所示。在网络的训练和评估阶段，我们还需要真值姿态数据，本文假设该数据在当前阶段可用（真值生成的细节将在第3节介绍）。 关于LidPose-2D网络的损失函数，我们遵循ViTPose [^28] 的方法，对预测热图和真实值热图使用均方误差（MSE）： $$ L_{\mathrm{L i d P o s e-2D}}:=L_{\mathrm{j o i n t2D}}=M S E(\mathrm{H M}_{\mathrm{p r e d}},\mathrm{H M}_{\mathrm{G T}}), $$ 其中$\mathrm{HM}_{\mathrm{pred}}$ 和 $\mathrm{HM}_{\mathrm{GT}}$ 分别为预测关节热图和真实值关节热图。 对于LidPose-3D网络，训练损失由两个部分组成：一部分负责关节的2D预测精度（ $L_{joint2D}$），另一部分反映深度估计精度（ $L_{depth}$）。总训练损失是位置损失和深度损失的加权和： $$ L_{\mathrm{L i d P o s e-3D}}=W_{\mathrm{j o i n t2D}}\cdot L_{\mathrm{j o i n t2D}}+W_{\mathrm{d e p t h}}\cdot L_{\mathrm{d e p t h}} $$ --- 在计算2D关节位置损失项 $L_{joint2D}$ 时，我们再次使用了公式(1)。针对深度损失 $L_{depth}$，我们测试了三种不同的计算方式：L1损失、L2损失和结构相似性指数度量（SSIM） [^44]。结合我们的评估结果与训练运行时间考量，SSIM被选为本文提出的LidPose-3D网络的深度损失衡量指标。经过网格搜索优化，损失函数中的权重系数被设置为 $W_{joint2D} = 10$ 和 $W_{depth} = 1$。 ### 3. 纯激光雷达3D人体姿态估计数据集 为了开发和评估本文提出的LidPose方法，我们构建了一个全新数据集，因为我们尚未找到任何包含带人体姿态真实值（GT）的NRCS激光雷达测量数据的公开基准集。 GT标注被证明是一项极具挑战性的工作：稀疏3D激光雷达点云的视觉解读对人工观察者来说十分困难，而非均匀的NRCS模式让这项任务难度进一步提升。为了方便真实值生成和结果分析，在我们的实验配置中，除点云采集外，还在NRCS激光雷达传感器附近安装了一台相机来记录光学图像。相机图像仅用于生成人体姿态估计的真实值信息，以及辅助对LidPose的结果进行视觉评估。标注过程中，标注人员借助相机图像对骨骼关节位置进行标记、验证和确认。 数据集采集过程中，NRCS激光雷达（Livox Avia [^10]）与RGB相机共同安装在固定平台上，分别在两个室外场景和一个室内场景录制测量序列，所有场景中都有人员在传感器的视场内行走。 #### 3.1. 激光雷达与相机数据的时空配准 由于我们的实验配置同时使用相机和激光雷达数据来生成真实值人体姿态并验证结果，因此需要通过校准过程确定两个传感器坐标系之间的空间变换参数。 相机的内参和外参使用OpenCV [^45] [^46] 库，结合Livox专用的无靶标校准方法 [^47] 进行校准。我们利用校准得到的畸变系数对相机图像进行去畸变处理，消除镜头畸变，为数据集提供校正后的图像。此后，相机图像与激光雷达距离图被转换到同一公共坐标系下。 为了建立相机与激光雷达传感器之间的空间对应关系，我们需要满足数据记录的时间同步要求。相机和激光雷达数据按照IEEE 1588标准[^48]中描述的同步流程，借助运行在数据采集计算机上的精确时间协议守护进程（PTPd）[^49]完成了准确的时间戳标记。 这使得相机与激光雷达传感器数据能够以1毫秒的精度进行时间同步处理。相机和激光雷达按照各自传感器不同的数据采集速率记录数据，相机采集频率为30 Hz，激光雷达为10 Hz。我们通过为每一个记录的激光雷达点云选择时间差最小的相机图像，生成了对应的图像-点云对。换句话说，数据采集调整为适配激光雷达较慢的帧率。 #### 3.2 人体姿态真值 尽管本文提出的LidPose方法仅使用NRCS激光雷达点云完成人体姿态估计，但在真值生成阶段，我们也利用了与激光雷达测量同步采集、完成配准的相机图像。 ##### 3.2.1 二维人体姿态真值 我们利用成熟的基于相机的行人检测与姿态拟合技术，以半自动方式实现了真值（GT）的生成。在 --- 第一步，对每个数据样本运行YOLOv8 [^50]检测相机图像中的行人。检测得到的行人边界框中，尺寸小于ViTPose原生输入分辨率（192 × 256）的会被丢弃。我们使用检测到的行人边界框，分别在相机图像和激光雷达的二维距离图像域中裁剪出行人区域。 第二步，我们采用超大配置的当前最优二维人体姿态估计网络ViTPose [^28]，在裁剪后的相机图像上生成初始姿态估计结果。该网络配置的主干包含32个Transformer块，相比更小的网络变体拥有更优异的表现，因此被我们选中。训练完成的ViTPose-huge模型获取自ViTPose [^28]的官方实现仓库，地址见[^51]。 第三步，我们借助相机图像对每个二维人体姿态进行手动检查、验证、过滤和微调，最终得到人体姿态的二维真值。 由于激光雷达距离图像与相机图像已经完成了时间和空间的联合配准，因此经过过滤的基于相机得到的姿态结果可以直接用作激光雷达距离图像域中二维人体姿态的真值。二维真值中的骨骼参数按照COCO-Pose [^41]数据格式存储，该格式使用17个关键点表示一个人体姿态，便于开展精细姿态估计（参见图4）。 ##### 3.2.2 三维人体姿态真值 三维人体姿态真值是在二维人体骨架数据集的基础上扩展得到的，因此我们尝试根据关节二维位置周围激光雷达传感器的深度测量值，为每个关节赋予一个深度值。这项二维转三维点赋值任务的挑战来源于测得的NRCS激光雷达距离图像的稀疏性，这意味着在我们所用的激光雷达帧中，部分二维关节无法匹配到真实的激光雷达深度测量值。针对这类情况，我们采用了时空插值法，即利用附近其他关节的深度值以及相邻帧的深度值，为没有直接测距数据的关节插值得到深度值。 #### 3.3. 将点云转换为五通道距离图像表示 如第2节所述，LidPose方法要求将三维激光雷达点云转换到球极坐标系中，使用对水平和垂直视场（FoV）量化生成的二维像素网格。激光雷达点的三维世界坐标会存储在二维距离图像域的不同图像通道中。 如第2.2节所述，每个激光雷达点云会生成五个不同的二维数据层。第一层是深度图，图中数值为激光雷达点到相机平面的距离。第二层是强度图，图中数值为激光雷达点的反射强度。剩余三个层存储激光雷达点在三维空间中的坐标 $(XYZ)_{3D}$，对应计算得到的 $(u, v)$ 距离图像位置。 #### 3.4. 数据集参数 训练集、测试集和验证集均为独立录制，传感器视场内可观测到多个移动行人。观测区域内同时有1到3人沿任意方向行走，行走过程中他们会偶尔停下，部分人员还会进行类似体操的活动。在采集数据的同时，我们将基于MoGs的前景-背景分割方法 [^39] 应用于激光雷达数据处理，每帧除存储相机和激光雷达测量值外，还存储了三维点的二分类结果。 我们构建的全新数据集共包含9500组骨架和161000个关节。该数据集被划分为独立的训练集、验证集和测试集，分别包含5500组、490组和3400组骨架，如表1所示。 训练集包含两个序列，两个序列中均有三名个体在狭窄庭院内活动。验证集包含两个序列，录制于 --- 开阔庭院中，包含两名个体。测试集包含另外三个序列：第一个序列在室内录制，大房间内仅观测到一名个体。第二个测试序列在开阔庭院采集，包含两名受试者，第三个序列在同一地点录制，仅包含一名个体。
Table 1. Overview of the distributions of the LidPose dataset over its train, validation, and test splits.
DatasetCountLocation Mean, STD (m)
JointSkeletonXYZ
Train94,24855447.34 ( $\pm$2.27)0.13 ( $\pm$1.29)-0.54 ( $\pm$0.54)
Validation83644927.59 ( $\pm$2.26)-0.05 ( $\pm$2.22)-0.50 ( $\pm$0.52)
Test59,22834846.86 ( $\pm$2.28)-0.25 ( $\pm$1.55)-0.55 ( $\pm$0.52)
Total161,8409520
Average7.26 ( $\pm$2.27)-0.06 ( $\pm$1.69)-0.53 ( $\pm$0.53)
为了更深入地分析和理解我们新数据集的结构与特性，我们制作了如下图形化说明。图5展示了不同数据集在激光雷达视场（FoV）给定方向上的关节数量。可以看出，绝大多数关节位置都记录在激光雷达视场中心宽度为$40^{\circ}$的区域内。图6展示了距离激光雷达传感器给定深度$X_{3D}$处的关节数量。图7从鸟瞰视角展示了地面（XY）$_{3D}$平面上的人体姿态数量。该图表明，由于观测人员穿过传感器视场，中心区域记录到的骨骼数量比视场边缘区域更多。图8展示了叠加在样本相机图像上的像素区域中，2D相机图像平面(u, v)内的关节数量。由于大多数关节来自人体躯干，距离地面1米以上的区域记录到的关键点比下方的脚踝和膝盖区域更多。 ![Image](images/1fb55db40e966a91f738b30aa37de4bb661037d15656ecd0d86e93850b946e77.jpg)
Figure 5. Distribution of the joints recorded in the LidPose dataset, based on the local emergence angle of the lidar sensor.
![Image](images/f2fb7803bd640a478a55e8b330bf8749c52fa34125a109342bb2464435f2ec9a.jpg)
Figure 6. Distribution of the joints in the LidPose dataset, based on the depth coordinate (X) of the 3D joints.
--- ![Image](images/fa0f6b4396e92323131b1d2d68818af586925d6a42bcf85826e5b376c615c0ac.jpg)
(a) Distribution of 2D joint coordinate positions in the outdoor test dataset overlaid on a sample camera image.
![Image](images/8551f953470735033e37be36667d65b63e6fef114258bd047c2bac5312983dc1.jpg)
(b) Distribution of 2D joint coordinate positions in the indoor test dataset overlaid on a sample camera image.
Figure 7. Distribution of 2D joint coordinate positions in the test dataset overlaid on a sample camera image.
![Image](images/85bfbb347fac0b1c841af70b74255b33cdbf17a55bfc36a41277deab80e5a0b9.jpg)
Figure 8. Distribution of joint positions in the LidPose dataset, displayed on the ground plane $(X, Y)_{3D}$ from a bird's-eye view.
### 4. 实验与结果 本文提出的LidPose网络经过训练，可同时估计2D和3D人体姿态。对于LidPose-2D，我们在对应输入数据配置（D、XYZ、XYZ+D、XYZ+I、XYZ+D+I）下，使用不同的块嵌入模块训练了5种模型变体，结果如表2和表3所示。 对于LidPose-3D，我们共训练了12种模型变体。一方面，对于每种输入配置（XYZ、XYZ+D、XYZ+I、XYZ+D+I），我们使用不同的块嵌入模块训练网络；另一方面，我们对每种配置分别使用三种不同的深度预测损失进行训练：L1、L2和SSIM。各训练模型的输入配置与训练损失列于表4中。 ---
Table 2. LidPose-2D network results on different input types with position loss. The meaning of the input values: D: lidar distance; XYZ: point 3D coordinates; I: lidar intensity; percentage of correct keypoints (PCK), calculated with the error being at most 10 pixels. The AUC-PCK was calculated on the [^0] [^30] pixel interval, as shown in Figure 9.
ModelInputADE $\downarrow$PCK $\uparrow$AUC-PCK $\uparrow$LAE $\downarrow$LLE $\downarrow$
2D-1D18.07260.43160.536013.78569.7695
2D-2XYZ14.40130.49600.595212.69569.5330
2D-3XYZ+D14.68810.49660.592612.70789.4509
2D-4XYZ+I13.24730.52780.616612.525110.6579
2D-5XYZ+D+I13.83990.51220.604912.676211.1547
Table 3. Mean per-joint position error (MPJPE) values of the LidPose-2D network for different joints.
ModelHeadShouldersElbowsWristsHipsKneesAnklesADE $\downarrow$
2D-112.483817.523025.219027.691213.643716.686521.644218.0726
2D-211.350512.892517.383119.788810.946813.707619.316114.4013
2D-311.230313.199818.107020.502311.254114.096819.613414.6881
2D-410.039311.126414.507117.030411.566113.916019.357613.2473
2D-510.143611.699715.898418.692512.753714.166319.069813.8399
Table 4. Results of the LidPose-3D and LidPose-2D+ networks with different input types and depth losses, evaluated in 3D space with 3D metrics. The meaning of the input values: D: lidar distance; XYZ: point 3D coordinates; I: lidar intensity; Depth L. refers to the criterion used to calculate the depth loss during learning. 2D+ models do not have this parameter. Percentage of correct keypoints (PCK) was calculated with the error being at most 0.2 m. The AUC-PCK was calculated on the [0,0.5] meter interval.
ModelInputDepth L.ADE $\downarrow$PCK $\uparrow$AUC-PCK $\uparrow$LAE $\downarrow$LLE $\downarrow$
3D-01XYZL10.33720.52220.536422.51300.9247
3D-02XYZL20.18480.69040.642421.99940.0966
3D-03XYZSSIM0.16830.73220.674920.78840.0903
3D-04XYZ+DL10.26790.45990.504024.80600.1868
3D-05XYZ+DL20.18730.67840.637422.37030.0964
3D-06XYZ+DSSIM0.16760.73740.676820.60840.0908
3D-07XYZ+IL10.25760.48220.517625.09200.1769
3D-08XYZ+IL20.17620.71470.659321.61070.1047
3D-09XYZ+ISSIM0.15830.76780.694220.67370.0952
3D-10XYZ+D+IL10.27640.41640.485231.04370.2274
3D-11XYZ+D+IL20.17940.70140.653721.94040.1064
3D-12XYZ+D+ISSIM0.16330.74660.684121.15050.0983
2D $\leftarrow$1D-2.44770.48870.442732.45291.4299
2D $\leftarrow$2XYZ-2.47580.52420.462632.56351.4419
2D $\leftarrow$3XYZ+D-2.49100.51650.458333.35691.4723
2D $\leftarrow$4XYZ+I-2.59010.51410.453434.09221.5538
2D $\leftarrow$5XYZ+D+I-2.56710.51330.454133.50111.3705
--- ![Image](images/50d014d5e218473cc665e38834fcfbf24d6eab4f83aa8476da63d144e00c9abd.jpg)
Figure 9. LidPose-2D: Percentage of correct keypoints for the different 2D networks with different joint-correspondence threshold acceptance values. Model 2D-4, which is trained on 3D coordinates + lidar intensity, has the best PCK curve.
#### 4.1. 评价指标 我们计算了以下评价指标来对比不同LidPose模型。骨架i中预测关节j的可见性由$v_{(i,j)} \in [0,1]$表示，指示该关节是否存在真值数据。因此，设N为给定数据集中可见关节的总数： $$ N:=\sum_{i,j}v_{(i,j)}. $$ 此外，设Y和$\hat{Y}$分别为关键点的真值坐标和预测坐标。 平均距离误差（Average distance error, ADE）衡量所有骨架关节中预测姿态与真值姿态之间的平均欧氏距离，用于评价整体姿态估计的精度。在2D场景中，会基于骨架高度进行归一化，以消除2D图像空间中骨架尺寸不一的影响。ADE的定义见式(3)，该指标数值越低，模型性能越好。 $$ \mathrm{A D E}(Y,\hat{Y})=\frac{1}{N}\sum_{i,j}v_{(i,j)}\Big|\Big|Y_{(i,j)}-\hat{Y}_{(i,j)}\Big|\Big|_{2} $$ 平均每关节位置误差（Mean per-joint position error, MPJPE）[^52]衡量不同关节类型的位置误差，其定义见式(4)。MPJPE与ADE指标类似，但它可以体现不同身体部位和区域之间的性能差异。 $$ \mathrm{MPJPE}(Y,\hat{Y},J)=\frac{1}{\sum_{j}^{J}\sum_{i}v_{(i,j)}}\sum_{j}^{J}\sum_{i}v_{(i,j)}\left\|Y_{(i,j)}-\hat{Y}_{(i,j)}\right\|_{2}, $$ 其中J是所有关节的一个子集。 正确关键点百分比（Percentage of correct keypoints, PCK）[^53]表示估计姿态中，落在对应真值关键点一定阈值距离范围内的关节占比。在2D空间中，距离阈值以像素为单位，而在3D空间中以米为单位。该指标定义见式(5)，用于评价不同精度水平下的关节定位准确率，指标数值越高，预测效果越好。 $$ \mathrm{P C K}(Y,\hat{Y},\alpha)=\frac{1}{N}\sum_{i,j}\delta_{(i,j)}(\alpha), $$ --- 其中$\alpha$为误差阈值，$\delta$为指示函数。 $$ \delta_{(i,j)}(\alpha):=\begin{cases}1&\mathrm{if}\|Y_{(i,j)}-\hat{Y}_{(i,j)}\|_{2}\leq\alpha\\ 0&\mathrm{otherwise}\end{cases} $$ PCK曲线可以通过遍历距离阈值构建。 PCK曲线的曲线下面积（AUC）值是人体姿态估计任务中一个良好的泛化性度量指标 [^54]。PCK基于单一阈值评估待测人体姿态估计方法的性能；而PCK-AUC则使用一系列阈值，能够对方法的性能提供更全面的评估，同时也降低了结果对参数选择的敏感度。 肢体角度误差（Limb angle error, LAE）计算预测骨架与真值骨架中对应肢体（手臂、腿部）方向之间的平均角度差，定义见式(7)。该指标可同时评估2D和3D空间中方向估计的准确性。 $$ \mathrm{L A E}(Y,\hat{Y},L)=\frac{1}{\sum_{i}v_{i}^{L}}\sum_{i}|\mathrm{a n g l e}(Y_{i},L)-\mathrm{a n g l e}(\hat{Y}_{i},L)|, $$ 其中L是由骨骼边连接的三个关节组成的关节子集，$v_i^L \in [0,1]$ 表示对于给定骨架，整个肢体是否同时存在于预测结果和真值中。$angle()$ 计算肢体中间关节处骨骼边的角度。 肢体长度误差（Limb length error, LLE）针对骨架肢体（手臂、腿部）计算，用于衡量网络对肢体总长度的预测精度，定义见式(8)。该度量的特点是：只要总肢体长度估计正确，即使肘部或膝盖预测不准确也不会产生惩罚。 $$ \mathrm{L L E}(Y,\hat{Y},L)=\frac{1}{\sum_{i}v_{i}^{L}}\sum_{l}^{L}\sum_{i}^{||}||Y_{(i,l)}|-|\hat{Y}_{(i,l)}|||, $$ 其中L和$v_{i}^{L}$的含义与式(7)相同。 #### 4.2 实验参数 在LidPose模型的训练过程中，我们对五通道2D输入数组和真值骨架都应用了数据增强。我们对每个数据样本随机添加垂直翻转、缩放和旋转变换，以提升模型的鲁棒性和估计效率。为了增强网络对部分骨架的鲁棒性，训练过程中会随机应用半身变换：即选择并裁剪骨架的上半身或下半身，如文献[^28]所述。图10展示了一批应用了上述随机增强后的输入数据。 在LidPose训练过程中，我们使用AdamW优化器，权重衰减系数为$\lambda = 0.1$、$\beta_1 = 0.9$和$\beta_2 = 0.999$。最大学习率设置为$\gamma = 5 \cdot 10^{-4}$，经过3个批次的学习率爬坡后达到该最大值。我们使用学习率衰减策略，在20至30轮、30至35轮和35至100轮之间，将学习率以0.1的系数指数衰减。 训练和推理均使用了两类计算设备：一类是桌面计算机，配备12/16线程CPU、32GB内存，以及带11GB显存的Nvidia GeForce 1080Ti GPU；另一类是HUN-REN云的云计算实例 [^55]，配备8核vCPU、32GB内存，以及Nvidia Tesla V100 GPU集群中16GB显存。训练的批次大小设置为48，两类设备上每一步训练都耗时5秒。网络共训练100个epoch。 --- ![Image](images/ec3ea63f57d69fc92298c68b6aa6ab824489b6dde25312d7d9f2d0844b414a63.jpg)
Figure 10. Example training batch of input data with the randomly applied augmentations (horizontal mirroring, scaling, rotation, half-body transform). The camera images are shown for visual reference only.
本文提出的LidPose在单批次离线处理预录制数据集时，运行速度可达52 FPS。在本文提出的流水线的端到端应用中，该方法的帧率由NRCS激光雷达的采样率（10 FPS）决定。 #### 4.3 LidPose-2D 评估 基于第4.1节所述指标得到的评估结果如表2和表3所示。测试结果表明，针对二维人体骨架估计任务，模型2D-4在几乎所有指标上的性能都优于其他模型变体。这个最优模型变体对应XYZ+I通道配置，即它使用三维点坐标值和激光雷达反射强度。 从表2可以看出，仅使用深度的方法（2D-1）性能较弱，因为网络没有足够的信息来准确估计二维骨架位置。如果LidPose-2D网络的输入是三个输入通道承载的三维点坐标数据（2D-2），则ADE和LAE会显著下降。将前两种输入结合（即输入为深度值和三维关节坐标）得到的模型变体2D-3取得了最低的LLE。如果在前述变体基础上新增激光雷达强度通道（2D-5），该网络的性能仍不及2D-4网络变体，前者的ADE为13.84 px，而后者的ADE为13.2 px。 表3列出了不同LidPose–2D模型变体的MPJPE值。可以看到，躯干关节（头部、肩部、臀部）的MPJPE得分低于肢体相关关节。这一现象可以用这些部位尺寸更小来解释，因此稀疏激光雷达点云中这些位置的测量点更少，甚至没有测量点。图11中人物的左腿就是一个典型例子。 图9展示了不同阈值下各二维模型的PCK值。我们计算了这些PCK曲线的AUC（结果也列在表2中），其中模型2D-4的得分最高。 所选模型的ADE在不同二维图像区域中的评估结果如图12所示。从图中可以看出，在二维相机图像空间中，随着估计位置越接近激光雷达视场（FoV）边缘，ADE值会升高到50像素以上，而在中心区域，ADE得分低于20像素。这种特性是NRCS激光雷达点云非均匀性的结果，点云稀疏度会随距离传感器光学中心的距离增加而升高。 --- ![Image](images/f435ec7816de8483e4cd4d334abd8ca768181b2c55920a5cb78bd9657e9a3a6d.jpg)
(a)
![Image](images/2b1e5a6a6a533d271c50728a897f0686cfe74f7d181d56c41b28b7ebe9c07385.jpg)
(b)
![Image](images/c9f32279f7e46217cbf43b22d79acfb727603e36c3deb7c637d67fa9979a2463.jpg)
(c)
![Image](images/31a58ba877be5fa928489b52395dbace55c963afd09fd18525b984cce8dede7f.jpg) ![Image](images/a548fe690ad866b02d60d230be086078d330e8e89130a4aaecadb036a4bd908d.jpg)
(d)
![Image](images/bf79b2a888831eb11b40c6fd3c460130c6b9e74e89910ef04134f8d65b4efb5d.jpg) ![Image](images/f4a7784423490e875ab45b654e4a13970c4b7629d301f35515c55d360c4172ee.jpg)
(e)
![Image](images/2864040d3cecad43c63ada14bdfe886462abb63bd1b42a96eeb707523b173ff2.jpg) ![Image](images/6be18a920444672592e0c08f521c254829e4e3eb0f8d4cebc7402656d310f39b.jpg)
(f)
![Image](images/d07a8b75fd473d5a47d58abd8272fb57c089832e8b459a2978ee53565b5fcd63.jpg)
Figure 11. LidPose-2D prediction examples are shown in subfigures (a–f) for different samples from the dataset. The predictions are shown in red, overlaid on the input lidar point cloud (right). The corresponding camera frame, and the ground truth is shown in green (left). The prediction and the ground truth are shown together overlaid on the camera image (middle).
估计结果示例如图11所示，其中真值标注显示在相机图像中，基于激光雷达的二维骨架预测显示在稀疏点云上。图11b、c展示了人物距离激光雷达5米时的骨架，这种情况下点云稀疏度更低。相反，图11a、d、e展示了人物距离为10米时的骨架，帧中的激光雷达点数量少得多。可以观察到，骨架估计的准确率很高，预测结果与真值非常接近。图11f展示了一个预测错误的例子：该帧中人物头部区域没有记录到任何三维点，因此预测出错。 --- ![Image](images/92c1b5880d81689368f7a73fbaaedeb4f28daaef5b0522b636b201cac07ee8ce.jpg)
Figure 12. 2D average distance error (ADE) of the selected 2D-4 model, overlaid on a sample camera image.
#### 4.4. LidPose-3D 评估 LidPose–3D网络以和LidPose–2D相同的方式预测二维关节位置，同时预测每个关节的深度值。根据预测得到的二维位置和深度值即可计算出三维关节位置。我们按照第4.1节的描述，在三维空间中使用多种三维指标对结果进行评估。三维评估的基线是第2.2.2节描述的LidPose–2D+。表4、表5和图13展示了LidPose–3D和LidPose–2D+两种模型的结果。可以看出，三维模型的整体性能明显更优。 对图14中三维模型的PCK值进行分析后，我们可以根据PCK曲线的形状对模型进行分组。 ![Image](images/3615224d2a3adb90ac4ac1bccb9427de26d955c85bfb56be608cf3ba738b5420.jpg)
Figure 13. PCK and AUC-PCK values of the 3D predictions by LidPose-3D and LidPose-2D+ networks evaluated in 3D space with 3D metrics. The AUC-PCK was calculated on the [0, 0.5]-meter interval, as shown in Figure 14.
--- ![Image](images/5a775f09debff92ce300aa972ac07461283d8431debc60190ff0dae0b1adfd57.jpg)
Figure 14. LidPose-3D: percentage of correct keypoints (PCK) in the 3D space for the different 3D (and 2D+) networks with different joint-correspondence threshold distance acceptance values. Model 3D-9, which has been trained on 3D coordinates + lidar intensity with SSIM-based depth loss, has the best PCK curve.
第一组由训练过程中未正确学习深度估计的模型组成。具体来说，3D-01、3D-04、3D-07和3D-10都未能学习到深度估计。它们的共同特点是在学习过程中使用L1损失来惩罚深度误差。 第二组包含第2.2.2节所述的投影2D模型（LidPose–2D+）。这些模型的表现彼此非常相似，与另外两组模型的表现明显不同。这些模型作为所提方法的基线。它们在0–0.1 m区间内的表现与3D模型相当甚至更优，因为它们在该区间的正确预测数量远多于更大距离处的预测。这是因为该方法是利用预测得到的2D关节位置处的现有3D点来组装得到3D预测结果。这些特征表明，尽管正如[^14]所示，该方法在稀疏但均匀的激光雷达测量数据上效果良好，但它在NRCS激光雷达记录的点云上效果不佳。 最后，第三组为其余的3D模型，这些模型使用L2损失和SSIM作为深度评价标准。可以看到，这些模型能够正确估计人体姿态，变化趋势与图9中的2D模型相似。值得注意的是，尽管这些曲线的形状相似，但采用基于SSIM的深度损失的模型性能优于仅用L2损失训练的模型，3D-09模型的性能优于所有其他配置。 性能最优的3D网络3D-09在测试数据集的地平面上使用ADE指标进行了评估，以展示不同区域预测性能的空间依赖性。如图15所示，尽管最大ADE误差为0.5 m，但地面网格的大多数单元平均误差都低于0.3 m。 表5给出了各3D方法的MPJPE结果。可以看出，所有LidPose-3D网络的性能都优于第2.2.2节所述的投影2D+模型（LidPose-2D+）。 表2中的2D模型利用非均匀稀疏激光雷达数据投影得到3D预测结果，实现方式是在反投影的2D预测结果中，若附近存在可用3D数据则加以利用。但由于NRCS激光雷达传感器的特性，该方法存在局限性。图13、图14和表4也表明，LidPose3D的性能优于扩展的2D+网络。 图16展示了不同视角下的3D人体姿态样本。观察图16a、图16b可以发现，点云密度与网络预测精度之间存在相关性。这种角度和距离依赖性也可以在图12和图15中观察到。 --- ![Image](images/4a85886526de0baeae80de3786fdceaaebb9d74dba41195f6c302bec1d2ebb4a.jpg)
Figure 15. Distribution of average distance error (ADE) of the predicted joints in bird's eye view using the selected 3D-09 model. Only cells with more than 24 annotated joints are shown.
![Image](images/81485da90fc427ee8c40bcd7495741b8978e4f8ebbfd395c950462fd635880a2.jpg)
(a)
![Image](images/bb49d6e87fdb2d85f775d09f3ea3113e1de2e7aed51c10a8dd0b527cb2238ca0.jpg)
(b)
![Image](images/3f2ff739dc34e60ef8e82552be699015d3b8c55f9d7b038c8317b360e92ed200.jpg)
(c)
![Image](images/86f4bcee454e223a9fe9fb79a20f36f89a7bf9ab8d7545d1ecd4ee74b2b48a76.jpg)
(d)
Figure 16. LidPose3D prediction examples are shown in subfigures (a–d) for different samples from the dataset, using the 3D-09 model. Red skeleton: 3D prediction. Green skeleton: ground truth. Gray points: NRCS lidar points.
本节实验表明，本文提出的LidPose方法能够高效准确地估计人体姿态。我们得到的结果有力证明了NRCS激光雷达传感器适用于解决仅基于激光雷达的2D和3D人体姿态估计任务。 ---
Table 5. Mean per-joint position error (MPJPE) results of the LidPose-3D networks for different joint types.
ModelHeadShouldersElbowsWristsHipsKneesAnklesADE $\downarrow$
3D-010.16930.22521.12990.36770.17410.20450.34130.3372
3D-020.13680.15370.20380.22520.13740.17680.33200.1848
3D-030.13750.14040.16940.19330.13680.16110.28600.1683
3D-040.18170.25120.38980.39140.20090.23340.35600.2679
3D-050.14100.15760.20630.22970.13860.17670.33050.1873
3D-060.13860.13910.16540.18980.13470.15910.28990.1676
3D-070.16980.22140.36760.40600.19990.22390.34660.2576
3D-080.13230.14420.17620.20400.13690.17050.33490.1762
3D-090.12900.12720.15090.17340.13030.15850.28270.1583
3D-100.18530.22820.38650.46420.23080.23870.33720.2764
3D-110.13320.14860.18190.20850.14300.17710.33300.1794
3D-120.13090.13470.15680.18130.13990.16250.28550.1633
2D+-12.42561.69512.21493.22061.97312.45573.18192.4477
2D+-22.58201.65062.13713.13622.00282.49563.16682.4758
2D+-32.57931.68792.20533.15731.99532.46643.21302.4910
2D+-42.89871.74782.27953.16112.04052.47573.06462.5901
2D+-52.95461.73582.13973.00702.02482.42153.10532.5671
### 5. 结论与未来工作 本文提出了一种从非重复圆形扫描（NRCS）激光雷达传感器Livox Avia采集的非均匀稀疏点云中进行实时人体姿态估计的方法。为了训练和测试该方法，我们构建了一个结合相机与NRCS激光雷达的新型数据集，并提供了真值姿态模型。本文提出的LidPose方法属于基于视觉Transformer的神经网络系列，我们还证明了该方法可以集成到监控场景下的人物检测与人体姿态估计端到端工作流中。 所得结果证实，本文提出的方法能够在稀疏不均匀的NRCS激光雷达点云中检测人体骨骼。我们的方法可在场景的三维世界坐标系中实时得到准确的人体姿态估计结果，可用于监控系统的高层场景分析步骤。因此，本文也证明了这种价格低廉的NRCS激光雷达可在现实场景中得到广泛应用，并且能够用于解决复杂的人体姿态估计任务；同时该流程高度尊重被观测者的隐私，因为从记录得到的稀疏点云中，人类观察者几乎无法识别出个体身份。 未来工作中，我们计划将本文提出的LidPose方法迁移到移动平台（机器人、车辆等）上，将基于前景检测的预处理步骤替换为基于几何或深度学习的点云分割方法，为姿态估计神经网络选择和裁剪输入数据。 作者贡献：所有作者均参与了本文的概念构思、方法设计和文稿编辑工作。具体贡献如下：软件开发：L.K.、B.M.B.；数据采集：L.K.、B.M.B.；验证与前沿方法对比分析：L.K.、B.M.B.；初稿撰写：L.K.、B.M.B.；审稿与修订：C.B.；项目指导与经费获取：C.B.、L.K.。所有作者均已阅读并同意本手稿的发表版本。 基金资助：本研究部分得到欧盟支持，项目隶属于自主系统国家实验室（RRF-2.3.1-21-2022-00002）和人工智能国家实验室（RRF-2.3.1-21-2022-00004）计划。此外，本研究还得到TKP2021-NVA-27（L.K.）、TKP2021-NVA-01（C.B.）资助项目，以及匈牙利国家研究、发展与创新办公室OTKA #143274项目的支持。TKP2021-NVA-01和TKP2021-NVA-27项目由匈牙利文化与创新部依托国家研发创新基金提供支持，按照TKP2021资助计划划拨经费。 机构审查委员会声明：不适用。 --- 知情同意声明：本研究所有参与对象均已获得知情同意。 数据可用性声明：受隐私限制，本研究展示的数据可向通讯作者索取。 致谢：作者感谢同事们提供的启发性思路、反馈以及数据标注方面的帮助，他们是：Marcell Kégl、Vilmos Madaras、Tamás Szirányi、Balázs Pálffy和András Pálffy。Sándor Gazdag和Marcell Golarits借助Docker容器帮助我们实现了算法与系统硬件配置的解耦。我们感谢能够使用HUN-REN Cloud [^55] (, 访问于2024年5月13日)，该资源帮助我们得到了本文发表的研究结果。 利益冲突：作者声明不存在利益冲突。 ## 缩写 本手稿使用的缩写如下：
ADEAverage distance error
AUCArea under curve
BgBackground
COCOMicrosoft COCO: Common Objects in Context dataset
FFNFeed-forward network
FoVField of view
FPSFrames per second
GTGround truth
IMUInertial measurement unit
HUN-RENHungarian Research Network (
style='text-align: center; word-wrap: break-word;'>LAELimb angle error
LLELimb length error
MHSAMulti-head self-attention
MRFMarkov random fields
MoGsMixture of Gaussians
MPJPEMean per-joint position error
MSEMean squared error
NRCSNon-repetitive circular scanning
PCKPercentage of correct keypoints
PTPdPrecision Time Protocol daemon
ReLURectified linear unit
RoIRegion of interest
RMBRotating multi-beam
SLAMSimultaneous localization and mapping
SSIMStructural similarity index measure
## 参考文献 [^1]: Zimmermann, C.; Welschehold, T.; Dornhege, C.; Burgard, W.; Brox, T. 3D Human Pose Estimation in RGBD Images for Robotic Task Learning. In Proceedings of the 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, QLD, Australia, 21–25 May 2018; pp. 1986–1992. [CrossRef] [^2]: Cormier, M.; Clepe, A.; Specker, A.; Beyerer, J. Where are we with Human Pose Estimation in Real-World Surveillance? In Proceedings of the 2022 IEEE/CVF Winter Conference on Applications of Computer Vision Workshops (WACVW), Waikoloa, HI, USA, 4–8 January 2022; pp. 591–601. [CrossRef] [^3]: Hu, W.; Tan, T.; Wang, L.; Maybank, S. A survey on visual surveillance of object motion and behaviors. IEEE Trans. Syst. Man Cybern. Part C (Appl. Rev.) 2004, 34, 334–352. [CrossRef] [^4]: Zanfir, A.; Zanfir, M.; Gorban, A.; Ji, J.; Zhou, Y.; Anguelov, D.; Sminchisescu, C. HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving. In Proceedings of the 6th Conference on Robot Learning, Auckland, New Zealand, 14–18 December 2022. [CrossRef] [^5]: Rossol, N.; Cheng, I.; Basu, A. A Multisensor Technique for Gesture Recognition Through Intelligent Skeletal Pose Analysis. IEEE Trans.-Hum.-Mach. Syst. 2016, 46, 350–359. [CrossRef] ## [^6]: Sharma, P.; Shah, B.B.; Prakash, C. A Pilot Study on Human Pose Estimation for Sports Analysis. In Proceedings of the Pattern Recognition and Data Analysis with Applications; Gupta, D., Goswami, R.S., Banerjee, S., Tanveer, M., Pachori, R.B., Eds.; Springer Nature: Singapore, 2022; pp. 533–544. [CrossRef] --- [^7]: Chua, J.; Ong, L.Y.; Leow, M.C. Telehealth Using PoseNet-Based System for In-Home Rehabilitation. Future Internet 2021, 13, 173. [CrossRef] [^8]: Rabosh, E.V.; Balbekin, N.S.; Timoshenkova, A.M.; Shlykova, T.V.; Petrov, N.V. Analog-to-digital conversion of information archived in display holograms: II. photogrammetric digitization. J. Opt. Soc. Am. A 2023, 40, B57–B64. [CrossRef] [PubMed] [^9]: Nguyen, T.; Qui, T.; Xu, K.; Cheok, A.; Teo, S.; Zhou, Z.; Mallawaarachchi, A.; Lee, S.; Liu, W.; Teo, H.; et al. Real-time 3D human capture system for mixed-reality art and entertainment. IEEE Trans. Vis. Comput. Graph. 2005, 11, 706–721. [CrossRef] [PubMed] 10. Livox Avia规格参数。在线获取：（访问于2024年3月11日）。 [^11]: Cao, Z.; Hidalgo, G.; Simon, T.; Wei, S.; Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Trans. Pattern Anal. Mach. Intell. 2021, 43, 172–186. [CrossRef] [PubMed] [^12]: Fang, H.S.; Li, J.; Tang, H.; Xu, C.; Zhu, H.; Xiu, Y.; Li, Y.L.; Lu, C. AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time. IEEE Trans. Pattern Anal. Mach. Intell. 2023, 45, 7157–7173. [CrossRef] [PubMed] [^13]: Lu, P.; Jiang, T.; Li, Y.; Li, X.; Chen, K.; Yang, W. RTMO: Towards High-Performance One-Stage Real-Time Multi-Person Pose Estimation. arXiv 2023, arXiv:2312.07526. [CrossRef] [^14]: Zheng, J.; Shi, X.; Gorban, A.; Mao, J.; Song, Y.; Qi, C.R.; Liu, T.; Chari, V.; Cornman, A.; Zhou, Y.; et al. Multi-modal 3D Human Pose Estimation with 2D Weak Supervision in Autonomous Driving. arXiv 2021, arXiv:2112.12141. [CrossRef] [^15]: Wang, K.; Xie, J.; Zhang, G.; Liu, L.; Yang, J. Sequential 3D Human Pose and Shape Estimation From Point Clouds. In Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 13–19 June 2020; pp. 7273–7282. [CrossRef] [^16]: Ken, Y.; Han, X.; Zhao, C.; Wang, J.; Xu, L.; Yu, J.; Ma, Y. LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free Environment. arXiv 2024, arXiv:2402.17171. [CrossRef] [^17]: Ren, Y.; Zhao, C.; He, Y.; Cong, P.; Liang, H.; Yu, J.; Xu, L.; Ma, Y. LiDAR-aid Inertial Poser: Large-scale Human Motion Capture by Sparse Inertial and LiDAR Sensors. IEEE Trans. Vis. Comput. Graph. 2023, 29, 2337–2347. [CrossRef] [PubMed] [^18]: Zhou, Y.; Dong, H.; Saddik, A.E. Learning to Estimate 3D Human Pose From Point Cloud. IEEE Sens. J. 2020, 20, 12334–12342. [CrossRef] [^19]: Zhang, M.; Cui, Z.; Neumann, M.; Chen, Y. An End-to-End Deep Learning Architecture for Graph Classification. In Proceedings of the AAAI Conference on Artificial Intelligence, New Orleans, LA, USA, 2–7 February 2018; Volume 32. [CrossRef] [^20]: Ye, D.; Xie, Y.; Chen, W.; Zhou, Z.; Ge, L.; Foroosh, H. LPFormer: LiDAR Pose Estimation Transformer with Multi-Task Network. arXiv 2024, arXiv:2306.12525. [CrossRef] [^21]: Sun, P.; Kretzschmar, H.; Dotiwalla, X.; Chouard, A.; Patnaik, V.; Tsui, P.; Guo, J.; Zhou, Y.; Chai, Y.; Caine, B.; et al. Scalability in Perception for Autonomous Driving: Waymo Open Dataset. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 13–19 June 2020. [CrossRef] [^22]: Vaswani, A.; Shazeer, N.; Parmar, N.; Uszkoreit, J.; Jones, L.; Gomez, A.N.; Kaiser, L.U.; Polosukhin, I. Attention is All you Need. In Proceedings of the 31st International Conference on Neural Information Processing Systems, Long Beach, CA, USA, 4–9 December 2017; Curran Associates Inc.: Red Hook, NY, USA, 2017; Volume 30. [CrossRef] 23. Dosovitskiy, A.; Beyer, L.; Kolesnikov, A.; Weissenborn, D.; Zhai, X.; Unterthiner, T.; Dehghani, M.; Minderer, M.; Heigold, G.; Gelly, S.; 等人. 《一张图像值 $16 \times 16$ 个词：面向大规模图像识别的Transformer》。arXiv 2021，arXiv:2010.11929。[CrossRef] [^24]: Carion, N.; Massa, F.; Synnaeve, G.; Usunier, N.; Kirillov, A.; Zagoruyko, S. End-to-End Object Detection with Transformers. arXiv 2020, arXiv:2005.12872. [CrossRef] [^25]: Parmar, N.J.; Vaswani, A.; Uszkoreit, J.; Kaiser, L.; Shazeer, N.; Ku, A.; Tran, D. Image Transformer. In Proceedings of the International Conference on Machine Learning (ICML), Stockholm, Sweden, 10–15 July 2018. [CrossRef] [^26]: Zhang, B.; Gu, S.; Zhang, B.; Bao, J.; Chen, D.; Wen, F.; Wang, Y.; Guo, B. StyleSwin: Transformer-based GAN for High-resolution Image Generation. arXiv 2022, arXiv:2112.10762. [CrossRef] [^27]: Chang, H.; Zhang, H.; Jiang, L.; Liu, C.; Freeman, W.T. MaskGIT: Masked Generative Image Transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 18–24 June 2022. [CrossRef] [^28]: Xu, Y.; Zhang, J.; Zhang, Q.; Tao, D. ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation. In Proceedings of the Advances in Neural Information Processing Systems; Curran Associates, Inc.: Red Hook, NY, USA, 2022; Volume 35, pp. 38571–38584. [CrossRef] [^29]: Stoffl, L.; Vidal, M.; Mathis, A. End-to-end trainable multi-instance pose estimation with transformers. arXiv 2021, arXiv:2103.12115. [CrossRef] [^30]: Toshev, A.; Szegedy, C. DeepPose: Human Pose Estimation via Deep Neural Networks. In Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 23–28 June 2014; pp. 1653–1660. [CrossRef] [^31]: Xiao, B.; Wu, H.; Wei, Y. Simple Baselines for Human Pose Estimation and Tracking. In Proceedings of the Computer Vision—ECCV 2018, Munich, Germany, 8–14 September 2018; pp. 472–487. [CrossRef] [^32]: Sun, K.; Xiao, B.; Liu, D.; Wang, J. Deep High-Resolution Representation Learning for Human Pose Estimation. In Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 15–20 June 2019; pp. 5686–5696. [CrossRef] 33. Livox Avia 用户手册。在线获取：（访问于2024年3月11日）。 --- [^34]: Benedek, C.; Majdik, A.; Nagy, B.; Rozsa, Z.; Sziranyi, T. Positioning and perception in LIDAR point clouds. Digit. Signal Process. 2021, 119, 103193. [CrossRef] [^35]: Heinzler, R.; Piewak, F.; Schindler, P.; Stork, W. CNN-Based Lidar Point Cloud De-Noising in Adverse Weather. IEEE Robot. Autom. Lett. 2020, 5, 2514–2521. [CrossRef] [^36]: Lin, J.; Zhang, F. Loam livox: A fast, robust, high-precision LiDAR odometry and mapping package for LiDARs of small FoV. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Paris, France, 31 May–31 August 2020; pp. 3126–3131. [CrossRef] [^37]: Wang, Y.; Lou, Y.; Zhang, Y.; Song, W.; Huang, F.; Tu, Z. A Robust Framework for Simultaneous Localization and Mapping with Multiple Non-Repetitive Scanning Lidars. Remote Sens. 2021, 13, 2015. [CrossRef] [^38]: Glennie, C.L.; Hartzell, P.J. Accuracy assessment and calibration of low-cost autonomous sensors. Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. 2020, XLIII-B1-2020, 371–376. [CrossRef] [^39]: Kovács, L.; Kégl, M.; Benedek, C. Real-Time Foreground Segmentation for Surveillance Applications in NRCS Lidar Sequences. Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. 2022, XLIII-B1-2022, 45–51. [CrossRef] [^40]: Nagy, B.; Kovács, L.; Benedek, C. ChangeGAN: A Deep Network for Change Detection in Coarsely Registered Point Clouds. IEEE Robot. Autom. Lett. 2021, 6, 8277–8284. [CrossRef] [^41]: Lin, T.Y.; Maire, M.; Belongie, S.; Bourdev, L.; Girshick, R.; Hays, J.; Perona, P.; Ramanan, D.; Zitnick, C.L.; Dollár, P. Microsoft COCO: Common Objects in Context. In Proceedings of the Computer Vision—ECCV 2014, Zurich, Switzerland, 6–12 September 2014; pp. 740–755. [CrossRef] [^42]: Stauffer, C.; Grimson, W.E.L. Learning Patterns of Activity Using Real-Time Tracking. IEEE Trans. Pattern Anal. Mach. Intell. 2000, 22, 747–757. [CrossRef] [^43]: Benedek, C. 3D people surveillance on range data sequences of a rotating Lidar. Pattern Recognit. Lett. 2014, 50, 149–158. [CrossRef] [^44]: Wang, Z.; Bovik, A.; Sheikh, H.; Simoncelli, E. Image quality assessment: From error visibility to structural similarity. IEEE Trans. Image Process. 2004, 13, 600–612. [CrossRef] [^45]: Bradski, G. The OpenCV Library. Dr. Dobb's J. Softw. Tools 2000, 25, 120–123. 46. OpenCV. 《OpenCV参考手册》，4.9.0版。2014年。在线获取：（访问于2024年5月13日）。 [^47]: Yuan, C.; Liu, X.; Hong, X.; Zhang, F. Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments. arXiv 2021, arXiv:2103.01627. [CrossRef] 48. Eidson, J.C.; Fischer, M.; White, J. IEEE-1588 $^{TM}$ 面向网络化测量与控制系统的精密时钟同步协议标准。出自：第34届精密时间与时间间隔系统及应用年会会议录，美国弗吉尼亚州雷斯顿，2002年12月3日-5日；页码：243-254。 [^49]: Lao, K.; Yan, G. Implementation and Analysis of IEEE 1588 PTP Daemon Based on Embedded System. In Proceedings of the 2020 39th Chinese Control Conference (CCC), Shenyang, China, 27–29 July 2020; pp. 4377–4382. [CrossRef] 50. Jocher, G.; Chaurasia, A.; Qiu, J. Ultralytics YOLOv8。2023年。在线获取：（访问于2024年5月13日）。 51. Xu, Y.; Zhang, J.; Zhang, Q.; Tao, D. ViTPose：用于人体姿态估计的简单视觉Transformer基线。2022年。在线获取：（访问于2024年5月13日）。 [^52]: Pavllo, D.; Feichtenhofer, C.; Grangier, D.; Auli, M. 3D human pose estimation in video with temporal convolutions and semi-supervised training. In Proceedings of the Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 15–20 June 2019. [CrossRef] [^53]: Wu, Z.; Hoang, D.; Lin, S.Y.; Xie, Y.; Chen, L.; Lin, Y.Y.; Wang, Z.; Fan, W. MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis. arXiv 2020, arXiv:2010.01158. [CrossRef] [^54]: Munea, T.L.; Jembre, Y.Z.; Weldegebriel, H.T.; Chen, L.; Huang, C.; Yang, C. The Progress of Human Pose Estimation: A Survey and Taxonomy of Models Applied in 2D Human Pose Estimation. IEEE Access 2020, 8, 133330–133348. [CrossRef] [^55]: Héder, M.; Rigó, E.; Medgyesi, D.; Lovas, R.; Tenczer, S.; Török, F.; Farkas, A.; Emödi, M.; Kadlecsik, J.; Mező, G.; et al. The Past, Present and Future of the ELKH Cloud. Információs Társadalom 2022, 22, 128. [CrossRef] 免责声明/出版者注：所有出版物中包含的陈述、观点和数据均仅属于个人作者和贡献者，不代表MDPI和/或编辑的立场。MDPI和/或编辑不对因本文提及的任何观点、方法、说明或产品造成的人身或财产损伤承担任何责任。