# 使用隐私保护LiDAR传感器的身体和头部姿态估计
奥努尔·N·特彭切利克，魏文川，莉安·丘科斯基†，帕梅拉·C·科斯曼，苏吉特·戴
电气与计算机工程系，${}^{\dagger}$高通研究所
加州大学圣地亚哥分校
{otepence, w8wei, lchukoskie, pcosman, dey} @ucsd.edu
摘要：身体和头部姿态估计在许多应用中都至关重要，例如行人保护、运动预测、机器人技术和行为分析。本文提出了一种系统，该系统使用隐私保护LiDAR传感器来估计人们的身体和头部姿态，目的是为在工作场所面临非语言社交沟通挑战的个人提供指导反馈，例如一些自闭症谱系障碍（ASD）患者。例如，那些倾向于避免与说话者眼神交流的人可以接受关于定期进行眼神交流和表现出明显注意力的重要性的指导，或者可以根据当前行为获得实时反馈。我们开发了用于身体和头部姿态估计的模型，该模型使用来自两个LiDAR传感器的低分辨率点云数据。身体姿态估计模型使用椭圆拟合方法，而头部姿态估计模型是一个几何特征提取和基于神经网络的回归流程。与使用RGB摄像头的其他身体和头部姿态估计系统相比，我们的系统使用LiDAR传感器来保护用户隐私，同时实现了相当的准确性。据我们所知，这是第一个使用深度传感器进行身体和头部姿态估计的系统，该系统无需在被测对象前方指定传感器位置。我们的模型在身体姿态估计方面实现了8.4度的平均绝对误差，在头部姿态估计方面实现了16.5度的平均绝对误差。
关键词：身体姿态、头部姿态、LiDAR传感器、点云、自闭症谱系障碍
## I. 引言
身体和头部姿态估计是计算机视觉中的基本挑战，主要是在行人保护和运动预测[^1]的背景下进行研究，但也应用于机器人技术[^2]和行为分析[^3]。身体和头部姿态以及运动为流畅的社交互动提供了重要的非语言交流方式。一些存在社交沟通障碍的人（例如，一些自闭症谱系障碍（ASD）患者）在提供规范的非语言沟通线索方面存在困难，例如，定期与说话者进行眼神交流，并保持总体上对说话者的适当身体姿态[^4]。缺乏工作场所的适当社交沟通技能是高功能年轻人在获得工作方面面临挑战的原因之一，尽管他们通常拥有大学学位、平均到高智商以及各种有用的技能。在本文中，我们重点关注从监控视角的身体和头部姿态估计问题，主要目的是为在典型工作场所面临社交沟通挑战的个人提供指导反馈。
大多数关于人体姿态和头部姿态估计的研究使用RGB相机，因为它们成本低廉，如[^3]，[^5]，[^6]，但诸如微软Kinect和英特尔RealSense之类的RGB-D相机也被使用[^7] [^8] [^9] [^10]。基于深度图像的模型，这些模型使用RGB-D传感器或激光雷达，似乎是解决我们问题的不错选择。然而，这些模型需要传感器放置在被测者前方，并且需要特定的距离和高度范围，我们称之为正面设置。相比之下，我们的系统不需要被测者正面面对传感器。我们的传感器安装在天花板附近，以大约45度的角度向下看，被测者可以在会议区域内的任意方向；我们称这种设置为监控设置。据我们所知，目前还没有针对从监控视角使用深度相机或激光雷达进行人体姿态和头部姿态估计的模型。一般来说，监控设置会产生低分辨率的数据。随着被测者与传感器距离增加，他们由点云中的较少点或RGB图像中的较少像素表示。特别是对于头部姿态估计，大多数模型[^9]，[^10]使用高分辨率的头部3D扫描，这些扫描由靠近被测者的传感器获取。使用这种设置，可以捕捉到鼻子尖、眼睛和下巴等头部的小细节，这些细节在姿态估计中起着重要作用。虽然这些模型对高分辨率数据有效，但由于传感器与人之间的距离较远，导致分辨率降低和噪声增加，因此在我们的情况下很难识别这些小细节。
我们在本文中，开发了基于低分辨率点云数据的身体和头部姿态估计模型，这些点云数据由来自监控视角的两个室内激光雷达传感器生成。图 1 显示了系统概述。我们系统的激光雷达传感器专为室内使用而设计，并具有检测视野中人物的内置功能。我们将来自两个传感器的点云数据拼接在一起，通过在检测到的每个人周围裁剪一个圆柱形点云来提取上身，并去除噪声点。然后我们提取特征，使用最小二乘椭圆拟合来确定上身，并使用基于多层感知神经网络回归器的提取特征来估计头部姿态。
---
Fig. 1. System overview.
### II. 相关工作
在用于姿态估计的众多基于 RGB 图像的模型中，这些模型通常应用于智能车辆和机器人，用于人机交互。其中，有一些模型适用于我们的监控场景。Chen 等人 [^3] 提出了一种半监督模型，该模型基于 RGB 图像，用于分析人们在机场等候行李时，通过估计人物的身体和头部姿态来分析行为和注意力。[^5] 和 [^6] 的作者提出了一种模板匹配模型，该模型结合来自多个监控视角的 2D 图像，以进行 3D 姿态估计。使用深度传感器进行姿态估计的少数研究没有使用监控场景。Shimizu 等人 [^11] 提出了一种结合形状和运动信息的姿态估计模型，该模型使用安装在机器人上的 LiDAR 传感器。[^2] 和 [^12] 的作者提出了一种使用深度信息以及颜色信息。
大多数关于头部姿态的文章都侧重于通过估计三个欧拉角来估计完整的头部姿态，而我们只关注估计一个方向角，因为其他维度对于我们的用例并不重要。与身体姿态类似，文献中的大多数模型使用RGB图像，但有些使用深度信息，只有少数考虑在监控环境中的应用。[^1]、[^3]和[^13]的作者提出了各种模型和监控环境，用于使用RGB相机进行头部姿态估计。随着Microsoft Kinect和Intel RealSense等消费级深度相机的出现，提出了各种模型[^7] [^8] [^9] [^10]，这些模型针对使用深度图像进行头部姿态估计。然而，与用于身体姿态估计的模型类似，上述模型假设被检测者位于正面，深度传感器位于被检测者前方。
就我们所知，我们是第一个使用深度传感器从监控视角估计身体和头部姿态的研究。现有的模型要么是基于RGB图像的监控环境，要么是基于深度图像的正面环境。
### III. 方法
### A. 数据收集和预处理
我们使用来自 Hitachi Vantara 的两个 LiDAR 传感器 [^14]. 我们使用 ToFv2 LiDAR 传感器，该传感器基于飞行时间原理 [^15]. 为了收集数据，将传感器放置在小型会议室的相对天花板角落，向下对准一个椭圆形桌子。来自传感器的点云在处理之前使用旋转和平移进行拼接。然后，我们使用传感器软件内置的人体检测功能，在每个人的点云周围裁剪一个圆柱形边界。人体检测功能允许我们同时对环境中的每个人进行单独处理，并减少模型需要处理的点数。我们进一步裁剪点云以获得感兴趣的区域，该区域包括上半身和头部。对于每个被试，上半身的裁剪阈值设置为其高度的顶部 27%（坐姿）。
我们从15名被检测者的数据集中，包括戴眼镜和不戴眼镜、戴口罩和不戴口罩、以及头发样式和身高各异的被检测者。我们一次收集一名被检测者的数据，而该被检测者坐在房间中间的椭圆形桌子周围的8个不同位置。指导箭头放置在桌子上，用于指示每个座位位置和每个姿态方向，以确定地面真实值。在每个被检测者面向13个预定的角度（从-90到+90度，以15度为增量）时，采集点云数据。因此，对于每个被检测者，我们尝试收集312个点云数据，对应于8个座位位置、13个头部姿态角度和3次重复。由于一些重复数据丢失或人体跟踪失败，我们最终平均每个被检测者有295个点云数据。我们的上半身点云数据平均包含约1800个点，范围在约1500到2100个点之间。与[^8]数据集的解析度相比，我们的解析度较低，该数据集也用于[^9]、[^10]，其中仅用于面部的点云数据约为10,000个点。
从激光雷达数据中估计身体和头部姿态是一个挑战，因为传感器无法从 1 到 4 米的距离捕捉感兴趣区域的细节。此外，点云数据包含噪声，尤其是在头发和其他面部复杂特征上。为了缓解这个问题，我们采用基于 k 近邻的降噪预处理步骤，如果一个点与它 10 个最近邻点的平均距离大于 40 毫米，则从点云中删除该点。
---
### B. 身体姿态估计
身体姿态估计模型是一个几何模型，它利用了改变点云视角的优势，并使用房间的俯视图。裁剪后的点云投影到 xy 平面上（与地面平行的平面）。我们通过删除所有距离头部顶部 20 厘米以内的点来排除头部点，并基于最小二乘误差计算拟合投影的上半身数据的最佳 2D 椭圆，椭圆的长轴代表身体轴。我们使用椭圆的锥形表示：
$$ E(x,y)=ax^{2}+bxy+cy^{2}+dx+ey+f=0 $$
最佳系数的估计遵循 [^16] 中的方法。降噪预处理步骤对于此过程的良好运行至关重要，因为通常位于边缘的噪声点会导致较大的平方误差，并显著干扰最佳椭圆拟合。
确定身体轴后，仍然存在一个问题，即确定椭圆的哪一侧是人的正面。我们根据人的头部几乎总是位于其身体轴的前面这一事实，利用相对于椭圆中心的先前排除的头部点的位置。
### C. 头部姿态估计
对于头部姿态估计模型，简单的几何方法不足以解释，因为传感器无法准确捕捉面部特征的细节。我们使用一个特征提取和多层感知器回归的流程。在降噪和上半身椭圆拟合后进行特征提取。上半身椭圆将头部的点云分成四个象限，这些象限为模型提供支持特征，这些特征基于点相对于身体中心的坐标。图 2 显示了一个投影的人体点云、用于身体姿态估计的最佳椭圆拟合，以及头部生成的四个象限。
我们提取的特征是受试者在传感器坐标系中的质心坐标 $(x, y)$，以及一些使用以受试者为中心的坐标系的特征。这些特征是头部的特征（均值、标准偏差、最小值和最大值坐标）、头部的四个象限的特征、基于从头部中心投影的最远 10 个点质心的估计鼻部坐标，以及单独的头部点拟合过程的轴长度和方向。
我们注意到，在我们的数据收集设置中，由于传感器的定位和相应地遮挡某些身体部位，裁剪的人体点云在桌子周围的 8 个不同位置上变化很大。在每个位置，很可能有些特征是有效的，而有些特征则无效。例如，在某些位置，估计的鼻部位置几乎与受试者从左到右转动头部的大小无关。在其他位置，主成分效果不佳，因为整体
Fig. 2. Least squares ellipse fitting for body orientation estimation via the long axis of the fitted ellipse, which also determines the four quadrants of the head relative to the body. Light blue points are projected upper body points (shoulders and chest); dark blue, red, yellow and green points are projected head points, representing the four quadrants.
头部旋转在点云数据中表现不佳。因此，我们使用基于学习的模型，该模型能够学习基于主体与传感器的相对位置的变化，并提取对低分辨率、高噪声和位置变化具有鲁棒性的有用特征。
### IV. 结果
我们使用两个指标来评估性能。第一个指标是模型估计值与真实值之间的平均绝对误差 (MAE)。身体姿态估计模型在整个数据集上的 MAE 为 8.4 度。关于座位位置的 MAE 见表 I，其中座位位置如 Fig. 3 所示。我们观察到，坐在位置 2 和 6 的受试者的平均 MAE 较低；我们推测这是因为这些受试者正对着一个传感器，背对着另一个传感器，因此会存在大量具有良好数据捕获的身体区域。当传感器无法看到身体的上半部分时，模型会遇到困难，因为缺失的点会扭曲拟合的椭圆。
为了训练头部姿态模型，我们使用留一法交叉验证，其中每个数据的点云
TABLE I
MEAN ABSOLUTE ORIENTATION ERRORS VS. SEATING POSITION
| Position | Body MAE | Head MAE |
| P1 | 12.21 | 12.69 |
| P2 | 4.47 | 14.96 |
| P3 | 8.95 | 19.11 |
| P4 | 6.93 | 15.77 |
| P5 | 13.49 | 15.01 |
| P6 | 4.63 | 17.48 |
| P7 | 8.96 | 22.63 |
| P8 | 7.12 | 14.57 |
| Average | 8.37 | 16.49 |
---
(b)
Fig. 3. (a) 8-person meeting scenario with a fixed speaker at the top who is assumed to be the main target of head-orienting for the other participants. (b) Appropriateness regions of head-orientations for persons in Position 1 and Position 3 with respect to the speaker.
Fig. 4. Mean Absolute Error vs. Head Orientation Ground Truth
受试者是一次测试集，其余数据用于训练。该模型在 15 名受试者中的平均 MAE 为 16.5 度。关于座位位置的 MAE 见表 I，关于真实角度的 MAE 见 Fig. 4。虽然一些论文在头部姿态估计方面取得了更小的误差，但它们要么使用高分辨率的 3D 人脸扫描，传感器位于人对面 [^7] [^8] [^9] [^10]，要么使用 RGB 摄像头 [^17]。
第二个评估指标旨在用于社交沟通的场景，因为这项工作的最终目标之一是帮助那些在对话或会议中难以进行非语言交流的自闭症患者。在说话者-听众场景中，我们检查受试者头部朝向说话者的方向。Fig. 3 显示了一个 8 人的会议场景，其中显示了合适的区域和不合适的区域。从虚拟辅导的角度来看，如果受试者的身体或头部姿态在红色区域
Fig. 5. Confusion matrix of appropriateness evaluation.
一段时间内，实时警报可以提醒受试者保持与说话者的非语言联系。绿色区域表示受试者正在保持适当的身体和头部姿态，而黄色区域可能有助于基于更多时间信息（来自先前或后续帧）做出辅导决策。在我们的实验中，我们将适当方向的范围设置为 45 度以内，这意味着绿色区域的限制为 -22.5 度和 22.5 度。我们假设如果受试者偏离说话者超过 45 度（一段时间内），则情况不合适。偏离 22.5-45 度的姿态是中性的，并且可以根据时间分析采取行动。例如，如果中性情况持续超过 30 秒，则可以将其视为不合适的。时间分析超出了本文的范围；我们检查了整个数据集的单个帧估计结果。Fig. 5 显示了我们实验的混淆矩阵结果。结果基于 8 种不同的场景，我们假设说话者位于桌子的 8 个位置之一，而听众位于其余 7 个位置。
---
整个数据集。图5展示了我们实验得到的混淆矩阵结果。结果基于8种不同场景，我们在这些场景中假设说话者位于桌子周边8个位置中的某一个，听者则位于剩余的7个位置。
误报率（当被测者保持适当姿态时触发警报）相对较低。我们的模型能够准确地区分适当和不适当的情况，并且大多数错误预测都属于中性区域，这在我们的未来应用中不会造成巨大错误。与行为辅导专家合作，我们的下一步将是开发虚拟辅导模型，该模型涉及分析一段时间内的点云序列，并解决诸如何时以及如何提供辅导反馈等问题。
### V. 结论
在本文中，我们提出了用于身体和头部姿态估计的模型，这些模型适用于由两个 LiDAR 传感器生成的低分辨率点云。这项工作的首要目的是创建一个保护隐私的系统，该系统可以作为虚拟教练，帮助一些在非语言交流方面存在困难的人，例如患有自闭症 (ASD) 的人，他们可能难以在对话或会议中保持适当的身体和头部姿势。为了实现这一目标，我们创建了一个监控场景，在该场景中，LiDAR 传感器安装在会议室的天花板附近，并开发了新型模型，这些模型可以从低分辨率点云数据中估计被测者的身体和头部姿态。我们的身体和头部姿态估计模型的平均误差率分别为 8.4 度和 16.5 度。我们的结果与文献中的结果相当，尽管我们的模型使用低分辨率和噪声点云，并且不使用颜色信息。所提出的系统能够区分适当和不适当的身体和头部姿态。
所提出的身体和头部姿态估计模型可以用于各种应用。我们计划扩展我们的模型，使其成为虚拟辅导的组成部分，为正在寻求工作的高功能自闭症患者提供帮助，并将它们集成到工作场所。随着 LiDAR 传感器的最新发展和成本的下降，由于其保护隐私的特点，它们可能会越来越多地 [^18]、[^19] 出现在商店和工作场所。在开发虚拟行为辅导系统时，一个主要考虑因素是该系统是否会在发生不适当行为时提供实时警报，并避免对适当行为发出警报。虽然具有足够的计算能力可以实时进行估计并提供指导，但该系统也可以用作非实时社交行为分析工具，为自闭症患者提供反馈，该反馈基于他们对专注度和非语言交流表现的整体评估。其他考虑因素包括介质（智能手表通知、振动、音频等）以及警报或反馈的内容。
产品，作为安全摄像头的辅助。各种应用，例如人群分析或保护行人过马路，可以从这种类型的系统受益。
虽然这不在我们目前的重点范围内，但该系统也可以通过使用适当的 LiDAR 进行修改以用于户外环境。
## 参考文献
[^1]: E. Rehder, H. Kloeden, and C. Stiller, “Head detection and orientation estimation for pedestrian safety,” in 17th International IEEE Conference on Intelligent Transportation Systems (ITSC). IEEE, 2014, pp. 2292–2297.
[^2]: B. Lewandowski, D. Seichter, T. Wengefeld, L. Pfennig, H. Drumm, and H.-M. Gross, "Deep orientation: Fast and robust upper body orientation estimation for mobile robotic applications." in IROS, 2019, pp. 441–448.
[^3]: C. Chen and J.-M. Odobez, "We are not contortionists: Coupled adaptive learning for head and body orientation estimation in surveillance video," in 2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012, pp. 1544–1551.
[^4]: V. H. Bal, S.-H. Kim, M. Fok, and C. Lord, “Autism spectrum disorder symptoms from ages 2 to 19 years: Implications for diagnosing adolescents and young adults,” Autism Research, vol. 12, no. 1, pp. 89–99, 2019.
[^5]: L. Chen, G. Panin, and A. Knoll, “Human body orientation estimation in multiview scenarios,” in International Symposium on Visual Computing. Springer, 2012, pp. 499–508.
[^6]: M. C. Liem and D. M. Gavrila, “Person appearance modeling and orientation estimation using spherical harmonics,” in 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG). IEEE, 2013, pp. 1–6.
[^7]: F. A. Kondori, S. Yousefi, H. Li, S. Sonning, and S. Sonning, "3D head pose estimation using the Kinect," in 2011 International conference on wireless communications and signal processing (WCSP). IEEE, 2011, pp. 1–4.
[^8]: G. Fanelli, T. Weise, J. Gall, and L. Van Gool, “Real time head pose estimation from consumer depth cameras,” in Joint pattern recognition symposium. Springer, 2011, pp. 101–110.
[^9]: P. Padeleris, X. Zabulis, and A. A. Argyros, “Head pose estimation on depth data based on particle swarm optimization,” in 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. IEEE, 2012, pp. 42–49.
[^10]: C. Papazov, T. K. Marks, and M. Jones, “Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 4722–4730.
[^11]: M. Shimizu, K. Koide, I. Ardiyanto, J. Miura, and S. Oishi, "LIDAR-based body orientation estimation by integrating shape and motion information," in 2016 IEEE International Conference on Robotics and Biomimetics (ROBIO). IEEE, 2016, pp. 1948–1953.
[^12]: W. Liu, Y. Zhang, S. Tang, J. Tang, R. Hong, and J. Li, “Accurate estimation of human body orientation from RGB-D sensors,” IEEE Transactions on Cybernetics, vol. 43, no. 5, pp. 1442–1452, 2013.
[^13]: Z. Zhang, Y. Hu, M. Liu, and T. Huang, “Head pose estimation in seminar room using multi view face detectors,” in International evaluation workshop on classification of events, activities and relationships. Springer, 2006, pp. 299–304.
[^14]: “Hitachi vantara 3D LiDAR,” , [Online].
[^15]: R. Lange and P. Seitz, “Solid-state time-of-flight range camera,” IEEE Journal of Quantum Electronics, vol. 37, no. 3, pp. 390–397, 2001.
[^16]: F. L. Bookstein, “Fitting conic sections to scattered data,” Computer graphics and image processing, vol. 9, no. 1, pp. 56–71, 1979.
[^17]: G. Fanelli, J. Gall, and L. Van Gool, “Real time head pose estimation with random regression forests,” in CVPR 2011. IEEE, 2011, pp. 617–624.
[^18]: C. Sebastian, B. Boom, E. Bondarev et al., "LiDAR assisted large-scale privacy protection in street view cycloramas," Electronic Imaging, vol. 2019, no. 11, pp. 281–1, 2019.
[^19]: A. Günter, S. Böker, M. König, and M. Hoffmann, “Privacy-preserving people detection enabled by solid state LiDAR,” in 2020 16th International Conference on Intelligent Environments (IE). IEEE, 2020, pp. 1–4.