# 用于社交辅助机器人的腿部检测：利用 2D LiDAR 区分多个目标 Hanchen Yao $^{1,2,3}$, Jianwei Peng $^{1,2,3}$, Zhelin Liao $^{2,3}$, Ran Zhao $^{4}$, 以及 Houde Dai $^{1,2,3(\boxtimes)}$ $^{1}$ 中国科学院福建省研究生院，泉州 362216，中国 yaohanchen21, $^{2}$ 中国科学院福建物质结构研究所，福州 350002，中国 $^{3}$ 中国科学院海西研究院泉州设备制造研究所，泉州 362216，中国 $^{4}$ 中原-圣彼得堡航空学院，中原工学院，郑州 451191，中国 摘要。在人员密集的环境中工作，社交辅助机器人可能难以定位目标人物。LiDAR 传感器获取的 2D 范围数据的缺乏识别信息是一个缺点。因此，在应用基于几何属性的 2D 激光点聚类等传统技术时，现代基于 LiDAR 的腿部检测器通常会失败。为了实时识别和识别目标个体，提出了一种基于加权密度支持向量数据描述 (DW-SVDD) 的改进腿部检测器。本研究中提出的 DW-SVDD 腿部检测器在支持向量数据描述中结合了密度权重、宽度和周长特征。该检测器使能够快速准确地从大量的 2D 激光点数据中识别物体，从而使社交辅助机器人能够跟踪人类。为了评估检测精度，在移动机器人上对所提出的腿部检测器进行了室内和室外测试。实验结果表明，所提出的 DW-SVDD 腿部检测器使社交辅助机器人能够有效地检测部分遮挡和类似的障碍物。此外，结果表明，所提出的腿部检测器实现了 34.96% 的 MOTA 和 39.17% 的 MOTP，证明了其在实际应用中的有效性。 关键词：腿部检测；社交辅助机器人；多目标检测 --- ## 1 引言 是否存在一种无需使用可穿戴传感器即可在多人群体中特定识别目标的解决方案？人机交互 (HRI) 需要社交辅助机器人检测、识别和跟踪目标人物的行为 [^1]。由于人口老龄化和劳动力成本的增加，在拥挤的工作场所中，社交辅助机器人 [^2] [^3] [^4] 迫切需要能够识别交互目标，而无需使用可穿戴传感器。 相机传感器在机器人市场越来越受欢迎。然而，它们在夜间无法识别行人。与RGB-D相机相比，需要更强大的计算能力，并且侵犯个人隐私[^5]。激光雷达（LiDAR）是一种高精度测距传感器，它以高速率为动态环境提供二维（2D）测距信息。由于口罩遮挡了面部的大量RGB信息，因此RGB-D相机的应用受到COVID-19疫情的限制。此外，RGB-D相机在光照不足或过强的环境中，在室外使用时很少有用。 一种基于 LiDAR 的社交辅助机器人，可以充当物流助手，不需要主动标记或光学反射标记。例如，EffiBOT（Effidence Inc., 法国罗曼纳特）使用 LiDAR 传感器 [^7]。EffiBOT 可以跟随操作员，因为它具有“跟随模式”功能。这提高了工厂和仓库的物流效率，因为操作员不再需要手动推动或拉动手推车。 大多数研究集中在使用 LiDAR 进行腿部检测，因为移动机器人的高度限制。与腰部检测 [^8] 和肩部检测 [^9] 相比，腿部检测不需要根据人的身高调整测量范围。较低高度的腿部检测可以同时检测到人的腿和障碍物，而较高高度的腰部检测和肩部检测容易忽略潜在的障碍物。一般来说，研究 [8–12] 的目标是基于腿的几何约束来构建分类器。圆拟合 [^9] 和边界框 [^8] 是获取腿部特征的传统方法。然而，这两种方法都无法保证腿部检测的稳定性。Arras 等人 [^10] 提出了一项开创性的工作，使用 AdaBoost 方法开发了一个鲁棒的分类器，该分类器收集了 14 个特征来学习腿的形状，以解决 LiDAR 数据稀疏性带来的问题。缺点是，没有考虑到腿部被遮挡的情况。Li 等人 [^11] 添加了额外的特征到一个基于 AdaBoost 的检测器中，以提高腿部被部分遮挡时的检测精度。此外，Beyer 等人 [^12] 使用腿部特征构建了一个深度学习 (DL) 检测器。这种 DL 方法的运行时间较长，无法在跟随人的机器人上实时使用。总之，这些方法容易出现误判，因为周围环境中的噪音，如椅子和桌子的腿。由于 2D 测距数据的质量较差，这些传统的分类器很难将人群中的目标人物的腿分类。 --- ![Image](images/dacf8314a9beefb79eed3dc52e3ca0c09a4b8f7353cf8eca3e862f3cba5ce181.jpg)
Fig. 1. In multi-person environments, leg detection may experience recognition errors due to insufficient features. The test dataset is divided into incorrect classification and correct classification. (a) Laser data where both legs are connected is difficult to recognize as a single person. (b) Side-standing leg data is obstructed by the other leg. (c) Obstacles resembling cylinders are often mistakenly identified as human legs.
由于 2D 测距数据的质量问题，这些传统的分类器很难对人群中的目标人物的腿进行分类。 最近，为了解决二维范围数据的分类问题，一些研究人员使用支持向量数据描述 (SVDD) 作为一种单类分类 (OCC) 方法 [^13]。Chung 等人 [^14] 使用基于 SVDD 的分类器来选择腿部簇，而无需假设人体腿部具有任何特定的几何形状。结果是，虽然支持更复杂的腿部形状，但腿部检测的准确性降低了。Cha 等人 [^15] 通过修改基于 SVDD 的分类器，使用 2D LiDAR 在 3D 特征空间中学习分类边界来解决这个问题。Jung 等人 [^16] 使用 SVDD 算法来检测肩部，用于马拉松运动员服务机器人，以评估其在室外的性能。尽管这些 SVDD 算法在检测目标人物的腿部方面表现出色，但区分特定目标与其他物体和遮挡物仍然具有挑战性。在我们的先前研究中 [^17] (图 1)，基于 SVDD 的腿部检测器可以识别走廊和人体腿部，用于并排跟随。 本文提出了一种增强的腿部检测器，基于密度加权支持向量数据描述 (DW-SVDD)，用于在拥挤的环境中检测目标人物，该环境中存在障碍物和遮挡。与上述腿部检测器相比，所提出的 DW-SVDD 腿部检测器具有以下优点： --- 在本文中，我们提出了一种名为密度加权支持向量数据描述 (DW-SVDD) 的新方法，该方法利用 2D LiDAR 数据创建 3D 密度表示，从而能够在大场景中实现鲁棒的腿部检测。所提出的 DW-SVDD 腿部检测器将周长 $G_{i}$、宽度 $W_{i}$ 特征和密度权重 $\rho(x_{i})$ 输入到支持向量数据描述中。因此，即使在存在类似障碍物和部分遮挡的情况下，也可以获得动态腿部数据，从而实现更可靠的检测性能。 用于 LiDAR 数据的密度分布的密度权重参数是通过比较每个数据点的 k-NN 距离与数据集的最大 k-NN 距离来计算的。k-NN 算法的主要优点是其简单性和直观性。它不假设数据的任何潜在统计分布，并且可以应用于数值和分类数据。因此，我们建议的 DW-SVDD 腿部检测器可以集成到机器人平台的低成本嵌入式系统中。 本文的其余部分组织如下。第 2 节介绍了本文提出的 DW-SVDD 腿部检测器及其在社交辅助机器人中的应用。在第 3 节，设计了不同的实验来评估传统的 SVDD 和 DW-SVDD。在本节中，将我们的提出的 DW-SVDD 腿部检测器与其他腿部检测器在实时机器人平台上进行比较。此外，还收集了室内和室外数据集，用于实时评估 DW-SVDD 腿部检测器。此外，所有腿部检测器都使用 CLEAR MOT 指标进行多目标跟踪评估。最后，第 4 节对本文进行总结。 ## 2 DW-SVDD 腿部检测器 Support Vector Data Description (SVDD) 是一种强大的机器学习技术，广泛用于异常检测、新颖性检测和单类分类任务 [^18]。 作为支持向量机的改进版本，SVDD 生成一个最小体积的超球体，该超球体包围了特征空间中的正样本，并识别腿部特征的异常。 通过在搜索过程中为每个数据点赋予密度权重，该方法倾向于高密度区域的数据点。 最终，最优描述会向这些密集区域移动。 因此，腿部数据的置信度高被描述为具有相似障碍和部分遮挡的正向簇。 ### 2.1 密度加权支持向量数据描述 给定二维范围数据，表示为 $x_i = \{x_1, x_2, \ldots, x_m\}$，其中 $x_i \in \mathbf{R}^m$，$i = 1, 2, \ldots, m$。 在所提出的基于 DW-SVDD 的腿部检测器中，密度权重 $\rho(x_i)$ 取决于 k 最近邻 (k-NN) 距离 [19–21]，其中 $d(x_i, x_i^k)$ 表示 $x_i$ 与 $x_i^k$ 的 k 个最近邻中的第 k 个最近邻之间的距离。 在 k-NN 中，一个查询 $x_i^k$ 通过其 k 个最近邻在训练集中多数票进行标记 $y_i^k$。 为了更重视近邻，图 2 按照以下顺序排列： --- ![Image](images/d831cae531ce7c96e56448766aa15d1e45ff64de32a3814e245bb179bfc18828.jpg)
Fig. 2. Laser point in 2D range data is detected by using the DW-SVDD leg detector. DW-SVDD transforms 2D laser data into 3D density relationships, making it more suitable for leg detection in multi-person scenarios. Leg data description depends on $F(x_{i})$ and $\rho(x_{i})$.
以欧几里德距离 $d\left(x_{i},x_{i}^{k}\right)$ 为顺序： $$ \left\{\begin{array}{l}d\left(x_{i},x_{i}^{k}\right)=\sqrt{\left(x_{i}-x_{i}^{k}\right)^{T}\left(x_{i}-x_{i}^{k}\right)}\\ y_{i}=argmax\sum_{\left(x_{i}^{k},y_{i}^{k}\in T\right)}\delta\left(y=y_{i}^{k}\right)\end{array}\right. $$ 其中 $x_i$ 是特征空间中的训练向量，$y_i$ 是训练集中对应的类标签 $T = \{x_i, y_i\}_{i=1}^N$，$x_i^k$ 是用于其 k 个最近邻中的第 i 个最近邻的查询，$y_i^k$ 是用于其 k 个最近邻中的第 i 个最近邻的类标签。 此外，$\delta(y = y_i^k)$ 是狄拉克 delta 函数 [^13]。 如图 2 所示，通过测量 k-NN 距离，密度权重 $\rho(x_{i})$ 设置为： $$ \rho\left(x_{i}\right)=1-\frac{d\left(x_{i},x_{i}^{k}\right)}{d\left(x_{j},x_{j}^{k}\right)} $$ 其中 $d(x_j, x_i^k)$ 是数据集的最大 k-NN 距离。 密度权重 $\rho(x_i)$ 通过将每个数据点的 k-NN 距离与数据集的最大 k-NN 距离进行比较，来衡量基于目标数据密度分布的相对密度。 此外，密度权重在 $\rho(x_i) \in (0,1)$ 范围内。 为了定义腿部特征，周长 $G_{i}$、宽度特征 $W_{i}$ 和密度权重 $\rho(x_{i})$ 用于构建基于 DW-SVDD 的腿部检测器。 DW-SVDD 优化目标是寻找一个紧凑的数据描述： $$ \left\{\begin{array}{l}\min L\left(R,c,\xi_{i}\right)=R^{2}+C\sum_{i=1}^{n}\rho\left(x_{i}\right)F\left(x_{i}\right)\xi_{i}\\ s.t.\left\|x_{i}-c\right\|\leq R^{2}+\xi_{i},\xi_{i}\geq0,F\left(x_{i}\right)=\left(G_{i},W_{i}\right)\\ G_{i}=\sum_{j=1}^{m-1}d\left(x_{j},x_{j+1}\right),W_{i}=d\left(x_{1},x_{m}\right)\end{array}\right. $$ 其中 R 是超球体半径，c 是球体中心，$\xi_{i}$ 是用于减少奇异点影响的松弛变量，C 是权衡超球体体积和错误分类率的惩罚 --- 因子，$F(x_{i})$ 是一个函数，它通过非线性变换将数据从原始空间映射到特征空间。 为了描述 LiDAR 数据，可以使用拉格朗日函数进一步推导： $$ \begin{array}{r l}&{L\left(R,c,\xi_{i}\right)=R^{2}+C\sum_{i=1}^{N}\rho\left(x_{i}\right)\xi_{i}}\\ &{\quad-\sum_{i=1}^{N}\alpha_{i}\left(R^{2}+\xi_{i}-\left\|F\left(x_{i}\right)-c\right\|^{2}\right)-\sum_{i=1}^{N}\eta_{i}\xi_{i}}\end{array} $$ 其中 $\alpha_{i}$ 和 $\eta_{i}$ 是拉格朗日乘子。 由于 LiDAR 数据的非线性数据关系，原始训练数据在空间分布上不是球形的。 因此，由于存在超球面，无法有效地隔离异常。 由于必须等于零才能进行偏导数 [^13]，因此新的方程和约束表示为： $$ \left\{\begin{array}{l}L=\sum_{i=1}^{m}\alpha_{i} k\left(x_{i},x_{i}\right)\\ -\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_{i}\alpha_{j} k\left(x_{i},x_{j}\right)\\ s.t.0\leq\alpha_{i}\leq C,\sum_{i=1}^{m}\alpha_{i}=1\end{array}\right. $$ 其中，$k(x_{i}, x_{i})$ 是内积，$k(x_{i}, x_{j})$ 是核函数。 通过求解方程 (3)，我们可以得到超球体的中心 c 和半径 R： $$ \left\{\begin{array}{l}c=\sum_{i}\alpha_{i} x_{i}\\ R=\left|x_{k}-c\right|\end{array}\right. $$ 其中，$x_{k}$ 是支持向量，其到超球体中心的距离为半径 R。 ### 2.2 DW-SVDD 腿部检测算法 为了找到并保存候选腿部簇 $C_k$，提出了算法 1 来描述腿部检测方案。DW-SVDD 腿部检测算法不仅考虑几何特征（例如，周长 $G_i$ 和宽度 $W_i$），还考虑密度权重 $\rho(x_i)$。由于该算法需要在社交辅助机器人上实时执行，因此，所提出的算法 1 的优点是计算时间短、识别精度高。根据训练的 2D 范围数据 $x_i$ 输入，使用所提出的腿部检测算法可以获得候选腿部簇。此外，LiDAR 的中心位置是方程 (6) 中超球体中心的 c。 --- 本文提出了一种基于 DW-SVDD（密度加权支持向量数据描述）的行人跟踪腿部检测器。所提出的方法利用了 DW-SVDD 的优势，能够准确且稳健地检测和区分复杂和拥挤环境中人类的腿部。通过将 2D 激光数据转换为 3D 密度关系，我们的腿部检测器在多人场景中表现出更高的性能，其中多个腿部存在于传感范围内。 ```pseudo // Algorithm 1: DW-SVDD Leg Detection Algorithm Input: $x_i$: the training 2D range data Output: $C_k$: the candidate leg cluster ``` 1 for j = 1 to N do 2 | $d(x_i, x_i^k) \rightarrow \text{Eq.}(1)$; 3 | if 一个查询 $d(x_i, x_i^k)$ 被多数投票 $d(y_i, x_i^k)$ 标记 4 | $x_i^k = x_{sorted(i)}, y_i^k = y_{sorted(i)}$; 5 | end 6 end 7 对于 k = 1 到 N 执行 8 | 如果 $x_i > x_{i+1}$ 则 9 | [index, dist] = 排序 [d( $x_i, x_i^k$), 升序]; 10 | 结束 11 end 12 for i = 1 to k do 13 | $y_i \rightarrow \text{Eq.}(1)$; 14 | $\rho(x_i) \rightarrow \text{Eq.}(2)$; 15 | $G_i, W_i, F(x) \rightarrow \text{Eq.}(3)$; 16 | k( $x_i, x_j$), L $\rightarrow$ Eq.(5); 17 | c, R $\rightarrow$ Eq.(6); 18 | if $d(c, x_i^k) \in (0, R)$ then 19 | $C_K \rightarrow$ 保存; 20 | end 21 end ### 2.3 社交辅助在多人场景中的应用 如图 3 所示，配备 LiDAR 的社交辅助机器人收集了多个行人的集群。为了区分跟踪目标 $C_k(x_k, y_k, \theta_k)$ 和干扰目标 $C_{k+1}(x_{k+1}, y_{k+1}, \theta_{k+1})$，机器人通过更新机器人和跟随目标之间的相对变化角度 $\Delta\theta < \delta_c$，以及在每个时间间隔内跟随目标的移动距离 $L_p < \delta_f$ 来锁定跟踪目标。 --- ```pseudo // Algorithm 2: Socially Assistive Algorithm Input: $C_k$: the candidate leg cluster Output: $v_l, v_r$: speed input to the left and right wheel motor ``` 1 for $k = 1$ to N do 2 \quad \min d(c, C_k) \text{; if } \Delta\theta < \delta_c, L_p < \delta_f \text{ then} 3 \quad \left| a_{v}, a_{\omega}, v_l, v_r \rightarrow Eq.(9) \right| 4 \quad end 5 end ![Image](images/da110f8e54ecee9b00b25532d0d1d1f00d29507ebd1d640dd4d7181f25c2040f.jpg)
Fig. 3. Motion control in the robot coordinate system. The LiDAR is installed on the center of the robot for simplifying the coordinate system, which is set as c (0, 0, 0).
在时间间隔 $\Delta\theta$ 中，跟随目标与机器人之间的相对角度变化 $\Delta t$ 始终在范围内 $\Delta\theta < \delta_c$，描述如下： $$ \left\{\begin{array}{c}\theta=\arctan\left(\frac{y_{k+1}-y_{k}}{y_{k+1}-y_{k}}\right)\\ \Delta\theta=\frac{\left(\theta_{k+\Delta t}-\theta_{k}\right)}{\Delta t}\end{array}\right. $$ 在 $\Delta t$ 中，跟随目标的距离始终在范围内 $L_p < \delta_f$，描述如下： $$ L_{p}=\sqrt{\left(x_{k+\Delta t}-x_{k}\right)^{2}+\left(y_{k+\Delta t}-y_{k}\right)^{2}} $$ 根据社会辅助机器人的动态模型[^17]，机器人沿X轴和Y轴方向的动态方程表示为： $$ \left\{\begin{array}{l}F_{X}=F_{k}\cos\theta_{k}=m a_{v}\\ F_{Y}=F_{k}\sin\theta_{k}=\frac{J a_{\omega}}{\left(d(c,C_{k})-L_{s}\right)}\end{array}\right. $$ --- 其中，$F_{X}$和$F_{Y}$分别是作用在X轴和Y轴方向上的力分量。$F_{k}$是使机器人跟随目标的力。m是机器人的重量，J是机器人的转动惯量，$a_{v}$和$a_{\omega}$分别是线加速度和角加速度，$L_{s}$是机器人与目标之间的安全距离，以防止碰撞。 ```pseudo // Algorithm 2: defines how the socially assistive robot maintains a safe distance $L_{s}$ between the robot and the following target. More than one cluster may be available in a cluttered environment [^22]. For the safety of the following target, the robot should follow the nearest cluster. ``` ## 3 自收集数据集 大多数数据集只能收集2D范围信息，并且只有一个目标在移动。尽管Beyer等人[^12]发布了LiDAR数据集（针对养老院的10小时记录），可供下载。由于该数据集区域相对干净，因此没有太多障碍物。由于标注成本高昂，因此很难找到包含多个人或障碍物的公开数据集。此外，Leon@Home Testbed[^25]的数据，其中包括由两个人工跟踪器确定的位置估计，已被收集，用于在真实家庭环境中评估服务机器人。显然，上述数据不足以训练我们建议的检测器。 ### 3.1 概述 表1包含用于比较和评估DW-SVDD腿部检测器的自收集OpenField和MessyIndoor数据集。此外，由于我们团队致力于使用开源数据集，因此这些数据以及任何支持材料（如视频和rosbag数据）都将发布在GitHub网站上。
Table 1. Overview of Self-Collected Datasets
Dataset TopicsOpenFieldMessyIndoor
Running Time46.2 s38.2 s
Humans Number55
Obstacles Number05
Topics: /scan933 msgs898 msgs
Topics: /odom469 msgs449 msgs
Topics: /leg_clusters926 msgs885 msgs
--- ### 3.2 训练数据集 为了验证DW-SVDD方法在社会辅助任务中的应用，多人场景下的实验分为目标检测实验和跟随实验。如图4所示，穿着白色衬衫的人是正在被跟随的目标，穿着黑色衬衫的人是干扰目标。如图4a和4b所示，在多人群体环境中，干扰目标经常在机器人和目标之间形成障碍。当腿部过于靠近时，移动机器人会将多个腿部解释为错误的目标，并产生误导性数据（图4c）。还设置了一个真实数据的对照组（图4d）。 ## 4 腿部检测实验 ### 4.1 SVDD腿部检测器与DW-SVDD腿部检测器 SVDD和DW-SVDD腿部检测器在配备Intel Core i5-10300H处理器、16 GB RAM、Nvidia GTX 1650 GPU和Ubuntu 20.04操作系统的Redmi笔记本电脑上进行评估。所有对比方法都使用ROS（机器人操作系统）实现，并且未使用任何并行加速优化技术。 通过3200个激光数据样本，可以客观地评估移动机器人在多人群体场景中对目标的识别和检测。使用图4中的训练集来测试图5中的SVDD腿部检测器。结果表明，SVDD方法过度依赖腿部特征，是导致检测结果不佳的原因。 图 5(a) 显示，由于跟随目标完全被遮挡，机器人只能检测到一个人的腿部信息。图 5(b) 显示，机器人只能检测到人的腿部信息的一部分。在图 5(c) 中，跟随目标和干扰目标的距离非常近，检测器很难将这些特征归类到跟随目标中。图 5(d) 中的对照组也演示了成功的检测。 图 6 演示了我们建议的策略在多大程度上更准确和高效。由于考虑了密度信息，因此更容易识别紧密排列的激光点序列。图 6(a) 显示，由于所有其他目标信息都已丢失，因此机器人只能检测到一条人的腿。与图 5(c) 中只检测到一条腿相比，图 6(c) 中的 DW-SVDD 方法明显优于 SVDD 方法，因为它识别了两个目标。此外，图 6(d) 更清楚地说明了测试的结果。 --- ![Image](images/3ed18f2c259f7f4c448a42004c9170b115128d785cf3e7239dfb173c3a06e6c9.jpg) ![Image](images/80ed510e417032efcfadb0aa27f2ae57b895b7f2fc932b303422a4166677cdf5.jpg) ![Image](images/2db59fae9d03940c8d68e6fc5d1868d29e2e9ca3ef2febf346bb4f8f022fe943.jpg)
(a) Full occlusion.
(b) Partial occlusion.
![Image](images/abc1799d7ef2ddd83f1e32a92ad857781fdeba031de97682a36b72aa57d474fe.jpg)
(c) Walking one behind the other.
![Image](images/0bfbae3f4de527935f1177d235ace89b11db020f39173168271c8ed376791221.jpg)
(d) Walking and splitting up.
Fig. 4. Training dataset: In a setting with multiple people, following and interfering targets are moving about at various positions.
定量评估结果见表 2。我们可以得出结论，与基于 SVDD 的腿部检测器相比，DW-SVDD 腿部检测器在多目标分类方面具有优势。对于面积下曲线 (AUC)， ---
(a): Detection results in 4(a)
![Image](images/5b55504280effa40b341ad34dda336695e228f1c0a05dbc5e16dcecc028de16e.jpg) ![Image](images/b1ff80f36ccbd8d05e7a7f68dbd5d4404fcbf44f489fe59fafce5c9e909211ad.jpg)
(c): Detection results in 4(c)
(d): Detection results in 4(d)
![Image](images/1e9d5aeeeafe79c5ec203b87c9c8490c30bf007044598f0b020ec75d2558337c.jpg) ![Image](images/1e3a0daffd662a23057eaab3ffa09977c808d94f163e97bbe04d8efa07b8a49b.jpg)
Fig. 5. The detection results of the SVDD leg detector for the four scenarios in Fig. 4.
Table 2. Comparing the Detection Results of SVDD and DW-SVDD Detectors
Leg DetectorSVDD [^14] [^17]DW-SVDD
Running Time41.2 ms47.0 ms
Number of Iterations915
Average Lost Points156
AUC60.36%73.41%
Variance of Distance and Radius ( $s_{{d-r}}^{2}$)19.2112.30
DW-SVDD 腿部检测器的值为 73.41%，这表明检测器的准确性更高。为了描述距离和半径之间的差异，$s_{d-r}^2$ 用于反映数据的波动： $$ s_{d-r}^{2}=\frac{\sum_{i=1}^{n}\left(d\left(x_{i},x_{i}^{k}\right)-r\right)^{2}}{n} $$ 其中距离 $d(x_i, x_i^k)$ 和半径 r 分别在算法 1 和公式 (6) 中进行描述。 --- ![Image](images/bf354730f248873026b7602b5f03051b63fc63e2eb4837dea1d42a6a7a5f9165.jpg) ![Image](images/9f285af1e2d1edef1a6b427951cd3286576cb7fe5eb447951a72bd93b73cf12a.jpg)
(c): Detection results in 4(c)
(d): Detection results in 4(d)
![Image](images/eb6f1fee68f60958c617061d5f6d0ce7cf091c613f0d3ab284db904b323d7e2c.jpg) ![Image](images/51fc683ed5646a1c66f525535a63fc594a4b93a5e6a2cca591db251afa125c9a.jpg)
Fig. 6. The detection results of the DW-SVDD leg detector for the four scenarios in Fig. 4.
### 4.2 DW-SVDD 腿部检测器在实时机器人平台上 为了在真实环境中测试 DW-SVDD 腿部检测器的有效性，该检测器实际上被集成到双轮移动机器人中。为了收集 2D 范围数据，一个 LiDAR（测量角度为 $360^{\circ}$，型号为 R2000，Pepperl+Fuchs GmbH，德国）安装在移动机器人的中央。它具有 $360^{\circ}$ 的扫描角度和高达 30 米的测量范围。激光数据可以以 250 kHz 的测量速度和 10 m/s 的扫描速率检测到腿部。 腿部检测，针对部分遮挡。如图 7 所示，一个干扰目标旨在穿过目标人和机器人。可以清楚地看到，即使干扰目标和目标非常靠近，甚至部分遮挡，检测器仍然可以区分这两个目标。需要注意的是，如果人的腿完全被遮挡，则无法检测到。在这种情况下，LiDAR 会失去关于人体腿部特征的所有信息。 --- ![Image](images/55a1285f59238db24b64f5422624667509d6b9ff8dcac12655bf730836e77a4f.jpg)
Fig. 7. The DW-SVDD leg detector could be used by socially assistive robots to identify partial occlusions. (a)(b) In blue box, the DW-SVDD leg detector could be able to recognize both people in real-time if they are standing adjacent to the target. (c)(d) The DW-SVDD leg detector also functions when someone passes by the target in blue box. (Color figure online)
腿部检测，针对相似的障碍物。如图 8 所示，即使干扰目标和目标非常靠近，甚至部分遮挡目标，但可以清楚地看到检测器可以区分这两个目标。密度加权考虑腿部之间的距离，并尝试将具有相似障碍物的腿部分开，这使得检测成功。
Table 3. Evaluation Results of Three Leg Detectors
Leg DetectorLegDetector [^24]SVDD [^14] [^17]DW-SVDD
ID Switch115137155
Miss2371 msgs2113 msgs1474 msgs
FP2294 msgs2110 msgs1890 msgs
MOTA18.70%27.41%34.96%
MOTP26.97%37.02%39.17%
---
(a)
![Image](images/b2589b7e9121f6ecdcdb49da8f7d82c24dd97e5ba3fc148082a90cc533b87412.jpg) ![Image](images/94ebb16baa567db01fe6085a435e97b40c432cb543ae09bd5f4718d0f2398d82.jpg)
(c)
![Image](images/0221f7087d3e919a31bc2356c9900ab782348481be0ad7a1e3a59562101a5743.jpg)
(d)
![Image](images/1f9bd9fdd84afed25151469a9d28d04213bd1356ceb0847439499359e1d922fa.jpg)
Fig. 8. The DW-SVDD leg detector could be used by socially assistive robots to identify similar obstacles. (a)(b) In the blue box, the DW-SVDD leg detector might be able to recognize both people in real-time if they are seated in similar obstacles. (c)(d) MessyIndoor Dataset detection results. (Color figure online)
### 4.3 在 CLEAR MOT 指标中的腿部检测 由于公开可用代码的稀缺性，我们只能找到一个基于腿部几何约束的开源 ROS 腿部检测器包 [^23]。 用于量化评估社交辅助机器人的 CLEAR MOT 指标 [^24] 已被采用。这些指标通常用于多目标跟踪，并提供 ID 切换（ $ID_{k}$）、遗漏（ $Miss_{k}$）、误报（ $FP_{k}$）、有效匹配以及从每个帧累积的匹配精度的评分。这些分数可以汇总为多目标跟踪精度 (MOTA) 分数和多目标跟踪精度 (MOTP)： $$ \left\{\begin{array}{l}M O T A=1-\frac{\sum_{k}\left(I_{k}+M i s s_{k}+F P_{k}\right)}{\sum_{k}g_{k}}\\ M O T P=\frac{\sum_{i,k}d\left(x_{i},x_{k}\right)}{\sum_{k}c_{k}}\end{array}\right. $$ 其中，$g_{k}$是真实标注，$c_{k}$是在第k个时间点，估计的人体位置和真实位置之间的匹配数量。距离$d(x_{i}, x_{k})$的描述见算法1。 如表3所示，结果表明，所提出的DW-SVDD腿部检测器的MOTA和MOTP分别为34.96%和39.17%。 --- ## 5 结论 本研究提出了一种基于DW-SVDD的腿部检测器，用于在社交辅助机器人中使用激光雷达，以检测、跟踪和跟随人体目标，检测高度位于腿部高度。为了提高在2D范围数据中对部分遮挡和类似障碍物的腿部检测性能，所提出的腿部检测器集成了k近邻距离、密度权重和支持向量数据描述。实验结果表明，该基于DW-SVDD的腿部检测器优于其他两种检测器，在拥挤的环境中表现出卓越的聚类和分类性能。具体而言，所提出的腿部检测器在MOTA和MOTP指标上分别达到了34.96%和39.17%。然而，该检测器也存在局限性，例如，由于没有过滤来自远处激光点的噪声，因此在图8中会错误地检测到类似的障碍物。此外，该腿部检测器无法检测到穿着长裙的目标人物。 在未来的工作中，我们计划开发一种稳定可靠的移动机器人的社交辅助系统。这将涉及使用高性能的机器人控制器来测试一种传感器融合策略，该策略将包括运行基于轻量级神经网络的检测器。总而言之，基于DW-SVDD的腿部检测器显示出很有前途的结果，并有可能在未来集成到更全面的社交辅助场景中。 ## 参考文献 [^1]: Hu, Y., Abe, N., Benallegue, M., et al.: Toward active physical human-robot interaction: quantifying the human state during interactions. IEEE Trans. Hum. Mach. Syst. 52(3), 367–378 (2022) [^2]: Yuan, J., Zhang, S., Sun, Q., et al.: Laser-based intersection-aware human following with a mobile robot in indoor environments. IEEE Trans. Syst. Man Cybern. Syst. **51**(1), 354–369 (2018) [^3]: Xue, G., Yao, H., Zhang, Y., et al.: UWB-based adaptable side-by-side following for human-following robots. In: 2022 IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 333–338, IEEE, Jinghong, China (2022) [^4]: Liu, P., Yao, H., Dai, H., et al.: The detection and following of human legs based on feature optimized HDBSCAN for mobile robot. J. Phys: Conf. Ser. 2216(1), 012009 (2022) [^5]: Zhou, G., Zhao, R., Yao, H., et al.: A low-cost conductive-textile based multi-functional flexible capacitive sensor for human motion tracking. In: 2021 IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 317–321, IEEE, Sanya, China (2021) [^6]: Su, S., Cheng, S., Dai, H., et al.: An efficient human-following method by fusing kernelized correlation filter and depth information for mobile robot. In: 2019 IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 2099–2104, IEEE, Dali, China (2019) 7. EffiBOT (AGV/AMR). . 访问日期：2022年10月1日。 ## [^8]: Li, H., Dong, Y., Li, X.: Object-aware bounding box regression for online multi-object tracking. Neurocomputing 518, 440–452 (2023) --- [^9]: Nurunnabi, A., Sadahiro, Y., Laefer, D.F.: Robust statistical approaches for circle fitting in laser scanning three-dimensional point cloud data. Pattern Recogn. 81, 417–431 (2018) [^10]: Arras, K.O., Mozos, O.M., Burgard, W.: Using boosted features for the detection of people in 2D range data. In: Proceedings 2007 IEEE International Conference on Robotics and Automation, pp. 3402–3407, IEEE, Rome, Italy (2007) [^11]: Li, D., Li, L., Li, Y., et al.: A multi-type features method for leg detection in 2-D laser range data. IEEE Sens. J. 18(4), 1675–1684 (2017) [^12]: Beyer, L., Hermans, A., Linder, T., et al.: Deep person detection in two-dimensional range data. IEEE Robot. Autom. Lett. 3(3), 2726–2733 (2018) [^13]: Tax, D.M., Duin, R.P.: Support vector domain description. Pattern Recogn. Lett. 20(11-13), 1191-1199 (1999) [^14]: Chung, W., Kim, H., Yoo, Y., et al.: The detection and following of human legs through inductive approaches for a mobile robot with a single laser range finder. IEEE Trans. Industr. Electron. 59(8), 3156–3166 (2011) [^15]: Cha, D., Chung, W.: Human-leg detection in 3D feature space for a person-following mobile robot using 2D LiDARs. Int. J. Precis. Eng. Manuf. 21, 1299–1307 (2020) [^16]: Jung, E.J., Lee, J.H., Yi, B.J., et al.: Development of a laser-range-finder-based human tracking and control algorithm for a marathoner service robot. IEEE/ASME Trans. Mechatron. 1963–1976 (2013) [^17]: Yao, H., Dai, H., Zhao, E., et al.: Laser-based side-by-side following for human-following robots. In: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 2651–2656, IEEE, Prague, Czech Republic (2021) [^18]: Nguyen, X.T., Kim, H., Lee, H.J.: An efficient sampling algorithm with a K-NN expanding operator for depth data acquisition in a LiDAR system. IEEE Trans. Circuits Syst. Video Technol. 30(12), 4700–4714 (2020) [^19]: Cha, M., Kim, J.S., Baek, J.G.: Density weighted support vector data description. Expert Syst. Appl. 41(7), 3343–3350 (2014) [^20]: Wu, X., Liu, S., Bai, Y.: The manifold regularized SVDD for noisy label detection. Inf. Sci. 619, 235–248 (2023) [^21]: Sung, Y., Chung, W.: Hierarchical sample-based joint probabilistic data association filter for following human legs using a mobile robot in a cluttered environment. IEEE Trans. Hum. Mach. Syst. 46(3), 340–349 (2015) 22. 标准分类（香蕉数据集）。. 访问日期：2018年9月15日。 23. ROS腿部检测器。. 访问日期：2017年9月10日。 [^24]: Bernardin, K., Stiefelhagen, R.: Evaluating multiple object tracking performance: the clear mot metrics. EURASIP J. Image Video Process. 2008, 1–10 (2008) 25. Alvarez-Aparicio, C., Guerrero-Higueras, A.M., Olivera, M.C.C.: 用于评估移动机器人在基于范围的人体跟踪分类器的基准数据集。Front. Neurorobot. 11, 72 (2017).