# AlphaPose: 用于实时全身区域多人姿态估计和跟踪 Hao-Shu Fang $^{ID}$, Jiefeng Li $^{ID}$, Hongyang Tang, Chao Xu, Haoyi Zhu $^{ID}$, Yuliang Xiu $^{ID}$, Yong-Lu Li $^{ID}$, 和 Cewu Lu $^{ID}$, 成员，IEEE 摘要：准确的全身多人姿态估计和跟踪是计算机视觉中的一个重要但具有挑战性的课题。为了捕捉人类细微的动作，从而进行复杂的行为分析，全身姿态估计，包括面部、身体、手和脚，对于传统的仅身体姿态估计至关重要。在本文中，我们提出了 AlphaPose，一种能够同时进行准确的全身姿态估计和跟踪，并且可以在实时运行的系统。为了实现这一目标，我们提出了一些新的技术：对称积分关键点回归 (SIKR) 用于快速和精细的定位；参数姿势非最大抑制 (P-NMS) 用于消除多余的人体检测；以及姿势感知身份嵌入，用于联合姿态估计和跟踪。在训练过程中，我们采用了基于部件的建议生成器 (PGPG) 和多领域知识蒸馏，以进一步提高准确性。我们的方法能够准确地定位全身关键点，并在给定的不准确的边界框和多余检测的情况下，同时跟踪人体。我们在 COCO-wholebody、COCO、PoseTrack 以及我们提出的 Halpe-FullBody 姿态估计数据集上，在速度和准确性方面都显着优于当前最先进的方法。我们的模型、源代码和数据集已公开发布，网址为 。 关键词：人体姿态估计，姿态跟踪，全身姿态估计，手部姿态估计，实时，多人 ## 1 引言 全身人体姿态估计是计算机视觉的一个基本挑战。它在人机交互 [^1]、电影工业 [^2]、动作识别 [^3] 等领域有广泛的应用。 在本文中，我们关注的是多人全身姿态估计的问题。在传统的仅身体姿态估计中，识别图像中多个人的姿态比识别单个人的姿态更具挑战性 [^4]、[^5]、[^6]、[^7]、[^8]。 以前的方法通常采用自上而下框架 [^9]、[^10] 或自下而上框架 [^11]、[^12]、[^13]。 我们的方法遵循自上而下的框架，该框架首先检测人类的边界框，然后独立地估计每个框内的姿态。对于基于自上而下的方法，虽然它们在常见的基准测试中表现出色 [^14]，[^15]，但这种方法存在一些缺点。由于检测阶段和姿态估计阶段是分开的，因此 i) 如果检测器失败，姿态估计器没有线索来恢复人类姿态；ii) 当前的研究人员采用强大的人类检测器以提高准确性，这使得两阶段处理在推理过程中变慢。为了解决自上而下框架的这些缺点，我们提出了一种新的方法，使其在实践中高效且可靠。为了减轻检测缺失的问题，我们降低了检测置信度和 NMS 阈值，以提供更多候选对象进行后续姿态估计。然后，通过参数化姿态 NMS 消除来自冗余框的冗余姿态，该方法引入了一种新的姿态距离度量来比较姿态相似性。采用一种数据驱动的方法来优化姿态距离参数。我们证明，通过这种策略，一个使用 YOLOV3-SPP 检测器的自上而下框架可以达到最先进检测器的性能，同时实现更高的效率。此外，为了在推理过程中加快自上而下框架的速度，我们设计了一个 AlphaPose 中的多阶段并发流水线，该流水线允许我们的框架以实时运行。 除了仅检测身体姿态外，在野外进行全身姿态估计更加困难，因为它面临着几个额外的难题。 对于自上而下和自下而上的框架，目前最常用的关键点表示方法是热图 [^16]。 由于计算资源的限制，热图的大小通常是输入图像的四分之一。 但是，对于同时定位身体、面部和手部的关键点，这种表示方法是不合适的，因为它无法处理不同身体部位之间的较大尺度变化。 一个主要问题被称为量化误差。 如图 1 所示，由于热图表示是离散的，因此热图上的相邻网格可能会错过正确的位置。 这对于身体姿态估计来说不是问题，因为正确的 --- ![Image](images/1640c3afccb2ade7693ea24734932f67d6be6009ccb0602a1981990833e591a8.jpg)
Fig. 1. The quantization error caused by heatmap (green and blue lines). With our symmetric integral keypoints regression (pink line), we can resolve the localization error.
区域通常较大。 但是，对于手部和面部的精细级关键点，很容易错过正确的位置。 为了解决这个问题，以前的方法要么采用额外的子网络来估计手部和面部 [^17]，要么采用 ROI-Align 来放大特征图 [^18]。 但是，这两种方法都需要大量的计算资源，尤其是在多人场景中。 在本文中，我们提出了一种新颖的对称积分关键点回归方法，该方法可以准确地定位不同尺度的关键点。 这是第一个可以达到与热图表示相当的准确性的回归方法，同时消除了量化误差。 对于全身姿态估计来说，另一个问题是缺乏训练数据。与经常研究的姿态估计，拥有大量数据集不同，用于全身姿态估计的数据集只有 [^14]，[^19]，[^18]。为了促进该领域的开发，我们标注了一个名为 Halpe 的新数据集，用于执行此任务，该数据集包含 [^18] 中不可用的额外重要关节。为了进一步提高在野外环境中用于全身姿态估计的自上而下的框架的通用性，引入了两个关键组件。我们采用多领域知识蒸馏，以结合来自不同身体部位数据集的训练数据。为了缓解不同数据集之间的域差距以及不完善的检测问题，我们提出了一种新型的基于身体部位的建议生成器 (PGPG)，以增加训练样本。通过学习人体检测器在不同姿势下的输出分布，我们可以模拟生成人体边界框，从而产生大量的训练数据。 最后，我们引入了一种姿态感知的身份嵌入，以在我们的自上而下的框架中实现同时进行的人体姿势跟踪。在姿态估计器上附加了一个人员重新识别分支，我们同时执行姿态估计和人员识别。在姿态引导区域注意力的帮助下，我们的姿态估计器能够准确地识别人体。这种设计使我们能够以统一的方式实现实时姿态估计和跟踪。 本论文扩展了我们在 ICCV 2017 大会上发表的初步工作 [^20]，主要改进如下： - 我们将我们的框架扩展到全身姿态估计场景，并提出了一种新的对称积分关键点定位网络，用于精细定位。 - 我们扩展了我们的基于姿态的建议生成器，使其能够与不同身体部位数据集的多领域知识蒸馏相结合。 - 我们标注了一个新的全身姿态估计基准（每人 136 个关键点），并与以前的方法进行了比较。 我们提出了一种姿态感知的身份嵌入，可以在我们的自上而下的框架中实现姿势跟踪。 - 这项工作记录了 AlphaPose 的发布，该系统既实现了准确性，又实现了实时性。我们的库为许多研究人员提供了便利，并且在 GitHub 上获得了超过 6000 次的关注。 ## 2 相关工作 在本节中，我们首先简要回顾了多个人姿态估计的相关论文，这些论文提供了人体姿态估计的基础知识。在第 2.2 节中，我们回顾了多个人全身姿态估计的相关工作，并讨论了当前文献中的一个关键问题。在第 2.3 节中，我们回顾了积分回归关键点定位，并阐明了我们对先前工作的改进。在第 2.4 节中，我们回顾了姿势跟踪，并总结了先前的工作与我们方法的联系和区别。 ### 2.1 多人姿态估计 自下而上的方法。自下而上的方法也被称为基于部分的早期方法。这些方法首先检测图像中所有可能的身体部位，然后将它们组合成单个骨架。代表性工作包括[^10]、[^11]、[^12]、[^13]、[^21]、[^22]和[^23]。Chen 等人[^11]提出了一种通过图形模型解析大部分被遮挡的人的方法，该模型将人类建模为身体部分的灵活组合。Gkiox 等人[^10]使用 k-poselets 联合检测人物并预测人体姿势的位置，通过所有激活的 poselets 的加权平均来实现。Pishchulin 等人[^12]提出了 DeepCut，该方法首先检测所有身体部位，然后通过积分线性规划对这些部位进行标记、过滤和组装。Insafutdinov 等人[^24]提出了一种基于 ResNet[^13]的更强大的身体部位检测器和更好的增量优化策略，名为 DeeperCut。Openpose [^17]、[^25] 引入了部分亲和力场 (PAF)，用于编码身体部位与个体的关联分数，并通过将其分解为一组双边匹配子问题来解决匹配问题。Newell 等人[^26] 学习为每个检测到的部分添加一个标识标签，以指示它属于哪个个体，称为关联嵌入。Cheng 等人[^27] 使用强大的多分辨率网络[^28] 作为主干，并使用高分辨率特征金字塔来学习感知比例的表示。OpenPif-paf [^22]、[^23] 提出了一种部分强度场 (PIF) 和一种部分关联场 (PAF)，分别用于定位和关联身体部位。 虽然自下而上的方法在性能方面表现良好，但它们的身体部位检测器可能很脆弱，因为它们只考虑小区域，并且当图像中存在小人物时，会面临尺度变化的挑战。 我们的工作遵循其他研究的自上而下的范例[^9]、[^20]、[^28]、[^29]、[^30] 和 [^31]，这些方法首先通过目标检测器获取每个人体的人体包围盒，然后对单个人物进行姿势估计。2026 年 8 月 16 日，10:27:07 UTC，来自 IEEE Xplore。适用限制。 --- 裁剪后的图像。Fang 等人[^20] 提出了一种对称空间变换网络，用于解决由人体检测器提供的、存在大量噪声的不完美边界框的问题。Mask R-CNN[^29] 在 Faster R-CNN[^32] 的基础上，在 ROIAlign 之后，增加了一个与现有边界框识别分支并行的姿态估计分支，从而实现端到端的训练。PandaNet [^33] 提出了一种基于锚点的单次方法来预测多人三维姿态估计，并实现了高效。Chen 等人[^30] 使用金字塔特征网络来定位简单的关节，并使用一个细化网络，该网络整合来自先前网络的各个级别的特征，以处理困难的关节。一种结构简单的网络[^31]，其 backbone 为 ResNet[^24]，并使用几个反卷积层作为上采样头，表现出有效且具有竞争力的结果。Sun 等人[^28] 提出了一种强大的高分辨率网络，其中在第一阶段建立一个高分辨率子网络，然后在后续阶段并行添加高分辨率到低分辨率子网络，进行重复的多尺度特征融合。Bertasius 等人[^34] 从图像扩展到视频，并提出了一种用于在稀疏标记视频上学习姿态扭曲的方法。 尽管最先进的自上而下的方法在流行的、大规模的基准测试中实现了卓越的精度，但两步范式使其在推理速度上比自下而上的方法慢。此外，缺乏库级别的框架实现阻碍了它们在工业中的应用。因此，我们在本文中提出了 AlphaPose，其中我们开发了一个多阶段流水线，以同时处理耗时的步骤，并实现快速推理。 单阶段方法。一些方法不需要在先进行后关节分组或人体边界框检测。它们同时定位人体和检测其关节，以提高两阶段方法的效率。具有代表性的工作包括 CenterNet [^35]、SPM [^36]、DirectPose [^37] 和 Point-set Anchor [^38]。然而，这些方法没有达到自上而下方法的精度，部分原因是身体中心图和密集关节位移图是高语义非线性表示，这使得网络难以学习。 ### 2.2 全身体关键点定位 统一检测身体、面部、手部和足部关键点，用于多人姿态估计，是一个相对较新的研究课题，目前提出的方法不多。OpenPose [^17] 开发了一种级联方法。它首先使用 PAFs [^25] 检测身体关键点，然后采用两个独立的网络来估计面部地标和手部关键点。这种设计在时间效率上较低，并且消耗额外的计算资源。Hidalgo 等人 [^39] 提出了一种单网络来估计全身关键点。然而，由于其单步机制，输出分辨率有限，这降低了其在精细级别关键点（如面部和手部）上的性能。Jin 等人 [^18] 提出了一种 ZoomNet，该网络使用 ROI_align 来裁剪特征图中的手部和面部区域，并在调整大小的特征图上预测关键点。这些方法都采用热图表示来进行关键点定位，因为热图在身体关键点定位方面表现出色。然而，前面提到的热图量化问题会降低面部和手部关键点的准确性。大尺寸输入的需要也会消耗更多的计算资源。在本文中，我们认为软argmax表示更适合全身姿态估计，并提出了一种改进的软argmax版本，该版本可以获得更高的准确性。Jin 等人 [^18] 还将 COCO 数据集扩展到全身场景。然而，该数据集缺少头部和颈部等关节，这些关节对于网格重建等任务至关重要。此外，面部标注与 300LW 中的面部标注不兼容。在本文中，我们贡献了一个新的野外多人全身姿态估计基准数据集。我们使用 Creative Common 许可 [^40] 标注了 4 万张来自 HICO-DET $^{1}$ 的图像，作为训练集，并将扩展的 COCO 关键点验证集（6K 个实例）用作我们的测试集。在这一基准数据集和 COCO-Wholebody 上的实验表明了我们方法的优越性。 ### 2.3 积分关键点定位 热图是人体姿态估计领域中用于关节定位的主流表示。由于热图仅描述了关节在每个空间网格中出现的概率，因此从热图中读取的位置是离散数字，这会导致不可避免的量化误差。如第 2.2 节所述，我们认为基于软argmax的积分回归更适合全身关键点定位。先前的一些工作研究了软argmax操作，以从热图中读取连续的关节位置 [^41]、[^42]、[^43]、[^44]、[^45]、[^46]。具体来说，Luvizon 等人 [^43]、[^46] 和 Sun 等人 [^45] 成功地将软argmax操作应用于单人 2D/3D 姿态估计。然而，这些工作存在两个缺点，会降低姿态估计的准确性。我们总结了这些缺点，即不对称梯度问题和与大小相关的关键点评分问题。这些问题的详细信息将在第 3.1 节中提供，以及我们提出的新的梯度设计和关键点评分方法。通过解决这些问题，我们提供了一种具有更高准确性的新关键点回归方法，并且它在全身姿态估计和仅身体姿态估计方面都表现良好。 ### 2.4 多人姿态跟踪 多个人姿势跟踪是从视频中的多个人姿势估计中扩展而来，它为每个预测的关键点分配相应的身份，随时间变化。与姿势估计文献类似，它可以分为两大类：自顶向下 $^{[31]}$, $^{[47]}$, $^{[48]}$, $^{[49]}$, $^{[50]}$, $^{[51]}$, $^{[52]}$, $^{[53]}$, $^{[54]}$ 和自底向上 $^{[23]}$, $^{[55]}$, $^{[56]}$. 基于自底向上姿势估计方法，$^{[55]}$, $^{[56]}$ 使用检测到的关键点来构建时空图，旨在通过求解优化问题来链接相应的个体身体。然而，时空图的先决条件阻止图割优化以在线方式运行，这使得它们非常耗时且内存效率低下。$^{[49]}$ 使用 3D MaskRCNN 同时估计人物管线和姿势。$^{[50]}$ 提出了一种前向和后向边界框传播策略，以消除检测丢失的问题。 --- ![Image](images/185ceea2376ac8e93f99505c0fc14d0bd7291708024d1cf15e7bf66d6cdd1e87.jpg)
Fig. 2. Illustration of our full-body pose estimation and tracking framework. Given an input image, we first obtain (i) human detections using off-the-shelf object detectors like YoloV3 or EfficientDet. For each detected human, we crop and resize it and forward it through pose estimation and tracking networks to obtain full body human pose and Re-ID features. The backbone of these two networks can either be separated for adaptation to different pose configurations, or share the same weights for fast inference (thus misaligned in the figure). The (a) symmetric integral regression is adopted for fine-level keypoint localization. We adopt (b) pose NMS to eliminate redundant poses. The (c) pose-guided alignment (PGA) module is applied on the predicted human re-id feature to obtain pose-aligned human re-id features. The (d) multi-stage identity matching (MSIM) utilizes the human poses, re-id features and detected boxes to produce the final tracking identity. During training, the proposed method can achieve a higher accuracy in the training.
这些方法的输入是一个完整的视频序列，这无法实现在线跟踪。 一些其他自上而下的方法允许输入单个帧，然后使用设计的姿势流 $^{[47]}$、GCN $^{[48]}$、[^52]、光流 $^{[31]}$或 Transformer [^54] 进行身份匹配。 Yang 等人 [^53] 预测当前姿势，基于历史姿势序列，并将它们与从当前帧获得的姿势估计结果合并。 这些方法的缺点是，它们仅依赖于姿势的空间连续性，而当在线图像流不稳定或人类快速移动时，这可能无法满足。 具体来说，[^57] 提出使用 re-ID 特征来解决跟踪问题。 我们的跟踪方法也显式地采用人类 re-ID 特征来解决这个问题。 与 [^57] 相比，我们设计了基于姿势的 re-ID 特征提取，以避免潜在的背景噪声。 此外，我们设计了一种多阶段信息融合方法，以同时利用框、姿势和 re-ID 特征。 ## 3 WHOLE-BODY MULTI PERSON POSE ESTIMATION 本文提出方法的完整流程如图2所示。本节我们将介绍本文位姿估计方法的详细设计，该部分对应图2的最上方一行。 ### 3.1 Symmetric Integral Keypoints Regression 正如2.3节所述，传统用于关键点回归的soft-argmax运算存在两个问题。我们将在下文对这些问题进行说明，并提出本文的创新解决方案。 #### 3.1.1 Asymmetric Gradient Problem soft-argmax运算也被称为积分回归，它是可微的，该方法将基于热图的方案转化为基于回归的方案，支持端到端训练。积分回归运算的定义为： where x is coordinate of each pixel and $p_x$ denotes the pixel likelihood on heatmap after normalization. During training, the loss function is applied to minimize the $\ell_1$ norm between the predicted joint locations $\hat{\mu}$ and ground-truth locations $\mu$: $\mathcal{L}_{reg} = \|\mu - \hat{\mu}\|_1$. The gradient of each pixel can be formulated as: $$ \hat{\mu}=\sum x\cdot p_{x}, $$ 注意，梯度幅值是不对称的。梯度的大小由像素的绝对位置（即 x）决定，而不是相对于真实值的相对位置。这意味着，当关键点位于不同位置时，即使距离误差相同，梯度也会不同。这种不对称性破坏了 CNN 网络的平移不变性，从而导致性能下降。 $$ \frac{\partial\mathcal{L}_{r e g}}{\partial p_{x}}=x\cdot\mathrm{s g n}(\hat{\mu}-\mu). $$ 幅度对称梯度。为了提高学习效率，我们提出了幅值对称梯度 (ASG) 函数，用于反向传播，它是一个逼近真梯度的函数： $$ \begin{array}{r}{\delta_{A S G}=A_{g r a d}\cdot\mathrm{s g n}(x-\hat{\mu})\cdot\mathrm{s g n}(\hat{\mu}-\mu),}\end{array} $$ 其中 $A_{grad}$ 表示梯度的幅值。它是一个常数，我们手动将其设置为热图大小的 1/8，并在下一段中给出推导。使用我们的对称梯度，梯度分布的中心位于预测的关节位置 $\hat{\mu}$。在学习过程中，这种对称的梯度分布可以更好地利用热图的优势，并以一种更直接的方式逼近真实值，于2026年8月16日10:27:07 UTC 从 IEEE Xplore 获取。 适用限制。 --- 例如，假设预测位置 $\hat{\mu}$ 高于真实位置 $\mu$。一方面，网络倾向于抑制 $\hat{\mu}$ 右侧的热图值，因为它们具有正梯度；另一方面，$\hat{\mu}$ 左侧的热图值将由于负梯度而激活。 ASG 的稳定梯度。这里，我们进行 Lipschitz 分析，以推导 $A_{grad}$ 的值，并表明 ASG 可以为训练提供更稳定的梯度。回顾一下，f 表示我们想要最小化的目标函数。如果 f 是 L-平滑的，则表示： $$ \|\nabla_{\theta}f(\theta+\Delta\theta)-\nabla_{\theta}(\theta)\|\leq L\|\Delta\theta\|, $$ 其中 $\theta$ 是网络参数，$\nabla$ 表示梯度。目标函数可以重写为： $$ \nabla_{\theta}f=\nabla_{\theta}\mathcal{L}(\mu,h(z))=\nabla_{z}\mathcal{L}(\mu,h(z))\nabla_{\theta}z, $$ 其中 z 表示网络预测的 logits，$\hat{\mu} = h(z)$ 表示归一化和 softmax 函数的组合。这里，我们假设网络的梯度是平滑的，并且只分析组合函数，即： $$ \|\nabla_{z}\mathcal{L}(\mu,h(z+\Delta z))-\nabla_{z}\mathcal{L}(\mu,h(z))\|. $$ 在传统的积分回归中，我们有： $$ \nabla_{z}\mathcal{L}(\mu,h(z))=(x-\hat{\mu})\cdot p_{x}. $$ 在这种情况下，方程 (6) 等价于： $$ \|(x-\hat{\mu}-\Delta\hat{\mu})(p_{x}+\Delta p_{x})-(x-\hat{\mu})\cdot p_{x}\|. $$ 注意，x 可以是热图上的任意位置。令热图大小为 W，则在整个数据集上，$\|x - \hat{\mu}\| \leq W$。因此，我们推导出传统积分回归的 Lipschitz 常数： $$ \begin{aligned}&\|\nabla_{z}\mathcal{L}(\mu,h(z+\Delta z))-\nabla_{z}\mathcal{L}(\mu,h(z))\|\\ \leq&\|W(p_{x}+\Delta p_{x})-W p_{x}\|=W\|\Delta p_{x}\|\\=&W\cdot L_{s}\cdot\|\Delta z\|,\end{aligned} $$ 其中 $L_{s}$ 是归一化函数 [^58]、[^59] 的 Lipschitz 常数。这表明，传统的积分回归将 Lipschitz 常数乘以 W。 类似地，我们可以推导出所提出的幅值对称函数的 Lipschitz 常数。首先，logits 的梯度是： $$ \begin{align*}|\nabla_{z}\mathcal{L}(\mu,h(z))|&=|A_{grad}\cdot p_{x}\cdot\left(1+\sum_{x_{i}<\hat{\mu}}p_{x_{i}}-\sum_{x_{i}>\hat{\mu}}p_{x_{i}}\right)|\\&\leq2\cdot A_{grad}\cdot p_{x}.\end{align*} $$ 我们将 $A_{grad} = W/8$ 设置为使梯度的平均范数与积分回归相同。具体来说， $$ E_{x}[|(x-\hat{\mu})p_{x}|]=E_{x}[|x-\hat{\mu}|]p_{x}=\frac{W}{4}\cdot p_{x}. $$ 所提出的幅值对称函数的 Lipschitz 常数推导如下： 这表明，当 $A_{grad} = W/8$ 时，所提出的方法的 Lipschitz 常数比原始积分回归小 4 倍，这表明梯度空间更平滑，模型可以更容易地进行优化。 $$ \begin{aligned}&\|\nabla_{z}\mathcal{L}(\mu,h(z+\Delta z))-\nabla_{z}\mathcal{L}(\mu,h(z))\|\\ \leq&\|2A_{grad}(p_{x}+\Delta p_{x})-2A_{grad}p_{x}\|=\frac{W}{4}\|\Delta p_{x}\|\\ =&\frac{W}{4}\cdot L_{s}\cdot\|\Delta z\|.\end{aligned} $$ #### 3.1.2 尺寸相关关键点评分问题 在进行soft-argmax之前，预测的热图的元素和应该归一化为1，即$\sum p_x = 1$。 之前的研究[^45]，[^46]采用了softmax操作，这在单人姿态估计中效果良好，但在多人姿态估计中的性能差距仍然很大[^31]，[^45]，[^60]。 这是因为在多人情况下，我们不仅需要关节位置，还需要关节置信度，用于姿态NMS和计算mAP。 在以前的方法中，使用热图的最大值作为关节置信度，这与尺寸相关且不准确。 如果我们采用一步归一化，例如softmax，热图的最大值与分布的尺度成反比，这高度依赖于身体关节的投影尺寸。 因此，较大的关节（例如，左髋）会生成比较小的关节（例如，鼻子）更小的置信度值，这会损害预测置信度的可靠性。 双阶段热图归一化。 为了解耦置信度预测和积分回归，我们提出了一种双阶段热图归一化方法。 在第一步中，我们进行逐元素归一化以生成置信度热图C： 其中$z_x$表示位置x的未归一化logits值，$c_x$表示位置x的置信度热图值。 因此，关节置信度可以通过热图的最大值来表示： $$ c_{x}=\mathrm{sigmoid}(z_{x}), $$ 由于我们在归一化的第一步中使用sigmoid进行逐元素操作，并且没有强制C的和为1，因此热图的最大值不会受到关节尺寸的影响。 这样，预测的关节置信度仅与预测的位置相关。 在第二步中，我们进行全局归一化以生成概率热图P： $$ conf=\max(\mathbf{C}). $$ $$ p_{x}=\frac{c_{x}}{\sum\mathbf{C}}. $$ 概率热图P的元素和为1，这确保了预测的关节位置$\hat{\mu}$位于热图边界内，并稳定了训练过程。 总而言之，我们通过第一步获得关节置信度，并通过第二步获得由概率热图生成的关节位置。 在2026年8月16日10:27:07 UTC从IEEE Xplore进行的消融研究中，展示了我们的归一化方法的有效性。 适用限制。 --- 第6.6节展示了我们归一化方法的有效性。 ### 3.2 多领域知识蒸馏 除了我们创新的对称积分回归方法，网络的性能还可以通过额外的训练数据得到进一步提升。除了标注一个新的数据集（详细内容见第 6.1 节）之外，我们还采用了多领域知识蒸馏来训练我们的网络。我们采用了三个额外的数据集，分别是 300Wface [^61]、FreiHand [^62] 和 InterHand [^63]。这些数据集的详细信息将在第 6.1 节中介绍。通过结合这些数据集，我们的网络能够准确地预测野外图像中的面部和手部关键点。 在训练过程中，我们通过以固定比例采样不同数据集来构建每个训练批次。 具体来说，1/3的批次来自我们的标注数据集，1/3来自COCO-fullbody，其余的均等地采样自300Wface和FreiHand。 对于每个样本，我们应用数据集特定的增强，这将在下一节中介绍。 虽然这些特定领域的训练数据集能够提供准确的中间监督，但它们的分布与野生图像的分布差异很大。为了解决这个问题，我们在 [^20] 中扩展了我们的姿势引导式提案生成器，使其适用于全身场景，并以统一的方式进行数据增强。 ### 3.3 基于部件的提案生成器 对于两阶段姿势估计，由人体检测器生成的姿势提案通常与真实的人体框的分布不同。同时，面部和手部的空间分布在野生环境中全身图像和数据集中的部分图像之间也不同。如果没有适当的训练期间数据增强，姿势估计器在测试阶段可能无法正常工作。 为了生成与人体检测器输出分布相似的训练样本，我们提出了基于部件的提案生成器。对于具有紧密包围框的各个身体部件，提案生成器生成一个与人体检测器输出分布一致的新框。 由于我们已经为每个部件有了真实的边界框，因此我们将这个问题简化为对检测到的边界框与真实边界框之间的相对偏移量进行建模，这些偏移量因不同的部件而异。更具体地说，存在一个分布 $$ P(\delta x_{min},\delta x_{max},\delta y_{min},\delta y_{max}|p) $$ 其中 $\delta x_{min}/\delta x_{max}$ 是由人体检测器生成的边界框的左侧/右侧坐标与真实边界框的坐标之间的归一化偏移量： $$ \delta x_{min}=\frac{x^{detect}_{min}-x^{gt}_{min}}{x^{gt}_{max}-x^{gt}_{min}}, $$ $$ \delta x_{max}=\frac{x^{detect}_{max}-x^{gt}_{max}}{x^{gt}_{max}-x^{gt}_{min}}, $$ ![Image](images/e15ee5b6a36920a64372b6c47db542c846fa2a03080f899e995b41fea320bdfc.jpg)
Fig. 3. Distributions of bounding box offsets for several different body parts. The dotted boxes denote the ranges of approximated uniform distributions. Best viewed in color.
类似地，是 $\delta y_{min}$、$\delta y_{max}$，p 是地面真实部件类型。如果我们能够对这个分布进行建模，我们就可以生成许多与人体检测器生成的提案相似的训练样本。 为了实现这一点，我们采用一个现成的目标检测器 [^64]，并对我们的 Halpe-FullBody 数据集进行人体检测。对于数据集中的每个实例，我们将面部、身体和手部的标注分开。对于每个分开的部件，我们计算其紧密包围框与整个人的检测框之间的偏移量。由于水平和垂直方向上的框方差通常是独立的，我们简化了对原始分布的建模，将其简化为对以下分布的建模： $$ P_{x}(\delta x_{min},\delta x_{max}|p), $$ 在处理 Halpe-FullBody 中的所有实例后，偏移量形成频率分布，我们使用高斯混合分布拟合这些数据。对于不同的身体部件，我们具有不同的高斯混合参数。我们在图 3 中可视化了这些分布及其对应的部件。 $$ P_{y}(\delta y_{m i n},\delta y_{m a x}|p). $$ 在姿势估计器的训练阶段，对于属于部件 p 的一个训练样本，我们可以通过密集采样来生成额外的偏移量，并将其添加到其真实边界框中，以生成增强的训练提案，具体方法参考 $P_x(\delta x_{min}, \delta x_{max} | p)$ 和 $P_y(\delta y_{min}, \delta y_{max} | p)$。实际上，我们发现以近似均匀分布进行采样（图 3 中的虚线红色框）也可以产生相似的性能。 ### 3.4 参数化姿势 NMS 对于自上而下的方法，一个主要的缺点是早期承诺问题：如果人体检测器未能检测到人，姿态估计器没有补救措施来恢复它。大多数基于自上而下方法的模型[^28]，[^30]，[^31]，[^65]会遇到这个问题，因为它们将检测置信度设置为一个较高的值，以避免重复的姿态估计。相反，我们将检测置信度设置为一个较低的值（在我们的实验中为0.1），以确保较高的检测召回率。在这种情况下，人体检测器不可避免地会为某些人生成重复的检测，这会导致重复的姿态估计。因此，需要姿态非最大抑制（NMS）来消除这些冗余。以前的方法[^11]，[^66]。 --- 无论是效率不高还是准确性不足。在本文中，我们提出了一种参数姿态NMS方法。类似于前面的小节，姿态$P_i$，具有m个关节，表示为$\{\langle k_i^1, c_i^1\rangle, \ldots, \langle k_i^m, c_i^m\rangle\}$，其中$k_i^j$和$c_i^j$是$j^{th}$的位置和置信度分数。 NMS方案。我们回顾姿态NMS如下：首先，选择置信度最高的姿态作为参考，然后通过应用消除标准，消除一些接近它的姿态。此过程在剩余的姿态集合上重复，直到消除冗余姿态，并仅报告唯一的姿态。 消除标准。为了消除过于接近和过于相似的姿态，我们需要定义姿态相似性。我们定义一个姿态距离度量$d(P_i, P_j|\Lambda)$来测量姿态相似性，以及一个阈值$\eta$作为消除标准，其中$\Lambda$是函数$d(\cdot)$的参数集。我们的消除标准可以写成如下： $$ f( Ⅲ P_{i},P_{j}|\Lambda,\eta)=\mathbb{1}[d(P_{i},P_{j}|\Lambda,\lambda)\leq\eta] $$ 如果$d(\cdot)$小于$\eta$，则$f(\cdot)$的输出应为1，这意味着姿态$P_i$应该由于与参考姿态$P_j$的冗余而被消除。 姿态距离。现在，我们介绍距离函数$d_{pose}(P_i, P_j)$。我们假设姿态$P_i$的框为$B_i$。然后，我们定义一个软匹配函数 $$ \begin{aligned}&K_{Sim}(P_{i},P_{j}|\sigma_{1})=\\&\left\{\begin{aligned}&\sum_{n}\tanh\frac{c_{i}^{n}}{\sigma_{1}}\cdot\tanh\frac{c_{j}^{n}}{\sigma_{1}},&&\text{if}k_{j}^{n}\text{is within}\mathcal{B}(k_{i}^{n})\\&0&&otherwise\end{aligned}\right.\end{aligned} $$ 其中$\mathcal{B}(k_{i}^{n})$是中心在$k_{i}^{n}$的框，并且$\mathcal{B}(k_{i}^{n})$的每个维度是原始框$B_{i}$的1/10。tanh操作过滤掉具有低置信度分数的姿态。当两个对应的关节都具有较高的置信度分数时，输出将接近1。此距离软性地计算姿态之间匹配的关节数量。 空间距离也考虑了部件之间的距离，可以写成 $$ H_{S i m}(P_{i},P_{j}|\sigma_{2})=\sum_{n}\exp[-\frac{\left(k_{i}^{n}-k_{j}^{n}\right)^{2}}{\sigma_{2}}] $$ 通过组合方程 (17) 和 (18)，最终的距离函数可以写成 $$ d(P_{i},P_{j}|\Lambda)=K_{Sim}(P_{i},P_{j}|\sigma_{1})+\lambda H_{Sim}(P_{i},P_{j}|\sigma_{2}) $$ 其中$\lambda$是平衡两个距离的权重，以及$\Lambda = \{\sigma_1, \sigma_2, \lambda\}$。请注意，以前的姿态NMS[^11]手动设置姿态距离参数和阈值。相比之下，我们的参数可以以数据驱动的方式确定。 优化。 针对检测到的冗余姿势，消除标准中的四个参数 $f(P_i, P_j|\Lambda, \eta)$ 经过优化，以实现验证集的最大 mAP。 由于在 4 维空间中进行穷举搜索不可行，因此我们一次优化两个参数，同时固定其他两个参数，并采用迭代方式。 一旦收敛，这些参数将被固定，并在测试阶段使用。 ## 4 多人姿势跟踪 在本节中，我们介绍图 2 中行中间的多人姿势跟踪方法。 我们在姿势估计器上添加了一个人员重识别分支。 因此，网络可以同时估计人体姿势和重识别特征。 采用姿势引导注意力机制 (PGA) 以增强人员身份特征。 最后，通过我们设计的多阶段身份匹配 (MSIM) 算法集成人体姿态信息（身份嵌入、框和姿势），以实现在线实时姿势跟踪。 ### 4.1 姿势引导注意力机制 用于识别大量人体姿态提案中的同一个体的人体再识别特征可以用于此目的。在我们的自顶向下框架中，我们从目标检测器生成的每个边界框中提取再识别特征。但是，边界框中的背景会降低再识别特征的质量，尤其是在存在其他人的身体时。为了解决这个问题，我们考虑使用预测的人体姿态来构建一个集中于人体区域的区域。因此，我们提出了姿势引导注意力 (PGA)，以使提取的特征集中于感兴趣的人体，并忽略背景的影响。PGA 的原理将在消融研究（第 6.8 节）中详细说明。 姿势估计器会生成 k 个热图，其中 k 表示每个人身上的关键点数量。 然后，PGA 模块会将这些热图转换为一个注意力图 ($m_{A}$)，该注意力图通过一个简单的卷积层实现。 注意，$m_{A}$ 的大小与重识别特征图 ($m_{id}$) 相同。 因此，我们可以获得加权重识别特征图 ($m_{wid}$)： $$ m_{w i d}=m_{i d}\odot m_{A}+m_{i d} $$ 其中 $\odot$ 表示 Hadamard 乘积。 最后，通过一个全连接层编码 128 维的身份嵌入 $(emb_{id})$。 ### 4.2 多阶段身份匹配 对于一个视频序列，令 $H_t^i$ 表示第 t 帧的第 i 个人体姿态。 如上所述，$H_t^i$ 具有几个特征：姿势 $(P_t^i)$、框 $(B_t^i)$ 和身份嵌入 $(E_t^i)$。 考虑到所有这些特征都可以确定一个人的身份，我们设计了 MSIM 算法来为 $H_t^i$ 分配相应的 ID。 假设前 t-1 帧的检测和跟踪结果已经获得并存储在跟踪池 $P_t$ 中。 首先，使用卡尔曼滤波器来微调当前帧中的检测特征，从而使轨迹更加平滑。 然后，我们通过计算第 t 帧的身份嵌入与 $M_{emb}^i$ 中所有嵌入之间的亲和力矩阵 $P_t$ 进行第一阶段匹配。 匹配规则如下： $$ \left\{\begin{aligned}{}&{{}l i n k(p,q),}&{\mathrm{i f~}}&{{}M_{e m b}^{t}[p][q]=m i n(M_{e m b}^{t}[p])}\\ {}&{{}}&{\mathrm{a n d~}}&{{}M_{e m b}^{t}[p][q]\leq\mu_{e m b}}\\ {}&{{}H_{t}^{p}}&{\mathrm{k e e p~u n t r a c k e d},}&{{}\quad\mathrm{o t h e r w i s e}}\\ \end{aligned}\right. $$ 其中 $\text{link}(p, q)$ 表示 $H_t^p$ 与 $P_t$ 中第 q 个人体姿态共享轨迹。 $\mu_{emb}$ 是阈值。 这里我们将 $\mu_{emb}$ 设置为 0.7，参考 [^67]。 在第二阶段，我们同时考虑未跟踪的人员提议的位置和形状约束，如 (21) 所示。于 2026 年 8 月 16 日 10:27:07 UTC 从 IEEE Xplore 处获取。适用限制。 --- ![Image](images/f20f9f737145900f9d195fb90448e24819fde6aba9677c29cf511c9648a32012.jpg)
Fig. 4. System architecture of AlphaPose. Our system is divided into five modules, namely (a) data loading module that can take images, video or camera stream as input, (b) detection module that provides human proposals, (c) data transformation module to process the detection results and crop each single person for later modules, (d) pose estimation module that generates keypoints and/or human identity for each person, (e) post processing module that processes and saves the pose results. Our framework is flexible and each module contains several components that can be replaced and updated easily. Dashed box denotes optional components in each module. See text for more details and best viewed in color.
具体来说，我们使用 bounding box 之间的 IOU 指标作为位置约束，以及归一化姿势距离作为形状约束。对于两个人员提议 $H_i^j$ 和 $H_{t-\delta}^j$，我们首先将它们的 bounding box 调整为相同比例，并获得每个 bounding box 的中心点 c。然后，我们通过从每个关键点坐标中减去中心来计算归一化的姿势向量。最后，我们可以通过方程 (19) 获得归一化的姿势距离 ( $dist_{np}$)。因此，形状和位置的融合距离矩阵可以写为： $$ M_{f}^{t}=\left(1-I O U\right)+\lambda_{n p}\times d i s t_{n p} $$ 其中 IOU 和 $dist_{np}$ 分别表示由 IOU 函数和未跟踪的提议之间的归一化姿势距离组成的矩阵，Pl。$\lambda_{np}$ 是用于平衡位置和形状距离矩阵的权重。 我们还使用一个阈值 $\mu_{f}$ 来过滤未匹配的提议，如方程 (21) 所示，并且经验上将其设置为 0.5。 为了匹配与前几帧不太相似的跟踪块，我们会适当降低阈值，并重复上述步骤。如果仍然没有匹配的提议，我们会认为这是一个新的跟踪块，因此会为其分配一个新的 ID。 ### 4.3 联合训练策略 为了简化整个网络的训练过程，我们同时训练姿势估计器和重识别分支。我们的网络在 COCO $^{[14]}$ 和 PoseTrack $^{[68]}$ 数据集上进行训练。PoseTrack 既有姿势标注，也有身份标注，而 COCO 只有姿势标注。因此，在 COCO 上进行训练时，重识别分支的梯度不参与反向传播。我们遵循 [^69] 中定义的损失平衡策略，以联合优化姿势和身份识别子任务。 ## 5 ALPHAPOSE 在本节中，我们介绍 AlphaPose $^{2}$，第一个联合全身姿势估计和跟踪系统。 ### 5.1 流程 两步框架的一个缺点是推理速度的限制。为了加快处理大规模数据的速度，我们设计了一个五阶段流水线，并采用多处理实现以提高我们的推理速度。图 4 说明了我们的 AlphaPose 流水线机制。我们将整个推理过程划分为五个模块，遵循每个模块消耗相似处理时间的原则。在推理过程中，每个模块由一个独立的进程或线程托管。每个进程通过先进先出队列与后续进程进行通信，即，它存储当前模块的计算结果，而后续模块直接从队列中获取结果。通过这种设计，这些模块可以并行运行，从而显着提高速度，并实现实时应用。 ### 5.2 网络 对于我们的两步框架，可以采用各种人体检测器和姿势估计器。 在当前实现中，我们采用了 COCO [^64] 数据集上训练的 YOLOv3 [^75] 和 EfficientDet [^14] 等开箱即用的检测器。我们没有重新训练这些模型，因为它们发布的模型已经可以在我们的用例中很好地工作。 为了姿势估计器，我们设计了一个名为 FastPose 的新骨干网络，该网络既具有高精度又高效。网络结构如图 5 所示。我们使用 ResNet [^24] 作为我们的网络骨干，以从输入裁剪图像中提取特征。采用三个密集上采样卷积 (DUC) [^76] 模块来上采样提取的特征，然后使用 $1 \times 1$ 卷积层生成热图。DUC 模块首先对具有 $h \times w \times c$ 维度的特征图进行 2D 卷积，然后通过 PixelShuffle $2h \times 2w \times c$ 操作将其重塑为 [^77]。 为了进一步提高性能，我们还将可变形卷积运算符集成到我们的 ResNet 骨干中，类似于 [^78]，以改进特征提取。该网络被命名为 FastPose-DCN。 --- ![Image](images/bc7b7161eaad48995b9feed4fb14dd977a1ae7e8c2e52f7fdadbc6f4bcd94c1f.jpg)
Fig. 5. Network architecture of FastPose. First, ResNet is adopted as the network backbone. Then, DUC modules are applied for up-sampling. Finally, a $1 \times 1$ convolution is utilized to generate heatmaps.
### 5.3 系统 AlphaPose 是基于 PyTorch [^79] 和 MXNet [^80] 开发的。受益于 PyTorch 的灵活性，AlphaPose 支持 Linux 和 Windows 系统。AlphaPose 经过高度优化，旨在易于使用和进一步开发。我们通过将训练和测试流程分解为不同的模块，用户可以轻松地替换或更新不同的模块以实现自定义目的。对于数据加载模块，我们支持通过指定图像名称、目录或路径列表来输入图像。还支持视频文件或来自摄像头的流输入。对于检测模块，我们采用 YOLOX [^81]、YOLOV3-SPP [^64]、EfficientDet [^75] 和 JDE [^67]。也支持来自其他检测器的检测结果作为文件输入。还可以集成其他跟踪器，如 [^82]。对于数据转换模块，我们实现了标准的 box NMS 和 soft-NMS [^83]。对于姿势估计模块，我们支持 SimplePose [^31]、HRNet [^28] 以及我们提出的 FastPose 及其不同的变体，例如 FastPose-DCN。我们的基于 Re-ID 的跟踪算法也包含在该模块中。对于后处理模块，我们提供了我们的参数化姿势 NMS 和基于 OKS 的 NMS [^65]。另一个跟踪器 PoseFlow [^47] 也可用在此处，我们支持图像和视频的渲染。我们的默认保存格式是 COCO 格式，并且可以与 OpenPose [^17] 兼容。用户只需指定输入参数，即可轻松运行 AlphaPose 并使用不同的设置。 ## 6 数据集和评估 ### 6.1 数据集 Halpe-FullBody。 为了促进全身人体姿势估计的开发，我们标注了一个全身关键点数据集，名为 Halpe-FullBody $^{3}$。 对于每个人，我们标注了 136 个关键点，包括 20 个身体关键点、6 个脚部关键点、42 个手部关键点和 68 个面部关键点。关键点格式如图 6 所示。请注意，由于存在两种流行的面部关键点定义（参见图 7），我们仅标注面部下颌的可见部分（图 7 中的绿色点），以便与 ![Image](images/1a6fca9614a1b2f42ee56b42ef98155fb190a9c887ac8ab7ded493ad9b802d88.jpg) ![Image](images/f48197698f5b235da7c456f7733bad039be2f6082be0307ba741e7ee2fe71c19.jpg)
(a)
(b)
![Image](images/eb6b21227853c9a7cd4f631808694951428678fd3c9cba00552e030e08967b46.jpg)
(c)
Fig. 6. Annotated keypoint format in Halpe-FullBody dataset for (a) body and foot, (b) face, (c) hand respectively. Zoom in for details of the face annotation.
这些定义兼容。 在图像方面，我们的训练集使用 HICO-DET [^40] 数据集的训练图像，我们的测试集使用 COCO-val 集合。 总的来说，我们的数据集包含 50,000 个用于训练的样本和 5,000 个用于测试的图像。 表 1 比较了我们的数据集与人类姿势估计中以前的流行数据集。 COCO-WholeBody。作为一项相关工作，Jin 等人基于 COCO 数据集标注了 133 个全身关键点。他们的关键点定义与我们相似，但缺少头部、颈部和髋部点。总训练集包含 118K 张图像，包含 250K 个实例，测试集包含 5K 张图像。我们也在该数据集上评估我们的算法。 COCO COCO 数据集是人类关键点预测的标准基准。它包含 17 个人类身体的关键点，不包括面部、手部和脚部标注。总共有 118K 张用于训练的图像，5K 张用于验证，41K 张用于测试。我们在 COCO 2017 训练集上训练我们的算法，并将我们的 FastPose 网络与... ![Image](images/882bcc63b284fbafe7ae643623d05eb82b0ca9efe9dd016cda0b8ffb30882587.jpg)
(a)
![Image](images/3b23d0e781a161b53c4d734cf5e9dfe9883376169efd3d986eea8cb565a11ae3.jpg)
(b)
Fig. 7. Two different definition of face keypoints on the lower jaw. The green dots represent the same definition and the red dots indicate their differences. In (a) and (b), the left definition is commonly used in 2D annotated dataset like [^18], [^61], [^72], while the right definition is used in 3D face alignment task like [^84].
---
TABLE 1
Overview of Some Popular Public Datasets for 2D Keypoint Estimation in RGB Images
DataSet#KptWildBodyHandFaceHOITotal
KptKptKptInstances
MPII [^15]16✓✓40K
CrowdPose [^19]14✓✓80K
PoseTrack [^68]15✓✓150K
COCO [^14]17✓✓250K
OneHand10K [^70]21✓✓10K
FreiHand [^62]21✓130K
MHP [^71]21✓80K
WFLW [^72]98✓✓10K
AFLW [^73]19✓✓25K
COFW [^74]29✓✓1852
300W [^61]68✓✓3837
COCO-WholeBody [^18]133✓✓✓✓250K
Halpe-FullBody136✓✓✓✓✓50K
Kpt 代表关键点，#Kpt 表示标注的数量。“Wild” 表示数据集是在野外环境中收集的。“HOI” 表示人-物体交互的身体部位标签。 使用对称积分损失，与之前的最先进模型在 COCO 2017 测试-开发集上进行比较。 PoseTrack. PoseTrack 是一个用于多人姿态估计和跟踪的大规模数据集。它基于 MPII 人体数据集提供的原始视频 $^{[15]}$ 构建。PoseTrack 包含 1356 多个视频序列，并分为训练集、验证集和测试集。每个标注的人体具有 17 个关键点，与 COCO 类似，但有两个关键点与 COCO 不同，分别是“头部顶部”和“头部底部”。其他标注与 COCO 具有相同的格式。我们在 PoseTrack-2018 数据集上训练我们的方法，并在 PoseTrack-2017-val 和 PoseTrack-2018-val 数据集上将其与以前的方法进行比较。 300Wface、FreiHand 和 InterHand 被用作补充数据集，以提高我们模型的泛化能力。300Wface [^61] 包含 300 张室内和 300 张室外真实场景图像。对于每个面部，都标注了 68 个关键点。FreiHand [^62] 包含 33k 个独特的训练样本，每个样本包含 21 个关键点。InterHand [^63] 包含 260 万张包含相互作用手部的图像，每个手部也具有 21 个关键点。 ### 6.2 评估指标和工具 Halpe-FullBody。我们扩展了 COCO 关键点的评估指标，以适应全身场景。COCO 定义了由每个关键点常数 k 控制的对象关键点相似度。对于我们新增的关键点，我们将脚、面部和手部的 k 设置为 0.015。与 COCO 相同，我们报告 $AP^{0.5:0.95:0.05}$ 作为主要结果，并报告身体、脚部、面部和手部的详细结果。 COCO-WholeBody。COCO-WholeBody 采用与我们相同的指标，但某些关键点的常数 k 与我们不同。 COCO。我们采用 COCO 数据集的标准 AP 指标，以便与之前的研究进行公平比较。 PoseTrack。事实上，多人姿势跟踪可以被视为多人姿势估计和多物体跟踪的结合。因此，评估指标应遵循这两个任务。平均精度均值 (mAP) $^{[12]}$ 用于衡量帧级别的姿势准确性。为了评估跟踪性能，将 MOT $^{[85]}$ 指标应用于每个身体关节，然后通过对每个关节的 mot 指标进行平均，得到最终的跟踪性能。PCKh (以头部为中心的正确关键点概率) $^{[15]}$ 是最常用的指标之一，用于评估是否正确预测了身体关节。它可以确定哪个预测的关节与哪个地面真实关节匹配。 为了评估在posetrack验证数据集上的跟踪结果，我们使用名为poseval $^{4}$的官方工具，并报告多目标跟踪精度（MOTA）、多目标跟踪精度（MOTP）、精度和召回率。 ### 6.3 实现细节 我们在PyTorch [^79]环境下进行实验。我们使用batch size为32，训练270个epoch。初始学习率为0.01，并在第100个和第170个epoch时将其衰减为0.1。姿态引导的proposal生成器在第200个epoch之后应用。在整个网络训练完成后，我们冻结backbone，并在posetrack数据集上仅对re-ID分支进行微调10个epoch。微调阶段的学习率为1e-4。我们在训练过程中采用Adam [^86]优化器。所有实验都在8个Nvidia 2080Ti GPU上进行。 ### 6.4 全身姿态估计的评估 我们首先在Halpe-FullBody和COCO-WholeBody数据集上评估我们模型的性能。由于Halpe-FullBody是一个新数据集，我们重新训练了几个最先进的模型，并将结果与我们的结果进行比较。表2给出了最终结果。YOLOV3被用作所有基于自上而下的模型的 human detector。我们可以看到，自上而下的方法可以比自下而上的方法实现更高的精度。但是，由于heatmap引入的量化误差，传统的SPPE在面部和手部等精细级别的身体部位的精度下降很多。通过我们新颖的对称积分损失函数，我们的FastPose模型实现了最佳精度。值得注意的是，我们可以看到，FastPose50-si的精度比基于heatmap的对应模型高出2.4 mAP（相对提高了5.7%）。这些改进主要来自面部和手部。这表明heatmap的量化误差会影响面部和手部关键点的精细定位，而我们的对称积分回归在这种情况下效果很好。 ---
TABLE 2
Whole-Body Pose Estimation Results on Halpe-FullBody Dataset
MethodInput Sizefull-bodyfootfacehandbody
APAP $^{{50}}$AP $^{{75}}$AP $^{{L}}$AP $^{{M}}$ARAPARAPARAPARAPAR
OpenPose-default [^17]N/A0.2760.5280.2580.3560.3100.3700.4380.6520.4820.4950.1400.2090.5140.575
OpenPose-maxacc [^17]N/A0.2810.5310.2650.3630.3180.3810.4560.6770.4820.4960.1420.2110.5260.590
SN [^39]N/A0.2330.6060.1280.2110.3540.3620.4810.6800.3440.4190.0300.0710.5630.624
HRNet [^28]256×1920.3870.7820.3460.3930.4320.5220.5810.7490.4290.5580.1040.2040.6050.713
Simple [^31]256×1920.4090.7820.3910.4170.4350.5060.7060.7820.4440.5360.1410.2330.6480.691
ZoomNet384×2880.4270.8030.4120.4460.4330.5130.7020.7780.5050.5690.1360.2100.6480.699
FastPose50-hm256×1920.4170.7840.4060.4260.4390.5160.7300.8030.4320.5360.1630.2580.6580.701
FastPose50-si256×1920.4410.7720.4440.4700.4460.5320.7060.7810.4910.5800.2070.2940.6500.699
FastPose152-si256×1920.4510.7850.4570.4750.4600.5370.7240.7910.5080.5900.1990.2940.6510.699
FastPose50-dcn-si256×1920.4620.7950.4770.4910.4640.5480.7390.8100.5080.5890.2140.3010.6720.717
FastPose50-dcn-si $^{{*}}$256×1920.4840.8260.5050.4970.5080.5650.7330.8100.5370.5960.2260.3300.6780.721
为了进行公平的比较，结果是使用单尺度测试获得的。“OpenPose-default”和“OpenPose-maxacc”分别表示其默认和最大精度配置。“hm”表示网络使用基于heatmap的定位，“si”表示网络使用我们的对称积分回归。“*”表示使用多领域知识蒸馏和PGPG训练的模型。FastPose50表示我们的FastPose网络，其backbone是ResNet50，FastPose152也是如此。“dcn”表示在ResNet backbone中采用了可变形卷积层 [^78]。 通过我们的新颖的对称积分损失函数，我们的FastPose模型在以前的最先进方法中表现最佳，尤其是在面部和手部方面。值得注意的是，我们的FastPose在较小的输入尺寸下实现了最高的精度。模型的复杂度也远低于以前的方法。这证明了我们网络结构的优越性和新颖的损失函数。 一些全身姿态估计的定性结果如图8所示。 ### 6.5 传统身体姿态估计的评估 ### 6.5 针对传统全身姿态估计的评估 我们还在传统的仅基于身体姿态估计任务上进行了实验，以证明我们方法的有效性，尽管这不是我们的主要重点。我们在 COCO 数据集上训练我们的模型，并在 COCO 测试-开发集上进行评估。结果见表 4。对于基于热图的方法，我们可以看到，我们的 FastPose 主干网络可以达到与最先进方法的相当的性能，同时具有较小的输入尺寸和较弱的人体检测器。这证明了我们 FastPose 网络的优越性。请注意，由于我们的目标是提供一个类似于 SimplePose [^31] 的新基线模型，因此我们进行这些实验是为了证明我们模型的准确性和效率。进一步追求在速度和资源之间进行权衡以获得更高的准确性，不属于本文的目标，我们将其留待未来的研究。 对于基于回归的方法，我们的方法以最低的 GFLOPS 实现了最先进的性能。
TABLE 3
Whole-Body Pose Estimation Results on COCO-WholeBody Dataset
TypeMethodInput SizeGFLOPswhole-bodybodyfootfacehand
APARAPARAPARAPARAPAR
Bottom-UpOpenPose [^17]N/AN/A0.3380.4490.5630.6120.5320.6450.4820.6260.1980.342
SN [^39]N/AN/A0.1610.2090.2800.3360.1210.2770.3820.4400.1380.336
PAF [^25]N/AN/A0.1410.1850.2660.3280.1000.2570.3090.3620.1330.321
PAF-body [^25]N/AN/A--0.4090.470------
AE [^26]N/AN/A0.2740.3500.4050.4640.0770.1600.4770.5800.3410.435
AE-body [^26]N/AN/A--0.5820.634------
HRNet [^28]384\times28816.00.4320.5200.6590.7090.3140.4240.5230.5820.3000.363
HRNet-body [^28]384\times28816.0--0.7580.809------
Top-DownZoomNet384\times28820.00.5410.6580.7430.8020.7980.8690.6230.7010.4010.498
FastPose50-si256\times1925.90.5540.6250.6730.7170.6360.7180.7570.8180.4250.515
FastPose152-si256\times19213.20.5690.6410.6840.7300.6720.7500.7650.8240.4430.532
FastPose50-dcn-si256\times1926.10.5770.6500.6930.7400.6900.7650.7590.8200.4530.538
为了进行公平的比较，结果是使用单尺度测试获得的。我们仅报告姿态模型在基于自上而下的方法的输入大小和 GFLOPS，并忽略检测模型。“hm”表示网络使用基于热图的定位，“si”表示网络使用我们的对称积分回归。FastPose50 表示我们的 FastPose 网络，其主干网络是 ResNet50，FastPose152 也是如此。“dcn”表示在 ResNet 主干网络中采用了可变形卷积层 [^78]。 授权许可仅限：上海科技大学。于 2026 年 8 月 16 日 10:27:07 UTC 从 IEEE Xplore 下载。适用限制。 --- ![Image](images/c1920e5463a2d9b6595f5ab64ba74abb12c6dbdf5e51f1333084c312f3466a11.jpg) ![Image](images/f33919083238b37f2a1126e1eaa433ef0383fe3a1cb0783f7e21a0476958ad24.jpg) ![Image](images/222fe34749f2579484b0534ab148036b966f5551a4111568aac1a0044564c9ec.jpg) ![Image](images/87df99bdeaed723cc021f39cb8cc38728d14138ebfa677975a97f65ab93a3a71.jpg) ![Image](images/c04e5351a7f907b9da501d1513b0d756e8ce0f87b5fb53f3f5ca33ae4daa7117.jpg) ![Image](images/d35c2b5e1d90637dc9f6ab0d4f6d024477a34e4ae9bab6557c8d8774daef9aed.jpg) ![Image](images/b5e7f039a1f54b37531f06a09b1104624f629d67fe1b4188ba6e4f876f18b8ef.jpg) ![Image](images/a0f8bb14d05af710422ce432f705767ed70d80e45f3d19a06c5804b0fa2e6b64.jpg) ![Image](images/b68bfb9ffc1e9426704b66dcc6de939b964636054ec214de1d4f114d4760df33.jpg) ![Image](images/c2e8e14e7ba4eada676acee462d551ece677624744f3fa7a85f452156cf219fc.jpg) ![Image](images/00a81b5798b17fe638fc105b984406c03201e46a1a782618764136a69bfeb64a.jpg)
Fig. 8. Qualitative results of AlphaPose on the full-body pose estimation task. Zoom in for more details and best viewed in color.
TABLE 4
Body Pose Estimation Results on COCO Test-Dev Set
MethodsBackboneDetectorInput SizeGFLOPsAPAP $^{{50}}$AP $^{{75}}$AP $^{{M}}$AP $^{{L}}$AR
DetectionG-MRI [^65]ResNet-101Faster-RCNN353 \times 25757.00.6490.8550.7130.6230.7000.697
RMPE [^20]PyraNetFaster-RCNN320 \times 25626.70.7230.8920.7910.6800.786-
CPN [^25]ResNet-InceptionFPN384 \times 288-0.7210.9140.8000.6870.7720.785
PAF-body [^25]----0.6180.8490.6750.5710.6820.665
AE [^26]----0.6550.8680.7230.6060.7260.702
SimplePose [^31]ResNet-50Faster-RCNN256 \times 1928.90.7020.9090.7830.6710.7590.758
HRNet [^28]HRNet-32Faster-RCNN384 \times 28816.00.7490.9250.8280.7130.8090.801
HRNet [^28]HRNet-48Faster-RCNN384 \times 28832.90.7550.9250.8330.7190.8150.805
FastPose-hmResNet-50YOLO-v3256 \times 1925.90.7180.9190.8030.7280.7420.773
FastPose-dcn-hmResNet-50YOLO-v3256 \times 1926.10.7260.9220.8120.7370.7490.781
FastPose-dcn-hmResNet-101YOLO-v3256 \times 1929.80.7270.9220.8130.7360.7510.781
RegressionIntegral [^45]ResNet-101Faster-RCNN256 \times 25617.80.6780.8820.7480.6390.740-
CenterNet [^35]Hourglass-2 stacked---0.6300.8680.6960.5890.704-
SPM [^36]Hourglass-8 stacked---0.6690.8850.7290.6260.731-
Point-set Anchor [^38]HRNet-W48---0.6870.8990.7630.6480.753-
FastPose-siResNet-50YOLO-v3256 \times 2567.90.6490.8650.7280.6690.6630.716
FastPose-siResNet-101YOLO-v3256 \times 25612.80.6790.8760.7510.6750.7140.723
FastPose-dcn-siResNet-101YOLO-v3256 \times 25613.10.6900.9010.7730.7290.6900.775
为了进行公平的比较，结果是使用单尺度测试获得的。“hm”表示网络使用基于热图的定位，“si”表示网络使用我们的对称积分回归。 授权许可仅限：上海科技大学。于 2026 年 8 月 16 日 10:27:07 UTC 从 IEEE Xplore 下载。适用限制。 ---
TABLE 5
Ablation Studies on Halpe Fullbody Dataset and COCO Dataset
ModuleHalpe Fullbody (mAP)COCO (mAP)
two-step hm-norm44.169.5
one-step hm-norm38.167.1
w. SIKR44.169.5
w.o SIKR42.364.6
w. P-NMS44.169.5
w.o P-NMS43.768.2
w. PGPG48.4 $^{*}$N/A
w.o PPGG47.1 $^{*}$N/A
“hm-norm”表示热图归一化。“*”表示使用来自多领域知识蒸馏的额外数据进行训练的结果。 与 [^45] 相比，我们的网络为未来的研究提供了一个新的基线。 ### 6.6 姿态估计的消融研究 为了评估我们提出的姿态估计模块的有效性，我们还在 COCO 和 Halpe-Fullbody 数据集上进行了消融实验。我们以 FastPose50 为基本网络，并在 COCO 验证集和 Halpe-Fullbody 测试集上报告结果。结果见表 5。 热图归一化。我们在第 3.1 节中阐明了我们在多个人姿态场景中应用积分方法时，我们采用的两步热图归一化的本质。在这里我们进行一项消融实验，以显示不同热图归一化方法的性能差距。我们可以看到，当比较传统的单步热图归一化（soft-max）与我们的两步热图归一化时，在 Halpe-fullbody 和 COCO 数据集上的多个人姿态估计性能分别下降了 6 mAP 和 2.4 mAP。这表明，两步归一化可以减轻与尺寸相关的效应并提高性能。 SIKR 模块。我们将我们的对称积分函数与原始积分回归 [^45] 进行比较。对于全身姿态估计场景和传统的身体姿态估计，我们可以看到，我们的对称积分函数大大优于原始积分回归。 Pose NMS 模块。如果没有 Pose-NMS，对于每个人，都会预测多个人体姿势。这些冗余的姿势会降低模型的性能。从表 5 我们可以看到，对于 Halpe Fullbody 和 COCO 数据集，我们的模型分别降低了 0.4 mAP 和 1.3 mAP。 PGPG 模块。在训练过程中，需要进行适当的数据增强，以确保测试阶段的泛化能力。对于 Halpe Fullbody 数据集，我们比较了使用和不使用 PGPG 模块训练的 FastPose50-dcn 的结果。表 5 显示，如果没有我们提出的基于部分引导的提案生成方法，由于训练中的领域差异，性能会下降。 ### 6.7 姿势跟踪的评估 为了验证我们的系统是否适用于多人姿势跟踪任务，我们将它应用于 posetrack 验证数据集。表 6 显示了与其他最先进方法的比较。我们采用的骨干网络是 FastPose152，
TABLE 6
Evaluation Result on Posetrack Validation Dataset
DataMethodmAPMOTAfpsResSro
2017Det&Track[^49]60.655.21.2-✓
PoseFlow[^47]66.558.3$10^{{*}}$-✓
JointFlow[^87]69.359.80.2N/A✗
Fast[^57]70.363.212.2N/A✗
TML++[^88]71.561.3--✗
STAF[^55]72.662.73.0N/A✓
FlowTrack[^31]76.765.43.0$384 \times 288$✓
PGPT[^52]77.268.41.2$384 \times 288$✓
Yang et.al.[^53]81.173.4-$384 \times 288$✗
Ours-UNI76.165.511.3$256 \times 192$✓
Ours-SEP76.965.78.9$256 \times 192$✓
2018MDPN[^51]71.750.6-$384 \times 288$✗
STAF[^55]70.460.93.0N/A✓
OpenSVAI[^89]69.762.4--✗
LightTrack[^48]71.264.60.7$384 \times 288$✓
KeyTrack[^54]74.366.61.0$384 \times 288$✗
PGPT[^52]76.867.11.2$384 \times 288$✓
Yang et.al.[^53]77.969.2-$384 \times 288$✗
Ours-UNI74.064.410.9$256 \times 192$✓
Ours-SEP74.764.78.7$256 \times 192$✓
“Res” 表示姿势网络的输入分辨率，而 “Src” 表示是否提供源代码。“Ours-UNI” 表示使用共享的姿势和重识别分支的骨干网络进行训练的结果，而“Ours-SEP” 表示使用分离的骨干网络进行训练的结果。“*” 在 fps 中的含义是不包括检测时间。mAP 值是在跟踪后处理之后获得的。 其他方法 $^{[49]}$, $^{[50]}$ 在 posetrack 数据集上取得了良好的结果，但它们主要考虑视频的整体时间信息，这意味着它们不是严格的在线算法。因此，我们的方法没有直接与它们进行比较。$^{[52]}$, $^{[53]}$, $^{[54]}$ 的准确率高于我们的结果。但它们使用非常高的分辨率作为输入，
TABLE 7
The Ablation Study Results of Proposed Pose Tracking Method
expSettingheadshouelbhipkneeTotal
PGAmAP
w/77.775.475.369.068.174.7
w/o78.075.675.569.368.674.9
MOTA
w/74.072.664.666.858.964.7
w/o73.471.864.266.158.463.5
MSIMmAP
No-GT77.775.475.369.068.174.7
GT-Box81.381.081.580.881.581.3
GT-Pose100.0100.0100.0100.0100.0100.0
MOTA
No-GT74.072.664.666.858.964.7
GT-Box75.875.575.875.476.775.9
GT-Pose93.893.693.793.894.493.9
--- ![Image](images/a33a4de40b3fbcb2ed0005bfa3d2aacc45e09976fee9b3f68cf8df44facdd353.jpg)
Fig. 9. Qualitative results of AlphaPose on the full-body pose tracking task. Zoom in for more details and best viewed in color. The colors of persons denote their tracking ID. The image order is denoted by the time arrow. See text for more analysis.
输出，这会消耗大量的内存并且计算成本很高。我们的方法在实现令人满意的准确率的同时，运行效率很高。 ## 6.8 姿势跟踪的消融研究 为了验证跟踪算法的每个部分的效果，我们设计了几个消融实验。 ![Image](images/86381a13f86be60d743918a722973578f9232083d7d0d864fecf02f750c2aac0.jpg)
Fig. 10. Visualization of the role of PGA module. When there is no PGA module, some background area will also have a high response. The results of adding PGA module show that the feature response is more concentrated on the target person. Notably, from figure (b) we can see that when two people are close, the feature response focus on the target person with the aid of PGA (zoom in for more details).
PGA 模块。PGA 模块的功能是借助关键点信息，提取更有效的重识别特征。为了进行比较，我们在我们的框架中移除了 PGA 模块，这意味着人体姿势和重识别特征直接输入到 MSIM 中。在 PoseTrack 数据集上的测试表明，移除 PGA 模块后，跟踪性能会下降，这在表 7 中有所体现。同时，我们可视化了解除 PGA 模块前后提取的重识别特征，如图 10 所示。由于检测结果通常比人体原始大小的框更大，因此框中的背景比例很大。然而，背景信息会导致人体身份嵌入携带无用特征。这直观地解释了 PGA 的优势在于它可以更好地关注目标人物的区域。 MSIM。为了进一步验证我们模型的性能，我们在网络中添加了不同级别的信息。具体来说，我们设置了几组实验，分别使用 GT 框、GT 姿势。这些结果在表 7 中有所体现。结果表明，如果我们将人体检测器和姿势估计器替换为更准确的网络，我们的跟踪性能会进一步提高。 ## 7 全身姿态跟踪 在上述部分，我们展示了我们的方法在全身姿态估计和姿态跟踪方面的有效性。由于我们的跟踪算法是通用的，因此它也适用于全身场景。我们采用一种弱监督策略，在 PoseTrack 数据集和 Halpe-FullBody 数据集上进行训练。 图 9 显示了全身姿态跟踪的一些定性结果。我们可以看到，全身姿态估计和姿态跟踪在拥挤的场景中都具有很高的准确性。而且，我们的方法对人体大小的变化不敏感。具体来说，当一个人被其他人遮挡后重新出现时，我们的方法仍然可以正确地识别其身份（例如，图中右侧穿着黑色短裤的人）。 ## 8 库分析 在本节中，我们将我们的 AlphaPose 库与其他流行的开源库进行比较，内容涉及 2026 年 8 月 16 日 10:27:07 UTC 的 IEEE Xplore 上的姿态估计。 适用限制。 --- ![Image](images/86e457922c720cd53fe014ced7b8362428e89c38cd47ec12dde74882fc3e2987.jpg)
(a)
![Image](images/03ae3aa1d927d6a6148f167cd32e1bf8bb42e48e2b563b1cb8bce0162bba523d.jpg)
(b)
Fig. 11. Speed/Accuracy comparison of different pose estimation and tracking libraries. (a) Pose estimation results obtained on COCO-Whole-Body validation set and COCO validation set. (b) Pose tracking results obtained on PoseTrack18-val set.
我们在单个 Nvidia 20080Ti GPU 上获得了结果。图 11 显示了不同库的速度-准确性曲线。从图 11a 可以看到，我们的方法在全身和仅身体姿态估计方面具有最高的准确性，并且效率也最高。虽然我们基于自顶向下的方法的一个缺点是，随着场景中人物数量的增加，运行时间会增加，但我们的并行处理流水线在很大程度上弥补了这种缺陷。根据 OpenPose 的统计数据 [^17]，当场景中人物少于 20 个人时，我们的库比它更有效。从图 11b 可以看到，我们的姿态跟踪在实现最先进的性能的同时，具有很高的效率。 ## 9 结论 在本文中，我们提出了一种统一的实时框架，用于多个人全身姿态估计和跟踪。 我们的研究表明，这是第一个用于此目的的框架。 我们提出了几种新颖的技术来实现这一目标，并在效率和性能方面都表现出卓越的性能。 我们注释了一个新数据集，其中包含全身关键点（每个人 136 个关键点），以促进该领域的研究。 我们还提供了一个高度优化的标准库，旨在易于使用，并希望它能为我们的社区带来益处。 在未来的研究中，我们还将包含 3D 关键点和网格到我们的库中。 ## 致谢 Hao-Shu Fang 感谢 Baidu、MSRA 和 ByteDance 提供的支持。 Hao-Shu Fang 和 Jiefeng Li 对本文的贡献是平等的。 Chao Xu 和 Haoyi Zhu 的贡献也是平等的。 我们感谢 Chenxi Wang 帮助开发 MXNet 版本，以及 Yang Han 开发 Jittor。 ## 参考文献 [^1]: K. Wang, R. Zhao, and Q. Ji, "Human computer interaction with head pose, eye gaze and body gestures," in Proc. IEEE 13th Int. Conf. Autom. Face Gesture Recognit., 2018, pp. 789–789. [^2]: T. B. Moeslund, A. Hilton, and V. Krüger, “A survey of advances in vision-based human motion capture and analysis,” Comput. Vis. Image Understanding, vol. 104, no. 2/3, pp. 90–126, 2006. [^3]: B. Pang, K. Zha, and C. Lu, “Human action adverb recognition: ADHA dataset and a three-stream hybrid model,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. Workshops, 2018, pp. 2388–238809. [^4]: B. Sapp, A. Toshev, and B. Taskar, "Cascaded models for articulated pose estimation," in Proc. Eur. Conf. Comput. Vis., 2010, pp. 406–420. [^5]: M. Sun, P. Kohli, and J. Shotton, "Conditional regression forests for human pose estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2012, pp. 3394–3401. [^6]: L. Ladicky, P. H. Torr, and A. Zisserman, "Human pose estimation using a joint pixel-wise and part-wise formulation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2013, pp. 3578–3585. [^7]: A. Newell, K. Yang, and J. Deng, "Stacked hourglass networks for human pose estimation," 2016, arXiv:1603.06937. [^8]: S.-E. Wei, V. Ramakrishna, T. Kanade, and Y. Sheikh, “Convolutional pose machines,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2016, pp. 4724–4732. [^9]: L. Pishchulin, A. Jain, M. Andriluka, T. Thormählen, and B. Schiele, "Articulated people detection and pose estimation: Reshaping the future," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2012, pp. 3178–3185. [^10]: G. Gkioxari, B. Hariharan, R. Girshick, and J. Malik, "Using k-poselets for detecting people and localizing their keypoints," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2014, pp. 3582–3589. [^11]: X. Chen and A. L. Yuille, "Parsing occluded people by flexible compositions," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2015, pp. 3945–3954. [^12]: L. Pishchulin et al., "DeepCut: Joint subset partition and labeling for multi person pose estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2016, pp. 4929–4937. [^13]: E. Insafutdinov, L. Pishchulin, B. Andres, M. Andriluka, and B. Schiele, "DeeperCut: A deeper, stronger, and faster multi-person pose estimation model," in Proc. Eur. Conf. Comput. Vis., 2016, pp. 34–50. [^14]: 2016. [Online]. Available: [^15]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele, “2D human pose estimation: New benchmark and state of the art analysis,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2014, pp. 3686–3693. [^16]: J. J. Tompson, A. Jain, Y. LeCun, and C. Bregler, "Joint training of a convolutional network and a graphical model for human pose estimation," in Proc. Conf. Neural Inf. Process. Syst., 2014, pp. 1799–1807. [^17]: Z. Cao, G. Hidalgo, T. Simon, S.-E. Wei, and Y. Sheikh, "OpenPose: Realtime multi-person 2D pose estimation using part affinity fields," 2018, arXiv:1812.08008. [^18]: S. Jin et al., “Whole-body human pose estimation in the wild,” in Proc. Eur. Conf. Comput. Vis., 2020, pp. 196–214. [^19]: J. Li, C. Wang, H. Zhu, Y. Mao, H.-S. Fang, and C. Lu, "CrowdPose: Efficient crowded scenes pose estimation and a new benchmark," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognition., 2019, pp. 10863–10872. [^20]: H.-S. Fang, S. Xie, Y.-W. Tai, and C. Lu, "RMPE: Regional multi-person pose estimation," in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp. 2334–2343. [^21]: J. G. Umar Iqbal, "Multi-person pose estimation with local joint-to-person associations," in Proc. Eur. Conf. Comput. Vis. Workshops, 2016, pp. 627–642. ## [^22]: S. Kreiss, L. Bertoni, and A. Alahi, "PifPaf: Composite fields for human pose estimation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2019, pp. 11 977–11 986. --- [^23]: K. Sven, B. Lorenzo, and A. Alexandre, "OpenPifPaf: Composite fields for semantic keypoint detection and spatio-temporal association," IEEE Trans. Intell. Transp. Syst., vol. 23, no. 8, pp. 13498–13511, Aug. 2022. [^24]: K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proc. IEEE Conf. Comput. Vis. Pattern Recognition., 2016, pp. 770–778. [^25]: Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh, "Realtime multi-person 2D pose estimation using part affinity fields," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2017, pp. 1302–1310. [^26]: A. Newell, Z. Huang, and J. Deng, “Associative embedding: End-to-end learning for joint detection and grouping,” in Proc. Int. Conf. Neural Inf. Process. Syst., 2017, pp. 2274–2284. [^27]: B. Cheng, X. Bin, W. Jingdong, S. Honghui, S. H. Thomas, and Z. Lei, "HigherHRNet: Scale-aware representation learning for bottom-up human pose estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2020, pp. 5386–5395. [^28]: K. Sun, B. Xiao, D. Liu, and J. Wang, "Deep high-resolution representation learning for human pose estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2019, pp. 5693–5703. [^29]: K. He, G. Gkioxari, P. Dollár, and R. Girshick, "Mask R-CNN," in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp. 2980–2988. [^30]: Y. Chen, Z. Wang, Y. Peng, Z. Zhang, G. Yu, and J. Sun, "Cascaded pyramid network for multi-person pose estimation," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 7103–7112. [^31]: B. Xiao, H. Wu, and Y. Wei, "Simple baselines for human pose estimation and tracking," in Proc. Eur. Conf. Comput. Vis., 2018, pp. 466–481. [^32]: S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," in Proc. Int. Conf. Neural Inf. Process. Syst., 2015, pp. 91–99. [^33]: A. Benzine, F. Chabot, B. Luvison, Q. C. Pham, and C. Achard, "PandaNet: Anchor-based single-shot multi-person 3D pose estimation," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 6856–6865. [^34]: G. Bertasius, C. Feichtenhofer, D. Tran, J. Shi, and L. Torresani, “Learning temporal pose estimation from sparsely-labeled videos,” in Proc. Int. Conf. Neural Inf. Process. Syst., 2019, pp. 3021–3032. [^35]: Z. Xingyi, W. Dequan, and K. Philipp, "Objects as points," 2019, arXiv:1904.07850. [^36]: X. Nie, J. Feng, J. Zhang, and S. Yan, "Single-stage multi-person pose machines," in Proc. IEEE Int. Conf. Comput. Vis., 2019, pp. 6951–6960. [^37]: Z. Tian, H. Chen, and C. Shen, "DirectPose: Direct end-to-end multi-person pose estimation," 2019, arXiv:1911.07451. [^38]: F. Wei, X. Sun, H. Li, J. Wang, and S. Lin, "Point-set anchors for object detection, instance segmentation and pose estimation," in Proc. Eur. Conf. Comput. Vis., 2020, pp. 527–544. [^39]: G. Hidalgo et al., “Single-network whole-body pose estimation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2019, pp. 6982–6991. [^40]: Y.-W. Chao, Y. Liu, X. Liu, H. Zeng, and J. Deng, "Learning to detect human-object interactions," in Proc. IEEE Winter Conf. Appl. Comput. Vis., 2018, pp. 381–389. [^41]: C. Finn, X. Y. Tan, Y. Duan, T. Darrell, S. Levine, and P. Abbeel, "Learning visual feature spaces for robotic manipulation with deep spatial autoencoders," 2015, arXiv:1509.06113. [^42]: K. M. Yi, E. Trulls, V. Lepetit, and P. Fua, "LIFT: Learned invariant feature transform," in Proc. Eur. Conf. Comput. Vis., 2016, pp. 467–483. [^43]: D. C. Luvizon, D. Picard, and H. Tabia, "2D/3D pose estimation and action recognition using multitask deep learning," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 5137–5146. [^44]: A. Nibali, Z. He, S. Morgan, and L. Prendergast, "3D human pose estimation with 2D marginal heatmaps," in Proc. IEEE Winter Conf. Appl. Comput. Vis., 2019, pp. 1477–1485. [^45]: X. Sun, B. Xiao, F. Wei, S. Liang, and Y. Wei, “Integral human pose regression,” in Proc. Eur. Conf. Comput. Vis., 2018, pp. 536–553. [^46]: D. C. Luvizon, H. Tabia, and D. Picard, “Human pose regression by combining indirect part detection and contextual information,” Comput. Graph., vol. 85, pp. 15–22, 2019. [^47]: Y. Xiu, J. Li, H. Wang, Y. Fang, and C. Lu, “Pose flow: Efficient online pose tracking,” 2018, arXiv:1802.00977. [^48]: G. Ning and H. Huang, "LightTrack: A generic framework for online top-down human pose tracking," 2019, arXiv:1905.02822. [^49]: R. Girdhar, G. Gkioxari, L. Torresani, M. Paluri, and D. Tran, "Detect-and-track: Efficient pose estimation in videos," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 350–359. [^50]: M. Wang, J. Tighe, and D. Modolo, "Combining detection and tracking for human pose estimation in videos," 2020, arXiv:2003.13743. [^51]: H. Guo, T. Tang, G. Luo, R. Chen, Y. Lu, and L. Wen, "Multi-domain pose network for multi-person pose estimation and tracking," in Proc. Eur. Conf. Comput. Vis. Workshops, 2018, pp. 209–216. [^52]: Q. Bao, W. Liu, Y. Cheng, B. Zhou, and T. Mei, “Pose-guided tracking-by-detection: Robust multi-person pose tracking,” IEEE Trans. Multimedia, vol. 23, pp. 161–175, Mar. 2020. [^53]: Y. Yang, Z. Ren, H. Li, C. Zhou, X. Wang, and G. Hua, "Learning dynamics via graph neural networks for human pose estimation and tracking," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recog-nit., 2021, pp. 8074–8084. [^54]: M. Snower, A. Kadav, F. Lai, and H. P. Graf, "15 keypoints is all you need," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 6738–6748. [^55]: Y. Raaj, H. Idrees, G. Hidalgo, and Y. Sheikh, “Efficient online multi-person 2D pose tracking with recurrent spatio-temporal affinity fields,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2019, pp. 4620–4628. [^56]: S. Jin, W. Liu, W. Ouyang, and C. Qian, "Multi-person articulated tracking with spatial and temporal embeddings," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2019, pp. 5664–5673. [^57]: J. Zhang et al., “FastPose: Towards real-time pose estimation and tracking via scale-normalized multi-task networks,” 2019, arXiv:1908.05593. [^58]: B. Gao and L. Pavel, “On the properties of the softmax function with application in game theory and reinforcement learning,” 2017, arXiv:1704.00805. [^59]: H. Gouk, E. Frank, B. Pfahringer, and M. J. Cree, “Regularisation of neural networks by enforcing Lipschitz continuity,” Mach. Learn., vol. 110, no. 2, pp. 393–416, 2021. [^60]: J. Li et al., “Human pose regression with residual log-likelihood estimation,” in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2021, pp. 11005–11014. [^61]: C. Sagonas, E. Antonakos, G. Tzimiropoulos, S. Zafeiriou, and M. Pantic, “300 faces in-the-wild challenge: Database and results,” Image Vis. Comput., vol. 47, pp. 3–18, 2016. [^62]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. Argus, and T. Brox, "FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images," in Proc. IEEE/CVF Int. Conf. Comput. Vis., 2019, pp. 813–822. [^63]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee, "InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image," 2020, arXiv:2008.09309. [^64]: J. Redmon and A. Farhadi, "YOLOv3: An incremental improvement," 2018, arXiv:1804.02767. [^65]: G. Papandreou et al., "Towards accurate multi-person pose estimation in the wild," in Proc. IEEE Conf. Comput. Vis. Pattern Recognition., 2017, pp. 4903–4911. [^66]: X. Burgos-Artizzu, D. Hall, P. Perona, and P. Dollar, “Merging pose estimates across space and time,” in Proc. Brit. Mach. Vis. Conf., 2013, pp. 58.1–58.11. [^67]: Z. Wang, L. Zheng, Y. Liu, Y. Li, and S. Wang, "Towards real-time multi-object tracking," 2019, arXiv:1909.12605. [^68]: M. Andriluka et al., “PoseTrack: A benchmark for human pose estimation and tracking,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 5167–5176. [^69]: A. Kendall, Y. Gal, and R. Cipolla, "Multi-task learning using uncertainty to weigh losses for scene geometry and semantics," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 7482–7491. [^70]: Y. Wang, C. Peng, and Y. Liu, "Mask-pose cascaded CNN for 2D hand pose estimation from single color image," IEEE Trans. Circuits Syst. Video Technol., vol. 29, no. 11, pp. 3258–3268, Nov. 2019. [^71]: F. Gomez-Donoso, S. Orts-Escolano, and M. Cazorla, "Large-scale multiview 3D hand pose dataset," Image Vis. Comput., vol. 81, pp. 25–33, 2019. [^72]: W. Wu, C. Qian, S. Yang, Q. Wang, Y. Cai, and Q. Zhou, "Look at boundary: A boundary-aware face alignment algorithm," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2018, pp. 2129–2138. ## [^73]: M. Koestinger, P. Wohlhart, P. M. Roth, and H. Bischof, "Annotated facial landmarks in the wild: A large-scale, real-world database for facial landmark localization," in Proc. IEEE Int. Conf. Comput. Vis. Workshops, 2011, pp. 2144–2151. --- [^74]: X. P. Burgos-Artizzu, P. Perona, and P. Dollár, “Robust face landmark estimation under occlusion,” in Proc. IEEE Int. Conf. Comput. Vis., 2013, pp. 1513–1520. [^75]: M. Tan, R. Pang, and Q. V. Le, "EfficientDet: Scalable and efficient object detection," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognition., 2020, pp. 10781–10790. [^76]: P. Wang et al., “Understanding convolution for semantic segmentation,” in Proc. IEEE Winter Conf. Appl. Comput. Vis., 2018, pp. 1451–1460. [^77]: W. Shi et al., “Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2016, pp. 1874–1883. [^78]: J. Dai et al., “Deformable convolutional networks,” in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp. 764–773. [^79]: A. Paszke et al., “PyTorch: An imperative style, high-performance deep learning library,” in Proc. Int. Conf. Neural Inf. Process. Syst., 2019, pp. 8026–8037. [^80]: T. Chen et al., “MXNet: A flexible and efficient machine learning library for heterogeneous distributed systems,” 2015, arXiv:1512.01274. [^81]: Z. Ge, S. Liu, F. Wang, Z. Li, and J. Sun, “YOLOX: Exceeding YOLO series in 2021,” 2021, arXiv:2107.08430. [^82]: B. Pang, Y. Li, Y. Zhang, M. Li, and C. Lu, "TubeTK: Adopting tubes to track multi-object in a one-step training model," in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 6308–6318. [^83]: N. Bodla, B. Singh, R. Chellappa, and L. S. Davis, “Soft-NMS—Improving object detection with one line of code,” in Proc. IEEE Int. Conf. Comput. Vis., 2017, pp. 5562–5570. [^84]: X. Zhu, Z. Lei, X. Liu, H. Shi, and S. Z. Li, "Face alignment across large poses: A 3D solution," in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2016, pp. 146–155. [^85]: A. Milan, L. Leal-Taixé, I. Reid, S. Roth, and K. Schindler, "MOT16: A benchmark for multi-object tracking," 2016, arXiv:1603.00831. [^86]: D. P. Kingma and J. Ba, "Adam: A method for stochastic optimization," 2014, arXiv:1412.6980. [^87]: A. Doering, U. Iqbal, and J. Gall, "Joint flow: Temporal flow fields for multi person tracking," 2018, arXiv:1805.04596. [^88]: J. Hwang, J. Lee, S. Park, and N. Kwak, “Pose estimator and tracker using temporal flow maps for limbs,” in Proc. Int. Joint Conf. Neural Netw., 2019, pp. 1–8. [^89]: G. Ning, P. Liu, X. Fan, and C. Zhang, "A top-down approach to articulated human pose estimation and tracking," in Proc. Eur. Conf. Comput. Vis., 2018, pp. 227–234. ![Image](images/b3aad764024b68bbc47b4d91b0f905f98915b92648f2a10ffe5b937e44654be5.jpg) Hao-Shu Fang 毕业于上海交通大学计算机科学系，获得学士学位，于 2019 年。 他目前正在上海交通大学计算机科学与工程系和 MVIG 实验室攻读博士学位。 他的研究兴趣包括计算机视觉和机器人智能。 他于 2019 年荣获 CCF-CV 青年学者奖，2019 年获得 Baidu 奖学金、2020 年获得 MSRA 奖学金，以及 2020 年获得 ByteDance 奖学金。 ![Image](images/1c5f6b3dd2a05f611c4dee73f42a89402bda8685d25a689cfa7a4816e0125da7.jpg) Jiefeng Li 获得了上海交通大学的学士和硕士学位，分别于 2018 年和 2020 年。他目前正在上海交通大学的机器视觉与智能研究组攻读博士学位。他的研究兴趣包括计算机视觉、机器学习和机器人技术。 ![Image](images/8ca72044fd6f1db1702c2d1ad60d9ca545850d60c80b93db8c24b8ef46764859.jpg) Hongyang Tang 获得了清华大学自动化系的学士学位，于 2019 年。他目前正在上海交通大学的机器视觉与智能研究组攻读研究生学位。他的研究兴趣包括计算机视觉和机器感知。 ![Image](images/1abb57cb178dfded395256ada8e797c2c8bcd0f7f459b972ebf7d9a534cf45b3.jpg) Chao Xu 获得了上海交通大学（SJTU）网络科学与工程学院的工学学士学位，以及上海交通大学（SJTU）计算机科学与工程系的工学硕士学位，于 2021 年。他目前就职于腾讯 GY-Lab，担任算法工程师。他的主要研究兴趣包括计算机视觉、姿态估计和云计算。 ![Image](images/c7ec7fd1f74e3bda38627f8d3c1551a9ae90675fdbd1e4c68c7f37934e685efa.jpg) Haoyi Zhu 目前正在上海交通大学电子信息与电气工程学院攻读人工智能专业本科。他的研究兴趣包括计算机视觉、姿态估计和机器人技术。 ![Image](images/f58009c59863169c6ae1c5710c9b0b3a53e1aa1160230e97bfa606346abed1a0.jpg) Yuliang Xiu 获得了山东大学的工学学士学位，于 2016 年，以及上海交通大学的工学硕士学位，于 2019 年。他目前正在图灵根大学智能系统研究所的感知系统研究组攻读博士学位。他的研究方向是视觉和图形的交叉领域，特别是 3D 人体数字化。 ![Image](images/60a8ec27f1d2ad312f3b9614a71c0817671712d5d5b56773f786dc693b0c37ae.jpg) Yong-Lu Li 获得了北京化工大学的自动化专业学士学位，于 2012 年，以及中国科学院自动化研究所和哈尔滨科学技术大学的控制工程专业硕士学位，于 2017 年。他目前正在上海交通大学的机器视觉与智能研究组攻读博士学位。他的研究兴趣包括计算机视觉和机器人技术。 ![Image](images/ec9ff829ba72f471487cb0689234b616b8f7445b8ceaa08cb36af47f03175b82.jpg) Cewu Lu (IEEE 会员) 获得了香港中文大学的博士学位，导师是 Jiaya Jia 教授。他目前是上海交通大学（SJTU）的教授。在加入 SJTU 之前，他曾在斯坦福大学担任研究员，师从 Fei-Fei Li 教授和 Leonidas J. Guibas 教授。他还曾在香港科技大学担任研究助理教授，师从 Chi Keung Tang 教授。他于 2019 年被评为 MIT TR35，并曾担任 CVPR'20 和 ICCV'21 的分会主席。他的研究兴趣主要集中在计算机视觉、深度学习和机器人技术。 如需了解有关此或其他任何计算主题的更多信息，请访问我们的数字图书馆：.