应用物理学
# Pixels2Pose：用于三维姿态估计的超分辨率飞行时间成像技术
Alice Ruget $^{1}$、Max Tyler $^{1}$、Germán Mora Martín $^{2}$、Stirling Scholes $^{1}$、Feng Zhu $^{1}$、Istvan Gyongy $^{2}$、Brent Hearn $^{3}$、Steve McLaughlin $^{1}$、Abderrahim Halimi $^{1}$、Jonathan Leach $^{1*}$
单光子敏感型深度传感器在下一代电子产品中被越来越多地用于人体姿态和手势识别。然而，成本较低的传感器通常空间分辨率较低，因此只能用于基本的运动识别和简单物体检测。在此，我们实现了一种时间到空间的映射方式，能够大幅提升普通飞行时间传感器的分辨率——即把初始分辨率为$4 \times 4$像素的图像转换为分辨率为$32 \times 32$像素的深度图像。由此生成的深度图可用于精确估计多人的三维姿态。我们开发了一种全新的可解释性框架，能够揭示网络利用输入数据的方式，并提供关于关键参数的重要信息。我们的研究大幅拓展了简单的单光子雪崩二极管飞行时间传感器的应用场景，也为未来将超分辨率技术应用于其他类型、具有类似数据特征的传感器（如雷达和声呐）开辟了广阔前景。
版权所有 © 2022
作者享有部分版权；
独家授权方
美国科学促进会。不声称对原美国政府的作品拥有版权。本作品依据知识共享署名许可协议4.0（CC BY）发行。
## 引言
姿态估计是通过分析图像、视频和传感器数据来确定人体部位位置的过程。对人体解剖结构的精准追踪在多个领域都具有重要意义，包括游戏中的活动识别（1）、消费电子领域的手势识别（2）、医疗监测中的行为分析（3, 4），以及专业体育中的形态与功能分析（5）。基于深度图像或深度视频的三维姿态估计已在诸多领域得到应用：老年人跌倒检测（6–8）、医疗诊断（9）、物理治疗辅助（10, 11）、患者睡眠监测（12）、体育教练指导（13）、与机器人交互（14）以及通用动作识别（15–17）。由于姿态估计的应用领域十分广泛，相关技术也多种多样。例如，最精准的姿态估计方法需要借助标记物或在三维空间中追踪的多个传感器；利用高分辨率深度图像或多台联动的强度相机进行三角测量，也能实现精准的三维追踪。
虽然先进的技术能够提供精确的姿态估计，但利用尽可能简单的技术来实现精准跟踪同样具有重要意义。从这一角度出发，当成本、尺寸和重量成为关键考量因素时——比如消费电子市场、自动驾驶车辆以及无人机等空中飞行器——便迎来了新的机遇。在此，我们证明：一种结构简单、体积小且成本低廉的飞行时间（ToF）传感器，即便仅配备$4 \times 4$个像素，也足以实现对多个人体目标的3D跟踪。该传感器的尺寸仅为4.9毫米×2.5毫米×1.6毫米，成本仅需几美元。由于具备体积微小、成本低廉且功耗低的优势，这类传感器正广泛应用于消费电子产品中，并被集成到更大规模的设备中。例如，它们越来越多地被用于无人机、手机、吸尘器、汽车乃至自动皂液分配器等产品中的基础手势识别与物体检测任务。
通过在人体上放置标记物，可以实现非常精确的姿态估计。例如，惯性标记物通过整合加速度计、陀螺仪或磁力计等不同传感器的数据来记录运动信息，从而能够还原出精确的人体姿态(18, 19)，并可与图像数据结合使用(20, 21)。这类技术已被应用于临床领域(22)以及体育运动中的姿势跟踪(23, 24)。基于标记物的姿态估计方法虽然结果最为精确，但使用成本高且耗时久，加之需要佩戴传感器，因此并不适用于一般应用场景。此外，利用多台从不同角度拍摄同一场景的摄像机也能实现精确姿态估计(25–28)。在人体或面部放置反光标记物的方法也常用于电脑游戏或电影中的动画制作与特效呈现(29)。这些方法虽十分可靠，但我们仍希望找到无需多台摄像机或任何标记物就能实现姿态估计的方法。
利用单视角强度图像进行3D姿态估计，是一种相较于标记式跟踪更具吸引力的替代方案，因为这类图像易于获取(5, 30)。然而，由于深度模糊以及物体遮挡问题，这种方式下的3D姿态估计极具挑战性。近期基于神经网络的算法已能利用单张红绿蓝（RGB）图像实现3D姿态估计，不仅能实时重建出多人姿态，且在有遮挡的情况下依然表现稳健，无论是在受控还是非受控环境中均如此(31–40)。Ionescu等人(39)的研究提供了大量关于自然环境下人体3D感知的数据集，而Zhe(41)的研究则汇总了有关从RGB图像中进行姿态估计的各类资源。
除了使用RGB图像外，还可利用深度图像来重建3D姿态(42–44)。深度图像具有显著优势，因为它们本身就包含3D信息；不过，要获取深度数据则需要更先进的传感器。在快速采集深度数据方面，主要采用两种技术：ToF相机或结构光传感器。ToF相机利用光脉冲来
---
照射目标物体，探测器会记录反射回来的光线。利用单光子事件（45），即便在极低光子通量下也能获取深度图像。单光子雪崩二极管（SPAD）阵列是一种新兴的用于深度估计的飞行时间技术。该技术不仅能以高帧率采集深度图像，还具备单光子灵敏度，因此能在恶劣环境下生成图像。不过，与传统相机拍摄的强度图像相比，该技术的空间分辨率通常较低。结构光传感器会将光图案投射到场景中，再通过三角测量法来计算深度（46）。该技术已被用于从单像素探测器以高帧率重建高分辨率深度图像（47），以及基于静态场景的间接光测量（48）。然而，由于结构光照明对硬件要求较高，目前尚无法将其集成到大规模上市的消费类设备中。许多此类方法都借鉴了量子成像技术；关于这些计算成像技术的全面综述可参见文献（49）。
Turpin等人（50）提出了一种解决单像素深度成像中结构光照明需求的颇具吸引力的方案：他们证明，来自空间中某一点的丰富时序数据所包含的信息，可通过神经网络的重构转化为深度图像。这项研究提供了一个重要的概念验证：良好的空间分辨率并非只能从探测器的空间结构中获取，也可从时序数据中得到。从单个像素估算深度看似是一个严重不适定的逆问题，但作者指出，使用静态背景就能突破这一限制。
众所周知，只要输入信号足够丰富且任务范围足够受限，计算成像方法就能成为在不同模态间提取和转换信息的强大工具。文献（50）中的研究进一步拓展，展示了利用雷达、声纳和激光雷达数据产生的多路径时序回波来对人进行深度成像（51）；利用雷达频段的数据还能估算墙壁后方人体的姿态（52, 53）。此外，采用多数据源的网络已被用于数据融合，以提升由单光子探测器阵列传感器的时序直方图数据和强度图像生成的深度图像的分辨率（54–57）。
另一方面，为商业用途开发的像素数极少、成本低廉的飞行时间深度探测器，被应用于智能手机和无人机的自动对焦辅助或障碍物检测等场景。虽然这类传感器只有少量像素，但它们记录的数据却包含丰富的时序信息。Callenberg等人（58）近期展示了多种因利用廉价商用SPAD传感器的完整飞行时间直方图数据而得到显著增强的应用。这项研究凸显了此类飞行时间传感器所能实现的日益广泛的应用范围。
我们的研究建立在利用神经网络进行图像增强、处理低成本飞行时间SPAD传感器所获取的完整直方图数据的核心思路之上。我们证明，利用廉价且简单的深度传感器即可高速生成深度图像。我们不仅能重建深度图像，而且这些图像的分辨率足以实现对多个目标的精确三维姿态估计。关键在于，由于该传感器拥有多个像素，我们的系统解决的是一个约束更强的不适定问题，因此预训练好的网络能在多种不同环境中发挥作用。
此外，我们提供了一个可解释的框架，用以揭示网络解读输入数据的原理。利用少数像素产生的完整飞行时间直方图数据是网络取得成功的关键，而该框架则揭示了这些数据是如何被利用的。该框架能够识别出直方图数据集中的核心参数，从而为未来SPAD传感器或其他提供类似数据类型的传感器（如雷达和声纳）的研发提供宝贵信息。我们的研究成果为设备以更高帧率运行指明了道路：只需提取并输出传感器中至关重要的核心信息即可。
我们研究结果的新颖之处在于：我们能够利用专为简单任务设计的传感器来三维追踪多人，并能提取出输入数据中的核心信息。从传感器分辨率（$4 \times 4$像素）来看，人们或许认为这难以实现。然而，我们的方法能够重新整理时域中的丰富信息，从而在不依赖固定背景的情况下提升空间域的分辨率。空间域分辨率的提高足以识别三维空间中多人的姿态。因此，这项工作极大地拓展了简易SPAD传感器的应用场景。
## 研究结果
## 系统概述
Pixels2Pose系统采用小型传感器照射场景，生成尺寸为$4 \times 4 \times 144$（x,y,t）的飞行时间直方图数据。随后，这些数据被送入经过训练的神经网络，用于恢复三维空间中多人的姿态。Pixels2Pose的训练阶段使用了从微软Kinect传感器获取的高分辨率深度图和强度图，以及基于RGB的姿态识别网络OpenPose（59）。尽管传感器的空间分辨率看似较低，但经过监督训练后，我们提出的Pixels2Pose系统能将传感器丰富的飞行时间数据转化为精确的多人三维姿态数据。系统的示意图如图1所示。
我们的Pixels2Pose系统由两个神经网络组成：一个用于根据测得的直方图估算深度；另一个借鉴OpenPose（59）网络的设计思路，利用关节热图和部分亲和场来生成二维姿态。最后一步是将这两类输出叠加，从而渲染出三维姿态。我们实现了每秒7帧的连续实时视频输出。由于底层技术简单，我们的方法可广泛应用于各类系统。
## 传感器
本研究使用的关键传感器是意法半导体公司生产的vL5315 SPAD传感器。该传感器用940纳米的光脉冲照射场景，其SPAD探测器会以光子计数直方图的形式记录光子的到达时间。其对角线视场角为$60^{\circ}$，最大探测距离为3米，帧率为10帧/秒。传感器的尺寸为4.9毫米×2.5毫米×1.6毫米，空间分辨率仅为$4 \times 4$像素，时间分辨率达到144个时间区间，每个区间间隔125皮秒。为了排除背景物体的干扰，数据被裁剪为100个时间区间。我们能够确定每个像素的主要深度，即光子返回量最大的时间区间所对应的深度。这就形成了分辨率为$4 \times 4$的最大返回深度图。v15315传感器的时间域和空间域数据及其对应的最大返回深度图的可视化效果如图1所示。
---
Fig. 1. Schematic of the Pixels2Pose system. A small, cost-effective ToF sensor illuminates a scene and generates histogram data with a spatial resolution of $4 \times 4$ (x, y). These data are passed to the Pixels2Pose network to generate accurate pose reconstruction in 3D.
v15315传感器的时间域和空间域数据及其对应的最大返回深度图的可视化效果如图1所示。
## Pixels2Pose网络
所提出的Pixels2Pose系统以传感器的原始数据作为输入，即每个包含100个时间区间的$4 \times 4$直方图，生成分辨率更高的深度图，随后利用该深度图来渲染三维人体姿态。图2展示了Pixels2Pose的整体架构。它包含三个步骤：首先是由Pixels2Depth构成的神经网络；其次是名为Depth2Pose的神经网络；最后是整合各网络信息的后处理模块。Pixels2Depth利用3D卷积层对来自传感器的直方图进行处理，从而生成分辨率为$32 \times 32$像素的深度图。接着，Depth2Pose利用2D卷积层对该高分辨率深度图进行处理，输出场景中所有人物的关节与肢体的二维位置。这一阶段采用了专门为深度图像而非强度图像设计的OpenPose改进版本（59）。最后，我们将Depth2Pose输出的肢体位置与Pixels2Depth得到的对应深度位置相关联，从而还原出独立的三维人体骨骼模型。关于各个步骤的更多细节可在S2节中查看。
## 监督式训练
用于Pixels2Pose的两个网络——Pixels2Depth和Depth2Pose，需分别单独训练后再进行整合。为训练Pixels2Depth，我们同时记录vl5315传感器生成的直方图以及微软Azure Kinect DK采集的对应深度图像。在训练前，会先通过双三次插值将Kinect采集的高分辨率图像下采样至$32 \times 32$像素。至此，我们就获得了可用于训练的vl5315传感器数据及对应的真实深度标签。
为训练Depth2Pose，我们利用与深度图像同时采集的Kinect RGB图像。通过基于RGB图像的OpenPose模型（59），我们可以从强度图像中提取二维姿态标签（关节与肢体位置的置信度图）。这些二维姿态标签就是用于训练Depth2Pose网络的真实数据。训练过程中，Depth2Pose会学习网络参数，以实现将Pixels2Depth输出的深度图像转换为RGB图像中的二维姿态。经过对这些网络的监督式训练后，Pixels2Pose仅需依赖vls3l5传感器的数据，无需额外的摄像头。
我们所提出的方法以v15315传感器的输入数据为基础，首先生成分辨率更高的深度图。随后将该深度图与改进版OpenPose网络的输出结果相结合。通过这种方式，我们能够充分利用OpenPose网络的优势：它对场景中人物数量没有限制，能够应对人物相互遮挡的情况，还能精准追踪同一场景中的多个人物。在同一场景中追踪多个人物颇具挑战性，因为必须将肢体与正确的人物关联起来，比如某人的手和手臂应归属于同一个人的躯干。这种关联正是由OpenPose精准实现的。我们的方法还有一种替代方案是端到端训练，即直接将传感器数据转换为三维姿态信息。不过这种方式要求网络必须实现肢体与正确人物的关联。
此外，嵌入在Pixels2Depth网络中的3D卷积层能够充分利用数据中存在的空间和时间信息，同时又能保持网络规模的紧凑。基于全连接层的解决方案已被证明可以将时间数据转换为深度图像(50)，但这类网络通常规模更大、参数更多，却只能达到同等的性能水平。未来的研究也可以利用循环神经网络来挖掘连续帧之间存在的时间相关性。
我们分别训练了三个用于重建单人、双人和三人3D模型的网络。单人网络的训练数据包含7000张图像，双人网络为9500张，三人网络同样为9500张。所有训练和验证图像均在受控实验室环境中采集。关于网络结构和训练的更多细节详见S2节。为了确定应使用哪种模型（单人、双人还是三人模型），我们可以额外训练一个网络，从传感器的原始数据中检测场景中人物的数量。
---
Fig. 2. Overview of Pixels2Pose along with the supervision used for training. The bottom part displays the Pixels2Pose system. The ToF data of the sensor are passed through a series of three steps to reconstruct the 3D pose: (A) The network Pixels2Depth returns a high-resolution (HR) depth map from the histogram data; (B) the network Depth2Pose processes the HR depth map to return 2D poses; (C) The HR depth map and the 2D poses are combined to produce 3D poses. The top part displays the system used for the training of the networks Pixels2Depth and Depth2Pose. A Microsoft Azure Kinect DK camera is used to provide the labels corresponding to the sensor data. For Pixels2Depth, the HR depth images of the Kinect are used as labels. For Depth2Pose, the RGB image is processed through OpenPose (59) to get the 2D pose labels.
## 多人三维姿态估计
图3展示了双人版Pixels2Depth网络和Pixels2Pose网络的输出结果，共包含多帧图像。这些结果是用未参与网络训练的测试数据生成的。图4则展示了单人版和三人版Pixels2Pose网络的若干测试帧结果，其中我们还给出了作为对比参考的3D真实姿态。需要注意的是，图3和图4中显示的RGB图像并未输入网络，仅作为读者的参考（RGB图像用于网络训练而非测试）。
3D真实姿态直接源自Kinect的深度图和强度图。我们利用高分辨率RGB图像和OpenPose(59)来计算2D真实姿态数据。2D姿态数据集中的每个点对应关节的x、y坐标，而每个数据点的z坐标则是通过对应的Kinect深度图获取的深度信息来确定。
视频S1至S3分别展示了单人、双人和三人场景下，由Pixels2Depth网络和Pixels2Pose网络生成的数据视频。我们还展示了网络的输入数据——VL53L5传感器数据，以及来自Kinect摄像头的参考数据。
## 性能评估
我们在包含1500张图像的验证数据集上评估所估计3D姿态的准确性。单人、双人和三人场景各使用500帧数据进行测试。表1展示了我们所估计的每个姿态中各个关节在x、y、z轴上的位置误差。该误差定义为均方根误差(RMSE)，以x轴为例可表示为：
$$ \mathrm{RMSE}_{x}=\sqrt{\frac{1}{N}\sum_{i=1}^{N}\left(\hat{x}_{i}-x_{i}\right)^{2}} $$
其中N为验证帧数，$(\widehat{x},\widehat{y},\widehat{z})$为估计位置，$(x,y,z)$为真实位置。我们报告的平均误差AE定义为：
$$ \mathrm{AE}=\frac{1}{N}\sum_{i=1}^{N}\sqrt{\left(\widehat{x}_{i}-x_{i}\right)^{2}+\left(\widehat{y}_{i}-y_{i}\right)^{2}+\left(\widehat{z}_{i}-z_{i}\right)^{2}} $$
我们还报告了正确关键点的百分比（PCK-15、PCK-20和PCK-30），即估计的身体部位与真实值之间的距离分别小于15厘米、20厘米和30厘米的比例。我们发现，对于较大的躯干部位，如颈部、肩部、髋部和膝盖，超过70%的估计位置与实际位置的距离在15厘米以内；而对于四肢上的较小部位，如脚踝、手腕和肘部，65%到90%的估计位置与真实位置的距离在30厘米以内。为了提高身体部位检测的准确性及百分比，我们认为可以利用我们以高帧率采集数据这一事实，以及相邻帧之间的相似性。此时，可以使用递归神经网络，这类网络能够利用时间序列中的时间相关性。
视频S4至S6展示了通过Pixels2Pose重建的姿态，以及与Kinect传感器获取的真实姿态对比。可以看出，人物的整体运动被准确还原。Pixels2Pose最常见的故障案例在补充文本中有展示。当场景中存在多人时，该网络偶尔无法识别手臂运动；多帧间的运动有时也不够合理；我们还观察到，当人物相互遮挡时，会从画面中消失。在补充材料中，我们评估了Pixels2Depth网络的性能，从均方根误差（RMSE）、平均绝对差（MAD）以及delta指标等方面评价深度图像的质量。
Pixels2Depth模型包含368,929个float32类型的参数，约占4.7 MB的内存空间。该模型
---
A RGB reference
B Apparent resolution of the sensor
C Pixels2Depth output
D Pixels2Pose output
Fig. 3. Validation results with two people. (A) The RGB image taken by a Kinect for reference. (B) The $4 \times 4$ depth map corresponding to the maximum return of photon counts of the $4 \times 4 \times 100$ histogram. (C) The output of Pixels2Depth. (D) The reconstruction of Pixels2Pose. These results were generated using testing data that were not used in the training of the network.
Depth2Pose模型包含2,517,768个float32类型的参数，占用30 MB内存。对于单帧图像，Pixels2Depth的处理时间为0.032秒，Depth2Pose为0.032秒，后处理模块则需0.07秒；也就是说，在NVIDIA Tesla RTX 6000图形处理器（GPU）上，Pixels2Pose的总处理速度约为7到8帧/秒。
我们可以利用TensorFlow Lite转换器来降低网络的内存需求。借此可创建适合在资源少于GPU的计算系统上运行的合适尺寸的网络，例如移动设备和物联网设备。TensorFlow Lite会对可训练权重进行训练后量化，将其从浮点数转换为整数。转换后，整个Pixels2Pose系统仅需5 MB内存。我们发现，缩小后的网络性能与原模型非常接近，其表现往往仅比主网络低几个百分点。关于轻量版Pixels2Pose性能的具体细节可在S3节中查看。轻量版模型可直接在Raspberry Pi 4上运行，实现数据的实时采集与处理。在这种情况下，数据采集和处理的帧率可达到1帧/秒。
## 其他环境下的性能
为了证明训练好的Pixels2Pose网络可在不同环境下迁移使用，我们在新房间内使用VL53L5传感器从两个不同角度采集了新数据。训练Pixels2Pose网络时并未使用第二个房间的数据。采集到的数据经过处理后，即可重建3D姿态。结果如图5所示。新环境下姿态重建的视频可在视频S7中查看。
与从vls315采集的训练数据一样，直方图中的区间数量从144个减少到了100个。这样做是为了确保背景中不会出现影响最终结果的伪影。我们在两种不同环境下拍摄的500张图像上评估了估计出的3D姿态的准确性。我们在表S4中报告了x、y、z方向上的位置误差，以及关键点正确的百分比（PCK-15、PCK-20和PCK-30），即估计出的身体部位与真实值之间的距离分别小于15厘米、20厘米和30厘米的比例。数据显示，Pixels2Pose网络能够在它未曾训练过的环境中恢复3D姿态，从而证明了我们系统的多功能性。我们注意到，在这种情况下，身体位置的平均误差有所增大，这很可能是由于环境光线水平的变化所致。
---
Fig. 4. Validation results with one and three people. The depths reconstructions (B and E), 3D reconstructions (C and F), and the corresponding RGB reference images (A and D) are shown for different scenes containing one or three people. These results were generated using testing data that were not used in the training of the network.
v153l5传感器相对于被测对象的精确方向和位置。这些差异可以通过进一步训练网络或采用校正方向的预处理步骤来解决。
将单点时间直方图数据映射到空间图像是一个严重不适定的问题（50）。这是因为场景中许多空间位置都可能在探测器的时间区间内产生相同的信号。因此，要反推时间数据就需要额外的信息。Turpin等人通过使用非对称的静态背景解决了这一问题。在我们的案例中，我们采用的传感器阵列在垂直和水平方向上都只包含少量像素，因此能提供有限但至关重要的空间信息。这样一来，估计姿态时对固定背景的严格要求便被取消了，Pixels2Pose也因此能够应用于不同的环境。
该系统在室内环境中表现良好，因为v15315传感器记录的环境光线水平足够低。
---
Table 1. Evaluation of the performance. We report the root mean squared error (RMSE) between the estimated and the ground truth position of each joint for each axis x, y, and z. We report the percentages of correct key points (PCK-15, PCK-20, and PCK-30), i.e., the ratio of estimated body parts for which the distance to the ground truth is below 15, 20, and 30 cm, respectively. We also report the percentage of detected parts.
| $RMSE_{x/y/z}$ (cm) | AE (cm) | PCK-15 (%) | PCK-20 (%) | PCK-30 (%) | % Detected |
| Neck | 5.4/6.0/8.5 | 9.5 | 80.0 | 88.0 | 92.0 | 100 |
| Shoulders | 5.8/12.4/9.2 | 12.3 | 72.5 | 80.2 | 86.3 | 99.7 |
| Hips | 4.4/8.8/9.1 | 10.2 | 77.8 | 83.3 | 91.6 | 99.5 |
| Knees | 5.6/11.1/10.1 | 11.9 | 72.1 | 81.7 | 89.8 | 98.1 |
| Ankles | 7.9/15.1/11.3 | 15.1 | 62.1 | 74.4 | 86.4 | 95.7 |
| Elbows | 17.7/19.9/13.4 | 19.6 | 60.9 | 68.6 | 75.4 | 94.3 |
| Wrists | 22.6/26/17.6 | 25.9 | 50 | 57.5 | 65.1 | 88.1 |
A RGB reference
B Pixels2Depth output
C Pixels2Pose output
Fig. 5. Results in other environments not used for training. We test the Pixels2Pose system in other rooms than the one used to record the training dataset. (A) The RGB image taken by a Kinect for reference. (B) The output of Pixels2Depth. (C) The reconstruction of Pixels2Pose. These results were generated using testing data that were not used in the training of the network.
以免其占据激光反射信号的主导地位。当传感器在室外高环境光条件下使用时，由于背景照明过强，SPAD像素可能会饱和。这种性能表现对于SPAD传感器而言是众所周知的，也是限制其应用的因素之一。虽然可以使用功率更高的激光来解决这一问题，但这又会引发激光对眼睛的安全隐患。下一代SPAD传感器，如文献（60）中所报道的那种，旨在能在高环境光条件下良好工作，但要在此类情况下从背景中提取信号，仍需对当前的传感器数据做进一步处理。
---
此外，我们还将场景中的人数限制在视野内最多三人。这样能确保我们在所考虑的各种情况下都能保持高性能。将这项研究拓展到能在更广泛的环境中良好运行，比如文献（39）和（40）中所描述的环境，具有重大意义，也将成为未来研究的重点。
## 解释框架
我们的Pixels2Pose系统在不同环境下获取的验证数据集上表现出良好的性能。然而，为了对其运行建立信心并获得信任，了解网络如何解读输入数据至关重要。一种名为LIME（局部可解释模型无关解释）的可解释人工智能（XAI）技术已被广泛用于评估人们对机器学习模型的信任度（61）。LIME框架旨在通过围绕某一预测结果学习一个可解释的模型来局部解释模型。
LIME最初是为分类问题开发的，用于评估一组多维输入参数对单一分类结果的重要性。然而，在我们的案例中，由于直方图输入、输出深度图像以及姿态数据的高维度特征，标准框架并不适用。以Pixels2Depth网络为例，它接收大小为$4 \times 4 \times 100$的原始直方图输入，并输出大小为$32 \times 32$的超分辨率深度图。因此，我们开发了一种新框架，基于输入直方图数据和输出超分辨率深度图来分析所提出的网络。该方法能够帮助我们理解直方图数据中相关特征如何影响超分辨率任务及姿态估计。
我们首先针对单人重建场景中的Pixels2Depth网络进行研究。我们将直方图输入简化为一组48个高斯拟合参数，即每个$4 \times 4$个SPAD像素对应三个参数（位置、幅度和宽度）。接着，我们确定这些参数对最终超分辨率深度图中每个$32 \times 32$像素的影响。为此，我们构建了一个局部模型：将这48个输入参数以线性方式组合，从而生成特定实例下的深度图（共$32 \times 32$个像素）。线性模型的权重反映了各输入参数的影响程度，这些权重可被可视化呈现。具体技术细节及单个参数影响图请参见补充材料。
第一步是找到一种更直观、更简单的直方图数据表示方法，以便轻松进行分析。为此，我们对每个像素的直方图进行高斯拟合。在单人场景下，每个像素拟合一个高斯函数（见图6）；这样，原本包含100个区间的直方图被浓缩为四个参数：幅度、宽度、峰值位置以及背景水平（背景水平在局部模型中不予使用）。在双人场景下，每个像素需拟合两个高斯函数，从而增加三个额外参数（见图7）。Pixels2Depth网络从高斯拟合后的直方图生成的深度图，与从原始直方图数据生成的深度图极为相似（见图6和图7）。这一结果表明，高斯函数可作为输入直方图数据的良好近似，网络也可重新设计以利用这些参数（幅度、位置和宽度）来重构深度图。
第二步是对网络的局部实例拟合线性模型。该模型有助于揭示输入数据与输出深度图之间的关系，并能明确幅度、宽度和位置等因素的重要性或影响力。
A Gaussian fit of the raw histogram data
Fig. 6. Gaussian fit of the histograms in the one-person scenario. (A) The raw histogram (blue) and the Gaussian fit (green). (B) The reconstruction by the network using the Gaussian fit data and (C) the reconstruction with the raw histogram data.
---
Fig. 7. Gaussian fit of the histograms in the two-people scenario. (A) The raw histogram (blue), the first peak of the Gaussian fit (dark green), and second peak of the Gaussian fit (light green). (B and C) The reconstruction by the network obtained if only the first and the second peak are used. (D) The reconstruction if both peaks of the Gaussian fit are used. (E) The prediction from the raw histogram.
初始数据中拟合的高斯峰值的幅度、宽度和位置对最终结果具有重要影响。所提出的Pixels2Pose网络是一个复杂的非线性模型，难以直接解读。借鉴LIME框架的思路，我们采用局部线性近似方法：重点分析基于单个高斯拟合参数（即单组输入数据）时Pixels2Depth网络的预测结果。通过这种线性近似，我们考察这些峰值参数对最终输出的重要性。我们选择图6和图7中展示的帧作为单人及双人场景的研究实例。
由于将高斯函数拟合到传感器数据的直方图上后，通过网络处理能得到较好的深度图，因此我们试图找到一种模型，该模型能生成与Pixels2Depth类似的深度图，但仅使用拟合参数的线性组合。也就是说，最终图像中的每个像素都被视为48个拟合参数的线性组合。为了针对特定预测结果构建局部模型，有必要创建新的数据集。在此，我们生成了2000组新的输入参数，构成矩阵$x \in \mathbb{R}^{2000 \times 48}$，其中随机选取的像素对应的峰值振幅、宽度和位置会被改变最多10%。每组新的48个参数用于生成新数据（维度为$4 \times 4 \times 100$），这些数据被送入网络后，会输出分辨率为$32 \times 32$的新深度图像。这2000张新深度图像随后会被重新格式化，形成矩阵$d \in \mathbb{R}^{2000 \times 1024}$。接着我们求解完整的线性模型$xA = d$。通过使用加权Lasso回归来确保矩阵A的稀疏性，该回归会利用原始参数集与新参数集之间的距离信息。关于线性模型设计的更多细节可在补充材料中找到。这一求解结果会生成矩阵$A \in \mathbb{R}^{48 \times 1024}$，它详细说明了x中的参数如何组合以生成深度图像d。求解结果A中的系数就是应用于x中相应参数的权重。矩阵A的48列每一列的长度均为1024，可重塑为尺寸为$32 \times 32$的图像。每张图像都与单个像素的某个参数相关联，反映了该参数对最终图像的影响；我们将这种影响定义为权重的绝对值。通过汇总A中相应的影响图，就能得到输入中所有$4 \times 4$个像素的振幅、位置或宽度所产生的影响。
图8展示了单人情况下的相关数据，包括线性模型的重建结果以及与各组高斯参数相对应的影响图。结果显示，峰值振幅的影响仅出现在身体边缘，而峰值位置的影响则同时存在于身体边缘和中心区域。因此我们可以得出结论：数据的振幅和位置决定了x和y方向上的身体形状，而峰值位置则决定了人在深度方向z上的整体位置。值得注意的是，宽度参数10%的变化对重建结果影响不大。
我们采用相同的方法为端到端系统Pixels2Pose构建局部解释模型。在该模型中，我们训练一个线性模型，以便根据高斯拟合参数来还原身体部位的3D位置。我们利用之前相同的数据集，在感兴趣的实例周围对该模型进行训练。图8和图9展示了单人及双人情况下，不同身体部位重建过程中所使用的峰值振幅、位置和宽度的学习权重。在图8中，我们将来自每个像素的16张单独影响图叠加起来，以观察其综合影响。这些单独的影响图可在补充材料中查看。
在单人情况下（见图8），只有手臂的末端与峰值振幅相关联。在这一特定场景下，手臂的位置与其他身体部位相比处于特殊状态。
---
Fig. 8. Explanation models for Pixels2Depth and Pixels2Pose in the one-person scenario. The first column shows the reconstruction of the instance of interest by the local explanation models for Pixels2Depth and Pixels2Pose. The last three columns show the combined influence of all initial 16 pixels on the depth maps and pose reconstruction. We display the sum of the absolute values of all the weights of the linear model for the different fit parameters. We see that the peak positions affect the depth of the full body and the shape of the edges, while the amplitude affects only the edges. For the pose estimation, the radius of the spheres is proportional to the weights of the linear model.
Fig. 9. Explanation model for Pixels2Pose in the two-people scenario. On the left, we show the prediction of the instance of interest made by the network and made by the linear model. On the right, we show the combined influence of all initial 16 pixels on the pose reconstruction. The first row (A to C) shows the weights applied to the parameters of the first peak of the Gaussian fit, and the second row (D to F) shows the weights applied to the second peak of the Gaussian fit. The radius of the spheres is proportional to the weights of the linear model.
我们得出了与深度重建类似的结论：即峰值幅度会影响重建的细微细节并决定物体的形状。峰值位置会对所有身体部位产生影响，而宽度的影響则较小。
在两人场景的情况下（见图9），我们可以区分第一个峰值（第一行）和第二个峰值（第二行）的参数所产生的影响。作用于第一个峰值参数的权重主要影响图像中前方的人物，反之亦然。同样，峰值幅度会在两人之间的边缘处产生影响。这可以用第一个和第二个峰值的幅度比与两人重叠程度相关这一事实来解释。一个峰值的位置会影响其对应人物的所有身体部位，而宽度则无影响。
总结来说，从可解释性框架中我们得出以下结论：首先，具有不同幅度、位置和宽度的高斯函数能很好地拟合数据，它们是模型的合适输入代理；其次，当场景中存在两人时，每个人都可以对应独立的高斯拟合；最后，
---
局部线性模型揭示了各参数集对最终输出结果的影响。我们还发现，关键参数是峰值的幅度和位置，而非宽度。一旦从初始直方图中确定了这些参数，我们就获得了用于超分辨率重建和姿态估计任务的所有必要信息。采用这种方式能大幅减少网络需要处理的参数数量。
未来，将我们的技术应用于新系统（激光雷达、雷达和声呐）时，获取完整数据集（直方图）相较于仅使用关键参数（峰值幅度和位置）究竟有何确切优势，仍有待确定。众所周知，强度事件相机仅记录场景中帧与帧之间发生变化的像素，它能实现更高的帧率和动态范围。将这种方法应用于为其他系统打造类事件传感器，可能会极具价值。此外，确定哪种任务需要哪些信息也很有意义——我们已经证明，超分辨率重建并不需要原始直方图数据，但其他操作可能需要。
## 讨论
Pixels2Depth网络的目标是将$4 \times 4$直方图中包含的丰富信息转化为高分辨率的深度图。可以直观地理解成该网络将$4 \times 4 \times 100$直方图数组中的信息重新格式化为$32 \times 32 \times 1$深度图像。时间域中的丰富信息被用来提升空间域的分辨率。此外，随着空间维度的增加，所产生的增益约为初始时间区间数量的平方根；也就是说，两个空间维度（x和y）均扩大了8倍，而时间维度（z）则缩小了100倍。如果我们使用另一种具有4096个时间区间的探测器，那么可以合理预期每个空间维度的增益约为$\sqrt{4096} = 64$倍（50）。这个简单的经验法则并未考虑照明的时间宽度和探测器的脉冲响应等因素，但它可以作为预测改进效果的合理参考。
在本项目中，我们开发了一套系统，能够利用成本低廉且体积紧凑的ToF传感器来估算人体在三维空间中的姿态，该传感器仅包含$4 \times 4$个像素。这种传感器体积小、重量轻、功耗低，可以轻松集成到智能手机或计算机等消费类电子产品中。该传感器与算法相结合，能够在最大3米的距离内实时估算多人的三维姿态，帧率可达$\approx 7$至8帧/秒。若仅利用我们提出的可解释框架所识别出的核心参数，这一帧率还能进一步提升。
为了弄清楚为何能从低分辨率深度传感器中恢复出高分辨率的深度图，我们提出了一种可解释框架来分析我们的网络。该框架能将直方图中所包含的丰富且密集的信息分解为可解释的核心特征。线性模型的输出会生成影响图，用以展示各特征对网络重建结果的影响。研究表明，仅使用一组简化的输入参数（即峰值的位置、幅度和宽度），就能达到与Pixels2Depth和Pixels2Pose相近的性能。如果新型传感器能够利用这些信息，它们就能以远高于当前水平的数据速率提供相关数据。声呐和雷达等其他数据类型也适用这一原理；目前这类系统的帧率往往受限于输出完整数据集的要求（类似于我们的完整直方图数据）。若仅输出用于场景重建或物体检测的核心数据，就能大幅提升这些系统的性能。我们所提出的XAI框架可用于提取核心信息，且该框架有望迁移到其他系统中。未来的工作将聚焦于在这些场景中应用该框架。
我们在此介绍的技术可用于动作/手势识别，将在驾驶员监控系统、人机交互以及健康监护等领域发挥重要作用。本研究主要针对大型物体进行检测，未来将进一步解析更细微的特征，从而拓展更多应用场景，例如用于面部识别的面部结构分析，或用于手语识别的手指及手部手势识别。该系统还可用于更通用形状的重建，以支持机器人及自动驾驶车辆所使用的同步定位与地图构建技术。
需要注意的是，Pixels2Pose虽然能在三维空间中精准追踪多人，但尚无法识别场景中的特定个体。也就是说，Pixels2Pose能同时追踪三个人，却无法对每个人进行单独标记。在数据保护要求严格的场景下，这一点尤为重要。目前尚不清楚现有传感器在时间和空间分辨率上是否足以实现精准的人员识别；不过我们注意到，神经网络早已被应用于识别被遮挡人员的身份（62）。
## 材料与方法
我们用于获取训练数据集的初始实验装置由安装在Raspberry Pi 3B上的vls315传感器，以及用于记录参考RGB图像和参考深度图像的Microsoft Azure Kinect DK相机组成。为了尽量减少视差问题，vls315传感器和Kinect相机被尽可能靠近地放置。Kinect深度图像中存在的径向镜头畸变已被校正，从而确保深度图像与RGB图像中像素的空间位置能够一一对应。训练所用装置的图片展示在补充材料中。
由于Kinect传感器的视野比vls315传感器更宽，我们对Kinect的深度图像和RGB图像进行了适当裁剪，以确保从Kinect和vls315传感器提供给网络用于训练的数据具有相同的视野。Kinect和vls315传感器的工作频率均为约20帧/秒，但两者的数据采集是异步进行的。为了使两台设备的帧在时间上匹配，我们会记录每帧的采集时间，并对数据进行处理以实现尽可能精准的同步。
最多有三个人在传感器前以随机方向、不同位置行走，并做出不同的手臂动作。我们记录了包含一人、两人或三人的三种不同数据集。单人数据集包含7500帧，双人及三人数据集各包含11000帧。每种情况下，最初的500帧连续画面被预留用于验证。该装置的图片可见图S1。
---
## 补充材料
本文的补充材料可在查看。
## 参考文献与注释
[^1]: M. Zanfir, M. Leordeanu, C. Sminchisescu, The moving pose: An efficient 3D kinematics descriptor for low-latency action recognition and detection, in Proceedings of the IEEE International Conference on Computer Vision (IEEE, 2013), pp. 2752–2759.
[^2]: A. Farooq, A. Jalal, S. Kamal, Dense RGB-D map-based human tracking and activity recognition using skin joints features and self-organizing map. KSII Trans. Internet. Info. Sys. 9, 1856–1869 (2018).
[^3]: E. Cippitelli, S. Gasparrini, E. Gambi, S. Spinsante, A human activity recognition system using skeleton data from RGBD sensors. Comput. Intell. Neurosci. 2016, 4351435 (2016).
[^4]: A. Mathis, P. Mamidanna, K. M. Cury, T. Abe, V. N. Murthy, M. W. Mathis, M. Bethge, Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat. Neurosci. 21, 1281–1289 (2018).
[^5]: T. B. Moeslund, A. Hilton, V. Krüger, A survey of advances in vision-based human motion capture and analysis. Comp. Vis. Image Understand. 104, 90–126 (2006).
[^6]: X. Xiong, W. Min, W.-S. Zheng, P. Liao, H. Yang, S. Wang, S3D-CNN: Skeleton-based 3D consecutive-low-pooling neural network for fall detection. Appl. Intel. 50, 3521–3534 (2020).
[^7]: Z.-P. Bian, J. Hou, L.-P. Chau, N. Magnenat-Thalmann, Fall detection based on body part tracking using a depth camera. IEEE J. Biomed. Health Inform. 19, 430–439 (2015).
[^8]: Y. R. Serpa, M. B. Nogueira, Pedro Paulo Macédo Neto, Maria Andréia Formico Rodrigues, Evaluating pose estimation as a solution to the fall detection problem, in IEEE 8th International Conference on Serious Games and Applications for Health (SeGAH) (IEEE, 2020), pp. 1–7.
[^9]: Q. Wu, G. Xu, F. Wei, L. Chen, S. Zhang, RGB-D videos-based early prediction of infant cerebral palsy via general movements complexity. IEEE Access 9, 42314–42324 (2021).
[^10]: Y. Gu, S. Pandit, E. Saraee, T. Nordahl, T. Ellis, M. Betke, Home-based physical therapy with an interactive computer vision system, in 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 2019, pp. 2619–2628.
[^11]: K. I. Withanage, I. Lee, R. Brinkworth, S. Mackintosh, D. Thewlis, Fall recovery subactivity recognition with rgb-d cameras. IEEE Trans. Industr. Inform. 12, 2312–2320 (2016).
[^12]: C. Torres, J. C. Fried, K. Rose, B. S. Manjunath, A multiview multimodal system for monitoring patient sleep. IEEE Trans. Multimedia 20, 3057–3068 (2018).
[^13]: S. Park, J. Y. Chang, H. Jeong, J.-H. Lee, J.-Y. Park, Accurate and efficient 3d human pose estimation algorithm using single depth images for pose analysis in golf, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (IEEE, 2017), pp. 49–57.
[^14]: B. Lewandowski, J. Liebner, T. Wengefeld, S. Müller, H.-M. Gross, Fast and robust 3D person detector and posture estimator for mobile robotic applications, in International Conference on Robotics and Automation (ICRA) (IEEE, 2019), pp. 4869–4875.
[^15]: Z. Yang, Y. Li, J. Yang, J. Luo, Action recognition with spatio-temporal visual attention on skeleton image sequences. IEEE Trans. Circuits Syst. Vid. Technol. 29, 2405–2415 (2019).
[^16]: A. S. Keçeli, A. Kaya, A. B. Can, Action recognition with skeletal volume and deep learning in 25th Signal Processing and Communications Applications Conference (SIU) (IEEE, 2017), pp. 1–4.
[^17]: J. Liu, H. Rahmani, N. Akhtar, A. Mian, Learning human pose models from synthesized data for robust RGB-D action recognition. Int. J. Comp. Vis. 127, 1545–1564 (2019).
[^18]: T. L. Baldi, F. Farina, A. Garulli, A. Giannitrapani, D. Prattichizzo, Upper body pose estimation using wearable inertial sensors and multiplicative Kalman filter. IEEE Sens. J. 20, 492–500 (2020).
[^19]: X. Yun, E. R. Bachmann, Design, implementation, and experimental results of a quaternion-based Kalman filter for human body motion tracking. IEEE Trans. Robot. 22, 1216–1227 (2006).
[^20]: T. V. Marcard, R. Henschel, M. J. Black, B. Rosenhahn, G. Pons-Moll, Recovering accurate 3d human pose in the wild using IMUs and a moving camera, in Proceedings of the European Conference on Computer Vision (ECCV) (2018), pp. 601–617.
[^21]: A. Gilbert, M. Trumble, C. Malleson, A. Hilton, J. Collomosse, Fusing visual and inertial sensors with semantics for 3d human pose estimation. Int. J. Comp. Vis. 127, 381–397 (2019).
[^22]: K. Aminian, B. Najafi, Capturing human motion using body-fixed sensors: Outdoor measurement and clinical applications. Comp. Anim. Virtual Worlds 15, 79–94 (2004).
[^23]: F. A. de Magalhaes, G. Vannozzi, G. Gatta, S. Fantozzi, Wearable inertial sensors in swimming motion analysis: A systematic review. J. Sports Sci. 33, 732–745 (2015).
[^24]: F. Eckardt, A. Münz, K. Witte, Application of a full body inertial measurement system in dressage riding. J. Equine Vet. 34, 1294–1299 (2014).
[^25]: D. Vlasic, I. Baran, W. Matusik, J. Popović, Articulated mesh animation from multi-view silhouettes, in ACM SIGGRAPH 2008 Papers (2008), pp. 1–9.
[^26]: J. Carranza, C. Theobalt, M. A. Magnor, H.-P. Seidel, Free-viewpoint video of human actors. ACM transactions on graphics (TOG) 22, 569–577 (2003).
[^27]: K. Iskakov, E. Burkov, V. Lempitsky, Y. Malkov, Learnable triangulation of human pose, in Proceedings of the IEEE/CVF International Conference on Computer Vision (IEEE, 2019), pp.7718–7727.
[^28]: R. Mehrizi, X. Peng, Z. Tang, X. Xu, D. Metaxas, K. Li, Toward marker-free 3D pose estimation in lifting: A deep multi-view solutio, in 13th IEEE International Conference on automatic Face & Gesture Recognition (FG 2018) (IEEE, 2018), pp. 485–491.
[^29]: J. Lee, J. Chai, Paul SA Reitsma, J. K. Hodgins, N. S. Pollard, Interactive control of avatars animated with human motion data, in Proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques (Association for Computing Machinery, 2002), pp. 491–500.
[^30]: R. Poppe, Vision-based human motion analysis: An overview. Comp. Vis. Image Understand. 108, 4–18 (2007).
[^31]: P. C. Bala, B. R. Eisenreich, S. B. M. Yoo, B. Y. Hayden, H. S. Park, J. Zimmermann Automated markerless pose estimation in freely moving macaques with OpenMonkeyStudio. Nat. Commun. 11, 4560 (2020).
[^32]: Ł. Kidziński, B. Yang, J. L. Hicks, A. Rajagopal, S. L. Delp, M. H. Schwartz, Deep neural networks enable quantitative movement analysis using single-camera videos. Nat. Commun. 11, 4054 (2020).
[^33]: G. Rogez, P. Weinzaepfel, C. Schmid, LCR-NET++: Multi-person 2D and 3D pose detection in natural images. IEEE Trans. Pattern Anal. Mach. Intell. 42, 1146–1161 (2019).
[^34]: D. Mehta, O. Sotnychenko, F. Mueller, W. Xu, M. Elgharib, P. Fua, H.-P. Seidel, H. Rhodin, G. Pons-Moll, C. Theobalt, X-Nect: Real-time multi-person 3D motion capture with a single RGB camera. ACM Trans. Graph. 39, 82–81 (2020).
[^35]: A. Benzine, B. Luvison, Q. C. Pham, C. Achard, Single-shot 3D multi-person pose estimation in complex images. Pattern Recog. 112, 107534 (2021).
[^36]: J. Liu, H. Ding, A. Shahroudy, L.-Y. Duan, X. Jiang, G. Wang, A.C. Kot, Feature boosting network for 3D pose estimation. IEEE Trans. Pattern Anal. Mach. Intell. 42, 494–501 (2020)
[^37]: A. Agarwal, B. Triggs, Recovering 3D human pose from monocular images. IEEE Trans. Pattern Anal. Mach. Intell. 28, 44–58 (2006).
[^38]: C.-H. Chen, D. Ramanan, 3D human pose estimation = 2D pose estimation + matching, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2017), pp. 7035–7043.
[^39]: C. Ionescu, D. Papava, V. Olaru, C. Sminchisescu, Human3.6M: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE Trans. Pattern Anal. Mach. Intell. 36, 1325–1339 (2014).
[^40]: D. Mehta, O. Sotnychenko, F. Mueller, W. Xu, S. Sridhar, G. Pons-Moll, C. Theobalt, Single-shot multi-person 3D pose estimation from monocular RGB, in International Conference on 3D Vision (3DV) (IEEE, 2018), pp. 120–130.
41. W. Zhe (2020)；。
[^42]: Y. Zhou, H. Dong, A. E. Saddik, Learning to estimate 3d human pose from point cloud. IEEE Sens. J. 20, 12334–12342 (2020).
[^43]: Z. Zhang, L. Hu, X. Deng, S. Xia, Weakly supervised adversarial learning for 3D human pose estimation from point clouds. IEEE Trans. Vis. Comput. Graph. 26, 1851–1859 (2020).
[^44]: G. Moon, J. Y. Chang, Kyoung Mu Lee., V2V-posenet: Voxel-to-Voxel prediction network for accurate 3D hand and human pose estimation from a single depth map, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR, 2018), pp. 5079–5088.
[^45]: A. Kirmani, D. Venkatraman, D. Shin, A. Colaço, F. N. C. Wong, J. H. Shapiro, V. K. Goyal, First-photon imaging. Science 343, 58–61 (2014).
[^46]: L. Chen, H. Wei, J. Ferryman, A survey of human motion analysis using depth imagery. Pattern Recog. Lett. 34, 1995–2006 (2013).
[^47]: M.-J. Sun, M. P. Edgar, G. M. Gibson, B. Sun, N. Radwell, R. Lamb, M. J. Padgett, Single-pixel three-dimensional imaging with time-based depth resolution. Nat. Commun. 7, 12010 (2016).
[^48]: Z. Zhang, X. Ma, J. Zhong, Single-pixel imaging by means of Fourier spectrum acquisition. Nat. Commun. 6, 6225 (2015).
[^49]: Y. Altmann, S. M. Laughlin, M. J. Padgett, V. K. Goyal, A. O. Hero, D. Faccio, Quantum-inspired computational imaging. Science 361, 2298 (2018).
[^50]: A. Turpin, G. Musarra, V. Kapitany, F. Tonolini, A. Lyons, I. Starshynov, F. Villa, E. Conca, F. Fioranelli, R. Murray-Smith, D. Faccio, Spatial images from temporal data. Optica 7, 900–905 (2020).
[^51]: A. Turpin, V. Kapitany, J. Radford, D. Rovelli, K. Mitchell, A. Lyons, I. Starshynov, D. Faccio, 3D imaging from multipath temporal echoes. Phys. Rev. Lett. 126, 174301 (2021).
[^52]: M. Zhao, Y. Tian, H. Zhao, M. A. Alsheikh, T. Li, R. Hristov, Z. Kabelac, D. Katabi, A. Torralba, RF-based 3D skeletons, in Proceedings of the 2018 Conference of the ACM Special Interest Group on Data Communication (Association for Computing Machinery, 2018), pp. 267–281.
## [^53]: M. Zhao, T. Li, M. A. Alsheikh, Y. Tian, H. Zhao, A. Torralba, D. Katabi, Through-wall human pose estimation using radio signals, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (IEEE, 2018), pp. 7356–7365
---
[^54]: M. Nishimura, D. B. Lindell, C. Metzler, G. Wetzstein, Disambiguating monocular depth estimation with a single transient, in European Conference on Computer Vision (Springer, 2020), pp. 139–155.
[^55]: D. B. Lindell, M. O'Toole, G. Wetzstein, Single-photon 3D imaging with deep sensor fusion. ACM Trans. Graph. 37, 113 (2018).
[^56]: Q. Sun, J. Zhang, X. Dun, B. Ghanem, Y. Peng, W. Heidrich, End-to-end learned, optically coded super-resolution SPAD camera. ACM Transactions on Graphics (TOG) 39, 1–14 (2020).
[^57]: A. Ruget, S. M. Laughlin, R. K. Henderson, I. Gyongy, A. Halimi, J. Leach, Robust super-resolution depth imaging via a multi-feature fusion deep network. Opt. Express 29, 11917–11937 (2021).
[^58]: C. Callenberg, Z. Shi, F. Heide, M. B. Hullin, Low-cost SPAD sensing for non-line-of-sight tracking, material classification and depth imaging. ACM Transactions on Graphics (TOG) 40, 1–12 (2021).
[^59]: Z. Cao, T. Simon, S.-E. Wei, Y. Sheikh, Realtime multi-person 2D pose estimation using part affinity fields, in Proceedings of the IEEE Conference on computer Vision and pattern Recognition (IEEE, 2017), pp. 7291–7299.
[^60]: I. Gyongy, S. W. Hutchings, A. Halimi, M. Tyler, S. Chan, F. Zhu, S. M. Laughlin, R. K. Henderson, J. Leach, High-speed 3D sensing via hybrid-mode imaging and guided upsampling. Optica 7, 1253–1260 (2020).
[^61]: M. T. Ribeiro, S. Singh, C. Guestrin, "Why should I trust you?" Explaining the predictions of any classifier, in Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (Association for Computing Machinery, 2016), pp. 1135–1144.
[^62]: P. Caramazza, A. Boccolini, D. Buschek, M. Hullin, C. F. Higham, R. Henderson, R. Murray-Smith, D. Faccio, Neural network identification of people hidden from view with a single-pixel, single-photon detector. Sci. Rep. 8, 11945 (2018).
致谢：我们感谢OpenPose（59）的作者们提供的代码。资助：本研究得到了EPSRC通过项目EP/S001638/1、EP/T00097X/1和EP/S026428/1的资助；同时得到了英国皇家工程院研究奖学金计划（项目RF/201718/17128）以及DSTL的支持，Dasa项目编号为DSTLX1000147844。作者贡献：A.R.、B.H.、A.H.和J.L.设计了实验。A.R.、M.T.、G.M.-M.、B.H.和J.L.实施了实验。F.Z.、S.S.、I.G.、S.M.、A.H.和J.L.参与了算法开发。所有作者共同参与了论文的撰写与审阅。利益冲突：作者声明没有利益冲突。数据与材料获取：用于从ToF传感器生成3D姿态的代码以及训练好的网络可在获取，该代码也可在下载。评估论文结论所需的所有数据均包含在论文正文及补充材料中。
提交于2022年7月20日
于2022年8月25日接受
发表于2022年11月30日
10.1126/sciadv.ade0123
---
## 《科学进展》
Pixels2Pose：用于3D姿态估计的超分辨率飞行时间成像技术
Alice Ruget, Max Tyler, Germán Mora Martín, Stirling Scholes, Feng Zhu, Istvan Gyongy, Brent Hearn, Steve McLaughlin, Abderrahim Halimi和Jonathan Leach
Sci. Adv. 8 (48), eade0123. DOI: 10.1126/sciadv.ade0123
在线查看本文
使用权限
本文的使用需遵守 $\underline{\text{Terms of service}}$