{
  "paper_id": "54ced69d8d1e13963d0db56ca9c4db5f",
  "paper_title": "Pixels2Pose: Super-resolution time-of-flight imaging for 3D pose estimation",
  "paper_authors": [
    "Alice Ruget",
    "Max Tyler",
    "Germán Mora Martín",
    "Stirling Scholes",
    "Feng Zhu",
    "Istvan Gyongy",
    "Brent Hearn",
    "Steve McLaughlin",
    "Abderrahim Halimi",
    "Jonathan Leach"
  ],
  "publication_date": "2022-11-30",
  "publication_venue": "Science Advances, 8(48), eade0123",
  "abstract": "Single-photon-sensitive depth sensors are being increasingly used in next-generation electronics for human pose and gesture recognition. However, cost-effective sensors typically have a low spatial resolution, restricting their use to basic motion identification and simple object detection. Here, we perform a temporal to spatial mapping that drastically increases the resolution of a simple time-of-flight sensor, i.e., an initial resolution of 4×4 pixels to depth images of resolution 32×32 pixels. The output depth maps can then be used for accurate three-dimensional human pose estimation of multiple people. We develop a new explainable framework that provides intuition to how our network uses its input data and provides key information about the relevant parameters. Our work greatly expands the use cases of simple single-photon avalanche detector time-of-flight sensors and opens up promising possibilities for future super-resolution techniques applied to other types of sensors with similar data types, i.e., radar and sonar.\n",
  "keywords": [
    "飞行时间成像",
    "三维人体姿态估计",
    "超分辨率",
    "单光子雪崩二极管",
    "SPAD",
    "深度图像重建",
    "卷积神经网络",
    "可解释人工智能",
    "时间直方图",
    "多人姿态跟踪"
  ],
  "paper_institutions": [
    "Heriot-Watt University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:40.090318Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对低成本单光子雪崩二极管（SPAD）飞行时间传感器空间分辨率仅4×4像素、只能支持基础手势识别和简单目标检测的瓶颈，本文在单像素时间直方图经神经网络重构空间图像、雷达/激光雷达多径回波三维成像等前期研究基础上，提出Pixels2Pose超分辨率三维姿态估计系统。该系统核心机制是将传感器采集的4×4×100时间直方图中的丰富时域信息重映射到空间域，通过Pixels2Depth三维卷积网络生成32×32高分辨率深度图，再由改编自OpenPose的Depth2Pose二维卷积网络输出关节热图和部位亲和场，最后经后处理将二维肢体位置与深度值配准，恢复多人三维骨架；空间每维增益约为可用时间箱数的平方根（100个时间箱对应约8倍放大）。训练阶段以STMicroelectronics vL5315 SPAD传感器同步采集Microsoft Azure Kinect DK的高分辨率深度图（双三次下采样至32×32）和RGB图像（经OpenPose提取二维姿态标签）作为监督，在受控实验室环境中分别建立单人7500帧、双人及三人各11000帧的数据集，每场景前500帧用于验证；选择分阶段训练而非端到端，以复用OpenPose固有的多人肢体关联和遮挡处理能力。在1500帧验证集上，采用均方根误差 RMSE_x=√(1/N Σ_{i=1}^{N}(x̂_i−x_i)^2)、平均误差AE和PCK-15/20/30关键点正确率评估，颈部、肩部、髋部、膝部等核心身体部位PCK-15超过70%，踝、腕、肘等末端部位PCK-30达65%–90%，各部位检测率为88%–100%；在NVIDIA Tesla RTX 6000 GPU上达7–8 fps，TensorFlow Lite训练后整数量化使全系统仅占5 MB且性能仅相差几个百分点，可在树莓派4上与采集同步运行（约1 fps）。在未经训练的新房间和两个不同角度的500帧数据上系统仍可重建姿态，验证了跨环境迁移能力，但平均误差因环境光照和传感器朝向变化而上升。未来方向包括利用循环神经网络挖掘帧间时间相关性、扩展到更复杂自然环境、恢复面部和手指等精细特征，以及将可解释框架迁移至雷达、声纳、激光雷达等类似数据类型并发展事件式传感器。该技术适用于动作与手势识别、驾驶员监测、人机交互和医疗观察等室内场景，作用距离3 m、场景人数上限3人；户外强环境光会导致SPAD像素饱和，提高激光功率又带来眼安全问题，系统目前也无法识别特定个人身份，多人交叉遮挡时可能出现手臂动作漏检、跨帧动作不自然或人物短暂消失。\n\n### 关键要点\n\n- 硬件采用STMicroelectronics vL5315 SPAD传感器，使用940 nm光脉冲，对角视场角60°，最大量程3 m，原始空间分辨率为4×4、时间分辨率为144个125 ps时间箱，实际输入裁剪为100个时间箱以消除背景物体伪影。\n- Pixels2Depth网络使用三维卷积层联合利用空间与时间信息，将4×4×100直方图转换为32×32深度图，模型含368,929个float32参数，约占4.7 MB内存。\n- Depth2Pose将OpenPose适配于深度图像而非强度图像，使用二维卷积输出所有在场人员的关节置信图和部位亲和场，模型含2,517,768个参数，约占30 MB。\n- 后处理模块把Depth2Pose输出的肢体位置与Pixels2Depth深度图中的对应深度位置关联，从而为不同人物恢复独立的三维骨架，单帧后处理耗时约0.07 s。\n- 监督训练中，Kinect深度图经双三次插值下采样至32×32后作为Pixels2Depth标签，Kinect同步RGB图像经OpenPose提取的二维关节与肢体标签用于训练Depth2Pose；推理阶段只需要vL5315传感器数据。\n- 单人、双人、三人三个网络分别使用7000、9500、9500张训练图像；对应原始数据集分别为7500、11000、11000帧，每场景前500连续帧留作验证，全部数据采集于受控实验室环境。\n- 验证集共1500帧，每个场景500帧；评价指标包括各关节在x、y、z轴上的RMSE、三维平均欧氏误差AE，以及距离真值小于15、20、30 cm的关键点比例PCK-15、PCK-20、PCK-30。\n- 颈部AE为9.5 cm、PCK-15为80.0%、PCK-30为92.0%且检测率100%；肩部和髋部PCK-15分别为72.5%和77.8%，说明核心躯干定位较稳定。\n- 四肢末端精度明显下降，肘部AE为19.6 cm、PCK-30为75.4%，腕部AE为25.9 cm、PCK-15仅50%、PCK-30为65.1%，检测率降至88.1%。\n- GPU上Pixels2Depth和Depth2Pose各需0.032 s、后处理0.07 s，总速度约7–8 fps；TensorFlow Lite量化后全系统仅需5 MB内存，可在Raspberry Pi 4上实时运行，但采集加处理帧速率约1 fps。\n- 在未参与训练的新房间及两个不同角度采集500帧进行测试，系统仍能恢复三维姿态，证明少量空间像素使问题比单像素情形更受约束、无需固定背景即可迁移；但环境光变化和传感器朝向/位置差异会增大平均误差。\n- 可解释框架先对每个4×4像素直方图拟合高斯峰（单人1个峰、双人2个峰），再围绕单次预测生成2000组扰动参数并用加权Lasso求解线性模型xA=d；结果显示峰幅度主要影响身体边缘和细节、峰位置影响全身形状及深度z，而宽度变化影响很小，双人场景中两个高斯峰分别对应前后两人。"
}