{
  "paper_id": "dd2a03f084a0215257412f5b57e7e637",
  "paper_title": "DiffHPE: Robust, Coherent 3D Human Pose Lifting with Diffusion",
  "paper_authors": [
    "Cédric Rommel",
    "Eduardo Valle",
    "Mickaël Chen",
    "Souhaiel Khalfaoui",
    "Renaud Marlet",
    "Matthieu Cord",
    "Patrick Pérez"
  ],
  "publication_date": "",
  "publication_venue": "2023 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)",
  "abstract": "We present an innovative approach to 3D Human Pose Estimation (3D-HPE) by integrating cutting-edge diffusion models, which have revolutionized diverse fields, but are relatively unexplored in 3D-HPE. We show that diffusion models enhance the accuracy, robustness, and coherence of human pose estimations. We introduce DiffHPE, a novel strategy for harnessing diffusion models in 3D-HPE, and demonstrate its ability to refine standard supervised 3D-HPE. We also show how diffusion models lead to more robust estimations in the face of occlusions, and improve the time-coherence and the sagittal symmetry of predictions. Using the Human 3.6M dataset, we illustrate the effectiveness of our approach and its superiority over existing models, even under adverse situations where the occlusion patterns in training do not match those in inference. Our findings indicate that while standalone diffusion models provide commendable performance, their accuracy is even better in combination with supervised models, opening exciting new avenues for 3D-HPE research.",
  "keywords": [
    "3D Human Pose Estimation",
    "Diffusion Models",
    "Pose Lifting",
    "Robustness",
    "Coherence"
  ],
  "paper_institutions": [
    "Valeo.ai, Paris, France",
    "Valeo - Applied ML, Paris, France",
    "Sorbonne Université, Paris, France",
    "Recod.ai Lab, School of Electrical and Computing Engineering, University of Campinas, Brazil",
    "LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS, Marne-la-Vallee, France"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "ark-code-latest",
  "prompt_template": "simple",
  "extracted_at": "2026-08-16T19:47:20.765985Z",
  "template_tag": "simple",
  "summary": "### 摘要\n本文针对三维人体姿态估计（3D-HPE）中如何有效利用扩散模型的问题进行了深入探讨。该问题在计算机视觉领域具有重要地位，而扩散模型在生成任务中表现卓越，但在3D-HPE等预测任务中尚属空白。现有方法多为确定性模型，难以处理遮挡和姿态歧义，且缺乏时间一致性和对称性。本文提出的DiffHPE方法，利用扩散模型对三维姿态进行生成式建模，并提出了两种策略：DiffHPE-2D直接以2D关键点为条件，DiffHPE-Wrapper则利用冻结的预训练提升网络（如MixSTE）的特征作为条件，以对姿态进行精炼。在Human 3.6M数据集上，采用CPN预测的2D关键点作为输入，以MPJPE为主要指标，并额外评估对称性和时间一致性。实验表明，扩散模型不仅能提升精度，还能增强鲁棒性（在多种遮挡模式下），改善姿态的对称性和时间一致性，并且DiffHPE-Wrapper在精度上优于独立训练的MixSTE。此外，扩散模型对训练和测试遮挡模式不匹配的情况具有更强的鲁棒性。未来工作将探索更长的序列并解决计算负担问题，同时希望此研究能够激发扩散模型在预测任务中的更多应用。核心机制是条件扩散模型，利用噪声预测网络 \\(\\epsilon_\\theta\\) 从含噪的姿态 \\(\\mathbf{x}_t^{3D}\\) 中预测噪声，并通过反向过程恢复目标姿态。\n\n### 关键要点\n- 提出DiffHPE方法，将扩散模型应用于3D人体姿态提升，分为DiffHPE-2D和DiffHPE-Wrapper两种策略。\n- DiffHPE-Wrapper利用冻结的预训练MixSTE模型的特征作为条件，通过轻量级线性层嵌入3D数据，从而在不直接处理原始2D输入的情况下提升性能。\n- 使用的噪声预测网络基于CSDI和TCD，但将transformer层替换为图卷积层，并利用人体骨架连接性，显著降低计算复杂度。\n- 在Human 3.6M数据集上评估，采用CPN预测的2D关键点作为输入，训练和测试均使用相同流程，确保公平对比。\n- 在27帧序列上，DiffHPE-Wrapper的MPJPE为51.2mm，优于复现的MixSTE（54.8mm），且DiffHPE-2D也达到51.8mm，同时对称性间隙和时间一致性指标更优。\n- 在243帧序列上，扩散模型（如DiffPose）优于确定性模型（MixSTE），表明扩散模型在长序列中的优势。\n- 在多种遮挡模式下（随机、随机腿臂、连续腿、连续帧），扩散模型表现出更好的鲁棒性，尤其在遮挡模式不匹配时，DiffHPE-Wrapper比MixSTE更不易受分布偏移影响。\n- 扩散模型有助于提升姿态的矢状面对称性，即左、右侧肢体长度差异减小，以及时间一致性，即肢体长度在时间上的波动减小。\n- 训练时使用扩散模型标准训练过程，采样式扩散步骤，并使用L2损失预测噪声，优化参数\\(\\epsilon_\\theta\\)和\\(w_\\theta\\)。\n- 推理时采用反向扩散过程，从高斯噪声开始，逐步去噪，并可使用多个样本平均以提高精度。\n- 扩散模型的主要缺点是计算负担较大，尤其是在推理阶段，未来工作将寻求缓解。"
}