{
  "paper_id": "817d140f1fb3b3f8fa18b1a6e874949a",
  "paper_title": "EgoFish3D: Egocentric 3D Pose Estimation From a Fisheye Camera via Self-Supervised Learning",
  "paper_authors": [
    "Yuxuan Liu",
    "Jianxin Yang",
    "Xiao Gu",
    "Yijun Chen",
    "Yao Guo",
    "Guang-Zhong Yang"
  ],
  "publication_date": "2023-02-06",
  "publication_venue": "IEEE Transactions on Image Processing",
  "abstract": "Egocentric vision has gained increasing popularity recently, opening new avenues for human-centric applications. However, the use of the egocentric fisheye cameras allows wide angle coverage but image distortion is introduced along with strong human body self-occlusion imposing significant challenges in data processing and model reconstruction. Unlike previous work only leveraging synthetic data for model training, this paper presents a new real-world EgoCentric Human Pose (ECHP) dataset. To tackle the difficulty of collecting 3D ground truth using motion capture systems, we simultaneously collect images from a head-mounted egocentric fisheye camera as well as from two third-person-view cameras, circumventing the environmental restrictions. By using self-supervised learning under multi-view constraints, we propose a simple yet effective framework, namely EgoFish3D, for egocentric 3D pose estimation from a single image in different real-world scenarios. The proposed EgoFish3D incorporates three main modules. 1) The third-person-view module takes two exocentric images as input and estimates the 3D pose represented in the third-person camera frame; 2) the egocentric module predicts the 3D pose in the egocentric camera frame; and 3) the interactive module estimates the rotation matrix between the third-person and the egocentric views. Experimental results on our ECHP dataset and existing benchmark datasets demonstrate the effectiveness of the proposed EgoFish3D, which can achieve superior performance to existing methods.",
  "keywords": [
    "Egocentric vision",
    "3D human pose estimation",
    "Self-supervised learning",
    "Multi-view constraints"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:34:39.950453Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决基于头戴式鱼眼相机的自我中心3D人体姿态估计问题：鱼眼图像严重畸变、第一人称视角下人体（尤其头部与下肢）强烈自遮挡、以及缺乏带精确真值的真实世界数据集。以往方法（Tome等、Xu等的Mo²Cap²、Zhang等）几乎全部依赖合成数据强监督训练，真实场景泛化受限；现有多视角自监督方法（CanonPose、Rhodin等）因第三人称与自我中心相机内参不同、视角重叠有限而难以直接迁移。为此作者提出自监督框架EgoFish3D，包含三个模块：第三人称视角模块结合传统三角化与深度预测网络，从两台外置相机生成较准确的3D姿态作为弱监督；自我中心模块从单张畸变鱼眼图像预测2D/3D姿态，核心机制为注意力感知的三分支特征融合 P(c_ego) = f_θ^ego( HM(c_ego) ⊙ FT(c_ego) ⊙ M(c_ego) )，即将2D关节热图、图像潜在特征与人体分割掩码逐元素相乘后经编码器-回归器输出3D姿态；交互模块通过MLP预测两坐标系间旋转矩阵提供变换约束，推理时仅需自我中心模块处理单张图像。为规避动捕系统采集真值的环境限制，作者构建真实世界ECHP数据集：由头戴GoPro鱼眼相机（前伸约13–18cm、下倾约15–25度）与两台Intel Realsense D455同步采集，训练/验证集含9名受试者、20种身体纹理、10种日常动作、8个室内外场景共30段序列约75k帧，测试集为4名受试者（2名新受试者、身体纹理均未见过）的7段序列约17k帧并由VICON系统提供3D真值，以此验证真实场景泛化能力；实现采用多阶段训练策略（依次训练第三人称模块、2D检测器、交互模块并微调整网，2D检测器混合ECHP约40k帧与Mo²Cap²约40k合成数据以提升泛化），基于PyTorch与Adam优化器（学习率0.001），自我中心图像缩放至384×384。评估采用MPJPE、PA-MPJPE与BA-MPJPE三种协议：ECHP上EgoFish3D取得最优平均MPJPE=107.9mm、PA-MPJPE=73.1mm（与Xu方法相当但无需推理期相机内参），10个动作中9个达最优或次优；xR-EgoPose上MPJPE=48.0mm优于Tome(p3d+hm+rot)的54.7mm与Zhang的50.0mm；Mo²Cap²真实测试集上室内BA-MPJPE=60.9mm、室外79.2mm均为最优或可比，且ECHP训练模型无需微调即可直接应用，这些结果共同支持特征融合、交互模块与自监督约束等创新的有效性（消融显示移除热图/掩码/特征分支分别使MPJPE升至123.9/114.1/114.5mm，移除Aruco先验损失L_mat^itr则恶化至521.1mm）。未来方向包括泛化到不同自我中心相机安装位置并与更多自我中心视觉任务结合；该方法适用于自由生活环境中长期以人为中心的感知（如行为与社交活动理解），但需注意测试真值依赖MoCap仅限室内、Aruco标记检测受光照与距离影响、上肢超出视野（如Boxing）时精度下降等约束。\n\n### 关键要点\n\n- EgoFish3D是首个利用第三人称多视角约束、以自监督方式从头戴下视鱼眼相机单张图像估计自我中心3D姿态的方法，训练无需3D姿态真值，推理时仅需自我中心模块处理单张鱼眼图像。\n- 框架由三个模块组成：第三人称视角模块（三角化+深度预测网络，从两台外置相机生成较准确3D姿态作为弱监督）、自我中心模块（从畸变图像预测2D/3D姿态）、交互模块（通过MLP预测第三人称与自我中心坐标系间的旋转矩阵以提供变换约束）。\n- 自我中心模块的核心是三分支特征融合：2D关节热图提供关节位置先验，人体分割掩码去除低置信度或人体范围外的热图响应，图像潜在特征保留原始信息并补偿2D检测错误，三者逐元素相乘后经编码器-回归器输出3D姿态。\n- ECHP为真实世界数据集，由头戴GoPro鱼眼相机（前伸约13–18cm、下倾约15–25度）与两台Intel Realsense D455相机同步采集：训练/验证集含9名受试者、20种身体纹理、10种日常动作、8个室内外场景共30段序列约75k帧；测试集为4名受试者（2名为新受试者）的7段序列约17k帧，由VICON动捕系统提供解剖关节3D真值。\n- 采用多阶段训练策略以加速收敛并减少过拟合：先训练第三人称模块（ω1=1.0、ω2=0.5），再训练2D检测器（混合ECHP约40k帧与Mo²Cap²约40k合成数据以提升跨场景泛化），继而训练交互模块（前5个epoch以Aruco外参为监督，β1=β2=1.0），最后微调整个网络（α2=1.0、α3=0.05）；基于PyTorch实现，Adam优化器学习率为0.001。\n- 在ECHP测试集上，EgoFish3D取得最优平均MPJPE=107.9mm，PA-MPJPE=73.1mm与Xu方法相当，但Xu方法推理时需要鱼眼相机内参而EgoFish3D无需额外信息；10个动作中9个取得最优或次优，仅在上肢超出视野的Boxing动作上例外。\n- 在xR-EgoPose合成数据集上重训练后，EgoFish3D平均MPJPE=48.0mm，优于Tome(p3d+hm+rot)的54.7mm和Zhang的50.0mm，且无需Tome方法中难以在真实数据获取的身体部位间相对旋转监督信息。\n- 在Mo²Cap²真实世界测试集上，室内BA-MPJPE=60.9mm与Xu（61.4mm）相当并优于3DV'17、VNect、Zhang等方法，室外BA-MPJPE=79.2mm为最优；在ECHP上训练的模型无需微调即可直接应用于该数据集，展示了跨域泛化能力。\n- 消融实验证明三分支融合均有效：移除热图分支使平均MPJPE从107.9升至123.9mm，移除人体掩码升至114.1mm，移除特征分支升至114.5mm；移除Aruco先验旋转损失L_mat^itr后MPJPE恶化至521.1mm，表明该粗先验对网络收敛至关重要。\n- 第三人称视角模块单独评估的PA-MPJPE为63.26mm，优于纯三角化（69.19mm）、三角化加时序平滑（67.29mm）和PARE（66.92mm），证明其能生成较准确的弱标签，且训练完成后仅需单台外置相机即可完成数据采集。\n- 交互模块预测相机朝向的平均角度误差为6.02°；关节级误差分析显示远端关节误差较大（如左手PJPE达232.3mm），经Procrustes分析对齐后明显减小，说明跨视角旋转估计仍是主要难点。\n- 实际约束与局限：测试真值因依赖VICON系统仅采集于同一室内场景；Aruco标记检测受光照与距离影响，仅使用稳定检测的图像训练2D检测器；未来工作将探索对不同自我中心相机安装位置的泛化，并与更多自我中心视觉任务结合。"
}