{
  "paper_id": "c0cdcc674e2f5208a7219dc142b8a8b8",
  "paper_title": "EgoSim: An Egocentric Multi-view Simulator and Real Dataset for Body-worn Cameras during Motion and Activity",
  "paper_authors": [
    "Dominik Hollidt",
    "Paul Streli",
    "Jiaxi Jiang",
    "Yasaman Haghighi",
    "Changlin Qian",
    "Xintong Liu",
    "Christian Holz"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "计算机视觉中的自我中心任务研究主要聚焦于头戴式相机，如鱼眼相机或沉浸式头显内置的相机。我们认为，光学传感器的日益小型化将促使相机被大量集成到更多身体佩戴设备的各个位置。这将为计算机视觉的既有任务带来全新视角，并惠及人体运动跟踪、身体姿态估计或动作识别等关键领域——尤其是通常被遮挡的下肢部分。本文提出EgoSim，一个新颖的身体佩戴相机模拟器，能够从佩戴者身体的多个视角生成逼真的自我中心渲染。EgoSim的关键特性是利用真实动作捕捉数据来渲染运动伪影，这些伪影在手臂或腿部佩戴相机时尤为明显。此外，我们提出MultiEgoView数据集，包含来自六个身体佩戴相机的自我中心视频以及多种活动下的真值全身3D姿态：其中119小时数据源自四个高保真虚拟环境中基于AMASS动作序列的渲染，并辅以13名参与者使用六台GoPro相机和Xsens动捕服提供的3D身体姿态参考所采集的5小时真实运动数据。我们通过训练一个端到端的纯视频3D姿态估计网络来展示EgoSim的有效性。通过分析其域差距，我们表明该数据集和模拟器对面向真实世界数据推理的训练大有裨益。EgoSim代码与MultiEgoView数据集：https://siplab.org/projects/EgoSim",
  "keywords": [
    "自我中心视觉",
    "身体佩戴相机",
    "多视角模拟器",
    "3D人体姿态估计",
    "合成数据",
    "sim-to-real迁移",
    "运动伪影",
    "可穿戴设备",
    "数据集"
  ],
  "paper_institutions": [
    "ETH Zürich"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:31:11.505024Z",
  "template_tag": "simple",
  "summary": "### 摘要\n自我中心视觉研究长期聚焦于头戴式相机（如鱼眼相机或沉浸式头显内置相机），而光学传感器的持续小型化将促使相机被大量集成到身体各部位的可穿戴设备中，为人体运动跟踪、身体姿态估计与动作识别等任务带来新视角，尤其可缓解通常被遮挡的下肢观测难题。以往工作或依赖头戴鱼眼相机估计上半身姿态，或借助动捕服与稀疏惯性传感器（存在漂移且难以跟踪全局位置），而现有合成数据集与模拟器（如AirSim、TartanAir、EgoGen）多面向静态或平滑移动的相机，难以泛化到相机随人体非平滑运动的佩戴场景。为此，本文提出EgoSim——一个多视角身体佩戴相机模拟器，基于Unreal Engine扩展Microsoft AirSim构建，其核心机制是通过弹簧臂以弹簧-阻尼系统模拟相机非刚性佩戴产生的滑移与拖拽等运动伪影，并利用AMASS真实动作捕捉数据驱动虚拟形象，同步渲染RGB、深度、法线与语义分割等多种模态。在此基础上构建MultiEgoView数据集：由于开阔室外环境中传统动作捕捉难以实施，作者在四个高保真虚拟环境（手工建模城市、Polycam扫描的大学前庭、摩天楼市区、公园）的24个地点渲染了119小时（7740万张）合成数据（118°视场、640×360分辨率、30fps，相机位于头部、骨盆、双腕、双膝，每场景最多4个虚拟形象），并补充5小时真实数据（13名参与者佩戴6台GoPro相机，Xsens动捕服提供真值3D姿态，35类BABEL活动标注）以验证sim-to-real迁移能力。为展示数据集价值，作者训练了基于稀疏视频管道的Vision Transformer端到端纯视频3D姿态估计网络（1.14亿参数），该网络从6个相机的对齐视频序列提取特征并预测SMPL姿态参数及相对根旋转与平移，再经前向运动学恢复全局姿态：{p̂₀,…,p̂_{F-1}} = FK_θ(θ, R̂_g, t̂_g, β)，其中R̂_g, t̂_g = FK_g(R̂_r, t̂_r)。评估采用Global MPJPE、PA-MPJPE、MTE、MRE、MJAE与Jerk等指标，结果显示合成数据预训练加真实数据微调使Global MPJPE改善3.1–4倍（0.33m对比纯真实训练的1.23m）、PA-MPJPE降至0.044m，且弹簧阻尼安装模型的位置误差（1.98cm）低于刚性模型（2.35cm），共同验证了模拟器与数据集对真实数据推理训练的实质助益。未来方向包括集成SLAM或SfM以稳定全局位姿估计、利用多模态真值开展深度估计与语义场景分类；局限在于虚拟形象动画从AMASS独立采样、缺乏人与人及人与物体交互建模且仅含4个场景。该工作可支撑智能眼镜、AI Pin等新兴可穿戴设备的人体活动理解，但需应对路人隐私（自动面部模糊）、参与者知情同意与数据采集成本等现实约束。\n\n### 关键要点\n- EgoSim是基于Unreal Engine扩展Microsoft AirSim构建的身体佩戴相机模拟器，支持灵活配置相机在身体上的位置、内参、噪声与失真，并可同时渲染RGB、深度、法线和语义分割多模态数据。\n- 模拟器通过弹簧臂安装机制模拟非刚性相机佩戴；OptiTrack实验显示弹簧-阻尼模型的平均位置误差为1.98cm，优于刚性模型的2.35cm，更真实地再现了运动伪影。\n- MultiEgoView合成部分包含119小时（7740万张图像）数据，由AMASS动作序列驱动虚拟形象，在4个高保真虚拟环境（手工建模城市、Polycam扫描的大学前庭、摩天楼市区与公园）的24个地点渲染，每场景最多4个同时动画的虚拟形象。\n- 真实数据部分采集了约5小时，13名参与者（4女9男，21–30岁）在大学前庭佩戴6台GoPro相机（5×HERO 10、1×HERO 9，1080p、30fps、118°水平视场），并由Xsens动捕服提供真值全身3D姿态。\n- 数据集以BABEL标注35类常见活动（步行占11.68%），合成与真实序列均带活动类别标签，可用于姿态估计、活动分类、动态相机定位与建图算法的训练和基准测试。\n- 基线方法为基于稀疏视频管道的Vision Transformer多视角姿态估计网络（1.14亿参数，推理约需1.7GB显存，RTX 4090上单样本17.6ms），从6个相机的对齐视频序列预测SMPL姿态参数、相对根旋转与平移，再经前向运动学得到全局姿态。\n- 训练损失综合角度损失、关节位置损失、速度损失、相对/全局根旋转与平移损失及嵌入正则项，权重分别设为λ_θ=10、λ_p=25、λ_v=40、λ_tr=25、λ_Rr=15、λ_tg=1、λ_Rg=0.025、λ_z=0.0005。\n- 评估指标包括Global MPJPE、PA-MPJPE、MTE、MRE、MJAE与Jerk；合成数据预训练加真实数据微调使Global MPJPE改善3.1–4倍（0.33m对比纯真实训练的1.23m），PA-MPJPE较纯真实训练至少降低2.7cm至0.044m。\n- 相机数量消融显示6相机配置取得最低Global MPJPE（0.18m），仅用头部相机则升至0.345m且腿部/足部误差显著，证明额外相机（即使位于快速运动的腕、膝）有利于肢体姿态估计。\n- 场景迁移实验表明跨场景评估时姿态误差显著上升（如训练于场景1、2并评估于场景3、4时Global MPJPE从0.18m升至0.42m），提示需要更多样的场景以提升泛化能力。\n- 局限性包括虚拟形象动画从AMASS独立采样、未建模人与人及人与物体交互，系统目前仅有4个场景，且全局根位置估计因相对预测误差在前向运动学中累积而偏弱。\n- 未来研究可集成低漂移相机定位方法（如SLAM或基于SfM的图像定位）以稳定全局平移与朝向，并利用数据集的多模态真值支持惯性姿态估计、深度估计与语义场景分类。"
}