{
  "paper_id": "b1b1d8f32610eadbed008ffafdcdc778",
  "paper_title": "MultiEgo: A Multi-View Egocentric Video Dataset for 4D Scene Reconstruction",
  "paper_authors": [
    "Bate Li",
    "Houqiang Zhong",
    "Zhengxue Cheng",
    "Qiang Hu",
    "Qiang Wang",
    "Li Song",
    "Wenjun Zhang"
  ],
  "publication_date": "2025-10-27",
  "publication_venue": "Proceedings of the 33rd ACM International Conference on Multimedia (MM '25), Dublin, Ireland",
  "abstract": "Multi-view egocentric dynamic scene reconstruction holds significant research value for applications in holographic documentation of social interactions. However, existing reconstruction datasets focus on static multi-view or single-egocentric view setups, lacking multi-view egocentric datasets for dynamic scene reconstruction. Therefore, we present MultiEgo, the first multi-view egocentric dataset for 4D dynamic scene reconstruction. The dataset comprises five canonical social interaction scenes: meetings, performances, and a presentation. Each scene provides five authentic egocentric videos captured by participants wearing AR glasses. We design a hardware-based data acquisition system and processing pipeline, achieving sub-millisecond temporal synchronization across views, coupled with accurate pose annotations. Experiment validation demonstrates the practical utility and effectiveness of our dataset for free-viewpoint video (FVV) applications, establishing MultiEgo as a foundational resource for advancing multi-view egocentric dynamic scene reconstruction research. Our project page and dataset are available at https://woxelikeloud.github.io/multiego/.",
  "keywords": [
    "Egocentric Video",
    "Free-viewpoint Video",
    "Dynamic Scene"
  ],
  "paper_institutions": [
    "Shanghai Jiao Tong University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:32:20.508969Z",
  "template_tag": "simple",
  "summary": "### 摘要\n多视角自我中心动态场景重建对社交互动全息记录等应用具有重要研究价值，但现有数据集要么采用固定多相机静态视角（如N3DV），要么仅提供单目自我中心视角（如HyperNeRF、D-NeRF），或聚焦视频理解任务（如Ego4D、Ego-Exo4D、EPIC-Kitchens），缺乏面向4D动态场景重建的多视角自我中心数据集。为此，本文提出MultiEgo——首个面向4D动态场景重建的多视角自我中心数据集，包含五个典型社交互动场景（会议、表演与演示），每个场景由五名佩戴RayNeo X2 AR眼镜（1080p、30FPS）的参与者提供真实自我中心视频，总帧数达13,735帧。研究团队设计了客户端-服务器架构的硬件级数据采集与处理流水线：服务器通过WiFi热点广播同步信号，所有客户端在数微秒内启动采集，实现跨视角亚毫秒级时间同步；相机位姿估计将多种SOTA单目跟踪方法（Anycam、MegaSAM、CUT3R、MonST3R、PySLAM）与陀螺仪50Hz四元数数据的球面线性插值融合，再通过首帧静态参考场景的COLMAP重建与成对关键帧位移比例约束完成多相机位姿合成。基线实验采用PSNR、SSIM和LPIPS指标评估4DGaussian、Deformable-3DGS与3DGStream三种方法，其中4DGaussian取得最佳平均性能（PSNR 25.7366、SSIM 0.8432），验证了数据集对动态场景重建任务的实用性与有效性；sword与presentation场景因相机旋转幅度较小且背景更静态而结果较优，statement场景因大规模相机旋转/平移与镜面反射最具挑战性；可视化结果显示4DGaussian静态重建能力强但高动态物体捕捉受限，3DGStream虽含高频噪声但对高动态细节保留最佳，二者权衡构成未来研究的关键挑战；时间戳实验表明将实际采集时间戳作为视角特定输入的影响在不同场景和方法间各异且统计上不显著。该数据集为自由视角视频（FVV）会议纪要、全息演唱会录制等现实应用奠定基础，其核心机制在于全局运动引导的位姿合成：将累积相对位姿锚定到各视角COLMAP重建的初始位姿，并利用成对关键帧的位移比例缩放平移分量，从而获得尺度一致的多视角绝对位姿。\n\n### 关键要点\n- MultiEgo是首个面向多视角自我中心动态场景重建（4D）的数据集，填补了固定多相机数据集与单目自我中心数据集之间的空白。\n- 数据集包含五个社交互动场景（talking、statement、concert、sword、presentation），每个场景由五名佩戴AR眼镜的参与者提供1080p 30FPS自我中心视频，总帧数13,735帧。\n- 采集系统采用客户端-服务器架构，服务器通过WiFi广播录制指令，所有客户端在数微秒内启动，实现跨视角亚毫秒级时间同步，并以100纳秒精度记录UTC时间戳。\n- 相机位姿估计融合多种SOTA单目跟踪方法（Anycam、MegaSAM、CUT3R、MonST3R、PySLAM）与陀螺仪50Hz旋转四元数的球面线性插值，利用SDK的3-DoF旋转数据计算各视角相对6-DoF位姿。\n- 多相机位姿合成通过首帧静态参考场景的COLMAP重建获得初始位姿，并利用含明显平移的成对关键帧位移比例约束实现跨视角尺度一致的平移归一化。\n- 五个场景各自引入特定挑战：会议场景的镜面反射与复杂光照、statement场景的快速起立平移与新内容出现、concert场景的双视角分析、sword场景的高动态挥剑运动、presentation场景的投影遮挡阴影与色度变化。\n- 基线实验采用PSNR、SSIM、LPIPS指标，4DGaussian取得最佳平均结果（PSNR 25.7366、SSIM 0.8432、LPIPS 0.2983），所有基线均采用随机点云初始化以应对大范围相机旋转。\n- sword与presentation场景因相机旋转幅度较小、背景更静态而获得较优定量结果；statement场景因大规模相机旋转/平移与广泛镜面反射成为技术上最具挑战性的场景。\n- 可视化结果显示4DGaussian的MLP变形场偏重低频信息导致高动态物体过度平滑，而3DGStream虽含高频噪声但对高动态细节（如剑道具）保留最佳，静态背景与动态物体的权衡是未来关键挑战。\n- 时间戳实验表明将实际采集时间戳作为输入在不同场景和方法间产生不同影响（部分提升、部分下降），统计上差异不显著。\n- 数据集面向自由视角视频（FVV）应用（如会议纪要、全息演唱会录制），所有参与者均签署了授权面部及生物特征数据用于学术研究的知情同意书。\n- 数据集与项目页面已公开，为多视角自我中心动态场景重建研究提供基础资源。"
}