{
  "paper_id": "6b6d7f296f284de42243ae6a1977e4f4",
  "paper_title": "Ego-1K – A Large-Scale Multiview Video Dataset for Egocentric Vision",
  "paper_authors": [
    "Jae Yong Lee",
    "Haoru Zhao",
    "Lior David",
    "Daniel Scharstein",
    "Akash Bapat",
    "Hao Hu",
    "Paul Sammut",
    "Xiang Li",
    "Stephen Jeapes",
    "Saketh Madhuvarasu",
    "Jay Girish Joshi",
    "Andrew Fu",
    "Anik Gupta",
    "Jason Wither"
  ],
  "publication_date": "2025",
  "publication_venue": "unknown",
  "abstract": "We present Ego-1K, a large-scale collection of time-synchronized egocentric multiview videos designed to advance neural 3D video synthesis and dynamic scene understanding. The dataset contains nearly 1,000 short egocentric videos captured with a custom rig with 12 synchronized cameras surrounding a 4-camera VR headset worn by the user. Scene content focuses on hand motions and hand-object interactions in different settings. We describe rig design, data processing, and calibration. Our dataset enables new ways to benchmark egocentric scene reconstruction methods, an important research area as smart glasses with multiple cameras become omnipresent. Our experiments demonstrate that our dataset presents unique challenges for existing 3D and 4D novel view synthesis methods due to large disparities and image motion caused by close dynamic objects and rig egomotion. Our dataset supports future research in this challenging domain. It is available at https://huggingface.co/datasets/facebook/ego-1k.",
  "keywords": [
    "egocentric vision",
    "multiview video dataset",
    "novel view synthesis",
    "3D Gaussian splatting",
    "hand-object interaction",
    "4D reconstruction",
    "stereo depth estimation",
    "dynamic scene understanding"
  ],
  "paper_institutions": [
    "Meta Reality Labs"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:32:14.466426Z",
  "template_tag": "simple",
  "summary": "### 摘要\n混合现实设备与自我中心世界建模要求从佩戴者视角进行光度真实的4D重建，但现有新视角合成（NVS）数据集多为非自我中心或单目且聚焦静态场景，而Ego4D、EPIC-KITCHENS等自我中心数据集以单目/双目活动识别为主，缺乏驱动并基准化自我中心4D重建所需的同步多视角影像。为此本文提出Ego-1K：包含956段8–10秒真实动态场景短视频（约51.4万帧）的大规模时间同步自我中心多视角数据集，由集成12个8MP全局快门RGB鱼眼相机（190°对角FOV）环绕4相机Quest 3头显的定制头戴装置以60Hz硬件同步采集，内容聚焦多种环境、光照与动作下的手部运动与手-物交互；数据经实验室Calibu标靶离线标定与在线标定（将立体深度一致性中位MAD降低35%），并以原始版（全部传感器流，共88TB）与研究版（12相机去畸变为6对校正立体对，1280×1280、130°水平FOV，共17.5TB）发布于HuggingFace。实验在10%子集（96段录制）上进行：先通过将各立体对的视差图经3D投影与网格渲染扭曲至目标对并计算MAD/SD来选择深度估计器，Foundation Stereo以1.6mm的最低MAD胜出；再在保留2个目标视角、以其余10个视角训练的协议下用PSNR/SSIM/LPIPS评估4D重建，发现逐帧3DGS（PSNR 21.22）、K-Planes（16.46）与Spacetime Gaussians（24.76）均难以应对自我运动、近场手部快速运动、大视差与频繁遮挡的组合，而以Foundation Stereo双向视差经TSDF融合的表面采样初始化3D高斯、再以光度损失 L=(1−λ)·L1+λ·L_D-SSIM（λ=0.1）少量迭代微调的立体引导3DGS将PSNR提升至29.12（SSIM 0.830、LPIPS 0.115），较三者分别提高7.9、12.7与4.4 dB，验证了几何先验对自我中心4D合成的关键价值。未来可探索用多视角/多基线立体生成高质量逐帧伪真值深度以评估单目/双目深度估计、相机子集消融与HOI任务，以及立体基线鲁棒性与时序稳定性研究；该数据集支撑智能眼镜普及背景下远程呈现、空间推理与机器人等真实应用，但装置约6kg需背包吊臂支撑、iToF深度在运动与相位模糊下不可靠、头显RGB相机因卷帘快门/分辨率/色彩差异未纳入研究版等构成采集与使用约束。\n\n### 关键要点\n- Ego-1K包含956段真实动态场景的自我中心短视频（共514k帧），由12个环绕鱼眼相机加Quest 3头显4个相机构成的16相机装置以60Hz硬件同步采集，是首个同时实现大规模、高相机数、自我中心视角与精确同步的多视角数据集。\n- 采集装置的12个外部相机为8MP（2848×2848）全局快门RGB传感器，配190°对角FOV f2.8镜头，裁剪至6MP（2448×2448）以60FPS经USB 3.1（5Gbps）传输至背包计算机；装置重约6kg，需背包吊臂支撑以允许自然头部运动。\n- 场景内容聚焦近场手-物交互：5名操作员在实验室、办公室、客厅、卧室、屋顶等多种环境与51–1000+ lux多种光照下执行打字、滑动手势、操作控制器等动作，并附光照类型、场景布局、操作动作、手持物体、头部运动、服饰配饰等元数据标签。\n- 数据集发布两个版本：原始版含全部鱼眼相机与传感器流（每VRS平均93GB、共88TB，按需提供）；研究版仅含12个装置相机去畸变后的6对校正立体对（1280×1280、130°水平FOV），共17.5TB，在HuggingFace公开。\n- 标定采用实验室5个Calibu平面标靶的离线标定，加上假设单段录制内标定恒定、跨相机特征匹配联合优化相机朝向与焦距以最小化重投影误差的在线标定，使立体深度一致性的中位MAD降低35%。\n- 立体方法评估通过将6个立体对的视差图经3D投影、三角网格构建与渲染扭曲到目标对（3–4）并计算MAD与SD：Foundation Stereo取得最低MAD（1.6mm，74.0%像素小于1mm），BiDAStereo取得最低SD（8.3mm），故选Foundation Stereo作为深度先验。\n- 4D NVS评估协议保留目标对3–4的两个视角作测试、其余10个视角作训练，以PSNR、SSIM、LPIPS逐帧逐相机评估，所有评估实验在10%子集（96段录制）上进行。\n- 定量结果显示立体引导3DGS达到PSNR 29.12、SSIM 0.830、LPIPS 0.115，相比逐帧3DGS（21.22/0.709/0.260）、K-Planes（16.46/0.597/0.443）和Spacetime Gaussians（24.76/0.780/0.270）分别提升7.9、12.7和4.4 dB。\n- 立体引导方法对每帧双向（左到右与右到左）运行Foundation Stereo，经TSDF融合生成度量精确的水密几何，采样表面点（含法向与颜色）初始化3D高斯，再以光度损失 L=(1−λ)·L1+λ·L_D-SSIM（λ=0.1）少量迭代微调，逐帧独立优化得到稠密4D重建。\n- 现有动态NVS方法失败的原因在于其设计面向以物体为中心的场景或固定位姿的多视角视频，无法处理自我运动、近场手部快速运动、大视差与频繁遮挡的组合；且含近距离动态物体（手）的场景下性能差距比远处物体（他人）场景更大。\n- 未来方向包括用多视角/多基线立体生成高质量逐帧深度图作为伪真值，以评估双目或单目深度估计、相机子集消融以及HOI相关任务；数据集也可用于评估对立体基线变化的鲁棒性与时序稳定性，以及语义或人体分割的一致性研究。\n- 实际约束包括：iToF深度在运动与相位模糊下不可靠故未用于实验；头显RGB相机因卷帘快门、分辨率与色彩差异未纳入研究版；原始数据率约15GB/s需先存RAM再转NVMe存储。"
}