{ "paper_id": "6b6d7f296f284de42243ae6a1977e4f4", "paper_title": "Ego-1K – A Large-Scale Multiview Video Dataset for Egocentric Vision", "paper_authors": [ "Jae Yong Lee", "Haoru Zhao", "Lior David", "Daniel Scharstein", "Akash Bapat", "Hao Hu", "Paul Sammut", "Xiang Li", "Stephen Jeapes", "Saketh Madhuvarasu", "Jay Girish Joshi", "Andrew Fu", "Anik Gupta", "Jason Wither" ], "publication_date": "2025", "publication_venue": "unknown", "abstract": "We present Ego-1K, a large-scale collection of time-synchronized egocentric multiview videos designed to advance neural 3D video synthesis and dynamic scene understanding. The dataset contains nearly 1,000 short egocentric videos captured with a custom rig with 12 synchronized cameras surrounding a 4-camera VR headset worn by the user. Scene content focuses on hand motions and hand-object interactions in different settings. We describe rig design, data processing, and calibration. Our dataset enables new ways to benchmark egocentric scene reconstruction methods, an important research area as smart glasses with multiple cameras become omnipresent. Our experiments demonstrate that our dataset presents unique challenges for existing 3D and 4D novel view synthesis methods due to large disparities and image motion caused by close dynamic objects and rig egomotion. Our dataset supports future research in this challenging domain. It is available at https://huggingface.co/datasets/facebook/ego-1k.", "keywords": [ "egocentric vision", "multiview video dataset", "novel view synthesis", "3D Gaussian splatting", "hand-object interaction", "4D reconstruction", "stereo depth estimation", "dynamic scene understanding" ], "paper_institutions": [ "Meta Reality Labs" ], "output_language": "zh", "provider": "doubao", "model": "glm-5.3", "prompt_template": "simple", "extracted_at": "2026-09-17T09:32:14.466426Z", "template_tag": "deep_read", "summary": "# Ego-1K – A Large-Scale Multiview Video Dataset for Egocentric Vision\n\n\n**作者 / Authors:** Jae Yong Lee, Haoru Zhao, Lior David, Daniel Scharstein, Akash Bapat, Hao Hu, Paul Sammut, Xiang Li, Stephen Jeapes, Saketh Madhuvarasu, Jay Girish Joshi, Andrew Fu, Anik Gupta, Jason Wither\n\n\n**单位 / Institutions:** Meta Reality Labs\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 未在文档中明确注明；依据引用格式及多篇 CVPR 2025 引用推测为 2025 年\n\n\n\n**期刊/会议 / Publication Venue:** 未在文档中明确注明；从 CVPR 模板式排版与引用风格推测为计算机视觉会议（如 CVPR 2025），需外部核实\n\n\n## 模块 A：阅读对齐与输入校验 / Module A: Reading Alignment and Input Check\n\n## Module A：阅读对齐与输入校验\n\n### 分类依据（paper_archetype）\n\n- 论文的核心贡献是**数据集资源与基准评测协议**（Ego-1K：956 段时间同步的 egocentric 多视角视频，见摘要与第 1 节），并配套提出立体一致性评估与 4D NVS 评测协议（第 4.1、4.3 节），不属于综述、纯新算法或系统部署类论文。\n- 论文虽包含定制硬件 rig（12+4 相机，第 3 节）与一个立体引导 3DGS 基线方法（第 4.2 节），但二者均服务于数据集构建与验证，故最贴切标签为 `other`（数据集/基准类论文）。\n\n### 1. 论文元数据\n\n- **标题**：Ego-1K – A Large-Scale Multiview Video Dataset for Egocentric Vision\n- **作者**：Jae Yong Lee、Haoru Zhao、Lior David、Daniel Scharstein、Akash Bapat、Hao Hu、Paul Sammut、Xiang Li、Stephen Jeapes、Saketh Madhuvarasu、Jay Girish Joshi、Andrew Fu、Anik Gupta、Jason Wither（均隶属 Meta Reality Labs；从致谢与内容看，团队从事 VR/AR 硬件与 egocentric 视觉研究）\n- **发表载体**：文档未明确注明期刊/会议/年份；从 CVPR 式模板与引用风格推测为 2025 年计算机视觉会议论文\n\n### 2. 研究定位\n\n- **研究领域**：计算机视觉——egocentric（第一人称）视觉、多视角立体（multiview stereo）、神经新视角合成（NVS）与 4D 动态场景重建\n- **具体任务**：构建大规模时间同步的 egocentric 多视角视频数据集（12 rig 相机 + Quest 3 头显 4 相机，60 Hz 硬件同步，956 段视频、约 514k 帧，第 3 节与 Table 1）；提出基于视差图一致性（MAD/SD）的立体方法评估协议（第 4.1 节）与 10 训练/2 测试视角划分的 4D NVS 基准（第 4.3 节）；并给出以立体深度（Foundation Stereo + TSDF 融合）初始化 3DGS 的基线方法（第 4.2 节）\n- **目标用户/应用场景**：从事 3D/4D 场景重建、动态新视角合成、手-物交互（HOI）理解的研究者；面向智能眼镜与混合现实设备的第一人称世界建模、远程临场、空间推理与机器人应用（第 1 节）\n\n### 3. 输入材料清单\n\n- **PDF**：是（含摘要、引言、相关工作、数据集、实验、结论与参考文献）\n- **附录/补充材料**：未见\n- **代码链接**：文档未提供训练/评估代码链接\n- **数据集链接**： 版本公开，约 17.5 TB；raw 版本约 88 TB，需申请，见第 3 节）\n\n### 4. 缺失材料与风险\n\n- **缺失项**：附录/补充材料、开源代码、明确的发表 venue 与日期\n- **可能影响**：实验复现细节（如 TSDF 融合参数、微调迭代次数、训练超参）只能依赖正文描述，存在复现风险；raw 数据需申请可能限制对 iToF/IMU 流的深入分析；venue 信息需外部核实以完成引用\n\n### 5. 阅读路线\n\n- **Step 1**：读摘要与第 1 节引言，明确动机（填补“同步多视角 egocentric 视频”数据空白）与三大贡献（数据集、评测协议、立体引导基线）\n- **Step 2**：读第 2 节相关工作与 Table 1，理解与 NSFF、Ego4D、EgoExo4D、HOT3D 等数据集在“多视角 × egocentric × 大规模”三轴上的对比定位\n- **Step 3**：读第 3 节数据集部分（rig 设计、场景内容、标定与在线标定、research 版本），关注 Fig. 1、Fig. 3、Table 2 及在线标定使 MAD 降低 35% 的结论\n- **Step 4**：读第 4 节实验（立体一致性 Table 3 与 Fig. 6；立体初始化流程 Fig. 5；4D 重建结果 Table 4 与 Fig. 7），理解评估协议与“现有 NVS/DNVS 方法失效、立体深度先验显著提升（PSNR 提升最高 12.7）”的核心发现\n- **Step 5**：读第 5 节结论与未来工作，梳理数据集的扩展用途（多基线立体伪 GT 深度、相机子集消融、HOI 任务评测）以确定后续精读重点\n\n\n## 模块 B：第一遍鸟瞰扫描（类别/上下文/正确性/贡献/清晰度） / Module B: First Pass Overview (category, context, correctness, contribution, clarity)\n\n## Module B：首遍通读概览\n\n### 1. 论文类型与类别\n\n- **类型**：数据集/基准（benchmark）类论文，与 Module A 判定的 `other` 一致。核心交付物是 Ego-1K 数据集（956 段时间同步 egocentric 多视角视频、约 514k 帧；摘要、第 3 节、Table 1），配套两类评测协议（立体一致性评测与 4D NVS 基准，第 4.1/4.3 节）以及一个立体引导 3DGS 基线方法（第 4.2 节）。\n- **子类别**：资源型 + 评测型；方法部分（立体初始化 3DGS）仅作为基线与概念验证，并非主要贡献。\n\n### 2. 背景与研究背景\n\n- **应用驱动**：混合现实设备与智能眼镜日益普及，需要从佩戴者视角进行照片级 4D 世界建模，以支撑远程临场、空间推理与机器人等应用（第 1 节）。\n- **数据空白**：现有 NVS 数据集多为 exocentric 或单目且偏静态（NSFF、HyperNeRF、Neural 3D Video、DiVA-360，第 2 节）；egocentric 数据集（Ego4D、EPIC-KITCHENS、H2O、HOI4D、ARCTIC）侧重活动识别，通常仅 1 个 egocentric 视角；多视角 egocentric 数据集（EgoExo4D、EgoHumans、EgoSim、HD-EPIC、HOT3D）在视角数或规模上受限（第 2 节、Table 1）。\n- **定位**：据 Table 1（最后一行），Ego-1K 是唯一同时满足“egocentric 视角 × 高相机数（12+4）× 大规模 × 硬件同步”的数据集，核心任务为几何/HOI 动态 NVS。\n\n### 3. 直觉正确性检查（关键假设是否合理）\n\n- **假设 1：现有 3D/4D NVS 方法难以处理 egocentric 近场动态场景**——合理。大视差、快速手部运动、频繁遮挡与 rig 自运动叠加，超出为 object-centric（D-NeRF）或固定姿态多视角（Neural 3D Video）设计方法的适用域；Table 4 中 K-Planes PSNR 仅 16.46、逐帧 3DGS 仅 21.22，支持该判断（第 4.3 节）。\n- **假设 2：立体深度先验可缓解重建病态性**——合理。Foundation Stereo 在跨对一致性评测中 MAD 最低（1.6 mm，Table 3）；以其 TSDF 融合初始化 3DGS 后 PSNR 升至 29.12（较原 3DGS +7.9、较 K-Planes +12.7、较 Spacetime Gaussians +4.4，Table 4），因果链清晰（第 4.1–4.3 节）。\n- **假设 3：在线标定必要**——合理。镜头移动 0.1–0.2°、焦距随温度变化可造成 1–3 像素偏移，显著影响重建精度；在线标定使中位 MAD 降低 35%（第 3 节标定小节）。\n- **保留疑点**：① 无真实深度 GT，立体方法选择依赖“一致性”而非“精度”代理指标（第 4.1 节自述）；② NVS 评测仅使用 10% 数据（96 段，第 4 节），统计代表性待验证；③ research 版本剔除头显 RGB 相机（快门/分辨率/色彩不同，第 3 节），12 视角结论向真实头显配置的外推需谨慎。\n\n### 4. 核心贡献\n\n1) **Ego-1K 数据集**：12 台 rig 全局快门鱼眼相机 + Quest 3 头显 4 相机，60 Hz 硬件同步，956 段视频/约 514k 帧，聚焦近场手-物交互（HOI）（第 1、3 节，Fig. 1、Table 1）。\n2) **双版本发布**：research 版（12 视角去畸变为 6 对矫正立体对，17.5 TB，HuggingFace 公开）与 raw 版（含 iToF/IMU 全传感器流，88 TB，需申请）（第 3 节）。\n3) **新评测协议**：① 立体一致性——将各对视差图 warp 到目标对并计算 MAD/SD（第 4.1 节，Fig. 4、Table 3）；② 4D NVS——10 训练/2 测试视角划分，以 PSNR/SSIM/LPIPS 评测（第 4.3 节，Table 4）。\n4) **实证发现**：现有 NVS/DNVS 方法在该数据上失效；引入立体深度先验可大幅提升（PSNR 最高 +12.7）（Table 4、Fig. 7）。\n5) **立体引导 3DGS 基线**：Foundation Stereo 双向视差 → TSDF 融合 → 表面采样初始化高斯 → 少量迭代光度微调（第 4.2 节，Fig. 5；损失 L=(1-λ)L1+λL_D-SSIM）。\n\n### 5. 清晰度评估\n\n- **结构**：引言→相关工作→数据集→实验→结论，线性清晰；相关工作按“神经 3D 视频合成 / egocentric 视觉 / 多视角 egocentric”三线组织，并与 Table 1 的对比表呼应。\n- **图表**：质量高且信息密度大——Fig. 1（rig 照片+渲染+视差范围可视化）、Fig. 4（立体对与目标对示意）、Fig. 5（方法流程）、Fig. 6/7（定性对比）；Table 1（数据集对比，含交互时域与几何/语义任务两轴）、Table 2（多样性轴）、Table 3/4（定量结果）。\n- **公式**：仅 1 个光度损失公式（第 4.2 节），阅读门槛低。\n- **可读性**：良好；不足之处：发表 venue/日期未注明；TSDF 融合参数、微调迭代数等复现细节缺失；iToF 流因运动下深度不可靠与相位模糊而未在实验中使用（第 3 节），相关分析留白。\n\n### 6. 继续或停止建议\n\n- **明确建议：继续精读**（进入 Module C–E）。\n- **理由**：① rig 设计、时间同步（LTC+MQTT）与在线标定流程对构建同类多视角采集系统有直接工程参考价值（第 3 节）；② 立体一致性协议与 10/2 视角划分可作为后续 egocentric 4D 重建研究的标准评测（第 4.1/4.3 节）；③ Table 3/4 的方法排序（Foundation Stereo 最优、立体引导显著增益）对方法选型有即用价值。若读者仅关注算法创新而非数据资源，可在读完第 4 节后停止。\n\n### 7. 结构大纲图\n\nmarkmap\n\n# Ego-1K 论文概览\n\n## 摘要\n\n## 1 引言\n\n### 动机：egocentric 4D 重建数据空白\n\n### 贡献：数据集 + 评测协议 + 立体引导基线\n\n## 2 相关工作\n\n### 神经 3D 视频合成数据集\n\n### Egocentric 视觉数据集\n\n### 多视角 Egocentric 数据集\n\n### Table 1 三轴对比\n\n## 3 数据集\n\n### 多相机 rig（12+4，60 Hz 同步）\n\n### 场景内容（HOI，Table 2）\n\n### 采集与处理（LTC/MQTT 同步，色彩校正）\n\n### 标定（离线 Calibu + 在线，MAD −35%）\n\n### Research 版（6 立体对，17.5 TB）/ Raw 版（88 TB）\n\n## 4 实验\n\n### 4.1 立体一致性评测（Table 3：Foundation Stereo 最优）\n\n### 4.2 立体初始化 4D 重建（Fig. 5：TSDF 融合 + 微调）\n\n### 4.3 4D NVS 评测（Table 4：PSNR 最高 +12.7）\n\n## 5 结论与未来工作\n\n### 多基线伪 GT 深度 / 相机子集消融 / HOI 评测\n\n## 致谢与参考文献\n\n\n## 模块 C1：论文试图解决什么问题？ / Module C1: What problem does the paper try to solve?\n\n## Module C1：论文要解决什么问题？\n\n### 1. 一句话问题定义\n\n论文旨在填补“缺乏大规模、时间同步的多视角 egocentric（第一人称）真实动态场景视频数据集”这一空白，构建 Ego-1K 数据集（12 个 rig 相机 + Quest 3 头显 4 相机，60 Hz 硬件同步，956 段视频、约 514k 帧），以支撑并基准评测 egocentric 4D 场景重建与动态新视角合成（NVS）研究（摘要、第 1 节、Table 1）。\n\n### 2. 痛点与现有不足\n\n- **数据空白**：现有 NVS 数据集多为外视角（exocentric）或单目且聚焦静态场景（NSFF、HyperNeRF、Neural 3D Video、DiVA-360 等）；egocentric 数据集（Ego4D、EPIC-KITCHENS 等）侧重活动识别，仅单目或少量立体视角，缺少驱动与评测 egocentric 4D 重建所需的同步多视角影像（第 1 节、第 2 节）。\n- **多视角 egocentric 数据集规模/视角数受限**：EgoExo4D、EgoHumans、EgoSim、HD-EPIC、HOT3D 等仅提供 2–6 个（甚至每主体仅 1 个）egocentric 视角或场景数有限，无法同时满足“egocentric 视角 × 高相机数 × 大规模”三轴（第 2 节、Table 1）。\n- **现有 3D/4D NVS 方法在 egocentric 条件下失效**：近距动态手部运动、大幅视差、频繁遮挡与 rig 自运动（ego motion）叠加，导致现有 NVS/DNVS 方法（3DGS、K-Planes、Spacetime Gaussians）无法可靠重建场景（摘要、第 4.3 节、Table 4）。\n- **缺乏系统性评测协议**：此前没有针对 egocentric 多视角重建的立体一致性评测与训练/测试视角划分基准，难以量化该领域方法进展（第 1 节、第 4.1、4.3 节）。\n\n### 3. 形式化目标 / 优化目标\n\n- **数据集构建目标**：同时满足 egocentric 视角、高相机数（12+4）、大规模（956 段、514k 帧）、精确硬件同步（60 Hz）四个属性（第 1 节、Table 1）。\n- **基线方法的优化目标**：以立体深度（Foundation Stereo + TSDF 融合）初始化 3D Gaussians，再通过最小化光度损失微调（第 4.2 节）：\n L = (1−λ)·L1 + λ·L_D-SSIM，默认 λ = 0.1，对每帧独立优化。\n- **立体方法选择目标**：将其他相机对的视差图 warp 到目标相机对后，最小化一致性偏差，即最小化 median absolute deviation（MAD）与标准差（SD）（第 4.1 节、Fig. 4）。\n\n### 4. 成功标准（指标或期望性质）\n\n- **数据集层面**：成为唯一同时实现“多视角 ✓、egocentric ✓、大规模 ✓”的数据集（Table 1）；在线标定使立体一致性 MAD 中位数降低 35%（第 3 节标定部分）。\n- **立体一致性指标**：MAD（mm，越低越好）、MAD<1mm 比例（越高越好）、SD（mm，越低越好）；Foundation Stereo 取得最低 MAD 1.6 mm、MAD<1mm 比例 74.0%（Table 3）。\n- **4D NVS 重建指标**：在留出的 2 个测试视角（target pair 3–4）上按帧评测 PSNR↑、SSIM↑、LPIPS↓；立体引导 3DGS 达到 PSNR 29.12 / SSIM 0.830 / LPIPS 0.115，较 3DGS、K-Planes、Spacetime Gaussians 分别提升 7.9、12.7、4.4 dB（Table 4、Fig. 7）。\n- **期望性质**：数据集能暴露现有方法的失效模式（近距动态物体、大视差、频繁遮挡），并支持未来多基线立体伪 GT 深度、相机子集消融与 HOI 任务评测（第 5 节）。\n\n\n## 模块 C2：有哪些相关研究？（最强基线/最相近思路/正交方向） / Module C2: What related research exists? (strongest baseline, closest approach, orthogonal directions)\n\n## Module C2：相关工作分析（What related work matters here?）\n\n### 1. 最强基线与比较轴\n\n本文的“基线”分三个层面：数据集对比、NVS/DNVS 方法对比、立体深度方法对比。\n\n#### 1.1 数据集层面（Section 2，Table 1）\n\n按 `Method -> core idea -> limitation` 结构梳理最接近的竞争数据集：\n\n- **HOT3D [^1]**（CVPR 2025）\n - 核心思想：利用 Project Aria 与 Quest 3 头显采集大规模同步 egocentric 多视角视频，面向 3D 手部与物体跟踪（198 段 Aria + 226 段 Quest）。\n - 局限：仅 2–3 个 egocentric 视角，核心任务是 pose tracking（几何），无法支撑稠密多视角 4D 重建基准。\n- **HD-EPIC [^37]**（CVPR 2025）\n - 核心思想：高细节、无脚本厨房活动的 egocentric 录制（156 视频 / 41 小时）。\n - 局限：仅 3 个 ego 视角，聚焦语义识别（Sem. / recognition），不面向动态 NVS。\n- **EgoExo4D [^15]**（CVPR 2024）\n - 核心思想：大规模 ego-exo 技能演示数据（5k 视频 / 1,286 小时）。\n - 局限：每场景仅 3 个 ego 相机 + 4–5 个 exo 相机，且 exo 视角不随佩戴者头部运动，非真正“全 ego 多视角”。\n- **EgoHumans [^20] / EgoSim [^16]**\n - 核心思想：多视角 egocentric 采集用于 3D 人体跟踪 / 人体姿态估计。\n - 局限：EgoHumans 仅 7 个场景、每被试仅 1 个 ego 视角；EgoSim 每被试同样仅 1 个头部位姿视角（Table 1 脚注）。\n- **比较轴**：Table 1 用三条主线（Neural 3D Video Synthesis / Egocentric Vision / Multiview Egocentric）加两个横切轴组织对比——(a) interaction horizon（时长与焦点：短动态 vs. 长活动）；(b) core benchmark task（geometry vs. semantics）。Ego-1K 是唯一在 multiview ✓、egocentric ✓、large-scale ✓ 三轴同时打勾，且提供 12+4 个全部随头部运动的同步 ego 相机（956 视频 / 514k 帧）的数据集（Table 1 最后一行及表注）。\n\n#### 1.2 NVS/DNVS 方法层面（Section 4.3，Table 4，Fig. 7）\n\n- **Spacetime Gaussians [^27]**（CVPR 2024）：最强 DNVS 基线（PSNR 24.76 / SSIM 0.780 / LPIPS 0.270）。核心思想：动态 3DGS 特征溅射实现实时动态视角合成；局限：为固定姿态多视角视频 [^25][^39] 或物体中心场景 [^38] 设计，无法处理 ego motion + 近场手部快速运动 + 频繁遮挡的组合（Section 4.3 Results）。\n- **3DGS [^19]**（SIGGRAPH 2023，per-frame）：静态 NVS 基线（PSNR 21.22）。核心思想：逐帧独立拟合 3D 高斯；局限：无法克服近场动态手部导致的病态性（ill-posedness）。\n- **K-Planes [^12]**（CVPR 2023）：动态辐射场基线（PSNR 16.46，最差）。核心思想：空间-时间显式分解的辐射场；局限：大空间范围场景下表现显著劣于高斯模型（Section 4.3）。\n- **比较轴**：10 训练视角 / 2 测试视角（目标对 3–4，Fig. 4）上的逐帧 PSNR / SSIM / LPIPS。\n\n#### 1.3 立体深度方法层面（Section 4.1，Table 3，Fig. 6）\n\n- **Foundation Stereo [^47]**（CVPR 2025）：MAD 1.6mm、MAD<1mm 比例 74.0%，一致性最优，被选为深度先验来源。核心思想：零样本立体匹配基础模型；局限（相对而言）：SD 42.5mm 高于 BiDAStereo 的 8.3mm，存在较极端的离群深度值。\n- **比较轴**：无 GT 深度下的跨立体对 disparity 一致性——将 5 个立体对的视差图 warp 到目标对后计算 MAD 与 SD（Section 4.1，Fig. 4）。\n\n### 2. 最接近的工作与关键差异\n\n- **数据集侧——HOT3D [^1] 与 HD-EPIC [^37]**：同为基于现代头显（Quest 3 / Project Aria）的同步多视角 egocentric 采集，是与本文最接近的两项工作（Section 2 \"Multiview egocentric datasets\"）。**关键差异**：二者均限于 2–3 个 ego 视角；Ego-1K 提供 12 个环绕 rig 相机 + 4 个头显相机、60 Hz 硬件同步、全部随头部运动，且规模达 956 段 / 514k 帧，核心任务从语义/跟踪转向 HOI 动态 NVS 几何基准（Table 1）。\n- **数据集侧——EgoHumans [^20] / EgoSim [^16] / EgoExo4D [^15]**：同样尝试多视角 × egocentric 组合。**关键差异**：视角数少（每被试 1 个 ego 视角或 3 相机）、场景数少（7 场景）或依赖外部 exo 相机，无法满足“ego 视角 × 高相机数 × 大规模”三要素（Section 2）。\n- **方法侧——DN-Splatter [^44] / EDGS [^22] / DepthSplat [^49]**（Section 3）：\n - DN-Splatter：核心思想是用融合点云（深度与法向先验）初始化/约束 3DGS；与本文同为初始化路线，但未针对 egocentric 大视差近场动态场景。\n - EDGS：核心思想是用稠密对应关系初始化 3D Gaussians 以消除 densification；差异在于本文用双目 TSDF 融合获得度量精确、水密的表面几何。\n - DepthSplat：核心思想是前馈式联合训练深度估计与 Gaussian splatting，纯依赖学习深度；**关键差异**：本文使用立体 TSDF 融合得到度量级精确几何作为初始化，再仅做少量迭代光度微调（默认 λ=0.1 的 L1+D-SSIM 损失，Section 4.2，Fig. 5），更可靠且简单。\n - 正则化类方法 [^6][^32][^40]：核心思想是通过损失正则化改进稀疏点云初始化下的 NVS；**关键差异**：本文采用稠密立体初始化，正则化路线不适用（Section 3）。\n\n### 3. 正交方向\n\n- **语义类 egocentric 数据集**：Ego4D [^14]（3,670+ 小时）、EPIC-KITCHENS [^8][^9]（100 小时）、HoloAssist [^45]、EgoObjects [^52]、EgoPoints [^10]——聚焦活动识别、物体检测、点跟踪等语义任务，与本文的几何重建/动态 NVS 目标正交（Section 2，Table 1 中标注为 Sem. 类）。\n- **HOI 语义数据集**：H2O [^23]、HOI4D [^29]、ARCTIC [^11]——同样关注手-物交互但仅单 ego 视角，任务为识别/分割/手部重建，可与本文数据集在 HOI 评测上互补（Section 5 未来工作）。\n- **经典立体/MVS 基准**：Middlebury [^41]、KITTI [^13]、Sintel [^4]、DTU [^17]、ETH3D [^42]、Tanks and Temples [^21]——均为 exocentric、静态或非 ego 场景，为立体匹配与 MVS 提供基础，但与 egocentric 动态近场场景正交（Section 2 第一段）。\n- **3DGS 正则化与 SLAM 方向**：Depth-regularized 3DGS [^6]、Gaussian Splatting SLAM [^32]、Self-evolving depth-supervised 3DGS [^40]、SplatFields [^33]——通过正则化处理稀疏视角，与本文“稠密立体初始化”路线正交（Section 3）。\n- **前馈深度-GS 联合模型**：DepthSplat [^49]——纯学习深度的 feed-forward 路线，与本文“度量立体 TSDF 融合初始化”路线形成对照而非直接竞争（Section 3）。\n\n### 4. 一句话定位\n\nEgo-1K 是首个同时实现大规模（956 视频 / 514k 帧）、高相机数（12+4 硬件同步）、egocentric 视角与精确时间同步的动态场景数据集，填补了神经 3D 视频合成与 egocentric 视觉交叉领域“无稠密同步多视角 ego 视频”的关键空白，并证明现有 NVS/DNVS 方法在此设定下失效、而立体基础模型的深度先验可大幅提升重建质量（Section 1–2，Table 1；Section 4，Table 3–4）。\n\n\n## 模块 C3：论文如何解决这个问题？（流程图文字版） / Module C3: How does the paper solve the problem? (include a text flowchart)\n\n## Module C3：论文如何解决问题（方法与机制）\n\n### 1. 核心机制概述（浅层理解）\n\n论文面对的核心问题是：**此前不存在同时满足“egocentric 视角 × 高相机数量 × 大规模 × 精确同步”的数据集**（第 1、2 节；Table 1），且现有 3D/4D 新视角合成（NVS）方法在此类场景下失效。论文的解决机制由三层构成：\n\n1. **数据获取层**：定制头戴 rig——12 个全局快门 RGB 鱼眼相机环绕 Quest 3 头显（含 2 个前向 RGB + 2 个前向灰度 SLAM 相机），16 路相机以 60 Hz 硬件同步（第 3 节；Fig. 1）。\n2. **数据处理层**：LTC 时间戳 + MQTT/ROS2 时间对齐、VRS 合并、debayer、全局颜色校正、离线 + 在线标定，最终产出由 6 组校正立体对组成的 research 版数据集（第 3 节）。\n3. **评测与基线层**：提出立体一致性评测协议（MAD/SD，第 4.1 节）与 4D NVS 基准（10 训练/2 测试视角，第 4.3 节），并给出“立体深度初始化 3DGS + 光度微调”的基线方法（第 4.2 节；Fig. 5）。\n\n关键洞察：**动态 NVS 方法难以处理“rig 自我运动 + 近场手部运动 + 大视差 + 频繁遮挡”的组合，而当前立体基础模型（如 Foundation Stereo）可以**；因此以立体深度作为几何先验弥补 NVS 的不适定性（第 3 节、第 4 节）。\n\n### 2. 分步拆解（中层分析）\n\n### Step 1：多相机 rig 设计与同步采集（第 3 节）\n\n- 12 个外部相机：8 MP（2848×2848）全局快门 RGB，190° 对角 FOV f2.8 镜头，裁剪至 6 MP（2448×2448）以经 USB 3.1（5 Gbps）实现 60 FPS 8-bit raw Bayer 流传输至背包 PC。\n- Quest 3 头显：2 个前向卷帘快门 RGB（2328×1748 @60 FPS）+ 2 个前向全局快门灰度 SLAM 相机（512×640 @30 FPS）；VIO 提供 rig 位姿；raw 版含 800 Hz IMU 原始信号。\n- 另有 2 个 Lucid Helios2 Wide iToF（640×480，交替 30 FPS），因运动下深度不可靠与相位模糊，仅存于 raw 版、不用于实验。\n- 同步机制：无线同步器向头显流与 12 个 rig 相机发送 LTC 时间戳，timing controller 经 MQTT 将触发帧时间戳传给 PC 上的 ROS2 采集软件，实现 12+4 相机帧对齐。\n- 数据量：约 15 GB/s 未压缩数据 → DDR RAM → NVMe；每段视频 8–10 秒、每相机约 450–550 帧；rig 约 6 kg，用背包吊架支撑以保留自然头部运动。\n\n### Step 2：数据处理与质量控制（第 3 节）\n\n- 服务器端将 rig VRS 与头显 VRS 合并为单一时间对齐 VRS；raw 彩色流 debayer 为 RGB。\n- 对 rig 视频做全局颜色校正以匹配头显 RGB 相机；随 VRS 存储标定、采集条件与内容元数据。\n- 999 段录制中人工剔除 43 段（过暗或帧数不足），保留 956 段；Table 2 给出光照、场景、动作、持物等多样性轴。\n\n### Step 3：标定（离线 + 在线，第 3 节）\n\n- 离线：实验室 5 块大型平面 Calibu 靶，按预设位姿移动 rig，跟踪标定标志点求解所有相机内参与相对外参；数周采集期内周期性重标定验证稳定性。\n- 在线：补偿镜头移动（旋转变化 0.1–0.2°）与温度引起的焦距变化（图像偏移 1–3 像素）；假设单段录制内标定恒定，跨全部相机检测并匹配特征、逐帧处理，仅优化相机旋转与焦距（固定其余外参/内参），联合最小化重投影误差。\n- 效果：在线标定使中位 MAD 降低 35%（第 3 节）。\n\n## Step 4：research 数据集生成（第 3 节；Fig. 3）\n\n- 仅保留 12 个 rig 相机（排除头显 RGB：卷帘快门、分辨率、色彩配置不同），去畸变为 6 组水平校正 pinhole 立体对；分辨率 1280×1280、水平 FOV 130°；使用在线标定精化参数去畸变。\n- 每帧 12 张 PNG + 标定与位姿数据；research 版 956 段共 17.5 TB（HuggingFace 公开），raw 版平均 93 GB/VRS、共 88 TB（需申请）。\n\n## Step 5：立体一致性评测协议——选择深度模型（第 4.1 节；Fig. 4、Fig. 6、Table 3）\n\n- 无 GT 深度，改测一致性：在 6 组校正立体对上运行各立体方法；选定目标对 3–4，将其余 5 对的视差图 warp 到目标对（像素反投影到 3D → 按像素连通性构建三角网格、丢弃跨大深度三角形 → 从目标相机渲染），逐像素计算 MAD 与 SD。\n- 结果：Foundation Stereo 的 MAD 最低（1.6 mm，小于 1 mm 占 74.0%），BiDAStereo 的 SD 最低（8.3 mm，说明极端离群深度更少）；综合定性结果选定 Foundation Stereo 作为几何先验来源。\n\n## Step 6：立体引导 3DGS 基线（第 4.2 节；Fig. 5）\n\n- 对每帧 RGB 立体对双向（左→右、右→左）运行 Foundation Stereo；\n- 用 TSDF 融合（Curless & Levoy, SIGGRAPH 1996）整合全部立体深度图；\n- 从融合 TSDF 采样表面点，获得每点法向与颜色，用于初始化 3D 高斯；\n- 仅做少量迭代的光度微调（区别于深度正则化方案 [^6][^32][^40] 与端到端前馈深度方案 DepthSplat [^49]）；\n- 逐帧独立执行静态场景优化，串联成稠密 4D 重建。\n\n## Step 7：4D NVS 基准评测（第 4.3 节；Table 4、Fig. 7）\n\n- 划分：目标对 3–4 两视角作测试，其余 10 视角作训练；指标 PSNR/SSIM/LPIPS（逐帧、逐测试相机）；评测集为数据集的 10%（96 段）。\n- 基线：逐帧 3DGS、K-Planes（动态辐射场）、Spacetime Gaussians（动态 3DGS 变体）、3DGS+立体引导。\n- 结果：3DGS+立体引导 PSNR 29.12 / SSIM 0.830 / LPIPS 0.115，较 3DGS、K-Planes、Spacetime Gaussians 的 PSNR 分别提升 7.9、12.7、4.4；近场动态物体（手）场景的差距大于远处人物场景。\n\n### 3. 关键公式与模块角色（深层分析）\n\n## 唯一显示公式——光度重建损失（第 4.2 节）：\n\n$$\\mathcal{L}=(1-\\lambda)\\mathcal{L}_{1}+\\lambda\\mathcal{L}_{\\mathrm{D\\text{-}SSIM}},\\quad \\lambda=0.1$$\n\n- 角色：微调阶段的唯一监督信号；因 TSDF 融合几何已足够高质量，无需深度正则项，少量迭代即可收敛。\n- 设计含义：把“几何质量”从优化问题转移到初始化问题——用度量精确、水密的立体几何（Foundation Stereo + TSDF）替代损失加权，规避了深度正则化在稠密初始化下不适用的局限（第 3 节对 [^6][^32][^40][^49] 的对比论述）。\n\n## 隐式评测量（第 4.1 节）：\n\n- MAD（median absolute deviation）：各非目标对视差图 warp 到目标对后逐像素偏差的中位绝对偏差，衡量跨基线一致性；\n- SD（standard deviation）：衡量偏差离散程度，对极端离群敏感。\n- 二者互补：Foundation Stereo 胜在 MAD，BiDAStereo 胜在 SD（Table 3）。\n\n## 模块角色表：\n\n| 模块 | 输入 | 输出 | 在方案中的角色 |\n|---|---|---|---|\n| 12+4 rig + LTC/MQTT 同步 | 真实动态场景 | 60 Hz 同步 16 路流 | 从根源解决“无同步 egocentric 多视角数据” |\n| 离线 + 在线标定 | Calibu 靶观测 + 跨相机特征匹配 | 内外参 + 精化旋转/焦距 | 保证 1–3 像素级几何精度（MAD 降 35%） |\n| 去畸变管线 | 12 路鱼眼 + 精化标定 | 6 组 1280×1280 校正立体对 | 降低使用门槛，支撑立体匹配与 NVS |\n| 立体一致性协议 | 6 对视差图 | MAD/SD | 无 GT 条件下选择深度模型 |\n| Foundation Stereo + TSDF | 每帧立体对 | 水密表面点（含法向/颜色） | 提供度量精确的几何先验 |\n| 3DGS 光度微调 | 初始化高斯 + 10 训练视角 | 每帧新视角渲染 | 基线方法，证明几何先验的必要性 |\n\n### 4. 流程图\n\nmermaid\nflowchart TD\n A[\"定制 rig 采集：12 rig 相机 + Quest 3 头显 4 相机
60 Hz 硬件同步（LTC + MQTT + ROS2）\"] --> B[\"数据处理：VRS 合并、debayer、
全局颜色校正、元数据存储\"]\n B --> C[\"标定：离线 Calibu 靶标定 +
在线优化旋转与焦距（MAD 降低 35%）\"]\n C --> D[\"research 数据集：12 路鱼眼去畸变为
6 组校正立体对（1280×1280，130° FOV）\"]\n D --> E[\"立体一致性评测：4 种立体方法，
视差图 warp 至目标对 3–4，计算 MAD/SD\"]\n E --> F[\"选定 Foundation Stereo
（MAD 1.6 mm，小于 1 mm 占 74.0%）\"]\n F --> G[\"立体引导 3DGS：双向视差估计
→ TSDF 融合 → 表面点采样初始化高斯\"]\n G --> H[\"光度微调：L=(1-λ)L1+λL_D-SSIM，λ=0.1
逐帧独立优化，串联为稠密 4D 重建\"]\n D --> I[\"4D NVS 基准：10 训练视角 / 2 测试视角
（目标对 3–4），PSNR/SSIM/LPIPS\"]\n H --> I\n I --> J[\"结论：现有 NVS/DNVS 方法失效；
立体先验使 PSNR 最高提升 12.7\"]\n``n\n\n### 5. 深层分析：机制为何有效\n\n1. **问题分解策略**：将“动态 4D 重建”分解为“每帧静态 3D 重建”，用立体深度吸收动态性与大视差带来的不适定性，绕开动态形变场建模的困难（第 4.2、4.3 节；Table 4 中 K-Planes PSNR 仅 16.46 印证动态辐射场在此失效）。\n2. **先验来源的合理性**：立体基础模型在 rig 大基线（多数相机对的基线远超瞳距，Fig. 4）与近场快运动下仍稳健，而 NVS 的光度优化在频繁遮挡下无法恢复几何——这解释了“初始化优于正则化”的设计选择（第 3 节）。\n3. **评测协议本身即贡献**：MAD/SD 一致性协议无需 GT 深度即可横向比较立体模型，并可推广到多基线鲁棒性与时间稳定性评测（第 5 节）；10/2 视角划分为后续 egocentric 4D 方法提供可复现基准。\n4. **局限与取舍**：基线方法逐帧独立、未利用时间一致性；iToF 因运动与相位模糊被弃用；头显 RGB 因快门/色彩差异被排除在 research 版之外——均以几何可靠性优先（第 3、4.2 节）。\n\n\n## 模块 C4：实验数据集与实现设置（数据集/场景、为何选择、验证哪些关键特性） / Module C4: Datasets and implementation settings (what datasets/scenarios, why chosen, what they validate)\n\n## Module C4：数据集、基准与实现/评测设置\n\n### 1. 数据集 / 基准清单（名称、规模、场景）\n\n### （1）Ego-1K 主数据集（本文核心贡献，第 3 节、Table 1）\n\n- **规模**：956 段短视频（原始采集 999 段，人工剔除 43 段过暗或帧数不足的录像，见第 3 节 Scene content），约 514k 帧；每段 8–10 秒，每相机约 450–550 帧（第 3 节 Data capture and processing）\n- **采集设备**：定制头戴 rig = 12 台全局快门 RGB 鱼眼相机（8 MP 2848×2848，裁剪至 6 MP 2448×2448，190° 对角 FOV f2.8 镜头）+ Quest 3 头显（2 台前向卷帘快门 RGB 2328×1748 @60 FPS + 2 台前向全局快门灰度 SLAM 相机 512×640 @30 FPS）+ 2 台 Lucid Helios2 Wide iToF（640×480，交替 30 FPS）+ 800 Hz IMU（第 3 节 Multi-camera rig）\n- **同步**：全部 12+4 相机 60 Hz 硬件同步（Fig. 1、摘要）\n- **场景**：5 名操作者在多种环境（lab、office、living room、bedroom、rooftop 等）、光照（lux 分箱 51–75 至 1001+，自然/人工/混合光）下手部动作与手-物交互（HOI）：打字、滑动面板、操作手柄、持握手机/平板/杯子/书/笔等；部分场景含旁观者（第 3 节 Scene content、Table 2、Fig. 2）\n- **多样性元数据**：每段录像附带 lux、光照类型、场景、家具布局、操作者动作、持握物体、头部运动、服装、配饰、是否有他人等文本标签（Table 2）\n\n### （2）Research 版本（公开，第 3 节 Research dataset）\n\n- 仅含 12 台 rig 相机，去畸变（dewarp）为 6 对校正（rectified pinhole）立体对；分辨率 1280×1280，水平 FOV 130°；每帧 12 张 PNG + 标定与位姿数据（Fig. 3）\n- 单段录像（450–580 帧 × 12 相机）平均 19 GB；全集 956 段共 17.5 TB；链接：\n- 本文全部实验均基于该版本\n\n### （3）Raw 版本（需申请，第 3 节 Research dataset）\n\n- 合并后的 VRS 文件，含全部鱼眼流、iToF 流与 800 Hz IMU；单 VRS 平均 93 GB，总计 88 TB\n- iToF 因运动下深度不可靠与相位模糊未用于实验（第 3 节 Multi-camera rig）\n\n## （4）评测子集（第 4 节）\n\n- 从 956 段中选取 10%（96 段）用于全部评测实验\n\n## （5）对比基准数据集（Table 1，用于定位而非实验）\n\n- 神经 3D 视频合成类：NSFF（8 段单目）、HyperNeRF、D-NeRF（合成）、Neural 3D Video（6 室内场景 18 相机）、DiVA-360（53 相机穹顶）\n- Egocentric 类：Ego4D（3.7k 小时）、EPIC-KITCHENS（100 小时）、HoloAssist、H2O、HOI4D、ARCTIC、EgoObjects、EgoPoints\n- 多视角 egocentric 类：EgoExo4D、EgoHumans、EgoSim、HD-EPIC、HOT3D\n- 结论：Ego-1K 是唯一同时满足“多视角 × egocentric × 大规模 × 硬件同步”的数据集（12+4 ego 相机，Table 1 末行）\n\n### 2. 预处理与划分 / 覆盖设置\n\n## 采集与时间对齐（第 3 节 Data capture and processing）\n\n- 无线同步器向 Quest 流与 12 台 rig 相机发送 LTC 时间戳；timing controller 经 MQTT 将触发帧时间戳传给 PC 上的 ROS2 采集软件；共享时间戳用于对齐 rig VRS 与 headset VRS\n- 上传服务器后，rig VRS 与 headset VRS 合并为单一时间对齐 VRS；原始 Bayer 流去马赛克（debayer）为 RGB\n- 对 rig 视频做全局颜色校正以匹配 headset RGB 相机颜色\n- 数据率约 15 GB/s（12+2 RGB @60 Hz + 2 SLAM @30 Hz + 2 iToF @30 Hz + IMU @800 Hz），先入背包 PC DDR RAM 再转存 NVMe\n\n## 标定（第 3 节 Calibration）\n\n- 离线：实验室 5 块大型平面 Calibu 靶标，按预设位姿移动 rig，跟踪标定标志求解所有相机内参与相对外参；数周采集期内周期性重标定确认参数稳定\n- 在线：补偿镜头移动（旋转 0.1–0.2°）与温度导致焦距变化引起的 1–3 像素图像偏移；假设单段录像内标定恒定，跨全部相机检测并匹配特征，逐帧联合优化相机旋转与焦距以最小化重投影误差；在线标定使中位 MAD 降低 35%（第 3 节 Calibration）\n- 野外位姿由 headset 的 VIO 系统提供\n\n## Research 版本生成（第 3 节 Research dataset）\n\n- 使用精化后的在线标定做去畸变；1280×1280、130° 水平 FOV 以兼顾宽视场并避免越界区域\n- 剔除 headset RGB 相机（卷帘快门、分辨率、色彩配置与 rig 相机不一致）\n\n## 数据划分（第 4.1、4.3 节、Fig. 4）\n\n- 立体一致性评测：12 视角组成 6 对水平校正立体对；选定 target pair 3–4，将其余 5 对的视差图 warp 到目标对（像素反投影到 3D → 按像素连通性建三角网格、丢弃跨大深度三角形 → 从目标相机渲染），逐像素计算 MAD 与 SD\n- 4D NVS 评测：target pair 3–4（2 视角）作为测试视角，其余 10 视角用于训练；逐帧逐测试相机计算 PSNR/SSIM/LPIPS\n- 覆盖设置：全部评测在 96 段（10%）子集上进行\n\n### 3. 训练 / 推理 / 评测环境\n\n## 采集端硬件（第 3 节 Multi-camera rig）\n\n- 背包 PC：两块 8 口 USB host bus adapter 经 USB 3.1（5 Gbps）接入相机流；rig 约 6 kg，用背包式吊架承重以保留自然头部运动\n\n## 立体深度评测（第 4.1 节、Table 3、Fig. 6）\n\n- 对比 4 个近期立体方法：Foundation Stereo、Selective-Stereo、BiDAStereo、StereoAnywhere\n- 指标：MAD（中位绝对偏差，mm）、MAD<1mm 像素比例、SD（标准差，mm）；可视化中 MAD 截断至 4cm、SD 至 50cm（Fig. 6）\n- 结果：Foundation Stereo MAD 最低（1.6 mm，74.0% 像素 MAD<1mm），BiDAStereo SD 最低（8.3 mm）；综合定性结果选 Foundation Stereo 作为深度先验\n\n## 4D 重建基线与本文方法（第 4.2、4.3 节、Fig. 5、Table 4、Fig. 7）\n\n- 基线：逐帧 3DGS；动态辐射场 K-Planes；动态 3DGS 变体 Spacetime Gaussians\n- 立体引导 3DGS 流程：Foundation Stereo 双向（左→右、右→左）推理 → TSDF 融合（Curless & Levoy）→ 从融合 TSDF 采样表面点（带法线与颜色）初始化 3D Gaussians → 少量迭代微调，最小化光度损失 L=(1−λ)L1+λL_D-SSIM（默认 λ=0.1）；逐帧独立优化静态场景，串联成稠密 4D 重建\n- 指标：PSNR / SSIM / LPIPS（第 4.3 节）\n- 结果（Table 4）：3DGS+立体引导 PSNR 29.12 / SSIM 0.830 / LPIPS 0.115，较 3DGS、K-Planes、Spacetime Gaussians 分别提升 7.9、12.7、4.4 dB\n\n## 未使用的数据流\n\n- iToF（运动下深度不可靠、相位模糊）、headset RGB（快门/分辨率/色彩不一致）、侧向 SLAM 相机（被 rig 遮挡）\n\n### 4. 选择理由与验证目标\n\n- **60 Hz 硬件同步 + 12+4 相机布局**：验证“同步多视角 egocentric 动态视频”这一此前不存在的数据形态（Table 1），使 4D 重建与立体一致性评测成为可能；多数立体对基线显著大于人眼距离（Fig. 4），刻意制造大视差挑战\n- **HOI 中心的内容设计**：近场动态手部 + 快速运动 + 频繁遮挡 + rig 自运动，正是现有 NVS/DNVS 方法失效的根源（第 4.3 节 Results），用于暴露并量化该失效\n- **Research 版本（统一去畸变 + 校正立体对）**：消除快门/分辨率/色彩异构，降低社区使用门槛，保证基准公平性；raw 版本保留 iToF/IMU 供未来研究\n- **在线标定**：1–3 像素偏移足以显著影响重建精度；35% MAD 下降（第 3 节 Calibration）验证其必要性，且该 MAD 协议本身成为无 GT 深度下标定质量的自检手段\n- **无 GT 深度下的一致性评测（MAD/SD）**：以跨立体对深度一致性代替 GT 深度来选择立体模型（第 4.1 节），验证了 Foundation Stereo 的鲁棒性，并为后续多基线伪 GT 深度生成（第 5 节未来工作）铺路\n- **10 训练 / 2 测试视角划分**：held-out target pair 3–4 检验模型对未见视角的泛化；最高 12.7 dB 的 PSNR 提升（Table 4）验证“立体深度先验是解决该数据病态性的关键”这一核心论点\n- **10% 评测子集（96 段）**：在统计覆盖度与评测成本（每段 12 视角 × ~500 帧）之间取得平衡\n\n\n## 模块 C5：指标与结果（指标、结果、各指标对应的创新点） / Module C5: Metrics and results (metrics, results, which innovations each metric reflects)\n\n## Module C5：指标与结果\n\n### 1. 评估指标（定义与说明）\n\n**A. 立体一致性评估（第 4.1 节，Table 3，Fig. 4、Fig. 6）**\n由于数据集没有真值深度（ground-truth depth），论文提出以「跨立体对一致性」作为代理指标：将 5 个非目标立体对的视差图 warp 到目标对（相机 3–4），逐像素比较一致性。warp 实现：像素反投影到 3D → 按像素连通性构建三角网格（丢弃跨越大深度的三角形）→ 从目标相机渲染。\n\n- **MAD（median absolute deviation，中位数绝对偏差）↓ [mm]**：warp 后各对深度估计与目标对估计的逐像素中位数绝对偏差，衡量跨基线立体估计的整体一致性，越低越好。\n- **MAD < 1mm 比例 ↑**：MAD 低于 1mm 的像素占比，衡量高一致像素的覆盖率。\n- **SD（standard deviation，标准差）↓ [mm]**：warp 后深度估计的标准差，主要反映极端离群深度值的影响（MAD 截断在 4cm、SD 截断在 50cm，见 Fig. 6 说明）。\n\n### B. 4D NVS 重建评估（第 4.3 节，Table 4）\n\n- **PSNR ↑**：峰值信噪比，逐帧、逐相机在目标对（测试视角）上计算后取平均。\n- **SSIM ↑**：结构相似性指标。\n- **LPIPS ↓**：学习型感知图像块相似度，衡量感知质量。\n- 训练/测试划分：10 个 rig 视角用于训练，目标对 3–4（基线接近人眼距离的立体对，Fig. 4 中绿色标注）共 2 个视角留作测试；评估子集为数据集的 10%（96 段录像）。\n\n### C. 基线方法内部损失（第 4.2 节）\n\n- 光度损失 L = (1−λ)·L1 + λ·L_D-SSIM，默认 λ = 0.1，用于立体初始化后的 3D Gaussians 微调。\n\n### 2. 主要结果（具体数字）\n\n## A. 立体一致性（Table 3，第 4.1 节）\n\n| 模型 | MAD ↓ [mm] | MAD <1mm ↑ | SD ↓ [mm] |\n|---|---|---|---|\n| Foundation Stereo | **1.6** | **74.0%** | 42.5 |\n| Selective-Stereo | 8.0 | 0.0% | 46.2 |\n| BiDAStereo | 2.2 | 3.1% | **8.3** |\n| StereoAnywhere | 1.7 | 29.5% | 10.4 |\n\n- Foundation Stereo 的 MAD 最低（1.6 mm）且高一致像素占比最高（74.0%），被选为后续 4D 重建的深度先验（第 4.1 节 Results）。\n- BiDAStereo 的 SD 最低（8.3 mm），说明其极端离群深度值较少，但整体一致性明显弱于 Foundation Stereo（MAD 2.2 vs 1.6，MAD<1mm 仅 3.1% vs 74.0%）。\n- Selective-Stereo 在该数据上几乎完全失效（MAD 8.0 mm，MAD<1mm 为 0.0%）。\n\n## B. 4D NVS 重建（Table 4，第 4.3 节；评估子集 96 段录像）\n\n| 模型 | PSNR ↑ | SSIM ↑ | LPIPS ↓ |\n|---|---|---|---|\n| 3DGS（逐帧） | 21.22 | 0.709 | 0.260 |\n| K-Planes | 16.46 | 0.597 | 0.443 |\n| Spacetime Gaussians | 24.76 | 0.780 | 0.270 |\n| **3DGS + stereo guidance** | **29.12** | **0.830** | **0.115** |\n\n- 立体引导 3DGS 的 PSNR 提升：较逐帧 3DGS **+7.9**、较 K-Planes **+12.7**、较 Spacetime Gaussians **+4.4**（第 4.3 节 Results）。\n- 定性结果（Fig. 7）：逐帧 3DGS 无法克服病态性（ill-posedness）；K-Planes 与 Spacetime Gaussians 等现有动态模型无法成功重建该数据集，因其设计面向物体中心场景（如 D-NeRF）或固定位姿的多视角视频（如 Neural 3D Video）。\n\n### 3. 与基线/代表性先前工作的比较\n\n- **方法层面（Table 3、Table 4）**：立体方法中 Foundation Stereo 综合最优；NVS 方法中，静态 3DGS（逐帧）优于动态辐射场 K-Planes，作者归因于场景空间范围大（第 4.3 节 Results）；动态 3DGS 变体 Spacetime Gaussians 是现有方法中最强基线（PSNR 24.76），但仍显著落后于立体引导方案（29.12）。\n- **数据集层面（Table 1）**：与神经 3D 视频合成类数据集（NSFF、HyperNeRF、DNeRF、Neural 3D Video、DiVA-360）、egocentric 视觉类数据集（Ego4D、EPIC-KITCHENS、HoloAssist、H2O、HOI4D、ARCTIC、EgoObjects、EgoPoints）及多视角 egocentric 类数据集（EgoExo4D、EgoHumans、EgoSim、HD-EPIC、HOT3D）相比，Ego-1K 是唯一同时满足「多视角 ✓ + egocentric ✓ + 大规模 ✓」的数据集：12+4 相机、956 段视频、514k 帧、真实捕获、短时程动态内容、核心基准任务为几何/HOI 动态 NVS（Table 1 最后一行）。\n- **与几何先验类 3DGS 方法的定位差异（第 3 节）**：不同于正则化方法（如 Depth-regularized 3DGS、Gaussian Splatting SLAM）或端到端前馈深度模型（DepthSplat），本文采用基于立体 TSDF 融合的度量精确、水密几何初始化，作为更可靠的结构先验。\n\n### 4. 消融、敏感性与综合分析\n\n- **在线标定消融（第 3 节 Calibration）**：镜头移动导致相机朝向变化 0.1–0.2°、焦距随温度变化，可引起 1–3 像素的图像偏移，显著影响重建精度；在线标定（仅优化旋转与焦距，固定其余外参与内参）使中位 MAD 降低 **35%**，直接量化了标定精度对立体一致性的影响。\n- **场景动态距离敏感性（第 4.3 节 Results）**：立体引导模型与现有方法之间的性能差距在近距动态物体（手部）场景中比远距物体（他人）场景更大，说明近场 HOI 是现有 NVS/DNVS 方法的主要失效点。\n- **传感器层面的隐性消融（第 3 节）**：iToF 深度在运动与相位模糊下不可靠，故未用于任何实验（仅保留在 raw 版本中），排除了 ToF 作为几何先验的选项，间接支撑了「立体基础模型是本数据上更可靠深度来源」的结论。\n- **评估协议设计（第 4.3 节 Experimental setup）**：固定目标对 3–4 为测试视角、其余 10 视角训练的划分，同时支持静态逐帧（3DGS）与动态全序列（DNVS）两种评测模式；仅用 10% 数据（96 段）做评估以控制计算成本。\n- **跨数据集差异综合**：与 DiVA-360（53 相机穹顶捕获、非 egocentric）和 Neural 3D Video（18 相机、6 个室内静态布景）相比，Ego-1K 引入「rig 自运动 + 近场动态手部 + 大视差 + 频繁遮挡」的组合挑战；Table 4 显示现有动态 NVS 在此组合下全面失效，而 Table 3 显示立体基础模型仍具鲁棒性——这一对比构成本文的核心实证发现（摘要、第 1 节、第 4 节），也为后续利用多基线立体生成伪 GT 深度（第 5 节结论）提供了依据。\n\n\n## 模块 C6：有什么可以进一步探索的点？（理论/工程/数据/评测） / Module C6: What can be further explored? (theory/engineering/data/evaluation)\n\n## Module C6：未来可探索的方向\n\n论文在第 5 节结论中明确列出了多条后续研究路线，结合正文实验发现（第 4 节）可归纳为理论、工程、数据/评测三大方向，并按浅→中→深组织如下。\n\n### 1. 理论方向（至少一项：已列三项）\n\n- **动态 NVS 病态性的理论刻画与先验设计**：实验表明，在 ego-motion、近场手部动态、大视差与频繁遮挡的组合下，现有 3D/4D NVS 方法系统性失效（第 4.3 节、Table 4：per-frame 3DGS PSNR 仅 21.22，K-Planes 16.46，Spacetime Gaussians 24.76，而立体引导 3DGS 达 29.12）。未来可从理论上分析多视角光度约束在动态近场区域的退化机制，并设计超越纯光度损失的几何/时序先验；论文亦指出性能差距在近处动态物体（手）场景比远处（他人）更大（第 4.3 节 Results），可作为理论建模的切入点。\n- **无 GT 的一致性评估理论**：由于缺乏深度真值，论文提出用跨立体对视差图一致性（MAD/SD，第 4.1 节、Table 3、Fig. 6）作为替代评测。可推广为一般化的多视角一致性度量框架，包括不确定性建模、离群点统计与显著性检验。\n- **多基线立体融合的伪 GT 理论**：结论提出用多视角/多基线立体生成高质量逐帧深度作为伪 GT（第 5 节），需要研究 TSDF 融合（第 4.2 节引用 [^7]）中的误差传播、置信度加权与逐帧时序平滑。\n\n### 2. 工程方向（至少一项：已列四项）\n\n- **将立体先验端到端嵌入动态模型**：当前基线是“Foundation Stereo 双向视差 → TSDF 融合 → 表面采样初始化 3D Gaussians → 少量光度微调”的逐帧静态优化（第 4.2 节、Fig. 5、式 L=(1-λ)L1+λL_D-SSIM，λ=0.1）。未来可将立体深度先验直接嵌入 Spacetime Gaussians [^27] 等动态 3DGS 框架，实现时序一致、无需逐帧独立优化的 4D 重建。\n- **iToF 传感器融合**：raw 版本包含两个 Lucid Helios2 Wide iToF 流，但因运动模糊与相位歧义导致深度不可靠而未在实验中使用（第 3 节 Multi-camera rig）。可研究 iToF + 立体的鲁棒融合（相位去歧、运动补偿、置信度门控）。\n- **在线自标定的实时化**：在线标定（仅优化旋转与焦距）使中位 MAD 降低 35%（第 3 节 Calibration），可进一步工程化为采集过程中的实时自标定管线，持续补偿镜头温漂与 0.1–0.2 度级旋转漂移。\n- **采集与处理管线吞吐优化**：系统产生约 15 GB/s 未压缩数据（第 3 节 Data capture and processing），可探索实时 dewarp、在线压缩与流式存储，以支持更长时序、更大规模的 egocentric 多视角采集。\n\n### 3. 数据与评测方向（至少一项：已列六项）\n\n- **多基线立体伪 GT 深度基准**：利用 12 视角生成逐帧高质量深度图，作为评测双目/单目深度估计方法的伪 GT（第 5 节明确建议）。\n- **相机子集消融**：模拟智能眼镜 2–4 相机的真实配置，系统评测相机数量与基线长度对重建质量的影响（第 5 节）。\n- **立体基线鲁棒性与时序稳定性评测**：论文明确建议用本数据集评估方法对基线变化的鲁棒性与时序稳定性（第 5 节）。\n- **语义/人像分割一致性研究**：将 MAD/SD 一致性协议从深度推广到语义分割或人像分割任务（第 5 节）。\n- **HOI 任务评测**：面向手-物交互的 4D 理解基准，可利用 Table 2 中的元数据（操作动作、持有物体、衣物、配饰等标注轴）构建细粒度评测子集（第 3 节、第 5 节）。\n- **数据集扩展**：延长序列时长（当前 8–10 秒、450–550 帧，第 3 节）、扩充场景与操作者，并将 headset RGB 相机纳入 research 版本（当前因 rolling shutter、分辨率与色彩配置差异被排除，第 3 节 Research dataset）。\n\n### 4. 优先级建议（由浅入深）\n\n- **短期（可直接基于已公开的 research 版本，17.5 TB，第 3 节）**：相机子集消融、立体一致性协议扩展（分割任务）、多基线伪 GT 深度生成。\n- **中期**：立体先验端到端嵌入动态 NVS 模型、HOI 4D 理解基准。\n- **长期**：iToF+立体鲁棒融合、实时自标定、面向智能眼镜/混合现实设备的在线 egocentric 4D 重建系统（呼应第 1 节的远程临场、空间推理与机器人应用愿景）。\n\n\n## 模块 C7：现实场景如何体现/实现？（部署约束、算力、延迟、鲁棒性） / Module C7: How would this work in real-world scenarios? (deployment constraints, compute, latency, robustness)\n\n## Module C7：真实世界落地形态（部署约束、计算/延迟、鲁棒性/安全性、可维护性）\n\n### 定位说明\n\n本文为数据集/基准类论文（archetype: other），其“落地”包含两层含义：(1) 采集 rig 的现场部署与运行；(2) 数据集与评测协议在下游研究/产品（智能眼镜、MR 头显的 egocentric 世界建模）中的使用。以下按浅层→中层→深层组织。\n\n### 1. 真实使用场景（浅层理解）\n\n- **目标场景**：智能眼镜与混合现实设备普及背景下的第一人称世界建模（摘要、第 1 节），具体应用包括远程临场（remote presence）、空间推理与机器人（第 1 节）。\n- **直接用户**：从事 3D/4D 重建、动态 NVS、手-物交互（HOI）理解的研究者；**间接用户**：AR/VR 设备感知团队（可用其做方法鲁棒性回归测试）。\n- **可用性现状**：research 版（17.5 TB）已在 HuggingFace 公开（ 版（88 TB）需申请（第 3 节）——落地门槛主要是存储与带宽，而非访问权限。\n\n### 2. 部署约束（中层分析）\n\n**硬件与采集侧**（第 3 节、Fig. 1）：\n\n- rig 集成 12 台 8 MP 全局快门鱼眼相机（裁剪至 6 MP、190° 对角 FOV、f2.8）+ Quest 3 头显（2 个滚动快门 RGB + 2 个全局快门灰度 SLAM 相机），16 相机 60 Hz 硬件同步。\n- **rig 重约 6 kg**，需背包式吊架（backpack-mounted crane）分担大部分重量以保持自然头部运动（第 3 节）——这直接排除了普通用户日常穿戴长期采集的可行性，目前仅适合受控的专业采集。\n- **数据率约 15 GB/s**（12+2 RGB@60Hz + 2 SLAM@30Hz + 2 iToF@30Hz + IMU@800Hz），经两块 8 口 USB 3.1（5 Gbps）host bus adapter 进入背包 PC 的 DDR RAM 缓存，再转存 NVMe（第 3 节）——对采集主机的 I/O 与内存有极高要求。\n- **同步链路**依赖无线同步器（LTC 时间戳）+ MQTT + ROS2 软件，跨 headset 与 rig 两个 VRS 文件做时间对齐（第 3 节）——现场部署需要可靠的时间同步与网络基础设施。\n\n**存储与分发侧**（第 3 节）：\n\n- 单段录制（450–580 帧 × 12 相机）平均 19 GB；research 版全量 17.5 TB，raw 版平均 93 GB/VRS、共 88 TB——下游使用者需准备 TB 级存储与高带宽下载环境。\n\n### 3. 计算/延迟影响（中层→深层）\n\n- **立体深度先验管线**：需对每帧的 6 个校正立体对运行 Foundation Stereo（且双向运行），再做 TSDF 融合采样表面点初始化 3D Gaussians（第 4.2 节、Fig. 5）——作为离线批处理可行，但难以满足设备端实时性。\n- **4D 重建基线**：对每帧独立运行静态 3DGS 优化并少量迭代微调（第 4.2 节）；DNVS 基线（K-Planes、Spacetime Gaussians）需处理 12 视角 × ~500 帧的完整序列（第 4.3 节）。\n- **文档缺失项**：论文未报告任何训练/推理时间与 GPU 资源消耗，复现成本需自行估计。\n- **向实时产品迁移的差距**：若目标是眼镜端实时世界模型，逐帧 3DGS + 立体初始化的计算量过大；论文相关工作（第 3 节）提到的 DepthSplat 类前馈模型是可能的实时化方向，但本文未验证。\n\n### 4. 鲁棒性与安全性（深层分析）\n\n**标定漂移与在线标定**（第 3 节）：\n\n- 镜头移动可使相机朝向漂移 0.1–0.2°，焦距随温度变化，造成 1–3 像素图像偏移，显著影响重建精度。\n- 在线标定（仅优化旋转与焦距、固定其余外参/内参）使中位 MAD 降低 35%（第 3 节）——结论：**长期部署必须内建在线标定环节**，离线实验室标定不足以维持精度。\n\n**传感器可靠性**（第 3 节）：\n\n- iToF 在运动与相位模糊（phase ambiguity）下深度不可靠，实验中弃用——说明动态场景下多模态深度融合存在固有局限，不能默认 ToF 可作为兜底。\n\n**数据质量控制**（第 3 节）：\n\n- 999 段录制中人工剔除 43 段（过暗或帧数不足），保留 956 段——质量控制目前依赖人工检查，自动化质检流程尚未建立，规模化采集时是维护瓶颈。\n\n**方法鲁棒性核心发现**（第 4.3 节、Table 4、Fig. 7）：\n\n- 现有 NVS/DNVS 在“ego 运动 + 近距手部运动 + 大视差 + 频繁遮挡”组合下失效：3DGS 逐帧仅 21.22 PSNR，K-Planes 16.46，Spacetime Gaussians 24.76；立体引导 3DGS 达 29.12（相对提升最高 12.7 PSNR）。\n- 立体基础模型在挑战条件下仍较一致（Foundation Stereo MAD 1.6 mm，Table 3、Fig. 6）——提示“立体先验 + 重建”是当前更鲁棒的部署路线。\n- 近距动态物体（手）场景的方法差距大于远距场景（他人）（第 4.3 节）——对安全攸关的手部交互应用（如机器人操作），需重点加固近场重建。\n\n**隐私与合规（论文未讨论，属风险提示）**：\n\n- 场景含旁观者（Table 2 “Other person: true/false”），egocentric 采集天然涉及第三方隐私；论文未说明知情同意/脱敏流程，实际产品化部署需补充合规与隐私评估。\n\n### 5. 可维护性（深层分析）\n\n- **周期性再标定**：数周采集期间定期回实验室再标定以确认参数稳定（第 3 节）。\n- **在线标定作为常态化维护机制**：逐录制优化旋转与焦距，补偿热漂移与镜头移动（第 3 节）。\n- **元数据体系**：每段 VRS 附带标定数据、采集条件与内容文本标签（第 3 节、Table 2）——支持检索、子集筛选与后续消融（如相机子集、光照分箱）。\n- **双版本发布策略**：raw（全传感器流）与 research（12 相机去畸变为 6 个校正立体对，1280×1280、130° HFOV）分离，显著降低下游处理门槛（第 3 节、Fig. 3）。\n- **跨设备颜色一致性**：全局颜色校正使 rig 相机匹配 headset RGB 色彩（第 3 节）——保证多设备数据混用时的可比性。\n\n### 6. 落地路线小结\n\n- **短期**：作为离线基准推动 egocentric 4D 重建研究（公开数据 + 立体一致性协议 + 10/2 视角划分的 NVS 基准已就绪，第 4.1、4.3 节）。\n- **中期**：扩展用途包括多基线立体伪 GT 深度生成、相机子集消融、HOI 任务评测（第 5 节结论）。\n- **长期**：向智能眼镜实时世界模型迁移需补齐三大缺口——实时性（前馈化/蒸馏）、在线标定轻量化、隐私合规流程；这些均为论文未解决但已隐含指出的问题。\n\n\n## 模块 C8：总结主要内容（一段摘要 + 5 条要点 + 1 个核心公式/机制） / Module C8: Summarize the main content (one paragraph + 5 bullets + one core formula/mechanism).\n\n## Module C8：精炼总结\n\n### 1. 总结段落\n\nEgo-1K 是 Meta Reality Labs 团队构建的大规模时间同步 egocentric 多视角视频数据集（摘要、第 1 节），由环绕 Quest 3 头显的 12 个全局快门 RGB 鱼眼相机与头显自带 4 个前向相机组成，全部 16 路相机以 60 Hz 硬件同步（第 3 节、Fig. 1）。数据集包含 956 段 8–10 秒的真实动态录像、约 514k 帧，内容聚焦近场手部动作与手-物交互（HOI）（第 3 节、Table 1/2）。论文提出两类评测协议：其一为基于跨立体对视差图一致性（MAD/SD）的立体方法评估（第 4.1 节、Table 3），其二为 10 训练/2 测试视角划分的 4D NVS 基准（第 4.3 节、Table 4）。实验表明，现有静态 3DGS 与动态 NVS 方法（K-Planes、Spacetime Gaussians）在 ego motion、近距手部运动、大视差与频繁遮挡的联合挑战下均无法可靠重建（第 4.3 节、Fig. 7）。作为应对，论文以 Foundation Stereo 的视差估计经 TSDF 融合初始化 3D Gaussians，再用光度损失少量迭代微调，使 PSNR 相对原始 3DGS、K-Planes、Spacetime Gaussians 分别提升 7.9、12.7、4.4 dB（第 4.2–4.3 节、Table 4）。在线标定通过联合优化相机旋转与焦距，将立体一致性 MAD 中位数降低 35%（第 3 节）。总体而言，该数据集首次同时满足 egocentric 视角、高相机数与大规模三轴（第 2 节、Table 1），research 版（17.5 TB）已在 Hugging Face 公开，raw 版（88 TB）需申请（第 3 节）。\n\n### 2. 五个关键要点\n\n1. **数据空白填补**：Ego-1K 是首个同时具备 egocentric 视角、12+4 相机数、956 段/514k 帧规模与精确同步的数据集，区别于 Ego4D（单目/双目、语义任务）与 NSFF/DiVA-360（外视角）（Table 1）。\n2. **无 GT 评测协议**：立体方法用跨对视差一致性（MAD/SD，将 5 对视差图 warp 到目标对 3–4 后统计偏差，Fig. 4）；NVS 用 10 训练/2 测试视角划分，指标为 PSNR/SSIM/LPIPS（第 4.1、4.3 节）。\n3. **核心实证发现**：现有 3D/4D NVS 方法在近场动态 HOI + 大基线条件下失效；立体深度先验带来决定性提升（3DGS + stereo guidance：PSNR 29.12 vs. 3DGS 21.22，Table 4）。\n4. **立体模型选择依据**：Foundation Stereo 一致性最优（MAD 1.6 mm、MAD<1mm 占 74.0%，Table 3），被选为深度先验来源；BiDAStereo SD 最低但整体一致性逊色（第 4.1 节）。\n5. **工程可复用细节**：在线标定补偿 0.1–0.2° 旋转漂移与焦距温漂，MAD 降低 35%（第 3 节）；research 版将鱼眼 dewarp 为 6 对 1280×1280、130° FOV 校正立体对，便于直接使用（第 3 节、Fig. 3）。\n\n### 3. 核心公式与机制\n\n**光度微调损失**（第 4.2 节，沿用 3DGS [^19]）：\n\n$$\\mathcal{L}=(1-\\lambda)\\,\\mathcal{L}_{1}+\\lambda\\,\\mathcal{L}_{\\mathrm{D\\text{-}SSIM}},\\qquad \\lambda=0.1$$\n\n**核心机制——立体引导 3DGS 初始化**（Fig. 5）：对每帧的 6 个校正立体对双向运行 Foundation Stereo → 用 TSDF 融合（Curless & Levoy [^7]）得到度量精确、水密的表面几何 → 从 TSDF 采样带法向与颜色的表面点初始化 3D Gaussians → 以上式光度损失少量迭代微调，并逐帧独立执行以获得稠密 4D 重建。该机制把病态的“从稀疏点云优化”转化为“高质量几何初始化 + 局部光度精修”，是 Table 4 中 PSNR 跃升（最高 +12.7 dB）的直接原因。\n\n\n## 模块 D：第二遍内容理解（方法结构/关键图表/实验） / Module D: Second Pass (method structure, key figures, experiments)\n\n## Module D：第二遍精读理解\n\n### 1. 论文结构树\n\ntext\nEgo-1K\n├── 摘要（定位：时间同步 egocentric 多视角视频数据集，956 段）\n├── 1. Introduction\n│ ├── 动机：现有 NVS 数据集多为 exocentric/单目+静态；egocentric 数据集缺同步多视角\n│ └── 三大贡献：数据集、评测协议、立体引导基线\n├── 2. Related Work\n│ ├── 立体/MVS 数据集（Middlebury、KITTI、Sintel、DTU、ETH3D、Tanks and Temples）\n│ ├── Neural 3D video synthesis 数据集（NSFF、HyperNeRF、D-NeRF、Neural 3D Video、DiVA-360）\n│ ├── Egocentric 数据集（Ego4D、EPIC-KITCHENS、HoloAssist、H2O、HOI4D、ARCTIC、EgoObjects、EgoPoints）\n│ ├── Multiview egocentric 数据集（EgoExo4D、EgoHumans、EgoSim、HD-EPIC、HOT3D）\n│ └── Table 1：multiview × egocentric × large-scale 三轴对比\n├── DGS with geometry priors（立体深度先验动机；对比 DN-Splatter、EDGS、DepthSplat）\n├── 3. Dataset\n│ ├── Multi-camera rig（12 鱼眼 + Quest 3 四相机 + 2 iToF + IMU）\n│ ├── Scene content（999→956 段；Table 2 多样性轴）\n│ ├── Data capture and processing（LTC/MQTT 同步、VRS 合并、颜色校正）\n│ ├── Calibration（离线 Calibu 靶标 + 在线标定，MAD 中位数 ↓35%）\n│ └── Research dataset（6 矫正立体对；17.5 TB 公开；raw 88 TB 需申请）\n├── 4. Experiments\n│ ├── 4.1 Evaluating pairwise stereo methods（MAD/SD 一致性；Fig. 4、Table 3、Fig. 6）\n│ ├── 4.2 Stereo initialization for 4D reconstruction（Fig. 5；TSDF 融合 + 光度微调）\n│ └── 4.3 Evaluating egocentric 4D NVS reconstruction（10/2 视角划分；Table 4、Fig. 7）\n├── 5. Conclusion（总结与未来工作：多基线伪 GT 深度、相机子集消融、HOI 评测）\n├── Acknowledgments\n└── References（52 条）\n``n\n注：文档中 “DGS with geometry priors” 与 “3. Dataset” 均出现第 3 节编号，存在编号歧义（疑为排版/解析问题）；按内容逻辑，前者承担方法动机与相关工作衔接的角色。\n\n### 2. 方法/系统分解\n\n#### 2.1 数据集构建流水线（核心系统）\n\n- **输入层（硬件与信号，Section 3 Multi-camera rig）**\n - 12× 全局快门 RGB 鱼眼相机：8MP (2848×2848) 裁剪至 6MP (2448×2448)，190° 对角 FOV、f2.8 镜头，60 FPS 8-bit raw Bayer，经 USB 3.1 (5 Gbps) 流入背包 PC（两个 8 口 USB host bus adapter，RAM 缓存后转 NVMe）\n - Quest 3 头显：2× 前向 rolling-shutter RGB (2328×1748 @60FPS) + 2× 前向全局快门灰度 SLAM 相机 (512×640 @30FPS)；VIO 输出 rig 位姿；raw 版含 800 Hz 6-DOF IMU\n - 2× Lucid Helios2 Wide iToF (640×480，交替 30 FPS)：因运动下深度不可靠与相位模糊，仅入 raw 版，实验未使用\n - 采集支撑：rig 约 6 kg，用背包式吊架承重以保留自然头动\n- **同步模块（Section 3 Data capture and processing）**：无线同步器向 Quest 流与 12 rig 相机发送 LTC 时间戳；timing controller 经 MQTT 将触发帧时间戳传给 ROS2 采集软件；据此对齐 rig VRS 与 headset VRS，实现 16 相机 60 Hz 硬件同步\n- **处理模块**：服务器端合并 VRS → debayer 成 RGB → 全局颜色校正（匹配头显 RGB 色彩）→ 附元数据（标定、采集条件、内容文本标签）\n- **标定模块（Section 3 Calibration）**\n - 离线：实验室 5 块大型 Calibu 平面靶标，预定义位姿序列，解算全部相机内参与相对外参；数周采集期内周期性重标验证稳定性\n - 在线：假设单段录制内标定恒定；跨全部相机检测并匹配特征，逐帧仅优化相机旋转与焦距，联合最小化重投影误差；补偿镜头转动 (0.1–0.2°) 与温度致焦距漂移（1–3 像素偏移）；效果：MAD 中位数降低 35%\n- **输出（Section 3 Research dataset）**\n - raw 版：合并 VRS（全鱼眼+传感器流），约 93 GB/段、共 88 TB，需申请\n - research 版：仅 12 rig 相机 dewarp 为 6 对 pinhole 矫正立体对，1280×1280、130° 水平 FOV，每帧 12 PNG + 标定/位姿，约 19 GB/段、共 17.5 TB，HuggingFace 公开\n - 规模：956 段（999 段采集 − 43 段因过暗/帧数不足剔除），每段 8–10 s、450–550 帧/相机，约 514k 帧，5 名操作员\n\n#### 2.2 立体引导 3DGS 基线（Section 4.2，Fig. 5）\n\n- **输入**：每帧 6 对矫正立体图像（research 版）\n- **模块与流程**\n 1. 深度估计：Foundation Stereo [^47] 双向推理（left→right 与 right→left）得视差/深度\n 2. 几何融合：TSDF integration [^7] 融合全部立体深度图 → 度量精确、水密的表面\n 3. 初始化：从 TSDF 采样表面点（带法向与颜色）作为 3D Gaussians 初始位置\n 4. 微调：少量迭代、仅光度监督（区别于 DepthSplat [^49] 的端到端学习深度前馈方案，也区别于基于正则化的几何先验方法 [^6][^32][^40]）\n- **损失**：L = (1−λ)·L1 + λ·L_D-SSIM，λ = 0.1（Section 4.2 公式）\n- **训练/推理流**：逐帧独立静态优化 → 串联为密集 4D 重建；在 held-out 测试视角渲染输出\n- **输出**：每帧一个 3DGS 模型构成的 4D 序列\n\n#### 2.3 评测协议（方法学贡献）\n\n- **立体一致性协议（Section 4.1，Fig. 4）**：6 对立体 → 指定 target pair 3–4；其余 5 对的视差图经“像素→3D 投影→按像素连通性建三角网格（剔除大深度跨度三角形）→ 从 target 相机渲染”warp 到 target；计算逐像素 MAD 与 SD\n- **4D NVS 协议（Section 4.3）**：10 视角训练 / 2 视角测试（pair 3–4 held-out）；逐帧逐测试相机计算 PSNR/SSIM/LPIPS\n\n### 3. 重要图表解读\n\n#### Figure 1（第 1 页）\n\n- **内容**：左为 rig 照片与渲染（12 全局快门鱼眼 + Quest 3 四前向相机，60 Hz 同步）；中为动态场景 12 视角样本帧（水平对已立体矫正）；右为 4 角视点叠加显示视差范围\n- **解读**：直观揭示挑战来源——rig 相机基线远大于人眼距离（Fig. 4 亦强调），近场手部在视角间产生大视差与大图像运动；这是现有 NVS 方法失效的物理根源\n- **作用**：一图概括硬件设计与数据特性，是理解全文的锚点\n\n#### Table 1（Section 2）\n\n- **内容**：将 16 个相关数据集分为三类（Neural 3D Video Synthesis / Egocentric Vision / Multiview Egocentric），在 multiview、egocentric、large-scale 三轴上打分\n- **关键读法**\n - 第一类（NSFF、HyperNeRF、D-NeRF、Neural 3D Video、DiVA-360）有多视角但无 egocentric，规模小\n - 第二类（Ego4D、EPIC-KITCHENS、H2O、HOI4D、ARCTIC 等）egocentric 且大规模但仅 1（或 1–3）视角，任务偏语义\n - 第三类（EgoExo4D 3 ego 相机、EgoHumans 仅 7 场景、EgoSim 每被试仅 1 ego 视角、HD-EPIC/HOT3D 2–3 视角）仍非密集同步 egocentric 多视角\n - Ego-1K 唯一三轴全 ✓：12+4 相机全部随头动、956 视频/514k 帧、核心任务 Geom./HOI dyn. NVS\n- **注意脚注**：EgoHumans 的 2–6 相机为多被试合计（每被试仅 1 视角）；EgoSim 的 6 相机中仅 1 个来自用户头部\n\n#### Table 3（Section 4.1）\n\n- **内容**：4 个立体方法一致性结果：Foundation Stereo MAD 1.6 mm、MAD<1mm 74.0%、SD 42.5 mm；Selective-Stereo 8.0/0.0%/46.2；BiDAStereo 2.2/3.1%/8.3；StereoAnywhere 1.7/29.5%/10.4\n- **解读**：Foundation Stereo 的 MAD 最优（跨基线一致性最好）但 SD 最高（存在更极端离群深度）；BiDAStereo SD 最低（离群更温和）；结合 Fig. 6 定性结果，最终选 Foundation Stereo 作深度先验\n- **方法学意义**：在无 GT 深度的真实数据上，跨基线一致性可作为立体模型选型的代理指标\n\n#### Table 4（Section 4.3）\n\n- **内容**（PSNR/SSIM/LPIPS）：3DGS per-frame 21.22/0.709/0.260；K-Planes 16.46/0.597/0.443；Spacetime Gaussians 24.76/0.780/0.270；3DGS + stereo guidance 29.12/0.830/0.115\n- **解读**：立体引导相对三者 PSNR 提升 +7.9 / +12.7 / +4.4；K-Planes 最差，归因于辐射场表示难以覆盖大空间范围场景（Section 4.3 Results）；证明几何先验是该数据集上重建质量的决定因素\n- **配合 Fig. 7**：定性上仅 stereo-guided 3DGS 能恢复完整手部结构，其余方法手部区域模糊/出现伪影\n\n（补充：Fig. 5 给出基线方法流程图；Fig. 6 展示 4 方法视差图与 MAD/SD 可视化（clamp 至 4 cm/50 cm），含 target pair 3–4 与最远 pair 11–12 对比；Fig. 3 对比 research 版 6 矫正立体对与 raw 版 12+4 鱼眼流；Table 2 列出光照 lux 分箱、场景、动作、持物、头动、服饰等多样性轴。）\n\n### 4. 实验与评测细节\n\n- **评测数据**：Ego-1K 自身，取 10%（96 段）作为评测子集（Section 4 开头）\n- **立体评测（4.1）**\n - 对比对象：Foundation Stereo [^47]、Selective-Stereo [^46]、BiDAStereo [^18]、StereoAnywhere [^3]\n - 指标：MAD↓、MAD<1mm 比例↑、SD↓；无 GT 深度，以跨对一致性为代理\n- **4D NVS 评测（4.3）**\n - 对比对象：3DGS（逐帧）[^19]、K-Planes [^12]、Spacetime Gaussians [^27]、3DGS + stereo guidance（本文）\n - 指标：PSNR↑、SSIM↑、LPIPS↓；测试视角为 pair 3–4\n- **公平性设计**：统一 10 训练/2 测试视角划分；静态方法逐帧以 12 图为输入，动态方法以全序列（12 视角 × ~500 帧）为输入；所有方法使用相同测试视角与指标\n- **消融与分析**\n - 在线标定消融：MAD 中位数 ↓35%（Section 3 Calibration）\n - 深度先验消融：Table 4 第 1–3 行 vs 第 4 行即核心对照\n - 难度分层分析：近距离动态物体（手）场景上方法间差距更大，远处（他人）场景差距缩小（Section 4.3 Results）\n - iToF 剔除依据：运动下深度不可靠 + 相位模糊（Section 3 Multi-camera rig）\n- **关键发现**：现有 NVS/DNVS 在 ego-motion + 近场手部运动 + 大视差 + 频繁遮挡的组合下失效；DNVS 方法面向 object-centric 场景（D-NeRF）或固定位姿多视角视频（Neural 3D Video 等），与本数据设定不匹配（Section 4.3 Results）\n\n### 5. 原型适配图（数据集/基准类论文：采集→处理→基准 全链路图）\n\ntext\n┌───────────────────── 数据采集层（Section 3）─────────────────────┐\n│ 12× 全局快门鱼眼（6MP、190°FOV、60Hz，USB3.1→背包PC） │\n│ Quest 3：2 RGB(60Hz) + 2 SLAM(30Hz) + VIO 位姿 + IMU(800Hz) │\n│ 2× iToF(30Hz，仅入 raw) │\n│ 同步：LTC 时间戳 + MQTT → 16 相机 60Hz 硬件同步 │\n└──────────────────────────────┬───────────────────────────────────┘\n ▼\n┌───────────────────── 处理与标定层 ────────────────────────────────┐\n│ VRS 合并 → debayer → 全局颜色校正 │\n│ 离线标定（5× Calibu 靶标）+ 在线标定（旋转/焦距，MAD ↓35%） │\n└───────────────┬───────────────────────────┬───────────────────────┘\n ▼ ▼\n raw 版（88TB，需申请） research 版（17.5TB，公开）\n 956 段 × 12 视角 → 6 矫正立体对\n └────────────┬──────────────┘\n ▼ 评测子集：10% = 96 段\n┌───────────────────── 基准评测层（Section 4）──────────────────────┐\n│ ① 立体一致性（4.1）：5 对视差 warp→target 3–4 → MAD/SD │\n│ → 选定 Foundation Stereo │\n│ ② 4D NVS（4.3）：10 训练 / 2 测试（pair 3–4） │\n│ 基线：3DGS(逐帧) / K-Planes / Spacetime Gaussians │\n│ 本文：FS 双向推理 → TSDF 融合 → 表面采样初始化 3DGS │\n│ → 光度微调 L=(1−λ)L1+λL_D-SSIM（λ=0.1） │\n│ 指标：PSNR / SSIM / LPIPS → Table 4（最佳 29.12/0.830/0.115） │\n└───────────────────────────────────────────────────────────────────┘\n\n\n## 模块 E：第三遍深度审视（重建/假设/失败模式/审稿意见） / Module E: Third Pass (reconstruction, assumptions, failure modes, review)\n\n## Module E：第三遍深度审阅（Third-pass Deep Review）\n\n### 1. 可复现性重构（Reconstruction Notes / Pseudocode）\n\n#### 1.1 完整流水线重构\n\n依据第 3 节（Dataset）与第 4 节（Experiments），方法可重构为五阶段流水线：\n\n1. **采集**：12 台 rig 相机（8 MP 全局快门鱼眼，裁剪至 6 MP @ 60 FPS）+ Quest 3 头显 4 相机；无线同步器发送 LTC 时间戳，经 MQTT 传给 ROS2 采集软件，实现 16 相机硬件同步（第 3 节 Data capture and processing）。\n2. **标定**：离线用 5 块 Calibu 平面标定板求解内外参；在线标定仅优化相机旋转与焦距（假设单段录制内参数恒定），使跨 pair 深度一致性 MAD 降低 35%（第 3 节 Calibration）。\n3. **立体深度估计**：对 6 个校正立体对运行 Foundation Stereo（双向：左→右与右→左）（第 4.2 节，Fig. 5）。\n4. **TSDF 融合与初始化**：将全部深度图经 TSDF 积分（Curless & Levoy [^7]）融合，从融合表面采样带法线与颜色的点，初始化 3D Gaussians（第 4.2 节）。\n5. **微调与评测**：以光度损失微调少量步数，损失为 L = (1−λ)·L1 + λ·L_D-SSIM，λ = 0.1（第 4.2 节式 (1)）；评测采用 10 训练视角 / 2 测试视角（pair 3–4）划分，指标为 PSNR/SSIM/LPIPS（第 4.3 节，Fig. 4）。\n\n#### 1.2 伪代码（立体引导 3DGS，第 4.2 节，Fig. 5）\n\npython\n\n# Stereo-guided 3DGS per frame (Section 4.2)\n\nfor frame t in recording:\n depth_maps = []\n for (i, j) in six_rectified_stereo_pairs: # Fig. 4\n depth_maps.append(FoundationStereo(I_i, I_j)) # left-to-right\n depth_maps.append(FoundationStereo(I_j, I_i)) # right-to-left\n tsdf = TSDF_integrate(depth_maps) # [^7] Curless-Levoy\n pts, normals, colors = sample_surface(tsdf)\n G = init_3D_gaussians(pts, normals, colors)\n G = finetune(G, steps=few,\n loss=(1-0.1)*L1 + 0.1*L_DSSIM) # Eq. (1)\n\n# 评测：held-out pair 3-4 上计算 PSNR/SSIM/LPIPS（Section 4.3）\n\n``n\n\n#### 1.3 复现缺口（Reproducibility Gaps）\n\n- 微调迭代次数、学习率、Gaussian 数量上限未披露，仅述 \"fine-tune for a small number of steps\"（第 4.2 节）。\n- TSDF 融合的 voxel 尺寸、截断距离（truncation distance）等参数未说明（第 4.2 节）。\n- 在线标定的特征匹配策略与优化器细节（如 BA 设置）不完整（第 3 节 Calibration）。\n- 评测所用 96 段录制（10% 子集）的选取标准未说明（第 4 节）。\n- 正面因素：research 版数据集（956 段、17.5 TB）已在 HuggingFace 公开（第 3 节 Research dataset），数据层面可复现性高；方法层面依赖上述缺失超参。\n\n### 2. 关键假设（Assumptions）\n\n- **假设 1（评测代理有效性）**：在无深度 GT 条件下，跨立体对视差图的一致性（MAD/SD）可作为选择立体算法的合理代理指标（第 4.1 节明确自述 \"we do not have ground-truth depth\"）。\n- **假设 2（标定稳定性）**：单段录制期间相机旋转与焦距恒定，仅存在 0.1–0.2° 的缓慢漂移，可通过逐录制在线标定补偿（第 3 节 Calibration）。\n- **假设 3（立体模型域内可靠性）**：Foundation Stereo 在近场手部、大视差、130° HFOV 去畸变图像上足够准确，其 TSDF 融合几何可作为可靠的 Gaussian 初始化（第 4.1–4.2 节，Table 3）。\n- **假设 4（静态逐帧足够性）**：逐帧独立优化静态 3DGS（无显式时序建模）即可构成有效的 4D 重建基线（第 4.2 节）。\n- **假设 5（research 版代表性）**：剔除头显 RGB（rolling shutter、分辨率、色彩差异）后的 12 视角 research 版本能代表数据集核心挑战（第 3 节 Research dataset）。\n- **假设 6（iToF 不可用）**：iToF 深度因运动模糊与相位歧义不可靠，故全部实验不使用（第 3 节 Multi-camera rig）。\n\n### 3. 失效模式与盲点（Failure Modes / Blind Spots）\n\n- **盲点 1（评测覆盖偏差）**：定量评测仅覆盖 10% 数据（96 段），且测试视角固定为 pair 3–4，可能存在场景类型与视角选择偏差，结论外推性受限（第 4 节、第 4.3 节）。\n- **盲点 2（无 GT 的系统性偏差）**：立体一致性指标无法检测所有方法共同犯的系统性深度错误——若各方法一致地偏离真值，MAD/SD 仍可能表现良好（第 4.1 节）。\n- **盲点 3（基线覆盖不足）**：动态基线仅 K-Planes 与 Spacetime Gaussians（第 4.3 节，Table 4），未纳入 HOI-aware、手部先验或最新前馈动态重建方法，\"现有方法失效\"的论断范围有限。\n- **盲点 4（数据多样性边界）**：仅 5 名操作者、8–10 秒短片、以室内 HOI 为主；长时序、多主体交互、户外极端光照等场景覆盖有限（第 3 节 Scene content，Table 2）。\n\n### 4. 优点与不足（Strengths & Weaknesses）\n\n#### 优点\n\n- **填补数据空白**：唯一同时满足 egocentric 视角 × 高相机数（12+4）× 大规模（956 段 / 514k 帧）× 硬件同步的数据集（Table 1 对比；第 5 节结论）。\n- **评测协议创新**：提出无 GT 条件下的立体一致性评测（跨 pair 视差 warp + MAD/SD，第 4.1 节，Fig. 4、Fig. 6，Table 3）与 10/2 视角划分的 4D NVS 基准（第 4.3 节）。\n- **核心发现有量化支撑**：证明现有 NVS/DNVS 在 ego 运动 + 近场动态 + 大视差 + 频繁遮挡下失效，且立体深度先验带来显著提升——PSNR 分别 +7.9（vs 3DGS）、+12.7（vs K-Planes）、+4.4（vs Spacetime Gaussians）（Table 4，第 4.3 节）。\n- **工程贡献可量化**：在线标定使 MAD 降低 35%（第 3 节 Calibration）；数据开放（research 版 HuggingFace 公开，第 3 节）。\n\n#### 不足\n\n- **基线非真正动态建模**：主推方法为逐帧静态 3DGS + 立体初始化，无时序一致性约束或评估（第 4.2 节），\"4D 重建\"实为逐帧 3D 的堆叠。\n- **标注缺失**：无深度 GT、无 3D 手/物姿态标注，HOI 任务评测仅为未来展望（第 5 节）。\n- **复现细节不足**：超参、TSDF 参数、微调步数未披露（第 4.2 节）。\n- **数据获取门槛**：raw 版本（含 iToF/IMU，88 TB）需申请（第 3 节），限制传感器层面的独立研究。\n- **元数据不完整**：发表 venue 与日期未在文档中注明，需外部核实。\n\n### 5. 下一步研究方向（Next-step Research Directions）\n\n- **方向 1（伪 GT 深度生成）**：利用多基线/多视角立体生成高质量逐帧深度图，作为评测双目与单目深度估计方法的伪真值（第 5 节明确列出）。\n- **方向 2（真正的 egocentric 动态建模）**：设计带时序一致性约束的动态方法（如手部运动先验、HOI-aware 动态高斯），超越逐帧静态基线，直接针对本文揭示的失效模式（第 4.3 节结果与第 5 节）。\n- **方向 3（相机子集消融）**：模拟 2–4 相机智能眼镜配置，系统评估方法在少视角、小基线下的性能退化（第 5 节）。\n- **方向 4（一致性评测扩展）**：将 MAD/SD 一致性范式推广至语义/人像分割、立体基线鲁棒性与时序稳定性研究（第 5 节）。\n\n\n## 模块 F：术语表与概念依赖图 / Module F: Glossary and Concept Map\n\n## Module F：术语表与概念依赖图\n\n### 一、术语表（Glossary，共 34 条）\n\n### 1. Egocentric vision（第一人称视觉）\n\n- 定义：以穿戴在人体（通常为头部）上的相机视角采集与分析图像的视觉研究分支。\n- 直觉：相机“看到”的就是佩戴者看到的世界，手部频繁出现在视野中。\n- 论文中的作用：数据集的核心视角定位，与 exocentric（外部视角）数据集形成对照（第 1、2 节，Table 1）。\n- 先修知识：计算机视觉基本概念、相机成像模型。\n\n## 2. Multiview video（多视角视频）\n\n- 定义：多个相机对同一场景进行时间同步拍摄所得到的视频集合。\n- 直觉：同一瞬间有多个“眼睛”从不同位置看同一场景，可支持 3D 重建。\n- 论文中的作用：Ego-1K 的基本数据形态（12 rig 相机 + 4 头显相机，60 Hz 同步，第 1、3 节）。\n- 先修知识：多视角几何、相机同步概念。\n\n## 3. Ego-1K\n\n- 定义：论文发布的大规模时间同步 egocentric 多视角视频数据集，含 956 段视频、约 514k 帧，分 raw（约 88 TB）与 research（约 17.5 TB）两个版本。\n- 直觉：约 1000 段 8–10 秒的第一人称“多机位”短片，聚焦手部动作与手-物交互。\n- 论文中的作用：论文的核心贡献，支撑立体一致性评测与 4D NVS 基准（摘要、第 3 节、Table 1）。\n- 先修知识：条目 1、2。\n\n## 4. Novel View Synthesis（NVS，新视角合成）\n\n- 定义：给定若干视角的图像，合成场景在未见过视角下的图像。\n- 直觉：“从没站过的位置看场景会是什么样”。\n- 论文中的作用：评测任务之一；论文证明静态 NVS（逐帧 3DGS）在近场动态手部下仍不足（第 4.3 节，Table 4）。\n- 先修知识：多视角几何、图像渲染。\n\n## 5. Dynamic NVS（DNVS，动态新视角合成）\n\n- 定义：面向动态场景（随时间变化）的 NVS，需同时建模空间与时间（4D）。\n- 直觉：不仅换视角，还要“回放”任意时刻。\n- 论文中的作用：数据集的主要挑战任务；现有 DNVS 方法（K-Planes、Spacetime Gaussians）在 Ego-1K 上表现不佳（第 4.3 节，Table 4、Fig. 7）。\n- 先修知识：NVS、动态场景表示。\n\n## 6. 3D Gaussian Splatting（3DGS，3D 高斯泼溅）\n\n- 定义：用数百万各向异性 3D 高斯表示场景，通过可微光栅化实时渲染的显式表示方法 [^19]。\n- 直觉：场景由一团“彩色半透明椭球”组成，投影到图像即得渲染结果。\n- 论文中的作用：论文的静态 NVS 基线（逐帧拟合）与立体引导方法（初始化 + 微调）的载体（第 4.2、4.3 节）。\n- 先修知识：点云渲染、可微渲染、光度优化。\n\n## 7. NeRF（Neural Radiance Fields，神经辐射场）\n\n- 定义：用 MLP 隐式表示场景辐射场、通过体渲染合成新视角的方法 [^34]。\n- 直觉：查询“空间中一点沿某方向的颜色与密度”，累积成像素。\n- 论文中的作用：NVS 领域奠基方法，作为相关工作背景（第 2 节）。\n- 先修知识：体渲染、神经网络基础。\n\n## 8. Stereo matching（立体匹配）\n\n- 定义：在已校正的立体图像对之间搜索对应像素，从而估计视差/深度的技术。\n- 直觉：左右眼画面的错位量反映距离——越近错位越大。\n- 论文中的作用：为 4D 重建提供几何先验的核心工具（第 4.1、4.2 节）。\n- 先修知识：双目视觉、极线几何。\n\n## 9. Disparity map（视差图）\n\n- 定义：立体校正后，同一场景点在左右图像中的水平像素位移图，与深度成反比。\n- 直觉：视差大 = 近，视差小 = 远。\n- 论文中的作用：立体方法的输出；论文通过跨立体对 warp 视差图并计算 MAD/SD 评估一致性（第 4.1 节，Fig. 4、6，Table 3）。\n- 先修知识：立体匹配、三角测量。\n\n## 10. Stereo rectification（立体校正）\n\n- 定义：对立体图像对施加几何变换，使对应点位于同一水平行上，将对应搜索降为 1D。\n- 直觉：把两只“眼睛”摆正对齐，让找对应点变成沿行扫描。\n- 论文中的作用：research 版本将 12 个鱼眼视图 dewarp 成 6 个 rectified 立体对（第 3 节，Fig. 3、4）。\n- 先修知识：相机外参、单应变换。\n\n## 11. Global shutter / Rolling shutter（全局快门 / 卷帘快门）\n\n- 定义：全局快门传感器整幅同时曝光；卷帘快门逐行曝光，快速运动时产生几何畸变。\n- 直觉：全局快门像“瞬间拍照”，卷帘快门像“逐行扫描”。\n- 论文中的作用：rig 相机与头显 SLAM 相机为全局快门，Quest 3 RGB 相机为卷帘快门——这是 research 版本排除头显 RGB 相机的原因之一（第 3 节）。\n- 先修知识：图像传感器原理。\n\n## 12. Fisheye camera（鱼眼相机）\n\n- 定义：配备超广角镜头（本文为 190° 对角 FOV）的相机，投影存在强畸变。\n- 直觉：视野极大但边缘拉伸严重。\n- 论文中的作用：rig 的 12 个相机均为鱼眼，需 dewarp 后使用（第 3 节）。\n- 先修知识：镜头投影模型、畸变。\n\n## 13. Dewarping（去畸变/反扭曲）\n\n- 定义：将鱼眼图像重投影为规整 pinhole（针孔）图像的过程。\n- 直觉：把“圆形鱼眼照片”摊平成普通矩形照片。\n- 论文中的作用：构建 research 数据集的关键步骤，采用 1280×1280 分辨率、130° 水平 FOV（第 3 节）。\n- 先修知识：鱼眼投影模型、图像重采样。\n\n## 14. Hardware synchronization（硬件同步）\n\n- 定义：通过硬件触发信号使多相机在同一时刻曝光，共享精确时间戳。\n- 直觉：所有相机“同一瞬间按下快门”，避免运动错位。\n- 论文中的作用：Ego-1K 的关键特性——16 相机 60 Hz 硬件同步，通过无线同步器与 LTC 时间戳实现（第 1、3 节）。\n- 先修知识：时钟与触发系统。\n\n## 15. VIO（Visual-Inertial Odometry，视觉惯性里程计）\n\n- 定义：融合相机与 IMU 数据实时估计设备 6-DOF 位姿的技术。\n- 直觉：用“眼睛 + 内耳”判断自己在空间中如何移动。\n- 论文中的作用：Quest 3 的 VIO 系统提供 rig 位姿，作为数据集的外参来源（第 3 节）。\n- 先修知识：SLAM、状态估计。\n\n## 16. iToF（indirect Time-of-Flight，间接飞行时间）\n\n- 定义：通过测量调制光往返相位差获取深度的主动传感器。\n- 直觉：向场景“打光”并测量光返回时间推算距离。\n- 论文中的作用：rig 含 2 个 Lucid Helios2 Wide iToF（30 FPS 交替），因运动下深度不可靠与相位模糊未用于实验，仅保留在 raw 版本（第 3 节）。\n- 先修知识：主动测距原理。\n\n## 17. IMU（Inertial Measurement Unit，惯性测量单元）\n\n- 定义：测量加速度与角速度的传感器。\n- 直觉：设备的“内耳”，感知加速与旋转。\n- 论文中的作用：raw 数据集包含 800 Hz 的 6-DOF IMU 信号，支撑 VIO（第 3 节）。\n- 先修知识：惯性导航基础。\n\n## 18. Camera calibration（相机标定）\n\n- 定义：求解相机内参（焦距、主点、畸变）与外参（位姿）的过程。\n- 直觉：搞清楚每台相机的“光学性格”与“安装位置”。\n- 论文中的作用：实验室用 5 个大型 Calibu 平面标定板离线标定全部相机，并周期性重标验证稳定性（第 3 节）。\n- 先修知识：针孔相机模型、经典标定方法。\n\n## 19. Online calibration（在线标定）\n\n- 定义：在采集过程中针对温度变化与镜头微动，优化相机旋转与焦距的补偿性标定。\n- 直觉：设备会“热胀冷缩”，需边拍边微调参数。\n- 论文中的作用：补偿 0.1–0.2° 旋转漂移与 1–3 像素图像偏移，使立体一致性 MAD 中位数降低 35%（第 3 节）。\n- 先修知识：条目 18、光束法平差思想。\n\n## 20. MAD（Median Absolute Deviation，中位数绝对偏差）\n\n- 定义：一组偏差值绝对值的中位数，对离群值稳健的一致性度量。\n- 直觉：比标准差更“抗噪”的离散度指标。\n- 论文中的作用：立体一致性评测主指标——将各立体对视差图 warp 到目标对后计算逐像素 MAD（第 3、4.1 节，Table 3）。\n- 先修知识：统计基础。\n\n## 21. SD（Standard Deviation，标准差）\n\n- 定义：偏差的标准差，对极端离群值敏感。\n- 直觉：衡量深度估计中“极端错误”的严重程度。\n- 论文中的作用：与 MAD 互补的一致性指标；BiDAStereo SD 最低（8.3 mm）说明其离群深度少，而 Foundation Stereo MAD 最低（1.6 mm）说明整体一致性最好（第 4.1 节，Table 3）。\n- 先修知识：统计基础。\n\n## 22. TSDF fusion（TSDF 融合，截断符号距离函数融合）\n\n- 定义：将多帧深度图累积到体素网格中，每个体素存储截断后的符号距离，加权平均后提取表面的方法 [^7]。\n- 直觉：像“雕刻”一样把多张深度图融合成光滑水密表面。\n- 论文中的作用：将 Foundation Stereo 各帧深度融合为精确几何，用于采样表面点初始化 3D Gaussians（第 4.2 节，Fig. 5）。\n- 先修知识：体素表示、深度图。\n\n## 23. Foundation Stereo\n\n- 定义：零样本立体匹配基础模型 [^47]，在大规模数据上预训练、无需微调即可泛化。\n- 直觉：立体匹配界的“基础模型”，开箱即用且鲁棒。\n- 论文中的作用：在 4 个候选立体方法中一致性评测胜出（MAD 1.6 mm），被选为 4D 重建的深度先验来源（第 4.1、4.2 节，Table 3、Fig. 6）。\n- 先修知识：立体匹配、深度学习。\n\n## 24. HOI（Hand-Object Interaction，手-物交互）\n\n- 定义：手与物体之间交互行为（抓握、操作等）的感知与理解任务。\n- 直觉：研究“手在干什么、怎么摆弄物体”。\n- 论文中的作用：数据集场景内容的核心主题——操作者执行手势、模拟打字、操纵物体（第 1、3 节，Table 2）；也是未来评测方向（第 5 节）。\n- 先修知识：手部姿态估计、物体检测。\n\n## 25. PSNR / SSIM / LPIPS\n\n- 定义：三种图像质量指标——峰值信噪比（像素级误差）、结构相似性（结构与亮度对比）、学习感知相似度（深度特征距离，越低越好）。\n- 直觉：从“像素误差 → 结构保真 → 感知相似”逐层递进的画质评价。\n- 论文中的作用：4D NVS 重建评测指标；立体引导 3DGS 达到 PSNR 29.12 / SSIM 0.830 / LPIPS 0.115，显著优于基线（第 4.3 节，Table 4）。\n- 先修知识：图像处理、深度特征。\n\n## 26. K-Planes\n\n- 定义：以空间-时间平面分解表示动态辐射场的方法 [^12]。\n- 直觉：把 4D 场景拆成若干 2D 平面相乘，便于优化。\n- 论文中的作用：动态辐射场基线，PSNR 仅 16.46，表现最差（第 4.3 节，Table 4）。\n- 先修知识：NeRF、动态场景建模。\n\n## 27. Spacetime Gaussians\n\n- 定义：将 3DGS 扩展到时空域的动态视角合成方法 [^27]。\n- 直觉：让高斯“随时间移动与变形”。\n- 论文中的作用：动态 3DGS 基线，PSNR 24.76，为最强基线但仍落后立体引导方法 4.4 dB（第 4.3 节，Table 4）。\n- 先修知识：3DGS、动态场景。\n\n## 28. Photometric loss（光度损失）\n\n- 定义：基于渲染图像与真实图像像素差异的损失；本文采用 L = (1−λ)L1 + λL_D-SSIM，λ = 0.1 [^19]。\n- 直觉：渲染结果与真实照片“长得像”就损失小。\n- 论文中的作用：立体初始化后对 3D Gaussians 的少量迭代微调目标（第 4.2 节，公式）。\n- 先修知识：可微渲染、优化。\n\n## 29. VRS 文件格式\n\n- 定义：Meta 的多传感器流记录容器格式，可封装多路视频、IMU、标定与元数据。\n- 直觉：一个“打包”所有传感器数据的容器文件。\n- 论文中的作用：rig 与头显数据分别记录为 VRS，上传后合并为单一时间对齐 VRS（第 3 节）。\n- 先修知识：数据容器概念。\n\n## 30. Exocentric（外部视角）\n\n- 定义：由外部固定或独立移动相机拍摄的视角，与 egocentric 相对。\n- 直觉：“第三人称”机位。\n- 论文中的作用：现有 NVS 数据集多为 exocentric 或单目，凸显 Ego-1K 填补的空白（第 1、2 节，Table 1）。\n- 先修知识：条目 1。\n\n## 31. 4D reconstruction（4D 重建）\n\n- 定义：同时重建场景三维结构与其随时间演化的过程（3D + 时间）。\n- 直觉：给场景建“会动的 3D 模型”。\n- 论文中的作用：数据集的目标任务；立体引导 3DGS 逐帧独立优化即构成密集 4D 重建（第 4.2 节）。\n- 先修知识：3D 重建、动态场景。\n\n## 32. Stereo baseline（立体基线）\n\n- 定义：立体对中两相机光心间距，决定深度分辨率与视差范围。\n- 直觉：两眼分得越开，“远近感”越强但对应越难。\n- 论文中的作用：rig 多数立体对基线显著大于人眼距离，造成大视差挑战（第 4 节，Fig. 4）；未来可做多基线立体伪 GT（第 5 节）。\n- 先修知识：三角测量。\n\n## 33. Bayer raw / debayering（去马赛克）\n\n- 定义：Bayer 为传感器原始单通道马赛克格式；debayering 将其插值为 RGB 图像。\n- 直觉：传感器只“看到”红绿蓝马赛克，需插值还原彩色。\n- 论文中的作用：rig 相机以 8-bit raw Bayer 60 FPS 经 USB 3.1 传输，服务器端 debayer 为 RGB（第 3 节）。\n- 先修知识：图像传感器原理。\n\n## 34. Mixed reality headset（Quest 3，混合现实头显）\n\n- 定义：Meta Quest 3 头显，含 2 个前向卷帘快门 RGB 相机（60 FPS）与 2 个前向全局快门灰度 SLAM 相机（30 FPS），支持 passthrough 与 VIO。\n- 直觉：戴在头上的“计算平台 + 相机阵列”。\n- 论文中的作用：rig 的核心组件，提供 4 个前向相机与 VIO 位姿；其 RGB 相机因卷帘快门、分辨率与色彩差异未纳入 research 版本（第 3 节）。\n- 先修知识：VR/AR 设备概念。\n\n### 二、概念依赖图（Concept Dependency Map，纯文本）\n\ntext\n【数据采集层】\nEgocentric vision ──需要──> Head-mounted rig（12 鱼眼相机 + Quest 3 头显）\n ├── Fisheye camera + Global shutter ──支撑──> 60 Hz 硬件同步\n │ └── Hardware synchronization ──依赖──> LTC 时间戳 + MQTT + ROS2 采集软件\n ├── Quest 3 ──提供──> VIO（SLAM 相机 + IMU）──> rig 位姿\n ├── iToF 传感器 ──（仅保留于 raw 版本，实验未使用）\n └── Camera calibration（离线，Calibu 标定板）\n └── Online calibration（优化旋转 + 焦距）──> 立体一致性 MAD ↓35%\n\n【数据集构建层】\nBayer raw 流 ──debayering──> RGB 图像\nFisheye 图像 ──dewarping（依赖在线标定）──> 6 个 rectified 立体对 = research 版本\n多路 VRS ──时间对齐合并──> Ego-1K（956 段 / 约 514k 帧）\n场景内容设计 ──聚焦──> HOI（手-物交互）\n\n【评测协议层】\nresearch 版本（6 立体对）\n ├── 立体一致性评测：各对 Disparity map ──warp 到目标对(3–4)──> MAD / SD\n │ └── 结果：Foundation Stereo 胜出（MAD 1.6 mm）\n └── 4D NVS 评测：10 训练视角 / 2 测试视角 ──> PSNR / SSIM / LPIPS\n\n【方法层：立体引导 3DGS 基线】\nFoundation Stereo（双向视差估计）\n ──> 深度图 ──TSDF fusion──> 度量精确的水密表面\n ──> 表面点采样（法向 + 颜色）──> 初始化 3D Gaussians\n ──> Photometric loss（L1 + D-SSIM, λ=0.1）少量迭代微调\n ──> 逐帧独立优化 = 密集 4D 重建\n ──> PSNR 29.12（较 3DGS +7.9 / K-Planes +12.7 / Spacetime Gaussians +4.4）\n\n【对比基线与失败模式】\n静态：3DGS（逐帧）｜动态：K-Planes、Spacetime Gaussians\n共同失败模式：rig ego motion + 近场手部快速运动 + 大基线视差 + 频繁遮挡\n ──> 病态（ill-posed）问题 ──> 需要立体深度先验缓解\n``n\n**核心依赖链总结**：硬件同步多相机采集 → 精确标定（离线 + 在线）→ rectified 立体对 → 立体一致性评测选出 Foundation Stereo → TSDF 融合初始化 3DGS → 光度微调 → 高质量 4D 重建。数据采集与标定是全链条的地基；立体一致性评测既是标定质量的验证手段，也是深度先验选型的依据；立体引导 3DGS 则是“数据集 + 评测协议 + 方法”三者的汇合点。\n\n\n\n\n## 模块 G：联网核验与引用校对 / Module G: Verification and Citation Check\n\n## Module G：验证、冲突与参考文献核查\n\n### 1. 关键事实性声明核查（每条声明至少两个文内来源定位）\n\n### 声明 1：数据集规模为 956 段视频、约 514k 帧\n\n- 来源 A：摘要（nearly 1,000 short egocentric videos）\n- 来源 B：第 1 节（956 short egocentric recordings）\n- 来源 C：Table 1（956 videos, 514k frames）\n- 来源 D：第 3 节 Scene content（采集 999 段，人工核查后剔除 43 段问题录制，余 956 段）\n- 结论：一致；999 − 43 = 956，与摘要“近 1,000”表述相符。\n\n### 声明 2：rig 配置为 12 个全局快门 RGB 鱼眼相机 + Quest 3 头显 4 个前向相机，硬件同步\n\n- 来源 A：Fig. 1 说明（12 global-shutter RGB fisheye cameras + Quest 3 with 4 forward-facing cameras，60 Hz 同步）\n- 来源 B：第 1 节（12+4 hardware-synchronized cameras at 60 Hz）\n- 来源 C：第 3 节 Multi-camera rig（8 MP 2848×2848 裁剪至 6 MP 2448×2448，190° 对角 FOV，f2.8，USB 3.1 传输；头显 2 个 RGB 为 60 FPS rolling shutter、2 个 SLAM 灰度相机为 30 FPS）\n- 结论：一致；但需注意“60 Hz 同步”主要针对 12 rig 相机与头显 RGB 流，SLAM 相机为 30 FPS。\n\n## 声明 3：数据集公开于 版约 17.5 TB，raw 版约 88 TB 需申请\n\n- 来源 A：摘要（给出链接）\n- 来源 B：第 3 节 Research dataset（research 版 17.5 TB；raw 版平均 93 GB/VRS、共 88 TB，available upon request）\n- 结论：一致；单段 research 版平均 19 GB × 956 段 ≈ 18.2 TB，与 17.5 TB 量级吻合（每段帧数 450–580 有波动）。\n\n## 声明 4：在线标定使中位 MAD 降低 35%\n\n- 来源 A：第 3 节 Calibration（online calibration lowers the median MAD score by 35%）\n- 来源 B：第 4.1 节 + Table 3 + Fig. 6（MAD/SD 作为立体一致性度量被系统使用）\n- 结论：文内自洽；35% 为作者报告值，无外部 GT 验证，属可复核实验声明。\n\n## 声明 5：Foundation Stereo 在立体一致性评测中 MAD 最低（1.6 mm）\n\n- 来源 A：第 4.1 节 Results（Foundation Stereo has the lowest MAD；BiDAStereo has the lowest SD）\n- 来源 B：Table 3（Foundation Stereo：MAD 1.6 mm、MAD<1mm 74.0%、SD 42.5 mm；对比 Selective-Stereo 8.0/0.0%/46.2、BiDAStereo 2.2/3.1%/8.3、StereoAnywhere 1.7/29.5%/10.4）\n- 来源 C：Fig. 6（定性可视化）\n- 结论：一致；注意 SD 最低者为 BiDAStereo（8.3 mm），作者综合定性结果最终选择 Foundation Stereo。\n\n## 声明 6：立体引导 3DGS 的 PSNR 提升为 +7.9 / +12.7 / +4.4\n\n- 来源 A：第 4.3 节 Results（PSNR improvements of 7.9, 12.7 and 4.4 over original 3DGS, K-Planes, and Spacetime Gaussians）\n- 来源 B：Table 4（3DGS 21.22、K-Planes 16.46、Spacetime Gaussians 24.76、3DGS+stereo guidance 29.12）\n- 核算：29.12−21.22=7.90；29.12−16.46=12.66≈12.7；29.12−24.76=4.36≈4.4\n- 结论：一致（12.7 与 4.4 为四舍五入结果）。\n\n## 声明 7：评测协议为 10 训练视角 + 2 测试视角（目标对 3–4），评测集为数据集的 10%（96 段）\n\n- 来源 A：第 1 节（two target views held out，remaining ten rig views for training）\n- 来源 B：第 4.3 节 Experimental setup（target pair 3–4 为测试视角，其余 10 视角训练）\n- 来源 C：Fig. 4（目标对 3–4 以绿色标示）\n- 来源 D：第 4 节（selected 10% of our dataset (96 recordings)）\n- 结论：一致；96/956 ≈ 10.04%，与“10%”表述吻合。\n\n## 声明 8：现有 NVS/DNVS 方法在该数据集上失效，立体深度先验可显著改善\n\n- 来源 A：摘要与第 1 节（现有方法难以处理 ego motion、近距手部运动、大视差与频繁遮挡的组合）\n- 来源 B：第 4.3 节 Results + Table 4 + Fig. 7（K-Planes PSNR 仅 16.46，逐帧 3DGS 21.22，均远低于立体引导的 29.12）\n- 来源 C：第 5 节结论（current 3D and 4D NVS methods are unable to deliver accurate new views）\n- 结论：文内一致；属作者实验结论，外部验证需复现（数据集已公开，具备可复现条件）。\n\n### 2. 冲突与不确定性说明\n\n1. **发表 venue 与日期缺失**：文档未注明会议/期刊与年份。间接证据：CVPR 模板式排版；引用 [^1][^3][^37][^47][^49] 均标注 CVPR 2025，推测本文为 2025 年 CVPR 系论文，需外部核实。\n2. **“nearly 1,000” vs 956**：摘要称近 1,000 段，正文精确为 956 段（999−43），表述差异不构成实质冲突。\n3. **数据率与存储量轻微不一致**：第 3 节称采集产生约 15 GB/s 未压缩数据，8–10 秒对应约 120–150 GB，而 raw VRS 平均 93 GB；差异可能来自压缩或非峰值速率，文档未解释，标注为轻微不确定性。\n4. **iToF 传感器角色**：rig 含 2 个 Lucid Helios2 Wide iToF（30 FPS 交替采集），但因运动与相位模糊导致深度不可靠，实验未使用（第 3 节）；iToF 流仅存于 raw 版本。摘要与 Table 1 的“12+4”计数不含 iToF，阅读时需注意。\n5. **头显相机异质性**：Quest 3 的 2 个 RGB 为 rolling shutter，分辨率与色彩配置与 rig 相机不同，research 版本因此省略头显 RGB（第 3 节 Research dataset）；“16 相机同步”在 research 版本中实际仅保留 12 rig 相机。\n6. **无 ground-truth 深度**：立体评测采用自洽一致性（MAD/SD）而非外部 GT（第 4.1 节）；一致性高不必然等于深度绝对准确，属方法学局限。\n7. **引用格式小瑕疵**：[^42]（ETH3D）与 [^50] 缺页码标注；[^28] 作者名“Yin Li1”疑为排版残留上标；[^22][^43] 为 arXiv 预印本，正式出版状态需核实。\n8. **基线覆盖范围**：DNVS 基线仅 K-Planes 与 Spacetime Gaussians 两种（第 4.3 节），“现有动态方法失效”的结论强度受限于所测方法集合。\n\n### 3. 参考文献列表（52 条，含核查标注）\n\n- [^1] Banerjee 等，HOT3D: Hand and object tracking in 3D from egocentric multi-view videos，CVPR 2025\n- [^2] Barron 等，Mip-NeRF: A multiscale representation for anti-aliasing neural radiance fields，ICCV 2021\n- [^3] Bartolomei 等，Stereo Anywhere: Robust zero-shot deep stereo matching，CVPR 2025\n- [^4] Butler 等，A naturalistic open source movie for optical flow evaluation（Sintel），ECCV 2012\n- [^5] Chen 等，MVSNeRF: Fast generalizable radiance field reconstruction from multi-view stereo，ICCV 2021\n- [^6] Chung 等，Depth-regularized optimization for 3D Gaussian splatting in few-shot images，CVPR Workshops 2024\n- [^7] Curless & Levoy，A volumetric method for building complex models from range images（TSDF），SIGGRAPH 1996\n- [^8] Damen 等，Scaling egocentric vision: The EPIC-KITCHENS dataset，ECCV 2018\n- [^9] Damen 等，Rescaling egocentric vision: EPIC-KITCHENS-100，IJCV 2022\n- [^10] Darkhalil 等，EgoPoints: Advancing point tracking for egocentric videos，WACV 2025\n- [^11] Fan 等，ARCTIC: A dataset for dexterous bimanual hand-object manipulation，CVPR 2023\n- [^12] Fridovich-Keil 等，K-Planes: Explicit radiance fields in space, time, and appearance，CVPR 2023\n- [^13] Geiger 等，Are we ready for autonomous driving? The KITTI vision benchmark suite，CVPR 2012\n- [^14] Grauman 等，Ego4D: Around the world in 3,000 hours of egocentric video，CVPR 2022\n- [^15] Grauman 等，Ego-Exo4D: Understanding skilled human activity from first- and third-person perspectives，CVPR 2024\n- [^16] Hollidt 等，EgoSim: An egocentric multi-view simulator and real dataset，NeurIPS 2024\n- [^17] Jensen 等，Large scale multi-view stereopsis evaluation，CVPR 2014\n- [^18] Jing 等，Match-Stereo-Videos: Bidirectional alignment for consistent dynamic stereo matching（BiDAStereo），ECCV 2024\n- [^19] Kerbl 等，3D Gaussian splatting for real-time radiance field rendering，SIGGRAPH 2023\n- [^20] Khirodkar 等，EgoHumans: An egocentric 3D multi-human benchmark，ICCV 2023\n- [^21] Knapitsch 等，Tanks and temples: Benchmarking large-scale scene reconstruction，ACM ToG 2017\n- [^22] Kotovenko 等，EDGS: Eliminating densification for efficient convergence of 3DGS，arXiv:2504.13204，2025（预印本）\n- [^23] Kwon 等，H2O: Two hands manipulating objects for first person interaction recognition，ICCV 2021\n- [^24] Li 等，Practical stereo matching via cascaded recurrent network with adaptive correlation，CVPR 2022\n- [^25] Li 等，Neural 3D video synthesis from multi-view video，CVPR 2022\n- [^26] Li 等，Neural scene flow fields for space-time view synthesis of dynamic scenes（NSFF），CVPR 2021\n- [^27] Li 等，Spacetime Gaussian feature splatting for real-time dynamic view synthesis，CVPR 2024\n- [^28] Li、Liu & Rehg，In the eye of beholder: Joint learning of gaze and actions in first person video，ECCV 2018（作者名疑有排版错误）\n- [^29] Liu 等，HOI4D: A 4D egocentric dataset for category-level human-object interaction，CVPR 2022\n- [^30] Lu 等，DiVA-360: The dynamic visual dataset for immersive neural fields，CVPR 2024\n- [^31] Martin-Brualla 等，NeRF in the wild，CVPR 2021\n- [^32] Matsuki 等，Gaussian splatting SLAM，CVPR 2024\n- [^33] Mihajlovic 等，SplatFields: Neural Gaussian splats for sparse 3D and 4D reconstruction，ECCV 2024\n- [^34] Mildenhall 等，NeRF: Representing scenes as neural radiance fields for view synthesis，ECCV 2020\n- [^35] Park 等，Nerfies: Deformable neural radiance fields，ICCV 2021\n- [^36] Park 等，HyperNeRF: A higher-dimensional representation for topologically varying neural radiance fields，ACM ToG 2021\n- [^37] Perrett 等，HD-EPIC: A highly-detailed egocentric video dataset，CVPR 2025\n- [^38] Pumarola 等，D-NeRF: Neural radiance fields for dynamic scenes，CVPR 2021\n- [^39] Sabater 等，Dataset and pipeline for multi-view light-field video，CVPR Workshops 2017\n- [^40] Safadoust 等，Self-evolving depth-supervised 3D Gaussian splatting from rendered stereo pairs，BMVC 2024\n- [^41] Scharstein & Szeliski，A taxonomy and evaluation of dense two-frame stereo correspondence algorithms，IJCV 2002\n- [^42] Schöps 等，A multi-view stereo benchmark with high-resolution images and multi-camera videos（ETH3D），CVPR 2017（原文缺页码）\n- [^43] Straub 等，EFM3D: A benchmark for measuring progress towards 3D egocentric foundation models，arXiv:2406.10224，2024（预印本）\n- [^44] Turkulainen 等，DN-Splatter: Depth and normal priors for Gaussian splatting and meshing，WACV 2025\n- [^45] Wang 等，HoloAssist: An egocentric human interaction dataset for interactive AI assistants，ICCV 2023\n- [^46] Wang 等，Selective-Stereo: Adaptive frequency information selection for stereo matching，CVPR 2024\n- [^47] Wen 等，FoundationStereo: Zero-shot stereo matching，CVPR 2025\n- [^48] Xian 等，Space-time neural irradiance fields for free-viewpoint video，CVPR 2021\n- [^49] Xu 等，DepthSplat: Connecting Gaussian splatting and depth，CVPR 2025\n- [^50] Yoon 等，Novel view synthesis of dynamic scenes with globally coherent depths from a monocular camera，CVPR 2020（原文缺页码）\n- [^51] Yu 等，PlenOctrees for real-time rendering of neural radiance fields，ICCV 2021\n- [^52] Zhu 等，EgoObjects: A large-scale egocentric dataset for fine-grained object understanding，ICCV 2023\n\n**核查小结**：绝大多数引用为可公开核实的知名会议/期刊论文（NeRF、3DGS、Ego4D、KITTI、EPIC-KITCHENS 等）；[^22][^43] 为 arXiv 预印本；标注 CVPR 2025 的条目（[^1][^3][^37][^47][^49]）与本文推测的 2025 年发表时间相互印证，但本文自身的 venue 与日期仍需外部核实。\n\n\n\n## 模块 H：图表与表格抽取（索引/打分/深读） / Module H: Figure/Table Mining (index, scoring, top deep dive)\n\n## Module H：图表提取与索引\n\n### 1. 图表完整索引\n\n#### 1.1 图（Figures）索引\n\n| 编号 | 标题/内容摘要 | 类型 | 位置 | 支持的论断 | 深读评分（1–5） |\n|---|---|---|---|---|---|\n| Fig. 1 | 左：12 个全局快门 RGB 鱼眼相机 + Quest 3 头显（4 个前向相机）的 rig 照片与渲染；中：动态场景 12 rig 相机样例帧（水平对已立体校正）；右：4 个角落视角叠加显示视差范围，中心为 12 视角平均 | 硬件装置图 + 数据可视化 | 第 1 页顶部（摘要前） | rig 设计（12+4 相机、60 Hz 硬件同步）；大视差是数据集挑战性的来源（摘要、第 1 节） | 5 |\n| Fig. 2 | 数据集样例帧，展示场景设置与手部动作的多样性 | 数据样例图 | 第 3 节 Dataset，第 3 页 | 场景与动作多样性（第 3 节 Scene content） | 3 |\n| Fig. 3 | 上：research 数据集样例帧（6 个校正立体对）；下：raw VRS 中同一帧的 12+4 鱼眼相机流 | 数据格式对比图 | 第 3 节 Research dataset 小节，第 4 页 | raw 与 research 两种发布版本的格式差异；research 版 dewarp 至 1280×1280、130° 水平 FOV | 3 |\n| Fig. 4 | rig 立体对与目标对示意：箭头标出 6 个校正立体对（多数基线显著大于人眼距离），目标对 3–4 以绿色标出；将其他 5 对的视差图 warp 到目标对评估一致性 | 实验设置示意图 | 第 4.1 节，第 5 页 | 立体一致性评测协议设计（第 4.1 节 Experimental setup）；训练/测试视角划分（10 训练 + 2 测试） | 5 |\n| Fig. 5 | 立体引导 3DGS 流程：立体估计 → 计算表面 → 采样表面点初始化 3D Gaussians → 以光度损失微调 | 方法流程图 | 第 4.2 节，第 6 页 | 立体引导基线方法（TSDF 融合初始化 + 少量迭代光度微调，损失 L=(1−λ)L1+λL_D-SSIM，λ=0.1） | 5 |\n| Fig. 6 | 定性立体结果：目标对 3–4 与最下方对 11–12；Foundation Stereo (FS)、BiDAStereo (BiDA)、Selective-Stereo (SelS)、StereoAnywhere (SA) 的视差图及 warp 到目标相机后的 MAD/SD 图（截断至 4cm/50cm） | 定性对比图 | 第 4.1–4.2 节之间，第 6 页 | Foundation Stereo 定性一致性最佳（第 4.1 节 Results） | 4 |\n| Fig. 7 | 4D 重建定性可视化：从左至右为 RGB 测试视角、逐帧 3DGS、K-Planes、Spacetime Gaussians、立体引导 3DGS 的重建结果 | 定性对比图 | 第 4.3 节，第 8 页 | 现有 NVS/DNVS 方法在手部近场动态下失效；立体引导 3DGS 显著更优（第 4.3 节 Results） | 5 |\n\n#### 1.2 表（Tables）索引\n\n| 编号 | 标题/内容摘要 | 类型 | 位置 | 支持的论断 | 关键数值 | 深读评分（1–5） |\n|---|---|---|---|---|---|---|\n| Table 1 | 现有动态 3D 视频合成与多视角 egocentric 数据集对比（10 列：Multi view / Ego-centric / Large-scale / # Ego cams / # Exo cams / # Videos/frames / Real/synth / Interaction horizon / Core benchmark task），分三组：Neural 3D Video Synthesis、Egocentric Vision、Multiview Egocentric | 数据集对比表 | 第 2 节 Related Work，第 3 页 | Ego-1K 是唯一同时满足同步 egocentric 多视角（12+4 相机随头部运动）+ 大规模（956 视频、514k 帧）的数据集 | Ego-1K：12+4 ego cams、956 视频、514k 帧、Real、Geom./HOI dyn. NVS | 5 |\n| Table 2 | 数据集属性与多样性轴样例（Lux bins、Lighting type、Scene、Scene layout、Operator action、Objects held、Head motion、Clothing、Accessories、Other person） | 属性/元数据表 | 第 3 节 Scene content，第 3 页 | 数据集沿多条多样性轴覆盖；每段录制附带文本标签元数据 | 999 段录制中剔除 43 段问题数据后保留 956 段（正文） | 3 |\n| Table 3 | 立体一致性定量评测（MAD↓、MAD<1mm↑、SD↓） | 定量结果表 | 第 4.1 节 Results，第 5 页 | Foundation Stereo 一致性最佳（MAD 最低），被选为后续深度先验；BiDAStereo SD 最低（极端离群值更少） | Foundation Stereo：MAD 1.6mm、MAD<1mm 74.0%、SD 42.5；Selective-Stereo：8.0/0.0%/46.2；BiDAStereo：2.2/3.1%/8.3；StereoAnywhere：1.7/29.5%/10.4 | 5 |\n| Table 4 | 4D 重建定量结果（目标对相机所有帧的平均 PSNR↑/SSIM↑/LPIPS↓） | 定量结果表 | 第 4.3 节 Results，第 7 页 | 立体引导 3DGS 大幅超越基线：PSNR 较 3DGS/K-Planes/Spacetime Gaussians 分别提升 7.9/12.7/4.4 | 3DGS：21.22/0.709/0.260；K-Planes：16.46/0.597/0.443；Spacetime Gaussians：24.76/0.780/0.270；3DGS+stereo guidance：29.12/0.830/0.115 | 5 |\n\n### 2. 最高优先级深读条目（按重要性排序）\n\n1. **Table 4 + Fig. 7（4D NVS 核心结果）**：论文最关键论断的定量与定性证据——现有 3D/4D NVS 方法在 egocentric 近场动态场景失效，立体引导 3DGS 将 PSNR 从 21.22 提升至 29.12（第 4.3 节、第 5 节结论）。深读要点：评测协议（目标对 3–4 为测试视角、其余 10 视角训练）、指标均值口径、失败案例形态（手部区域模糊与伪影）。\n2. **Table 3 + Fig. 6（立体一致性评测）**：在无 GT 深度条件下，以跨立体对 MAD/SD 一致性选型 Foundation Stereo 的完整证据链（第 4.1 节）。深读要点：warp 实现（像素投影至 3D → 按像素连通性构建三角网格并丢弃跨大深度三角形 → 从目标视角渲染）、MAD 与 SD 的互补解读（Foundation Stereo MAD 最低 1.6mm，BiDAStereo SD 最低 8.3mm）。\n3. **Fig. 4 + Fig. 5（协议与方法流程）**：Fig. 4 定义 6 个校正立体对与目标对 3–4，是 Table 3 与 Table 4 共同的评测基础；Fig. 5 给出立体引导 3DGS 的三步流程（双向立体估计 → TSDF 融合 → 表面采样初始化 + 光度微调）。深读要点：基线大于人眼距离带来的大视差挑战、λ=0.1 的光度损失设置。\n4. **Table 1 + Fig. 1（数据集定位与硬件）**：Table 1 以三轴（多视角 × egocentric × 大规模）论证 Ego-1K 填补空白；Fig. 1 展示 12+4 相机 60 Hz 硬件同步 rig 与视差范围可视化。深读要点：与 EgoExo4D、EgoHumans、HOT3D 等在 ego 相机数与规模上的差异（Table 1 脚注：EgoHumans 每被试仅 1 个 ego 视角、EgoSim 每用户头部仅 1 个 ego 视角）。\n5. **Table 2 + Fig. 2 + Fig. 3（数据构成与版本）**：多样性轴元数据、样例帧与 raw/research 双版本格式（research 版 6 个校正立体对、17.5 TB 公开；raw 版平均 93 GB/VRS、共 88 TB 需申请）。深读要点：复现实验所需的最小数据单元与随附标定/位姿信息。\n\n### 3. 图表关系 / 实验设置图\n\n【实验设置与图表依赖流程】\n\n- Fig. 1（硬件 rig：12+4 相机，60 Hz 硬件同步，附 iToF/IMU 流）\n　　↓\n- Table 2 + Fig. 2 + Fig. 3（数据集构建：多样性元数据、样例帧、raw vs research 双版本）\n　　↓\n- Fig. 4（6 个校正立体对；目标对 3–4）\n　　├─→ Table 3 + Fig. 6（立体一致性评测：MAD/SD 定量 + 定性 → 选定 Foundation Stereo）\n　　↓\n- Fig. 5（立体引导 3DGS：双向立体估计 → TSDF 融合 → 表面采样初始化 → 光度微调）\n　　↓\n- Table 4 + Fig. 7（4D NVS 评测：PSNR/SSIM/LPIPS 定量 + 定性对比）\n\n依赖关系说明：\n\n- Fig. 4 是 Table 3、Fig. 6 与 Table 4、Fig. 7 的共同评测基础：目标对 3–4 既作为一致性 warp 的目标，也作为 NVS 的测试视角（第 4.1、4.3 节）。\n- Table 3 的选型结果（Foundation Stereo）直接决定 Fig. 5 流程中的深度来源，进而决定 Table 4 中 3DGS+stereo guidance 的成绩（第 4.1→4.2→4.3 节的因果链）。\n- Fig. 1 的 rig 几何（大基线、大视差）是 Table 1 唯一性定位与全部实验挑战性的物理根源（摘要、第 3、4 节）。\n\n### 4. 图表 → 结论映射\n\n| 论文结论 | 支撑图表 | 证据要点 |\n|---|---|---|\n| Ego-1K 是首个同时实现大规模、高相机数、egocentric 视角与精确同步的数据集（第 5 节） | Table 1、Fig. 1 | Table 1 中唯一在 Multi view/Ego-centric/Large-scale 三列全为 ✓ 且 ego 相机数达 12+4；Fig. 1 展示 rig 实体与 60 Hz 同步能力 |\n| 数据集聚焦 HOI、场景多样（第 1、3 节） | Table 2、Fig. 2 | 10 条多样性轴元数据（光照、场景、动作、持物、衣着等）；样例帧覆盖多环境与手部动作 |\n| research 版本便于处理、raw 版本保留全部传感器流（第 3 节） | Fig. 3 | 上：6 个校正立体对；下：12+4 鱼眼原始流；research 版 17.5 TB 公开，raw 版 88 TB 需申请 |\n| 在线标定使中位 MAD 降低 35%（第 3 节 Calibration） | 无直接图表；由 Table 3 的 MAD 度量方式支撑 | 正文文字结论；其评测手段即第 4.1 节的跨对一致性协议 |\n| Foundation Stereo 一致性最佳，被选为深度先验（第 4.1 节） | Table 3、Fig. 6 | MAD 1.6mm 最低、MAD<1mm 达 74.0%；定性视差与误差图最干净 |\n| 现有 NVS/DNVS 方法无法可靠重建近场动态手部（第 4.3 节） | Table 4、Fig. 7 | 逐帧 3DGS 仅 21.22 dB、K-Planes 16.46 dB；定性图中手部区域严重模糊/伪影 |\n| 立体深度先验显著提升 4D 重建（摘要、第 1、4.3、5 节） | Table 4、Fig. 7、Fig. 5 | PSNR 提升 7.9/12.7/4.4（对 3DGS/K-Planes/Spacetime Gaussians）；定性结果最接近 RGB 测试视角 |\n| 大视差与快速图像运动是挑战根源（摘要、第 3、4 节） | Fig. 1（右）、Fig. 4 | 视差范围叠加可视化；多数立体对基线显著大于人眼距离（Fig. 4 说明） |" }