Figure 1. Left: photo and rendering of our multi-camera rig integrating 12 global-shutter RGB fisheye cameras and a Quest 3 headset with 4 forward-facing cameras. All cameras are synchronized, enabling the capture of dynamic egocentric multiview videos at 60 Hz. Middle: a sample frame from a dynamic scene, captured by the 12 rig cameras; each horizontal pair is stereo-rectified. Right: overlays of the 4 corner views visualizing the disparity range; the average of all 12 views is shown in the center.
## 摘要
我们推出了Ego-1K，这是一个大规模的时间同步的 Egocentric 多视角视频数据集，旨在推动神经3D视频合成与动态场景理解的发展。该数据集包含近1000段短小的 Egocentric 视频，这些视频是用一套定制设备拍摄的，该设备由围绕用户佩戴的4摄像头VR头显布置的12个同步摄像头组成。场景内容主要聚焦于不同环境下的手部动作及手物交互。文中我们介绍了该设备的设计、数据处理和校准过程。我们的数据集为评估 Egocentric 场景重建方法提供了新途径，随着配备多个摄像头的智能眼镜日益普及，这一研究领域的重要性愈发凸显。实验表明，由于近距离动态物体以及设备自身运动导致的巨大视差和图像运动，现有3D和4D新视角合成方法在本数据集上面临独特挑战。该数据集将为这一极具挑战性的领域的未来研究提供支持。数据集可在 获取。
### 1. 引言
混合现实设备和 Egocentric 世界建模需要从佩戴者的视角生成逼真的4D重建结果。尽管神经新视角合成（NVS）和动态辐射场方法取得了快速进展，但目前仍缺乏能提供真实动态场景的同步多视角 Egocentric 视频的大规模数据集。现有的NVS数据集通常是外摄或单目视角，且侧重于静态场景；而 Egocentric 数据集则侧重于基于单目或双目视角的活动识别，缺少驱动和评估 Egocentric 4D重建所需的同步多视角影像。
将4D重建与 Egocentric 视觉相结合，能催生出从远程呈现到空间推理及机器人技术等一系列极具应用前景的场景。为了支持这一新兴研究领域的发展，我们推出了Ego-1K数据集，其中包含956段短小的 Egocentric 录像，这些录像是用一套定制的头戴式设备拍摄的，该设备集成了12个全局快门RGB鱼眼摄像头，环绕在搭载4个摄像头的Quest 3头显周围（见图1）。所有16个摄像头均以60 Hz的频率实现硬件同步，从而能够精准校准并共享时间戳，完成动态 Egocentric 多视角拍摄。该数据集重点关注近场的手物交互（HOI）场景，且覆盖前方视野，由于快速运动、频繁遮挡和极大视差的存在，给重建工作带来了独特挑战。我们发布了包含两个传感器流全部数据的“原始”版本，以及由12个设备摄像头去畸变后生成的6组校正后的立体图像对构成的“研究”版本，以便于后续处理；我们的实验采用的是研究版本。
---
我们的数据集为评估以自我为中心的场景重建方法提供了新途径。针对立体视觉任务，我们提出通过将不同相机对生成的视差图映射到选定的目标相机对上，并测量其一致性来评估成对一致性。针对新视角合成任务，我们建议采用训练-测试划分方式：保留两个目标视角用于测试，其余十个相机视角用于训练，以此评估静态的逐帧3D高斯泼溅（3DGS）以及4D动态模型。实验表明，现有3D和4D NVS方法在面对自我运动、近距离手部运动、大视差以及频繁遮挡等复杂情况时表现不佳，难以应对我们的数据集所提出的独特挑战。不过我们也证实，借助当前立体视觉基础模型提供的深度引导，可以显著提升性能。
我们的主要贡献如下：我们推出了Ego-1K，这是一个包含近1000段真实动态场景的短时长以自我为中心视频的大规模数据集，这些视频由12+4个硬件同步摄像头组成的特殊相机阵列拍摄而成。我们的数据集填补了一个关键空白——它同时具备了以自我为中心视角、大量摄像头以及大规模数据这三个特点。该数据集可用于在多视图立体视觉与以自我为中心的4D合成交叉领域，对复杂现实环境中的3D视频合成及动态新视角合成方法进行基准测试。此外，我们提出了新的评估协议，证明了现有动态NVS方法在这些极具挑战性的条件下表现欠佳，而利用融合后的立体深度作为额外先验，能够改善其性能。
### 2. 相关工作
立体视觉数据集在推进3D重建领域的发展中发挥了关键作用，它们为开发和评估从多视角推断场景几何结构的算法提供了必要的基础数据。这些数据集推动了传统立体匹配算法以及基于学习的方法的进步，提升了深度估计、场景理解和视觉SLAM的性能。Middlebury [^41]、KITTI [^13]、Sintel [^4]、DTU [^17]、ETH3D [^42]以及Tanks and Temples [^21]等各类数据集，在基准测试及推进立体视觉和多视图立体算法发展方面发挥了重要作用。随后的研究重点转向大规模合成数据集以及立体视觉基础模型，进一步拓展了3D重建方法的应用范围和泛化能力 [^24] [^47]。
近年来，研究界将重点转向神经新视角合成技术，该技术旨在从未见过的视角生成逼真的图像。该领域的早期研究集中于静态场景，利用多视图图像和神经表征来高保真地合成新视角 [^2] [^5] [^31] [^34] [^51]。在这些成果的基础上，后续研究将这些方法拓展到动态场景，以应对时间变化和非刚性运动带来的额外挑战 [^12] [^26] [^27] [^35] [^38] [^48]。
与这些发展同步，以自我为中心的视频分析已成为一个活跃的研究领域，其驱动力来自可穿戴摄像头的普及以及对理解第一人称体验的日益浓厚兴趣。以自我为中心的数据集推动了从个人视角进行活动识别、物体交互和社会理解方面的进展 [^8] [^14] [^28] [^29]。诸如Ego4D [^14]和EFM3D [^43]等最新基准测试进一步推动了该领域的发展，它们提供了大规模、多样化且标注丰富的以自我为中心的视频数据，从而支持感知、动作理解和3D场景分析等广泛的研究。
尽管取得了这些进展，仍存在一个关键缺口：目前尚无数据集能提供从以自我为中心的角度拍摄的密集同步多视角视频。此类资源对于连接3D重建、NVS和以自我为中心的分析领域至关重要，还能为这些领域的交叉研究开辟新机遇。我们的工作通过推出Ego-1K来解决这一缺口，这是一款全新的同步以自我为中心的多视角数据集，旨在推动这些快速发展的领域取得进步。表1对Ego-1K与现有数据集进行了结构化对比，其中包含了贯穿所有三类研究的两个维度：交互范围（持续时间和关注点）以及核心基准任务（几何与语义）。
## 神经3D视频合成数据集
早期的数据集主要聚焦于单目动态视频：NSFF [^26]利用单目动态视频 [^50]来学习时空视图合成，HyperNeRF [^36]则利用单目自拍风格视频来学习每个时间点的动态形变场。D-NeRF [^38]提供了穹顶拍摄风格的合成多视角动态物体数据。Neural 3D video synthesis [^25]提供了6个室内场景的21段GoPro视频，而DiVA-360 [^30]则提供了由53台时间同步摄像机拍摄的穹顶风格视频。不过，所有这些数据集都缺乏以自我为中心的视角，且规模有限。
## 以自我为中心的视觉数据集
像Ego4D [^14]（3670多小时）、EPIC-KITCHENS [^8] [^9]（100小时）以及HoloAssist [^45]这样的大规模数据集提供了大量的以自我为中心的视频，但它们侧重于基于单目或立体拍摄的活动识别。虽然这些数据集对第一人称视觉研究很有价值，却缺乏用于动态3D重建的多视角数据。同样，EgoObjects [^52]是一个包含多种物体标签的大规模单目以自我为中心视频数据集，而EgoPoints [^10]则是用于以自我为中心的点跟踪的大规模数据集。
有几个大规模数据集专注于手-物交互（HOI）：H2O [^23]是为以自我为中心的HOI识别设计的基准测试，HOI4D [^29]致力于语义与动作分割及姿态跟踪，ARCTIC [^11]则侧重于关节物体的操控。不过，它们都仅提供单一以自我为中心的视角。
---
| Dataset | Multi view | Ego-centric | Large-scale | # Ego cams | # Exo cams | # Videos/frames | Real/synth | Interaction horizon | Core benchmark task (geometry vs. semantics) |
| Neural 3D Video Synthesis Datasets |
| NSFF [^26] | - | - | - | 0 | 1 | 8 videos | Real | Short / dynamics | Geom. / dynamic NVS |
| HyperNeRF [^36] | - | - | - | 0 | 1 | Few scenes | Real | Short / dynamics | Geom. / non-rigid NVS |
| DNeRF [^38] | ✓ | - | - | 0 | varies | Few scenes | Synth | Short / dynamics | Geom. / non-rigid NVS |
| Neural 3D Video [^25] | ✓ | - | - | 0 | 18 | 6 indoor scenes | Real | Short / dynamics | Geom. / multiview NVS |
| DiVA360 [^30] | ✓ | - | (✓) | 0 | 53 | 54 videos | Real | Med. / dynamics | Geom. / dome NVS |
| Egocentric Vision Datasets |
| Ego4D [^14] | - | ✓ | ✓ | 1-3 | 0 | 20k+ videos, 3.7k hrs | Real | Long / activities | Sem. / recognition |
| EPIC-KITCHENS [^8] [^9] | - | ✓ | ✓ | 1 | 0 | 100 hrs | Real | Long / activities | Sem. / recognition |
| HoloAssist [^45] | - | ✓ | ✓ | 1 | 0 | Large-scale | Real | Med. / activities | Sem. / recognition |
| H2O [^23] | - | ✓ | ✓ | 1 | 4 | 572k images | Real | Short / activities | Sem. / HOI recognition |
| HOI4D [^29] | - | ✓ | ✓ | 1 | 0 | 4k videos, 2.4M images | Real | Short / dynamics | Sem. / HOI segmentation |
| ARCTIC [^11] | - | ✓ | ✓ | 1 | 8 | 2.1M images | Real | Short / dynamics | Geom. / hand reconstr. |
| EgoObjects [^52] | - | ✓ | ✓ | 1 | 0 | 9k+ videos | Real | Short / objects | Sem. / object detection |
| EgoPoints [^10] | - | ✓ | ✓ | 1 | 0 | Large-scale | Real | Short / dynamics | Geom. / point tracking |
| Multiview Egocentric Datasets |
| EgoExo4D [^15] | (✓) | ✓ | ✓ | 3 | 4-5 | 5k videos, 1,286 hrs | Real | Long / activities | Sem. / recog. + pose |
| EgoHumans [^20] | (✓) | ✓ | (✓) | 2-6 $^{{*}}$ | 8-15 | 7 scenes, 125k images | Real | Med. / dynamics | Geom. / 3D tracking |
| EgoSim [^16] | (✓) | ✓ | ✓ | 6 $^{{**}}$ | 0 | 5h real + 100h synth | Mixed | Med. / activities | Geom. / human pose |
| HD-EPIC [^37] | (✓) | ✓ | ✓ | 3 | 0 | 156 videos, 41 hrs | Real | Long / activities | Sem. / recognition |
| HOT3D [^1] | (✓) | ✓ | ✓ | 2-3 | 0 | 198 Aria, 226 Quest | Real | Short / dynamics | Geom. / pose tracking |
| Ego-1K (ours) | ✓ | ✓ | ✓ | 12+4 | 0 | 956 videos, 514k frames | Real | Short / dynamics | Geom. / HOI dyn. NVS |
$^{*}$每个受试者仅有1个以自我为中心的视角 $^{**}$仅从用户头部获取1个以自我为中心的视角
Table 1. Comparison of existing datasets for dynamic 3D video synthesis and multiview egocentric vision. Our dataset is the only one that provides synchronized egocentric multiview captures, with all 12+4 cameras following the user's head motion.
## 多视角以自我为中心的数据集
现有的结合自我中心视角和多视角采集的数据集通常只包含少量同步的自我中心摄像头，或者规模有限。Ego-Exo4D [^15]提供了大规模的自我-外部数据，但每个设置仅使用3个摄像头来进行技能演示。EgoHumans [^20]虽然能捕捉多视角以用于人体姿态估计，但仅有7个场景且真实感有限。EgoSim [^16]提供了从人体关节位置拍摄的6段GoPro录像，用于人体姿态估计，但每个受试者仅有一个自我中心视角。其他近期数据集如HD-EPIC [^37]和HOT3D [^1]则利用Project Aria和Quest 3等现代头戴式设备来采集同步的多视角自我中心视频。尽管HD-EPIC提供了高度详细的、无脚本的厨房活动录像，HOT3D也提供了用于3D手部与物体追踪的大规模数据，但两者都仅限于2–3个自我中心视角。相比之下，我们的数据集包含4个头戴设备视角以及12个周边视角，且全部同步。
## 3 基于几何先验的DGS
正如我们在第4节中展示的那样，我们的数据集带来了较大的视差和快速图像运动等额外挑战，这些问题会给现有的动态NVS方法带来困扰 [^27] [^33]。不过，当前的立体模型往往能够应对这些挑战，因此我们提议将立体深度作为几何先验，通过每帧的深度图融合来重建表面，进而以此初始化高斯泼溅点（Section 4.2）。
现有采用几何先验的3DGS方法通常侧重于正则化 [^6] [^32] [^40]。当用稀疏点云初始化时，正则化能够提升NVS的保真度，但这并不适用于我们这种密集的立体初始化方式。一些近期方法与我们的初始化方案类似：DN-Splatter [^44]使用融合后的点云，EDGS [^22]则利用密集对应关系来初始化3D高斯。DepthSplat [^49]提出联合训练深度估计器和高斯泼溅模块以构建前馈模型，且仅依赖学习得到的深度信息；而我们的方法则采用基于立体的TSDF融合技术来获取度量精确、闭合无隙的几何结构，从而为NVS提供更可靠的基础。
### 3. 数据集
## 多摄像头装置
我们通过一个头戴式装置采集同步的多视角视频，该装置集成了Quest 3头戴设备、围绕头戴设备的12个鱼眼摄像头以及两个iToF传感器（见图1）。
这12个外部装置摄像头是800万像素（2848 × 2848）的全局快门RGB传感器，配备对角线为$190^{\circ}$、焦距f2.8的镜头。为了能通过USB 3.1（5Gbps）接口以60 FPS的帧率、8位原始拜耳格式向背包式计算机传输数据，传感器被裁剪为600万像素（2448 × 2448）。该计算机使用两个8端口USB主机总线适配器来接收摄像头数据，并将其临时存储在
---
Figure 2. Sample frames from our dataset, illustrating the range of settings and hand motions.
RAM中，之后再保存到磁盘。该装置还包含两个Lucid Helios2 Wide iToF传感器（640w × 480h），它们交替以30 FPS的帧率拍摄，且与摄像头时间同步。我们将iToF流包含在原始数据集中，但由于其在运动场景下深度估计不可靠且存在相位歧义，因此在实验中并未使用。
Meta Quest 3混合现实头戴设备能让用户体验沉浸式的VR内容，同时也支持将数字内容与现实世界融合的透视显示功能。Quest 3配备了两颗面向前方的卷帘式RGB摄像头（分辨率为2328×1748），帧率可达60 FPS；还有两颗面向前方的全局快门灰度SLAM摄像头（分辨率为512×640），帧率为30 FPS。由于设备的遮挡，我们并未采集两侧SLAM摄像头的画面。该头戴设备的视觉惯性里程计系统会根据SLAM摄像头和惯性测量单元的数据计算出设备的姿态；我们的原始数据集还包含了频率为800 Hz的原始6自由度IMU信号。由于该设备重量约为6公斤，我们采用了背负式吊架来支撑大部分重量，同时保证头部能够自然活动。
## 场景内容
我们让五名操作员佩戴该设备在多种环境、活动场景及光照条件下共采集了999段录像。我们重点关注手与物体的交互：操作员会做出各种手势、模拟打字动作，并操控不同的物体。在某些场景中，操作员也会以旁观者的身份出现。表2总结了本数据集的不同多样性维度及其属性范围。我们
| Property | Sample values |
| Lux bins | 51-75, 76-100, 101-200, 201-400, 401-1000, 1001+ |
| Lighting type | natural, artificial, mixed |
| Scene | lab, office, living room, bedroom, rooftop, ... |
| Scene layout | type of furniture present, windows, mirrors, ... |
| Operator action | typing, swiping panels, operating controllers, ... |
| Objects held | controllers, phones, tablet, cup, book, pen, ... |
| Head motion | static, looking up/down/sideways, small/large motion |
| Clothing | short sleeve, long sleeve, t-shirt, suit, hoodie, ... |
| Accessories | watch, rings, colored nails, ... |
| Other person | true, false |
Table 2. Sample dataset properties and axes of diversity. We provide metadata summarizing the properties of each recording.
会在录像附带的元数据中以文本标签的形式记录部分属性。我们手动检查了所有视频，剔除了43段图像过暗或帧数不足的有问题的录像。剩余的956段录像构成了我们的主要数据集。图2展示了其中一台设备摄像头拍摄的样本画面。
## 数据采集与处理
使用该设备录制时会产生海量数据：12路+2路的RGB视频流，帧率为60 Hz；两路SLAM视频流，帧率为30 Hz；两路iToF视频流，帧率为30 Hz；以及频率为800 Hz的IMU数据。这些数据会被传输到背包电脑的DDR RAM中，随后转存到NVMe硬盘中进行非易失性存储，未压缩的数据生成速率约为15 GB/s。针对我们的数据集，每段视频时长8–10秒，通常每台摄像头可采集450–550帧画面。
为了实现12路+4台摄像头的时序对齐，无线同步器会向Quest头戴设备的视频流以及12台设备摄像头发送LTC时间戳。时序控制器会通过MQTT协议将触发帧对应的时间戳发送给运行在电脑上的ROS2采集软件。这一共享时间戳能够实现包含12台设备摄像头的VRS文件与Quest 3数据VRS文件之间的后续帧对齐，后者是由头戴设备采集的。
上传到服务器后，设备采集的VRS文件和头戴设备采集的VRS文件会被合并为单个时序对齐的VRS文件，原始的彩色视频流也会被去拜耳化转换为RGB图像。
我们对设备拍摄的视频进行全局色彩校正，以使其色彩与头戴设备RGB摄像头的色彩保持一致。我们还会在每份VRS文件中一并收集和存储元数据，包括校准数据、采集条件以及视频内容信息。
## 校准
我们在实验室中使用五个大型平面Calibu标定靶对设备进行校准。我们让设备移动至一系列预设位置，追踪标定标记的位置，进而计算出所有摄像头的内部参数和相对外部参数。在耗时数周采集完整数据集的过程中，我们定期重新校准设备，以确认校准参数保持稳定。当操作
---
Figure 3. Top: a sample frame from a recording in our research dataset, consisting of 6 rectified stereo pairs. Bottom: the same frame from the raw VRS with 12+4 fisheye camera streams.
人员在野外作业时，我们会根据头戴设备提供的视觉惯性里程计结果来确定设备的姿态。
除了这种离线校准流程外，我们还执行在线校准，以补偿随时间产生的校准变化。虽然由于设备架的光学平台十分稳定，摄像头位置不太可能发生变化，但镜头移动会导致摄像头方向出现0.1–0.2度的偏差，焦距也会随温度变化而改变。这可能会造成1–3像素的图像偏移，进而显著影响重建精度。我们的在线校准会优化摄像头的旋转参数和焦距，但其他外部参数和内部参数则保持不变。进行在线校准时，我们假设整个录制过程中校准参数保持恒定。我们会检测特征点，并在整个录制过程中将其在所有摄像头间进行匹配，但会逐帧单独处理。随后我们会优化摄像头方向和焦距，以共同最小化所有检测到的特征点的重投影误差。
我们可以通过在不同图像对上运行立体视觉算法并测量成对深度估计的一致性来评估在线校准的成效（详见第4节）。如果校准不够精确，不同的摄像头对针对同一场景点会给出不一致的深度估计，我们可以通过计算这些估计值的中值绝对偏差（MAD）来衡量这种不一致程度。实验表明，在线校准可使中值MAD评分降低35%。
## 研究数据集
我们提供了两个版本的数据集：“原始”版本包含最终合并后的VRS文件，其中收录了所有鱼眼摄像头和传感器的数据；而干净的“研究数据集”仅包含12个设备架摄像头的数据，这些图像会被去畸变处理为6组矫正后的（针孔模型）立体图像对，以便于后续处理。研究数据集中未纳入头戴式RGB摄像头，因为它们在快门类型（滚动式 vs 全局式）、分辨率和色彩配置文件等方面与设备架摄像头存在差异。我们使用
| Model | MAD $\downarrow$ [mm] | MAD <1mm $\uparrow$ | SD $\downarrow$ [mm] |
| Foundation Stereo [^47] | 1.6 | 74.0% | 42.5 |
| Selective-Stereo [^46] | 8.0 | 0.0% | 46.2 |
| BiDAStereo [^18] | 2.2 | 3.1% | 8.3 |
| StereoAnywhere [^3] | 1.7 | 29.5% | 10.4 |
Table 3. Quantitative evaluation of stereo consistency. MAD: median absolute deviation, SD: standard deviation.
$1280 \times 1280$的分辨率和$130^{\circ}$的水平视场角来对鱼眼视图进行去畸变处理，这样既能获得宽广的视场，又能避免超出边界的区域。为实现最高精度，我们在去畸变时会采用优化后的在线校准结果。每帧数据以12张PNG图像的形式提供，同时附带校准和姿态数据。图3展示了原始数据集和研究数据集中的示例帧。下一节我们将说明该研究数据集在动态重建方法基准测试中的价值。
由12个摄像头拍摄、包含450–580帧的单次录制文件平均大小为19 GB。包含956次录制的完整研究数据集占用17.5 TB存储空间，可在获取。原始数据集每个VRS文件的平均大小为93 GB，总大小达88 TB；如有需要可申请获取。
### 4. 实验
我们利用该数据集评估现有新视角合成（NVS）方法，该数据集具有极具挑战性的动态交互场景和频繁的遮挡情况。我们既考虑了静态NVS方法（针对每组12张输入图像逐帧运行），也考虑了动态NVS（DNVS）方法，后者会将整个数据集（12个视角×约500帧）作为输入。实验表明，该数据集难度极高，无论是NVS还是DNVS方法都无法在近距离动态手部运动场景下可靠地重建场景。我们还展示了将估算出的立体深度作为4D重建的先验信息，如何缓解病态性问题。下文我们首先通过测量同步帧之间的一致性，来说明如何选择立体深度估计算法；随后对比不同的新视角合成算法，为多视角第一人称4D重建提供新的基准。所有评估实验均选取了数据集中的10%（共96次录制）作为样本。
#### 4.1. 评估成对的立体匹配方法
为了将立体深度信息作为我们4D NVS重建的先验，我们需要一种系统化的方法来选择最适合我们应用场景的深度估计算法。由于我们缺乏用于评估的真实深度数据，
---
Figure 4. Rig stereo pairs and target pair. The arrows show the 6 rectified stereo pairs; note that the baselines for most pairs are significantly larger than human eye distance (roughly the distance of the headset cameras and pair 9–10). The target pair (3–4) is shown in green. We warp the disparity maps of the other 5 pairs to the target pair and evaluate their consistency.
因此我们转而衡量同一帧图像上估算出的视差图之间的一致性。
## 实验设置
给定6组水平校正后的立体像对，共包含12个相机视角，我们对每组像对的所有帧运行立体匹配算法。我们选择其中一组作为目标像对，将其它所有像对的视差图都变换到该目标像对的视角下（见图4）。随后我们计算中值绝对偏差（MAD）和标准差（SD），用以衡量变换后各像对之间的一致性。变换视差图的过程是将像素投影到三维空间，根据像素连通性构建三角网格（剔除那些覆盖较大深度范围的三角形），最后从目标相机的视角渲染该网格。
## 实验结果
我们评估了四种最新的立体匹配方法：Foundation Stereo [^47]、BiDAStereo [^18]、Selective-Stereo [^46]以及StereoAnywhere [^3]。图6展示了这些方法在我们数据集上的定性结果。我们发现，从像素级MAD和SD指标来看，Foundation Stereo给出的估计结果一致性最高。表3总结了我们数据集上的立体匹配评估结果。经确认，Foundation Stereo的MAD值最低，而BiDAStereo的SD值最小。这表明BiDAStereo产生的异常深度值较少，但总体而言Foundation Stereo的一致性表现更优。在后续实验中，基于其出色的定性结果和稳健的定量性能，我们选择了Foundation Stereo而非其他最先进的方法。
### 4.2. 用于4D重建的立体匹配初始化
给定每一帧的立体视差估计，我们将其用作几何先验来改进4D重建过程。与现有方法通过基于损失的监督优化高斯泼溅[^40]或使用深度
Figure 5. Stereo-guided 3DGS. We use stereo to compute surfaces, and sample surface points to initialize 3D Gaussians. Then, we fine-tune the 3D Gaussians to minimize photometric loss.
作为端到端前馈模型中的先验（例如，[^49]），我们发现使用精确融合的立体几何初始化高斯泼溅，然后通过最小化光度损失进行少量迭代微调就足够了。图5提供了我们方法的高层概览。给定RGB输入对，我们在两个方向（左到右和右到左）运行Foundation Stereo。接下来，我们使用TSDF融合[^7]融合所有立体深度图。然后我们从融合的TSDF中采样表面点，以获得每个采样点的表面法线和颜色。由于高质量的融合立体几何已经转化为高保真3D高斯，我们只需对高斯进行少量步数的微调，使用默认的[^19]最小化光度重建损失$\lambda = 0.1$：
$$ \mathcal{L}=(1-\lambda)\mathcal{L}_{1}+\lambda\mathcal{L}_{\mathrm{D-S S I M}}. $$
我们对每一帧独立执行这种静态场景优化，最终得到稠密的4D重建结果。
#### 4.3. 评估以自我为中心的4D NVS重建效果
为了评估4D重建效果，我们将NVS和DNVS模型应用于我们的数据集。首先，我们对每一帧独立应用最先进的静态场景NVS算法——3DGS [^19]。接着，我们选取基于动态辐射场的模型（K-Planes [^12]）以及一种动态3DGS变体（Spacetime Gaussians [^27]）作为额外的基准模型进行对比。最后，我们采用带有立体几何约束的3DGS模型进行拟合，以证明几何约束对于在我们数据集上获得高质量结果至关重要。
---
Figure 6. Qualitative stereo results. Left: target and bottom-most stereo pairs 3–4, 11–12. Middle/right: stereo results for Foundation Stereo (FS) [^47], BiDAStereo (BiDA) [^18], Selective-Stereo (SelS) [^46], and StereoAnywhere (SA) [^3]: Disparities; median absolute deviation (MAD) and standard deviation (SD) of all pairs warped to the target camera. We clamp MAD, SD to 4cm, 50cm.
## 实验设置
与立体一致性测量类似，我们将摄像头分为训练组和测试组。与以往一样，我们使用目标对3–4（图4中的绿色摄像头）作为测试视图，其余10个视图则用于训练。我们采用标准的图像重建指标（PSNR、SSIM和LPIPS [^34]）来评估目标对中每一帧和每个摄像头的4D NVS重建效果。
## 实验结果
表4总结了我们数据集上4D重建评估的定量结果。结果显示，采用立体约束的3DGS模型取得了显著更好的效果：其PSNR值分别比原始3DGS、K-Planes和Spacetime Gaussians高出7.9、12.7和4.4。我们注意到，由于场景的空间范围较大，3D高斯模型的表现优于辐射场模型。图7展示了各拟合模型的NVS结果。我们发现，仅逐帧拟合3DGS不足以解决病态问题，且现有的动态模型无法成功重建我们的数据集——因为这些模型旨在学习以物体为中心的场景 [^38] 或姿态固定的多视图视频 [^25] [^39]。我们还发现，在包含近距离动态物体（如手部）的场景中，我们的模型与现有方法之间的性能差距，要比远距离场景（如其他人）中更大。
### 5. 结论
我们推出了Ego-1K——一个大规模的时间同步多视图数据集，该数据集是通过搭载在Quest 3头显周围的12个摄像头的移动式自中心设备采集得到的。这种独特的设置使得能够在复杂的现实动态环境中，从自中心视角对3D视频合成进行基准测试，尤其侧重于手-物交互场景。据我们所知，这是首个同时具备大规模、高摄像头数量、自中心视角以及精确同步特性的数据集，可用于动态场景理解和自中心视频合成研究。
我们证实，对于既包含移动设备又包含动态内容的复杂场景，当前的3D和4D NVS方法无法生成准确的新视图。
| Model | PSNR $\uparrow$ | SSIM $\uparrow$ | LPIPS $\downarrow$ |
| 3DGS [^19] (per-frame) | 21.22 | 0.709 | 0.260 |
| K-Planes [^12] | 16.46 | 0.597 | 0.443 |
| Spacetime Gaussians [^27] | 24.76 | 0.780 | 0.270 |
| 3DGS + stereo guidance | 29.12 | 0.830 | 0.115 |
Table 4. Quantitative results on 4D reconstructions. We measure average PSNR, SSIM and LPIPS over all frames for cameras in the target pair.
---
RGB图像 3DGS K-Planes Spacetime Gaussians 立体约束引导的3DGS
Figure 7. Qualitative visualization of 4D reconstruction methods. From left to right: RGB test view and reconstructions by per-frame 3DGS [^19], K-Planes [^12], Spacetime Gaussians [^27], and 3DGS with stereo guidance.
相比之下，最先进的基础立体模型能够提供不错的深度图。我们的数据集可用于评估模型对立体基线变化的鲁棒性以及时间稳定性；类似的一致性研究也可用于语义分割或人体分割领域。此外，我们提供了一种以立体深度为约束的基准NVS方法，该方法能显著改善重建效果。未来的另一个研究方向是通过多视图/多基线立体技术生成高质量的逐帧深度图，这些深度图可作为评估双视图或单目深度估计方法的伪真值，也可用于相机子集的消融研究，或用于评估以手-物交互为中心的任务。我们希望我们的数据集能成为推动这些有前景的研究方向的催化剂。
## 致谢
我们感谢 Joey Conrad、Anton Clarkson、Pratik Halani、Daniel Ju、Max Strand、Rene van Ee、Robb Meeker、Richard McVey、Carlton Collett 和 Michael Ashton 在设备设计与搭建过程中给予的帮助，同时感谢 Aaron Ali Hawkins、Sam Coppinger、Mason Maurer、Kevin Chau、Kenneth Bradley 和 Joe Park 在数据采集方面的贡献。
---
## 参考文献
[^1]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. HOT3D: Hand and object tracking in 3D from egocentric multi-view videos. In CVPR, 2025. 3
[^2]: Jonathan T. Barron, Ben Mildenhall, Matthew Tancik, Peter Hedman, Ricardo Martin-Brualla, and Pratul P. Srinivasan. Mip-NeRF: A multiscale representation for anti-aliasing neural radiance fields. In ICCV, 2021. 2
[^3]: Luca Bartolomei, Fabio Tosi, Matteo Poggi, and Stefano Mattoccia. Stereo Anywhere: Robust zero-shot deep stereo matching even where either stereo or mono fail. In CVPR, 2025. 5, 6, 7
[^4]: Daniel Butler, Jonas Wulff, Garrett Stanley, and Michael J. Black. A naturalistic open source movie for optical flow evaluation. In ECCV, 2012. 2
[^5]: Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu, and Hao Su. MVSNeRF: Fast generalizable radiance field reconstruction from multi-view stereo. In ICCV, 2021. 2
[^6]: Jaeyoung Chung, Jeongtaek Oh, and Kyoung Mu Lee. Depth-regularized optimization for 3D Gaussian splatting in few-shot images. In CVPR Workshops, 2024. 3
[^7]: Brian Curless and Marc Levoy. A volumetric method for building complex models from range images. In SIGGRAPH, 1996. 6
[^8]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Scaling egocentric vision: The EPICKITCHENS dataset. In ECCV, 2018. 2, 3
[^9]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for EPIC-KITCHENS-100. IJCV, 2022. 2, 3
[^10]: Ahmad Darkhalil, Rhodri Guerrier, Adam Harley, and Dima Damen. EgoPoints: Advancing point tracking for egocentric videos. In WACV, 2025. 2, 3
[^11]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In CVPR, 2023. 2, 3
[^12]: Sara Fridovich-Keil, Giacomo Meanti, Frederik Rahbæk Warburg, Benjamin Recht, and Angjoo Kanazawa. K-Planes: Explicit radiance fields in space, time, and appearance. In CVPR, 2023. 2, 6, 7, 8
[^13]: Andreas Geiger, Philip Lenz, and Raquel Urtasun. Are we ready for autonomous driving? the KITTI vision benchmark suite. In CVPR, 2012. 2
[^14]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4D:
基于3000小时自我中心视角视频的全球场景研究。发表于 CVPR 2022会议。第2、3页。
[^15]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-Exo4D: Understanding skilled human activity from first- and third-person perspectives. In CVPR, 2024. 3
[^16]: Dominik Hollidt, Paul Streli, Jiaxi Jiang, Yasaman Haghighi, Changlin Qian, Xintong Liu, and Christian Holz. EgoSim: An egocentric multi-view simulator and real dataset for body-worn cameras during motion and activity. In NeurIPS, 2024. 3
[^17]: Rasmus Jensen, Anders Dahl, George Vogiatzis, Engil Tola, and Henrik Aanaes. Large scale multi-view stereopsis evaluation. In CVPR, 2014. 2
[^18]: Junpeng Jing, Ye Mao, and Krystian Mikolajczyk. Match-Stereo-Videos: Bidirectional alignment for consistent dynamic stereo matching. In ECCV, 2024. 5, 6, 7
[^19]: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, and George Drettakis. 3D Gaussian splatting for real-time radiance field rendering. In SIGGRAPH, 2023. 6, 7, 8
[^20]: Rawal Khirodkar, Aayush Bansal, Lingni Ma, Richard A. Newcombe, Minh Vo, and Kris Kitani. EgoHumans: An egocentric 3D multi-human benchmark. In ICCV, 2023. 3
[^21]: Arno Knapitsch, Jaesik Park, Qian-Yi Zhou, and Vladlen Koltun. Tanks and temples: Benchmarking large-scale scene reconstruction. ACM ToG, 2017. 2
[^22]: Dmytro Kotovenko, Olga Grebenkova, and Björn Ommer. EDGS: Eliminating densification for efficient convergence of 3DGS. arXiv:2504.13204, 2025. 3
[^23]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. $H_{2}O$: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 2, 3
[^24]: Jiankun Li, Peisen Wang, Pengfei Xiong, Tao Cai, Ziwei Yan, Lei Yang, Jiangyu Liu, Haoqiang Fan, and Shuaicheng Liu. Practical stereo matching via cascaded recurrent network with adaptive correlation. In CVPR, 2022. 2
[^25]: Tianye Li, Mira Slavcheva, Michael Zollhöfer, Simon Green, Christoph Lassner, Changil Kim, Tanner Schmidt, Steven Lovegrove, Michael Goesele, Richard A. Newcombe, and Zhaoyang Lv. Neural 3D video synthesis from multi-view video. In CVPR, 2022. 2, 3, 7
[^26]: Zhengqi Li, Simon Niklaus, Noah Snavely, and Oliver Wang. Neural scene flow fields for space-time view synthesis of dynamic scenes. In CVPR, 2021. 2, 3
[^27]: Zhan Li, Zhang Chen, Zhong Li, and Yi Xu. Spacetime Gaussian feature splatting for real-time dynamic view synthesis. In CVPR, 2024. 2, 3, 6, 7, 8
[^28]: Yin Li1, Miao Liu, and James M. Rehg. In the eye of beholder: Joint learning of gaze and actions in first person video. In ECCV, 2018. 2
## [^29]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: A 4D egocentric dataset for category-level human-object interaction. In CVPR, 2022. 2, 3
---
[^30]: Cheng-You Lu, Peisen Zhou, Angela Xing, Chandradeep Pokhariya, Arnab Dey, Ishaan N Shah, Rugved Mavidipalli, Dylan Hu, Andrew Comport, Kefan Chen, and Srinath Sridhar. DiVa-360: The dynamic visual dataset for immersive neural fields. In CVPR, 2024. 2, 3
[^31]: Ricardo Martin-Brualla, Noha Radwan, Mehdi S. M. Sajjadi, Jonathan T. Barron, Alexey Dosovitskiy, and Daniel Duckworth. NeRF in the wild: Neural radiance fields for unconstrained photo collections. In CVPR, 2021. 2
[^32]: Hidenobu Matsuki, Riku Murai, Paul H. J. Kelly, and Andrew J. Davison. Gaussian splatting SLAM. In CVPR, 2024. 3
[^33]: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, and Edmond Boyer. SplatFields: Neural Gaussian splats for sparse 3D and 4D reconstruction. In ECCV, 2024. 3
[^34]: Ben Mildenhall, Pratul Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. NeRF: Representing scenes as neural radiance fields for view synthesis. In ECCV, 2020. 2,7
[^35]: Keunhong Park, Utkarsh Sinha, Jonathan T. Barron, Sofien Bouaziz, Dan B Goldman, Steven M Seitz, and Ricardo Martin-Brualla. Nerfies: Deformable neural radiance fields. In ICCV, pages 5865–5874, 2021. 2
[^36]: Keunhong Park, Utkarsh Sinha, Peter Hedman, Jonathan Barron, Sofien Bouaziz, Dan B Goldman, Ricardo Martin-Brualla, and Steven Seitz. HyperNeRF: A higher-dimensional representation for topologically varying neural radiance fields. ACM ToG, 2021. 2, 3
[^37]: Toby Perrett, Ahmad Darkhalil, Saptarshi Sinha, Omar Emara, Sam Pollard, Kranti Parida, Kaiting Liu, Prajwal Gatti, Siddhant Bansal, Kevin Flanagan, Jacob Chalk, Zhifan Zhu, Rhodri Guerrier, Fahd Abdelazim, Bin Zhu, Davide Moltisanti, Michael Wray, Hazel Doughty, and Dima Damen. HD-EPIC: A highly-detailed egocentric video dataset. In CVPR, 2025. 3
[^38]: Albert Pumarola, Enric Corona, Gerard Pons-Moll, and Francesc Moreno-Noguer. D-NeRF: Neural radiance fields for dynamic scenes. In CVPR, 2021. 2, 3, 7
[^39]: Neus Sabater, Guillaume Boisson, Benoît Vandame, Paul Kerbiriou, Frederic Babon, Matthieu Hog, Remy Gendrot, Tristan Langlois, Olivier Bureller, Arno Schubert, and Valerie Allié. Dataset and pipeline for multi-view light-field video. In CVPR Workshops, 2017. 7
[^40]: Sadra Safadoust, Fabio Tosi, Fatma Güney, and Matteo Poggi. Self-evolving depth-supervised 3D Gaussian splatting from rendered stereo pairs. In BMVC, 2024. 3, 6
[^41]: Daniel Scharstein and Richard Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. IJCV, 2002. 2
[^42]: Thomas Schöps, Johannes L. Schönberger, Silvano Galliani, Torsten Sattler, Konrad Schindler, Marc Pollefeys, and Andreas Geiger. A multi-view stereo benchmark with high-resolution images and multi-camera videos. In CVPR, 2017.
[^43]: Julian Straub, Daniel DeTone, Tianwei Shen, Nan Yang, Chris Sweeney, and Richard Newcombe. EFM3D: A bench-
用于衡量向3D自我中心基础模型迈进程度的标记。arXiv:2406.10224，2024年。第2页。
[^44]: Matias Turkulainen, Xuqian Ren, Iaroslav Melekhov, Otto Seiskari, Esa Rahtu, and Juho Kannala. DN-Splatter: Depth and normal priors for Gaussian splatting and meshing. In WACV, 2025. 3
[^45]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, Neel Joshi, and Marc Pollefeys. HoloAssist: an egocentric human interaction dataset for interactive AI assistants in the real world. In ICCV, 2023. 2, 3
[^46]: Xianqi Wang, Gangwei Xu, Hao Jia, and Xin Yang. Selective-Stereo: Adaptive frequency information selection for stereo matching. In CVPR, 2024. 5, 6, 7
[^47]: Bowen Wen, Matthew Trepte, Joseph Aribido, Jan Kautz, Orazio Gallo, and Stan Birchfield. FoundationStereo: Zero-shot stereo matching. In CVPR, 2025. 2, 5, 6, 7
[^48]: Wenqi Xian, Jia-Bin Huang, Johannes Kopf, and Changil Kim. Space-time neural irradiance fields for free-viewpoint video. In CVPR, 2021. 2
[^49]: Haofei Xu, Songyou Peng, Fangjinhua Wang, Hermann Blum, Daniel Barath, Andreas Geiger, and Marc Pollefeys. DepthSplat: Connecting Gaussian splatting and depth. In CVPR, 2025. 3, 6
[^50]: Jae Shin Yoon, Kihwan Kim, Orazio Gallo, Hyun Soo Park, and Jan Kautz. Novel view synthesis of dynamic scenes with globally coherent depths from a monocular camera. In CVPR 2020.
[^51]: Alex Yu, Ruilong Li, Matthew Tancik, Hao Li, Ren Ng, and Angjoo Kanazawa. PlenOctrees for real-time rendering of neural radiance fields. In ICCV, 2021. 2
[^52]: Chenchen Zhu, Fanyi Xiao, Andrés Alvarado, Yasmine Babaei, Jiabo Hu, Hichem El-Mohri, Sean Chang, Roshan Sumbaly, and Zhicheng Yan. EgoObjects: A large-scale egocentric dataset for fine-grained object understanding. In ICCV, 2023. 2, 3