# MultiEgo：用于4D场景重建的多视角自我中心视频数据集

李巴特

上海交通大学

大学

中国上海

<mailto:woxelikeloud@sjtu.edu.cn>

钟厚强

上海交通大学

大学

中国上海

<mailto:zhonghouqiang@sjtu.edu.cn>

程正学*

上海交通大学

大学

中国上海

<mailto:zxcheng@sjtu.edu.cn>

胡强

上海交通大学

大学

中国上海

<mailto:qiang.hu@sjtu.edu.cn>

![Image](images/261f736377a81cb2b4e5f971ee03961422ec9bb200721eec7c5e3928cf54cf5e.jpg)

<div style="text-align: center;">Figure 1: MultiEgo is the first multi-egocentric dynamic scene reconstruction dataset. The dataset provides essential data for reconstruction tasks, including synchronized egocentric videos and accurate camera pose annotations. It also features various challenges for reconstruction, such as human-driven camera motion, high-dynamic objects, and complex illumination.</div>

## 摘要

多视角自我中心动态场景重建在社交互动的全息记录等应用中具有重要的研究价值。然而，现有的重建数据集大多聚焦于静态多视角或单自我中心视角场景，缺乏用于动态场景重建的多视角自我中心数据集。因此，我们推出了MultiEgo——首个面向4D动态场景重建的多视角自我中心数据集。该数据集包含五种典型的社交互动场景：会议、表演和演示。每种场景都提供了由佩戴AR眼镜的参与者拍摄的五段真实的自我中心视频。我们设计了基于硬件的数据采集系统和处理流程，实现了各视角间亚毫秒级的时间同步，同时提供了精确的姿态标注。

---

<div style="text-align: center;">Table 1: Comparison of MultiEgo and existing egocentric and 4D reconstruction Datasets.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Character</td><td colspan="3">Egocentric Datasets</td><td colspan="3">4D reconstruction Datasets</td><td rowspan="2">Ours</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego4D [^13]</td><td style='text-align: center; word-wrap: break-word;'>Ego-Exo4D [^14]</td><td style='text-align: center; word-wrap: break-word;'>Epic-Kitchens [^6] [^7] [^8]</td><td style='text-align: center; word-wrap: break-word;'>N3DV [^25]</td><td style='text-align: center; word-wrap: break-word;'>D-NeRF [^39]</td><td style='text-align: center; word-wrap: break-word;'>HyperNeRF [^36]</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Dynamic scene</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Egocentric view</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Multi-perspective</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Multi-egocentric view</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Camera poses provided</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>✓</td></tr></table>

实验验证表明，我们的数据集在自由视点视频（FVV）应用中具备实用价值和有效性，足以成为推动多视角自我中心动态场景重建研究的重要基础资源。我们的项目页面和数据集可访问<https://woxelikeloud.github.io/multiego/>查看。

## CCS概念

• 计算方法 → 计算机图形学；计算机视觉。

## 关键词

自我中心视频；自由视点视频；动态场景

## ACM参考格式

李巴特、钟厚强、程正学、胡强、王强、宋丽、张文军。2025年。MultiEgo：用于4D场景重建的多视角自我中心视频数据集。收录于第33届ACM国际多媒体会议（MM '25）论文集，2025年10月27日至31日于爱尔兰都柏林举行。ACM出版社，美国纽约，共8页。<https://doi.org/10.1145/3746027.3758232>

## 1 引言

自由视点视频（FVV）借助动态场景建模技术[^3] [^5] [^10] [^25] [^36]，凭借其沉浸式实时交互能力，代表了下一代视觉呈现领域的重大飞跃。这一范式在娱乐、虚拟现实以及人机交互领域开启了前所未有的机遇。新型视图合成技术的最新进展，例如3D高斯泼溅技术[^22]（3DGS），将动态场景重建的效率与保真度提升到了全新水平[16–18, 28, 33, 44, 49–51, 55, 56]。与此同时，智能可穿戴设备（如AR眼镜）的兴起，通过轻便的以眼为中心拍摄方式重新定义了数据采集模式[^6] [^7] [^11] [^14] [^31] [^35] [^45]。与传统固定多摄像头系统[^4] [^24] [^25] [^40]不同，多用户可穿戴框架具备双重优势：1）消除采集设备带来的干扰，同时保留参与者的自然行为；2）以更便捷的方式通过多视角融合实现4D社交场景重建[^20] [^21] [^43]。这些创新为自由视点视频会议摘要、全息演唱会录制等实际应用铺平了道路，预示着可部署的动态场景重建新时代的到来。

然而，现有数据集在多以眼为中心视角重建研究方面往往存在关键局限：（1）大多数动态场景数据集（如N3DV [^25]）采用固定多摄像头设置且视角固定，而以眼为中心的采集则依赖于人类的自然运动；（2）像HyperNeRF [^36]和D-NeRF [^39]这样的单目移动视角数据集缺乏多个以眼为中心的视角，导致重建时可用的信息较少；（3）以眼为中心的数据集（如HOI4D [^31]、EPIC-Kitchens [6–8]、EgoDex [^15]）主要侧重于人机交互或动作识别任务，包括Ego4D [^13]和Ego-Exo4D [^14]等综合性基准测试，它们强调的是视频理解任务而非场景重建。简而言之，目前尚无任何数据集能同时提供多人的以眼为中心视角以及同步姿态估计，而这正是我们的数据集着重解决的关键问题。

在本文中，我们提出了MultiEgo——首个多以眼为中心的动态场景重建数据集，旨在弥补现有数据集在固定摄像头及单目以眼为中心设置方面的不足。该数据集包含五个动态场景，涵盖会议、表演和演示等。每个场景均通过五段分辨率为1080p、帧率为30 FPS的以眼为中心视频进行采集，并配有精确的姿态标注。我们充分利用设备特性，解决了录制过程中的同步难题。我们开展了基线评估与详细分析，验证了该数据集的有效性，并为未来相关任务的发展提供了参考。表1汇总了该数据集与现有数据集的对比情况，其中包括以眼为中心的数据集：Ego4D [^13]、Ego-Exo4D [^14]、EPIC-Kitchens [6–8]，以及4D重建数据集：N3DV [^25]、D-NeRF [^39]、HyperNeRF [^36]。

我们的贡献可总结如下：

- 我们推出了MultiEgo数据集，这是首个用于多中心视角动态场景重建的数据集。该数据集包含五个具有挑战性的日常社交场景，每个场景由五段严格同步的中心视角视频组成，并配有精确的姿态标注。

- 我们设计了定制化的多中心视角数据采集系统和数据处理流程，能够实现不同视点间的硬件级同步以及精确的姿态估计。

- 我们在该数据集上进行了基线评估。实验结果表明，它在动态场景重建任务中具有显著的实用价值和有效性。

## 2 相关工作

动态场景重建数据集。随着计算机视觉技术和数据采集设备的发展，涌现出了众多动态场景数据集 [^4] [^24] [^25] [^39] [^40] [^52]。

---

![Image](images/7776ac251a90e4d7e055ea3770e80d28fbf65bb92776935758ed03d29b17c9cf.jpg)

<div style="text-align: center;">Figure 2: An overview of our MultiEgo dataset. There has 5 high-quality dynamic scenes in the dataset, each scene contains 5 egocentric views with accurate pose annotation. The total number of frames comes to 13,735.</div>

具有代表性的动态数据集如N3DV [^25] 数据集，它提供了来自固定视点的多视角视频记录以捕捉动态场景，其中一名或多名表演者会进行烹饪、交谈等各种细微互动。不过，N3DV的视角覆盖范围有限，且固定视点需要专用设备才能采集类似数据。HyperNeRF [^36] 数据集则记录了从单个移动视点拍摄的场景，涵盖捏碎饼干、倾倒液体等短暂动作。虽然HyperNeRF中的数据可视为中心视角数据，但它仅聚焦于小规模物体为中心的场景，且只有单目观测结果。

中心视角数据集。近年来，中心视角视觉数据集发展迅速 [2, 6–9, 11, 13–15, 23, 26, 31, 32, 34, 35, 42, 45]。典型的例子包括Ego4D [^13] 和EgoExo4D [^14]，它们具备大规模的数据量和多样的内容模态。不过，这些数据集通常仅提供单视角的中心视角数据，且主要设计用于视频内容理解 [^27] [^37] [^46]，而非场景重建。随着多模态大模型的兴起，人们提出了几种人机交互（HOI）数据集，包括HOI4D [^31]、Epic-Kitchens [6–8] 和EgoDex [^15]。尽管这些数据集推动了人类行为理解等任务的发展，但其设计目标和数据特点使其无法直接应用于动态场景重建任务。例如，EgoGaussian [^53] 试图在HOI4D和Epic-Kitchens数据集上重建中心视角数据，但仍需极其复杂的预处理才能获得可用结果。这进一步凸显了为动态场景重建专门设计的多中心视角数据集的重要价值。

## 3 MultiEgo数据集

### 3.1 场景概述

为解决现有数据集无法应用于多视点中心视角动态场景重建的问题，我们推出了MultiEgo数据集，这是首个用于多中心视角动态场景重建的数据集。该数据集包含五个多人社交场景，涵盖会议、表演和演示等类型。每个场景中有五名表演者佩戴AR眼镜，以提供真实可靠的中心视角视图。所有参与者均签署了知情同意书，授权将面部及其他生物识别数据用于学术研究目的。

第一个场景名为“交谈”，涉及一场讨论会，参与者轮流发言。在这种结构化的互动中，参与者往往会注视正在发言的人，从而导致摄像机通过自然的头部转动进行系统性的旋转运动。尽管单个摄像机的视野有限，但这种有规律的运动使系统能够捕捉到完整的场景信息。值得注意的是，虽然仅部署了五台摄像机，但人类驱动的摄像机运动引入了多样的运动模式，有效丰富了所观测到的信息。此外，会议室中光滑的墙壁和桌面会产生大量来自人造光源的镜面反射，同时还会产生较强的漫反射。这种光照现象给重建方法在复杂光照条件下确定表面反射的光谱特性并保持光度一致性带来了巨大挑战。

第二个场景名为“陈述”，是一场陈述会，参与者轮流发言，且轮到发言时需站立。从坐姿到站姿的转换过程中，我们观察到了由身体垂直运动引起的快速平移运动。此外，在采取站立姿势后，部分参与者会表现出自然的探索行为，即水平转动头部，从而丰富了多视角的场景表达。而且，由于坐姿下参与者无法看到他人的下半身区域，起身动作有效地为场景引入了新内容，类似于液体倾倒的效果。这一现象给重建算法带来了挑战。

第三个场景名为“音乐会”，采用站立表演模式，由一名演员和四名观众参与，所有人皆佩戴AR眼镜。这种配置模拟了音乐会或公开演讲等现实中的站立活动，能够实现双视角分析：(1)从观众视角重建演员的肢体表现；(2)通过演员的自我中心视角捕捉观众的反应。尽管

---

![Image](images/a10c2a5e34e1b7ef3372be78df4c179f5c2229fcea2914394949ec9d611e1f30.jpg)

<div style="text-align: center;">Figure 3: Pipeline of data acquisition and processing. We use a server-client system to handle synchronization, and respectively process time, monocular pose, poses of multiple views in the first frame. Finally we obtain the images and pose tracking in 4D domain.</div>

演员是面向观众的唯一活跃视觉源，但表演过程中频繁的头部及上半身运动会对场景进行密集的时空采样，而观众因保持静止姿态，其运动幅度较小。这为新视图合成提供了宝贵的先验信息。

第四个场景名为“剑术”，聚焦于动态动作表演，五名佩戴AR眼镜的观众观看演员使用长剑道具进行的剑术演示。该场景包含持续的高动态内容，呈现出复杂的三维运动模式：演员的肢体运动具有快速的平移速度，而道具在挥砍动作中会产生极高的角速度。这些极端的运动特征对高速运动重建能力提出了严峻挑战。

第五个场景名为“演示”，模拟了教育环境，例如讲座录像。该场景通过幻灯片演示任务来呈现，五名佩戴眼镜的观众会观察一名演员进行演示并做出夸张的手势。这种设置通过捕捉两种关键的视觉现象来模仿现实中的投影式演示：(1) 当表演者的身体遮挡投影光路时形成的动态遮挡阴影；(2) 表演者靠近投影屏幕时，其身上出现的由光照引起的色彩变化。后一种效应源于环境光与高亮度投影光束之间的复杂相互作用。

这五个场景各自呈现出不同的技术挑战，包括物体的快速运动、摄像机的高速移动以及特殊的照明条件（如镜面反射）。在将多自我中心重建技术应用于广泛领域之前，这些挑战是必须克服的关键前提。为了使我们的数据集能够严格评估算法在这些极具挑战性的条件下的鲁棒性，数据集中特意纳入了专门用来测试其对复杂视觉现象抵抗力的场景。

### 3.2 数据采集

硬件方面。在本文中，我们选用RayNeo X2 AR眼镜进行数据采集，这是一款消费级AR设备。RayNeo X2配备了一台能够以每秒30帧的速度录制1080P分辨率视频的摄像头。该设备运行Android操作系统并支持WiFi通信。官方SDK提供了来自内置陀螺仪传感器的实时三维旋转姿态估计功能，这为摄像头姿态估计奠定了重要基础。

采集系统。为了充分发挥该设备的性能，我们开发了专用的数据采集应用系统。该系统集成了视频捕获、同步控制和传感器数据采集等功能。系统架构采用客户端-服务器模式：客户端程序运行在AR眼镜上，持续监测WiFi信道以接收来自服务器的录制/停止指令。服务器程序运行在外部智能手机上，通过WiFi热点与客户端建立连接，并利用广播信号来同步多个设备的录制启停操作。

一旦服务器程序发出开始信号，所有客户端会在几微秒内启动数据采集，这一过程可视为几乎同时进行的激活。这种同步水平符合多视角场景重建的要求。数据采集期间，客户端会同时捕获视觉和传感器数据流。摄像头以每秒30帧的速度录制1080P视频，而陀螺仪则以50 Hz的采样率提供旋转输出。值得注意的是，客户端程序在采集过程中会以UTC时间、100纳秒的精度记录每一帧数据（包括视频和传感器数据）的时间戳，从而确保不同模态和设备间的时间同步。

---

<div style="text-align: center;">Table 2: The quantitative results of our validation experiments. Bold: Best result.  $\underline{\text{Underline}}$ : Second-best result.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="3">Talking</td><td colspan="3">Statement</td><td colspan="3">Concert</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3DGSstream [^44]</td><td style='text-align: center; word-wrap: break-word;'>22.1335</td><td style='text-align: center; word-wrap: break-word;'>0.7262</td><td style='text-align: center; word-wrap: break-word;'>0.3382</td><td style='text-align: center; word-wrap: break-word;'>20.4199</td><td style='text-align: center; word-wrap: break-word;'>0.6711</td><td style='text-align: center; word-wrap: break-word;'>0.3974</td><td style='text-align: center; word-wrap: break-word;'>21.8715</td><td style='text-align: center; word-wrap: break-word;'>0.7551</td><td style='text-align: center; word-wrap: break-word;'>0.3074</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Deformable-3DGS [^50]</td><td style='text-align: center; word-wrap: break-word;'>23.2186</td><td style='text-align: center; word-wrap: break-word;'>0.8023</td><td style='text-align: center; word-wrap: break-word;'>0.3358</td><td style='text-align: center; word-wrap: break-word;'>21.3670</td><td style='text-align: center; word-wrap: break-word;'>0.7731</td><td style='text-align: center; word-wrap: break-word;'>0.3819</td><td style='text-align: center; word-wrap: break-word;'>24.1020</td><td style='text-align: center; word-wrap: break-word;'>0.8418</td><td style='text-align: center; word-wrap: break-word;'>0.2886</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4DGaussian [^49]</td><td style='text-align: center; word-wrap: break-word;'>24.9863</td><td style='text-align: center; word-wrap: break-word;'>0.8094</td><td style='text-align: center; word-wrap: break-word;'>0.3353</td><td style='text-align: center; word-wrap: break-word;'>24.0491</td><td style='text-align: center; word-wrap: break-word;'>0.7894</td><td style='text-align: center; word-wrap: break-word;'>0.3672</td><td style='text-align: center; word-wrap: break-word;'>25.9235</td><td style='text-align: center; word-wrap: break-word;'>0.8512</td><td style='text-align: center; word-wrap: break-word;'>0.2953</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4DGaussian [^49] w/ timestamp</td><td style='text-align: center; word-wrap: break-word;'>24.9286</td><td style='text-align: center; word-wrap: break-word;'>0.8102</td><td style='text-align: center; word-wrap: break-word;'>0.3319</td><td style='text-align: center; word-wrap: break-word;'>24.0174</td><td style='text-align: center; word-wrap: break-word;'>0.7875</td><td style='text-align: center; word-wrap: break-word;'>0.3701</td><td style='text-align: center; word-wrap: break-word;'>25.7934</td><td style='text-align: center; word-wrap: break-word;'>0.8490</td><td style='text-align: center; word-wrap: break-word;'>0.2998</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Deformable-3DGS [^50] w/ timestamp</td><td style='text-align: center; word-wrap: break-word;'>23.4073</td><td style='text-align: center; word-wrap: break-word;'>0.8058</td><td style='text-align: center; word-wrap: break-word;'>0.3305</td><td style='text-align: center; word-wrap: break-word;'>21.3836</td><td style='text-align: center; word-wrap: break-word;'>0.7738</td><td style='text-align: center; word-wrap: break-word;'>0.3801</td><td style='text-align: center; word-wrap: break-word;'>24.1863</td><td style='text-align: center; word-wrap: break-word;'>0.8427</td><td style='text-align: center; word-wrap: break-word;'>0.2865</td></tr><tr><td rowspan="2">Method</td><td colspan="3">Sword</td><td colspan="3">Presentation</td><td colspan="3">Average</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>PSNR $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>SSIM $\uparrow$</td><td style='text-align: center; word-wrap: break-word;'>LPIPS $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>3DGSstream [^44]</td><td style='text-align: center; word-wrap: break-word;'>24.0154</td><td style='text-align: center; word-wrap: break-word;'>0.8284</td><td style='text-align: center; word-wrap: break-word;'>0.2515</td><td style='text-align: center; word-wrap: break-word;'>25.2535</td><td style='text-align: center; word-wrap: break-word;'>0.8344</td><td style='text-align: center; word-wrap: break-word;'>0.2866</td><td style='text-align: center; word-wrap: break-word;'>22.7388</td><td style='text-align: center; word-wrap: break-word;'>0.7630</td><td style='text-align: center; word-wrap: break-word;'>0.3162</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Deformable-3DGS [^50]</td><td style='text-align: center; word-wrap: break-word;'>21.2199</td><td style='text-align: center; word-wrap: break-word;'>0.8603</td><td style='text-align: center; word-wrap: break-word;'>0.2358</td><td style='text-align: center; word-wrap: break-word;'>25.2457</td><td style='text-align: center; word-wrap: break-word;'>0.8872</td><td style='text-align: center; word-wrap: break-word;'>0.2372</td><td style='text-align: center; word-wrap: break-word;'>23.0306</td><td style='text-align: center; word-wrap: break-word;'>0.8329</td><td style='text-align: center; word-wrap: break-word;'>0.2959</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4DGaussian [^49]</td><td style='text-align: center; word-wrap: break-word;'>25.4828</td><td style='text-align: center; word-wrap: break-word;'>0.8668</td><td style='text-align: center; word-wrap: break-word;'>0.2671</td><td style='text-align: center; word-wrap: break-word;'>28.2414</td><td style='text-align: center; word-wrap: break-word;'>0.8994</td><td style='text-align: center; word-wrap: break-word;'>0.2265</td><td style='text-align: center; word-wrap: break-word;'>25.7366</td><td style='text-align: center; word-wrap: break-word;'>0.8432</td><td style='text-align: center; word-wrap: break-word;'>0.2983</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>4DGaussian [^49] w/ timestamp</td><td style='text-align: center; word-wrap: break-word;'>25.0993</td><td style='text-align: center; word-wrap: break-word;'>0.8598</td><td style='text-align: center; word-wrap: break-word;'>0.2778</td><td style='text-align: center; word-wrap: break-word;'>28.2761</td><td style='text-align: center; word-wrap: break-word;'>0.8995</td><td style='text-align: center; word-wrap: break-word;'>0.2262</td><td style='text-align: center; word-wrap: break-word;'>25.6230</td><td style='text-align: center; word-wrap: break-word;'>0.8412</td><td style='text-align: center; word-wrap: break-word;'>0.3012</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Deformable-3DGS [^50] w/ timestamp</td><td style='text-align: center; word-wrap: break-word;'>20.9872</td><td style='text-align: center; word-wrap: break-word;'>0.8612</td><td style='text-align: center; word-wrap: break-word;'>0.2345</td><td style='text-align: center; word-wrap: break-word;'>24.5876</td><td style='text-align: center; word-wrap: break-word;'>0.8857</td><td style='text-align: center; word-wrap: break-word;'>0.2370</td><td style='text-align: center; word-wrap: break-word;'>22.9104</td><td style='text-align: center; word-wrap: break-word;'>0.8338</td><td style='text-align: center; word-wrap: break-word;'>0.2937</td></tr></table>

### 3.3 数据处理

视频后期处理。为确保多视角自我中心视频的视觉一致性，我们采用了Adobe Premiere Pro [^38]进行后期处理，以标准化所有场景的视觉特征。处理内容包括白平衡校准、曝光调整以及消除人造光源产生的闪烁现象，从而消除传感器特有的颜色偏差。全局曝光补偿和对比度调整进一步提升了亮度均匀性，同时保留了阴影细节。

姿态估计过程由两个部分组成：单目姿态跟踪和多摄像头姿态合成。

单目姿态跟踪。我们在每个场景中对每台摄像机的影像应用了一整套最先进的算法以及经过工程验证的经典方法。参照Camerabench [^30]的实验基准，我们选取了具有代表性的方法，包括Anycam [^48]、MegaSAM [^29]、CUT3R [^47]、MonST3R [^54]、PySLAM [^12]，涵盖了动态场景重建（SfM）和同步定位与地图构建（SLAM）框架。我们对传感器的旋转四元数数据进行球面线性插值 [^19]，以估算每个视频帧捕获时刻的旋转姿态。我们执行数据融合 [^1]，将所有估算出的轨迹与插值后的传感器数据对齐。这一对齐过程利用官方SDK提供的3自由度旋转姿态数据，来计算每个视角的相对6自由度相机姿态。

多摄像头姿态合成。我们要求所有表演者在第一帧中注视同一个物体，从而建立一个静态参考场景。对于第一帧中的这个初始静态场景，我们从不同角度拍摄了大量补充图像，以丰富场景细节并确保重建的鲁棒性。所有图像都通过COLMAP [^41]中的运动恢复结构流程处理，以获得所有视角的初始相机姿态。为了保持单目跟踪中各轨迹间的尺度一致性，我们为每个视角选取了一个额外关键帧，该关键帧包含与第一帧相似的内容但存在明显的平移。这些配对帧之间的位移提供了尺度约束，用于归一化所有相机视角中的平移分量。完成所有准备工作后，我们将同一场景中各帧的姿态整合为用于场景重建的绝对姿态，这一过程通过全局运动引导的姿态合成来实现。具体步骤如下：1）将累积的相对姿态锚定到每个视角在COLMAP重建中的初始姿态；2）利用配对关键帧间的位移比例来缩放平移分量。实验验证表明，最终得到的相机姿态足以满足场景重建任务的需求。我们的数据采集和处理流程如图3所示。

## 4 实验

### 4.1 基线方法

由于在我们的数据集发布时，尚无关于多中心动态场景重建的相关文献，因此我们重点采用了原本为通用动态场景重建开发的方法，包括基于变形场的方法4DGaussian [^49]和Deformable-3DGS（D-3DGS）[^50]，以及一种流式方法3DGSteam [^44]。

由于缺乏现有数据集，这些基线方法无法直接应用于我们的多中心动态场景重建数据集。为了评估这些基线方法在我们数据集上的表现，我们通过硬编码方式修改了它们的数据加载流程，直接读取每帧的图像和相机姿态。这种修改保留了基线方法的核心重建机制，同时能够揭示它们在多中心动态场景重建场景中的真实性能。

### 4.2 实现设置

我们采用PSNR、SSIM和LPIPS作为定量评估指标，这些指标在场景重建研究中被广泛使用。对于所有基线方法，我们均采用其官方推荐的默认设置。这些方法通常利用第一帧中的观测数据来初始化场景表示，并预测高斯原子的运动，这种方式对于相机运动范围固定或较小的数据集能够有效发挥作用。然而，我们的数据集存在大范围的相机旋转现象，导致场景范围远远超出

---

![Image](images/3c4ae9dd437ea288110b8f37bc15a513c00c37b598691b977546414e900dff84.jpg)

<div style="text-align: center;">Figure 4: The visualization results from our validation experiments demonstrate that baselines employing different reconstruction strategies exhibit distinct characteristics.</div>

任何单帧所捕获的可见范围。当视角变化产生大量新场景区域时，基于单帧初始化的方法性能会受到严重影响。为缓解这一效应，我们对所有基线方法采用了在整个场景空间内随机生成点云的初始化的方式。具体而言，我们利用所有可用视角对随机生成的点云执行3DGS [^22]流程，从而获取完整场景的高斯表示，将其作为3DGSstream的初始输入。采用针对我们的数据集量身定制的更优初始化策略，有望获得更好的重建效果。

### 4.3 实验结果

定量结果。所有选定基线方法的定量实验结果汇总于表2中。结果显示，剑与演示场景的相机旋转幅度较小，背景也较为静态，因此需要重建的新背景区域极少，所以各方法在此场景下均表现出相对较好的定量结果。相比之下，演讲场景存在大规模的相机旋转/平移现象，同时伴有大量的镜面反射，是我们数据集中最具技术挑战性的场景。

可视化结果。我们验证实验的可视化结果展示在图4中：4DGaussian展现出优异的静态场景重建能力，这与它良好的定量指标相符，但在捕捉高动态物体方面存在局限。这种性能差异可能源于4DGaussian中基于MLP的形变场预测机制，该机制侧重低频信息处理，因而生成的重建结果过于平滑。相比之下，3DGStream生成的重建结果虽包含高频噪声，但在所有基线方法中能最好地保留高动态细节，这一点在剑场景中的剑道具重建上尤为明显。对于多中心动态场景重建而言，高质量的背景与准确的动态物体都是关键要求。这两者之间的权衡构成了未来相关研究必须解决的重要挑战。

时间戳相关实验。如3.3节所述，我们逐帧采集了时间戳信息。采集到的时间戳与理论上的30 FPS视频采集间隔高度吻合。不过，我们还是在4DGaussian和Deformable-3DGS中开展了将实际时间戳作为视角特定输入的实验，结果分别显示在表2中的“4DGaussian w/ timestamp”和“Deformable-3DGS w/ timestamp”栏下。实验结果表明，时间戳对不同场景和不同方法的影响存在差异：有些情况下性能有所提升，有些则出现下降。引入时间戳后，优化过程从基于五个视角的单场景估计转变为每个视角独立的场景估计，时间采样也更密集。尽管存在这些差异，定量实验表明这种差别在统计上并不显著。

## 5 结论

我们提出了MultiEgo，这是首个由多中心视角构成动态场景重建数据集。与以往的动态场景重建数据集及第一人称视频集合相比，MultiEgo为动态场景重建任务提供了关键的数据要素，包括精确的相机位姿标注以及同步的时间对齐信息。该数据集涵盖了多中心动态重建场景中常见的各类挑战，例如高动态物体和复杂的光照条件。我们对数据集的内容进行了全面描述。在验证实验中，我们通过多个基准模型证明了该数据集的有效性。此外，我们还开展了进一步研究，以评估直接采集的帧时间戳对重建性能的影响。

---

## 致谢

本研究部分得到了国家自然科学基金项目NSFC62431015、上海市科学技术委员会项目No.24511106200、中央高校基本科研业务费、上海数字媒体处理与传输重点实验室（项目编号22DZ2229005）以及111计划BP0719010的支持。

## 参考文献

[^1]: Athira Chandra Babu, Ravi Kumar Karri, et al. 2018. Sensor data fusion using Kalman filter. In $\underline{\text{2018 International Conference on Design Innovations for 3Cs}}$ Compute Communicate Control (ICDI3C). IEEE, 29–36.

[^2]: Sven Bambach, Stefan Lee, David J. Crandall, and Chen Yu. 2015. Lending A Hand: Detecting Hands and Recognizing Activities in Complex Egocentric Interactions. In The IEEE International Conference on Computer Vision (ICCV).

[^3]: Aayush Bansal and Michael Zollhoefer. 2023. Neural pixel composition for 3d-4d view synthesis from multi-views. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 290–299.

[^4]: Michael Broxton, John Flynn, Ryan Overbeck, Daniel Erickson, Peter Hedman, Matthew Duvall, Jason Dourgarian, Jay Busch, Matt Whalen, and Paul Debevec. 2020. Immersive light field video with a layered mesh representation. $\underline{\text{ACM Trans.}}$ Graph. 39, 4, Article 86 (Aug. 2020), 15 pages. doi:10.1145/3386569.3392485

[^5]: Ang Cao and Justin Johnson. 2023. HexPlane: A Fast Representation for Dynamic Scenes. CVPR (2023).

[^6]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. 2021. Rescaling Egocentric Vision: Collection, Pipeline and Challenges for EPIC-KITCHENS-100. International Journal of Computer Vision (IJCV) (2021). <https://doi.org/10.1007/s11263-021-01531-2>

[^7]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. 2018. Scaling Egocentric Vision: The EPICKITCHENS Dataset. In European Conference on Computer Vision (ECCV).

[^8]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. 2021. The EPIC-KITCHENS Dataset: Collection, Challenges and Baselines. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 43, 11 (2021), 4125–4141. doi:10.1109/TPAMI.2020.2991965

[^9]: Fernando De la Torre, Jessica Hodgins, Adam Bargteil, Xavier Martin, Justin Macey, Alex Collado, and Pep Beltran. 2009. Guide to the carnegie mellon university multimodal activity (cmu-mmac) database. (2009).

[^10]: Jiemin Fang, Taoran Yi, Xinggang Wang, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Matthias Nießner, and Qi Tian. 2022. Fast dynamic radiance fields with time-aware neural voxels. In SIGGRAPH Asia 2022 Conference Papers. 1–9.

[^11]: Aircza Fathi. 2012. Social interactions: A first-person perspective. In Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (CVPR '12). IEEE Computer Society, USA, 1226-1233.

[^12]: Luigi Freda. 2025. pySLAM: An open-source, modular, and extensible framework for SLAM. arXiv preprint arXiv:2502.11955 (2025).

[^13]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic, Santhosh Kumar Ramakrishnan, Fiona Ryan, Jayant Sharma, Michael Wray, Mengmeng Xu, Eric Zhongcong Xu, Chen Zhao, Siddhant Bansal, Dhruv Batra, Vincent Cartillier, Sean Crane, Tien Do, Morrie Doulaty, Akshay Erapalli, Christoph Feichtenhofer, Adriano Fragomeni, Qichen Fu, Christian Fuegen, Abrham Gebreselase, Cristina Gonzalez, James Hillis, Xuhua Huang, Yifei Huang, Wenqi Jia, Weslie Khoo, Jachym Kolar, Satwik Kottur, Anurag Kumar, Federico Landini, Chao Li, Yanghao Li, Zhenjiang Li, Karttikeya Mangalam, Raghava Modhugu, Jonathan Munro, Tullie Murrell, Takumi Nishiyasu, Will Price, Paola Ruiz Puentes, Merey Ramazanova, Leda Sari, Kiran Somasundaram, Audrey Southerland, Yusuke Sugano, Ruijie Tao, Minh Vo, Yuchen Wang, Xindi Wu, Takuma Yagi, Yunyi Zhu, Pablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Bernard Ghanem, Vamsi Krishna Ithapu, C. V. Jawahar, Hanbyul Joo, Kris Kitani, Haizhou Li, Richard Newcombe, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Jianbo Shi, Mike Zheng Shou, Antonio Torralba, Lorenzo Torresani, Mingfei Yan, and Jitendra Malik. 2022. Ego4D: Around the World in 3,000 Hours of Egocentric Video. In IEEE/CVF Computer Vision and Pattern Recognition (CVPR).

[^14]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. 2024. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 19383–19400.

[^15]: Ryan Hoque, Peide Huang, David J Yoon, Mouli Sivapurapu, and Jian Zhang. 2025. EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric

视频：$\underline{\text{arXiv preprint arXiv:2505.11709}}$（2025年）。

[^16]: Qiang Hu, Qihan He, Houqiang Zhong, Guo Lu, Xiaoyun Zhang, Guangtao Zhai, and Yanfeng Wang. 2025. VARFVV: View-Adaptive Real-Time Interactive Free-View Video Streaming With Edge Computing. IEEE Journal on Selected Areas in Communications 43, 7 (2025), 2620–2634. doi:10.1109/JSAC.2025.3559140

[^17]: Qiang Hu, Zihan Zheng, Houqiang Zhong, Sihua Fu, Li Song, Guangtao Zhai, Yanfeng Wang, et al. 2025. 4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video. arXiv preprint arXiv:2503.18421 (2025).

[^18]: Qiang Hu, Houqiang Zhong, Zihan Zheng, Xiaoyun Zhang, Zhengxue Cheng, Li Song, Guangtao Zhai, and Yanfeng Wang. 2025. VRVVC: Variable-Rate NeRF-Based Volumetric Video Compression. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 39. 3563–3571.

[^19]: Mehdi Jafari and Habib Molaei. 2014. Spherical linear interpolation and Bézier curves. $\underline{\text{General Scientific Researches}}$ 2, 1 (2014), 13–17.

[^20]: Hanbyul Joo, Hao Liu, Lei Tan, Lin Gui, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. 2015. Panoptic Studio: A Massively Multiview System for Social Motion Capture. In The IEEE International Conference on Computer Vision (ICCV).

[^21]: Hanbyul Joo, Tomas Simon, Xulong Li, Hao Liu, Lei Tan, Lin Gui, Sean Banerjee, Timothy Scott Godisart, Bart Nabbe, Iain Matthews, Takeo Kanade, Shohei Nobuhara, and Yaser Sheikh. 2017. Panoptic Studio: A Massively Multiview System for Social Interaction Capture. IEEE Transactions on Pattern Analysis and Machine Intelligence (2017).

[^22]: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, and George Drettakis. 2023. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. $\underline{\text{ACM Transactions on Graphics}}$ 42, 4 (July 2023). <https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/>

[^23]: Yong Jae Lee, Joydeep Ghosh, and Kristen Grauman. 2012. Discovering important people and objects for egocentric video summarization. In $\underline{\text{2012 IEEE Conference on Computer Vision and Pattern Recognition}}$. 1346-1353. doi:10.1109/CVPR.2012.6247820

[^24]: Lingzhi Li, Zhen Shen, Zhongshu Wang, Li Shen, and Ping Tan. 2022. Streaming radiance fields for 3d video synthesis. Advances in Neural Information Processing Systems 35 (2022), 13485–13498.

[^25]: Tianye Li, Mira Slavcheva, Michael Zollhöfer, Simon Green, Christoph Lassner, Changil Kim, Tanner Schmidt, Steven Lovegrove, Michael Goesele, Richard Newcombe, and Zhaoyang Lv. 2022. Neural 3D Video Synthesis From Multi-View Video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 5521–5531.

[^26]: Yin Li, Miao Liu, and James M Rehg. 2018. In the eye of beholder: Joint learning of gaze and actions in first person video. In Proceedings of the European conference on computer vision (ECCV). 619–635.

[^27]: Yin Li, Zhefan Ye, and James M Rehg. 2015. Delving into egocentric actions. In Proceedings of the IEEE conference on computer vision and pattern recognition. 287–295.

[^28]: Zhan Li, Zhang Chen, Zhong Li, and Yi Xu. 2024. Spacetime gaussian feature splatting for real-time dynamic view synthesis. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 8508–8520.

[^29]: Zhengqi Li, Richard Tucker, Forrester Cole, Qianqian Wang, Linyi Jin, Vickie Ye, Angjoo Kanazawa, Aleksander Holynski, and Noah Snavely. 2024. MegaSaM: Accurate, Fast and Robust Structure and Motion from Casual Dynamic Videos. arXiv preprint (2024).

[^30]: Zhiqiu Lin, Siyuan Cen, Daniel Jiang, Jay Karhade, Hewei Wang, Chancharik Mitra, Yu Tong Tiffany Ling, Yuhan Huang, Sifan Liu, Mingyu Chen, Rushikesh Zawar, Xue Bai, Yilun Du, Chuang Gan, and Deva Ramanan. 2025. Towards Understanding Camera Motions in Any Video. (2025).

[^31]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. 2022. HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 21013–21022.

[^32]: Zheng Lu and Kristen Grauman. 2013. Story-driven summarization for egocentric video. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (2013), 2714–2721. doi:10.1109/CVPR.2013.350

版权声明：© 2013 Elsevier B.V.，保留所有权利；第26届IEEE计算机视觉与模式识别会议（CVPR 2013）；会议日期：2013年6月23日至6月28日。

[^33]: Jonathon Luiten, Georgios Kopanas, Bastian Leibe, and Deva Ramanan. 2024. Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis. In 3DV.

[^34]: Evonne Ng, Donglai Xiang, Hanbyul Joo, and Kristen Grauman. 2020. You2me: Inferring body pose in egocentric video via first and second person interactions. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 9890–9900.

## [^35]: Curtis G Northcutt, Shengxin Zha, Steven Lovegrove, and Richard Newcombe. 2020. Egocom: A multi-person multi-modal egocentric communications dataset. IEEE Transactions on Pattern Analysis and Machine Intelligence 45, 6 (2020), 6783–6793

---

[^36]: Keunhong Park, Utkarsh Sinha, Peter Hedman, Jonathan T. Barron, Sofien Bouaziz, Dan B Goldman, Ricardo Martin-Brualla, and Steven M. Seitz. 2021. HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields. ACM Trans. Graph. 40, 6, Article 238 (dec 2021).

[^37]: Hamed Pirsiavash and Deva Ramanan. 2012. Detecting activities of daily living in first-person camera views. In $\underline{\text{2012 IEEE Conference on Computer Vision and Pattern Recognition}}$. 2847-2854. doi:10.1109/CVPR.2012.6248010

[^38]: Adobe Premiere Pro. 2018. Adobe Premiere Pro.

[^39]: Albert Pumarola, Enric Corona, Gerard Pons-Moll, and Francesc Moreno-Noguer. 2020. D-NeRF: Neural Radiance Fields for Dynamic Scenes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.

[^40]: Neus Sabater, Guillaume Boisson, Benoit Vandame, Paul Kerbiriou, Frederic Babon, Matthieu Hog, Remy Gendrot, Tristan Langlois, Olivier Bureller, Arno Schubert, et al. 2017. Dataset and pipeline for multi-view light-field video. In Proceedings of the IEEE conference on computer vision and pattern recognition Workshops. 30–40.

[^41]: Johannes Lutz Schönberger and Jan-Michael Frahm. 2016. Structure-from-Motion Revisited. In Conference on Computer Vision and Pattern Recognition (CVPR).

[^42]: Gunnar A Sigurdsson, Abhinav Gupta, Cordelia Schmid, Ali Farhadi, and Karteek Alahari. 2018. Charades-ego: A large-scale dataset of paired third and first person videos. arXiv preprint arXiv:1804.09626 (2018).

[^43]: Tomas Simon, Hanbyul Joo, and Yaser Sheikh. 2017. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. CVPR (2017).

[^44]: Jiakai Sun, Han Jiao, Guangyuan Li, Zhanjie Zhang, Lei Zhao, and Wei Xing. 2024. 3dgstream: On-the-fly training of 3d gaussians for efficient streaming of photo-realistic free-viewpoint videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 20675–20685.

[^45]: Yansong Tang, Zian Wang, Jiwen Lu, Jianjiang Feng, and Jie Zhou. 2019. Multi-Stream Deep Neural Networks for RGB-D Egocentric Action Recognition. $\underline{\text{IEEE Transactions on Circuits and Systems for Video Technology}}$ 29, 10 (2019), 3001–3015. doi:10.1109/TCSVT.2018.2875441

[^46]: Huiyu Wang, Mitesh Kumar Singh, and Lorenzo Torresani. 2023. Ego-Only: Egocentric Action Detection without Exocentric Transferring. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). 5250–5261.

[^47]: Qianqian Wang $^{*}$, Yifei Zhang $^{*}$, Aleksander Holynski, Alexei A. Efros, and Angjoo Kanazawa. 2025. Continuous 3D Perception Model with Persistent State. In

CVPR。

[^48]: Felix Wimbauer, Weirong Chen, Dominik Muhle, Christian Rupprecht, and Daniel Cremers. 2025. AnyCam: Learning to Recover Camera Poses and Intrinsics from Casual Videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.

[^49]: Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, and Xinggang Wang. 2024. 4d gaussian splatting for real-time dynamic scene rendering. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 20310-20320.

[^50]: Ziyi Yang, Xinyu Gao, Wen Zhou, Shaohui Jiao, Yuqing Zhang, and Xiaogang Jin. 2024. Deformable 3d gaussians for high-fidelity monocular dynamic scene reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 20331–20341.

[^51]: Zeyu Yang, Hongye Yang, Zijie Pan, and Li Zhang. 2024. Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting. International Conference on Learning Representations (ICLR).

[^52]: Jae Shin Yoon, Kihwan Kim, Orazio Gallo, Hyun Soo Park, and Jan Kautz. 2020. Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths from a Monocular Camera. (June 2020).

[^53]: Daiwei Zhang, Gengyan Li, Jiajie Li, Mickaël Bressieux, Otmar Hilliges, Marc Pollefeys, Luc Van Gool, and Xi Wang. 2024. Egogaussian: Dynamic scene understanding from egocentric video with 3d gaussian splatting. arXiv preprint arXiv:2406.19811 (2024).

[^54]: Junyi Zhang, Charles Herrmann, Junhwa Hur, Varun Jampani, Trevor Darrell, Forrester Cole, Deqing Sun, and Ming-Hsuan Yang. 2024. MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion. arXiv preprint arXiv:2410.03825 (2024).

[^55]: Zihan Zheng, Houqiang Zhong, Qiang Hu, Xiaoyun Zhang, Li Song, Ya Zhang, and Yanfeng Wang. 2024. HPC: Hierarchical progressive coding framework for volumetric video. In Proceedings of the 32nd ACM International Conference on Multimedia. 7937–7946.

[^56] 郑子涵、钟厚强、胡强、张晓云、宋丽、张雅、王彦峰。2024年。JOINTRF：动态神经辐射场表示与压缩的端到端联合优化。载于$\underline{\text{2024 IEEE International Conference on Image Processing (ICIP)}}$。第3292–3298页。doi:10.1109/ICIP51287.2024.10647336