# EgoSim ## 一种用于运动与活动场景下佩戴式摄像头的以自我为中心的多视角模拟器及真实数据集 Dominik Hollidt、Paul Streli、Jiaxi Jiang、Yasaman Haghighi、Changlin Qian、Xintong Liu 和 Christian Holz 计算机科学系苏黎世联邦理工学院，瑞士 ### 摘要计算机视觉领域中关于以自我为中心的任务研究大多聚焦于头戴式摄像头，比如鱼眼摄像头或沉浸式头显内的嵌入式摄像头。我们认为，光学传感器的小型化趋势将促使摄像头被大量集成到不同位置的多种佩戴式设备中。这将为计算机视觉领域的现有任务带来全新的视角，并在人体运动跟踪、身体姿态估计或动作识别等关键领域发挥重要作用——尤其是针对通常会被遮挡的下半身。在本文中，我们介绍了EgoSim——一款新型的佩戴式摄像头模拟器，能够从佩戴者身体的多个视角生成逼真的以自我为中心的渲染图像。EgoSim的一大特色是采用真实的运动捕捉数据来生成运动伪影，这类伪影在手臂或腿部佩戴的摄像头拍摄的画面中尤为明显。此外，我们还推出了MultiEgoView数据集，该数据集包含了来自六台佩戴式摄像头的以自我为中心的视频片段，以及多种活动场景下的全身3D姿态真值：其中119小时的数据源自四个高保真虚拟环境中的AMASS运动序列，我们还补充了由13名参与者使用六台GoPro摄像头拍摄的5小时真实世界运动数据，以及来自Xsens运动捕捉服的3D身体姿态参考信息。我们通过训练一个端到端的仅视频输入的3D姿态估计网络来验证EgoSim的有效性。通过对域差异的分析，我们发现我们的数据集和模拟器能显著辅助模型训练，从而更好地应用于真实世界数据的推理。 EgoSim代码及MultiEgoView数据集： ### 1 引言新一代基于人工智能的个人设备显然需要理解用户视角的世界，才能提供有意义的上下文信息。例如，Meta的Ray-Ban眼镜[^1]、Hu.ma.ne AI别针[^2]，或是Google I/O 2024上展示的眼镜，都是利用佩戴者的视角来分析周围环境。这类新兴设备加上现有的沉浸式混合现实平台，进一步推动了以自我为中心的感知任务相关研究[^3] [^4]。虽然头戴式摄像头主要用于定位[^5] [^6]，但它们同样适合同时捕捉佩戴者的手臂动作，比如用于估计上半身姿态[7–9]，或根据手部姿态和动作检测用户输入[^10] [^11]。在以自我为中心的姿态估计方面，以往的研究通常使用向下拍摄的头戴式鱼眼摄像头[12–14]，这类摄像头能够捕捉到大部分上半身图像。这一前景激发了人们对以自我为中心的姿态估计的研究兴趣，对此—— --- ![Image](images/a5a232974b3e6ae90e329fedad70831e8b4ec6d155f36c513389af4d353659ae.jpg)

Figure 1: (Left) Our dataset MultiEgoView contains 5 hours of egocentric real-world footage from 6 body-worn GoPro cameras and ground-truth 3D body poses from an Xsens motion capture suit as well as 119 hours of simulated footage in high-fidelity virtual environments on the basis of real motion capture data and associated 3D body poses. (Right) Our method estimates ego poses from video data alone, here visualized inside the scanned 3D scene.

已经收集了多个真实[3,5,12–18]和合成[^13] [^15] [^19]数据集。合成数据的优势已在同步定位与地图构建（SLAM [20–22]）、3D重建[^23] [^24]以及人体网格恢复（HMR [25–27]）等领域得到验证。为了更全面地捕捉人体运动，以往的研究采用了动作捕捉服 [^28] 或单个可穿戴式运动传感器 [29–32]，其中通过学习方法从一组惯性传感器输入数据中预测三维人体姿态。这些传感器组合提供了关于各肢体运动的丰富信息，从而实现精细的姿态估计。然而，仅依靠运动传感器的估计结果存在漂移问题，且难以追踪全局位置；为此，以往的研究添加了头戴式摄像头 [^6] [^16] [^33] [^34] 来补充惯性运动线索。考虑到摄像头技术持续小型化的趋势，利用摄像头传感器进一步增强可穿戴式人体跟踪方法具有广阔前景，例如用于消除下肢部位的遮挡现象并扩大环境覆盖范围 [^14]。事实上，Shiratori等人于2011年开展的利用多个可穿戴式摄像头在复杂环境中跟踪三维人体姿态的开创性研究，早于许多基于学习的方法 [^35]，该研究也展示了视频这种更丰富的模态在人体运动任务中的潜力。此外，诸如手腕上 [36–39] 或腿部 [^35] 的可穿戴式摄像头，由于其在人类活动或手与物体交互时靠近感兴趣点，因此具有独特优势。使用多个摄像头能够减轻遮挡效应，并提供关于自身身体、周围人群及环境的多个视角。尽管相关研究通常基于静态的第三人称视角，但大量关于多视图数据融合的研究（如 [40–42]）已显示出其在导航 [^43]、三维重建 [^44] 以及姿态估计 [^45] [^46] 方面的优势。在本文中，我们介绍了EgoSim——一款专为人体运动任务设计的多视图可穿戴式摄像头模拟器。我们还推出了MultiEgoView数据集，该数据集包含基于现有人体运动数据生成的渲染视频片段以及新颖的补充性真实世界录像（见图1）。我们以端到端训练的纯视觉模型进行自身身体姿态估计为例，展示了可穿戴式摄像头及我们的模拟器的优势。本文作为数据集论文，主要贡献如下： 1. EgoSim是一款易于使用、可灵活调整且高度逼真的多视图可穿戴式摄像头模拟器，它以真实人体运动作为输入。摄像头在身上的位置及其内部参数均可灵活配置，EgoSim还能渲染多种实用的数据模态。此外，EgoSim通过弹簧臂逼真地模拟了可穿戴式摄像头的安装方式，从而纳入运动产生的伪影。 2. MultiEgoView是一个时长119小时的视频数据集，其中包含一个或多个虚拟人物在四种虚拟环境中根据AMASS [^47] 数据执行自然动作与活动的场景，同时提供对应的参考三维人体姿态。我们还贡献了一个全新的时长5小时的真实世界数据集，共有13名参与者佩戴6台GoPro摄像头，数据集包含了三维人体参考姿态（来自Xsens [^48]）以及细致的人类活动分类标签（BABEL [^49]）。 3. 一种基于学习的多视图方法，能够从视频中端到端地完成三维姿态估计任务。我们基于该数据集分析了仿真数据与真实数据之间的差距，并展示了仿真数据的优势。综上所述，我们认为EgoSim与其他新兴模拟器（例如针对面部 [^50]、人体场景交互 [19,51–54] 以及手部 [^55] [^56] 的模拟器）一起，将有助于推动以自我为中心的感知任务相关研究的进展。 --- ### 2 相关工作合成数据集与模拟器。近年来，深度学习的发展迫切需要更大规模且种类更丰富的数据集，而这些数据往往通过模拟数据来获取。视觉合成数据在诸多领域展现出了显著优势，例如人体网格重建 [^26]、视觉惯性里程计 [^57]、视觉SLAM [^58] [^59] 以及人体姿态估计 [^26] [^60]。其中，Microsoft AirSim [^61] 堪称最出色的模拟器之一。它助力创建了诸如专为视觉SLAM任务优化的TartanAir [^20]，以及面向低空无人机飞行场景设计的Mid-air [^62] 等照片级真实感数据集。不过截至目前，AirSim [^61] 及其他模拟器 [^63] 在人体动态相关任务方面仍存在不足，比如3D人体姿态估计或多角色交互场景。直到最近，Habitat 3 [^64] 模拟器才开始聚焦于人机交互任务并取得了一定进展，但该模拟器在传感器布置配置及环境多样性方面仍有限制。作为一款新型以人为中心的模拟器，EgoGen凭借对人体运动合成的侧重而展现出巨大潜力 [^19]。传统上，数据集中的摄像头模拟要么为静态设置，要么采用平滑运动模式；这类数据集难以适配去中心化场景——即摄像头位置会随着佩戴者的动作而动态变化。EgoSim则在这一领域实现了突破：它专为以人为中心的研究打造，能够模拟可穿戴摄像头随人体自然产生的非平滑运动。该模拟器还能支持室内外各种环境中的复杂多角色交互，从而推动该领域开展更全面、更多样化的研究。人体运动数据集。在受控环境中，多台第三人称视角摄像头和运动捕捉设备能够提供精确的基准真值数据[47,65–69]。将3D人体模型[70–72]拟合到点云标记集[^47]上，或利用RGBD相机数据，便可获得基准真值姿态。不过，这类设备的复杂性使其应用范围主要局限于室内环境[^3] [^73] [^74]。针对室外环境，伪基准真值姿态标注可以克服这些限制。一些方法采用易于大规模标注的2D关键点[75–77]，但这类方法仅能提供关于人体姿态的2D约束。另一种方法是把SMPL等3D人体模型[^70]拟合到图像上，从而获得伪基准真值参数[78–80]。You2Me [^81]和EgoBody [^3]利用头戴式摄像头在室内环境中采集交互个体的人体姿态数据。最近，Egohumans [^4]将采集范围扩展到了室内外环境中最多四名交互个体。与此同时，像Ego4D [^17] [^18]这样的大型数据集提供了来自头戴式摄像头的海量数据，涵盖社交互动、手物交互等任务，但缺乏其他穿戴式摄像头采集的数据。近期发布的Nymeria数据集[^82]部分弥补了这一缺口，其中包含了腕部佩戴摄像头拍摄的真实场景视频。我们构建的真实场景MultiEgoView数据集则进一步扩展到配备六台穿戴式摄像头的系统，并在膝盖和骨盆处增设了额外传感器。为了克服真实数据集的局限性，逼真的合成数据集提供了一种替代方案，既能保证多样性，又能提供高质量的基准真值标注[^15] [^26] [^27]。我们的工作在此基础上进行了拓展：开发了一款专为穿戴式传感器定制的可配置模拟器，能够调整光照、场景和摄像头摆放等参数。EgoSim可补充Nymeria等真实数据集的不足，根据捕获的运动序列，从可调整的穿戴式摄像头生成合成图像。以自我为中心的感知。可穿戴摄像头是以自我为中心的感知任务研究的主要输入源。目前，真实和合成的以自我为中心的数据集主要以头戴式传感器为主。有些系统[^13] [^14] [^83]利用单个面向身体的鱼眼摄像头来估计3D自我身体姿态，而另一些系统则采用立体摄像头配置[^15] [^73] [^74]。面向身体的头戴式摄像头能够捕捉图像空间中的可见关节，从而辅助自我身体姿态估计。其他方法则从非面向身体的摄像头中恢复3D姿态。HPS [^84]将多个穿戴式IMU与基于运动结构法的摄像头定位技术相结合。Kinpoly [^85]利用强化学习的物理模拟，从前置摄像头中恢复全身姿态；EgoEgo [^5]则将SLAM与扩散模型结合，用于恢复自我身体姿态。AvatarPoser [^33]及其后续研究[^8] [^34]根据商用混合现实设备追踪到的头部和手部姿态来预测全身姿态。HOOV [^86]利用手腕处采集的惯性信号，实现了对超出头戴式摄像头视野范围的手部追踪。迄今为止，以自我为中心的数据集主要侧重于头戴式摄像头，这类摄像头要么朝下对准身体 [^12] [^14] [^15]，要么朝前拍摄 [^5] [^16] [^87]，且往往是为特定设备设计的 [^3] [^4] [^18] [^88]。我们的研究将自我为中心的数据集扩展到多种可穿戴摄像头，提供了可定制的仿真平台以及包含六种可穿戴摄像头的真实世界数据集。 ---

Table 1: Comparison of previous datasets for egocentric 3D human pose estimation.

Dataset	Mo2Cap2 [^12]	xR-EgoPose [^13]	EgoCap [^73]	EgoGlass [^74]	UnrealEgo [^15]	EgoBody [^3]	ARES [^5]	MultiEgoView (ours)
Head camera type	fisheye	fisheye	wide stereo	stereo	fisheye stereo	front facing	fisheye stereo	front facing
sees body	✓	✓	✓	✓	✓	✗	✗	partly
Hand camera	✗	✗	✗	✗	✗	✗	✗	2×
Leg camera	✗	✗	✗	✗	✗	✗	✗	2×
Pelvis camera	✗	✗	✗	✗	✗	✗	✗	✓
Image generation	composite	Maya	composite	real	Unreal Engine	real	Replica	Unreal Engine
Image quality	low	high	real	green screen	high	real	high	high
Environment	In- & Outdoor	Mostly Indoor	Indoor	Indoor	In- & Outdoor	Indoor	Indoor	Outdoor
Dataset Size	530k	383k	2 × 41k	2 × 170k	2 × 450k	220k	1.2M	6 × 12.9M
Real data	✗	✗	✓	✓	✗	✓	✗	✓ 6 × 520k
Motion Diversity	mid	low	low	low	high	high	high	high

### 3 EgoSim仿真平台 EgoSim专为可穿戴摄像头仿真而设计。我们扩展了微软的AirSim模拟器 [^61]，该模拟器集成在Unreal Engine [^89] 中，以利用其灵活性和逼真的渲染效果（例如 [^26] [^27]）。具体而言，我们为平台增添了模拟人体运动过程中可穿戴摄像头的能力，能够生成与人体动作相对应的动态摄像头运动变化，包括那些不规则、剧烈且不平滑的运动时刻。图像仿真。EgoSim通过Unreal Engine的电影级摄像头 [^90] 来渲染画面，以获得逼真的图像。摄像头模型和噪声参数均可调节。EgoSim支持同时渲染多种模态（见图2），包括RGB、深度图、法线贴图和语义分割掩码。这些模态相互补充，未来可作为各类计算机视觉任务的输入。物理附着和运动伪影仿真。EgoSim的一个关键特性是考虑了摄像头的附着方式，以便在仿真中模拟运动伪影。由于可穿戴摄像头并非刚性安装，常常固定在衣物上或像智能手表一样绑在四肢上，这种松散的附着方式会导致摄像头位置和方向出现滑动和拖拽现象。EgoSim利用连接虚拟人物身体与虚拟摄像头的弹簧臂装置来模拟这些情况。我们证明，将弹簧阻尼系统作为摄像头安装模型，能够有效逼真地捕捉现实中松散摄像头附着所产生的效应（详见第6.3节）。多样化环境仿真。EgoSim得益于Unreal Engine及以往研究中提供的大量室内外环境资源，例如 [^26]。如图3所示，它既能渲染大型的、手工建模的逼真场景，也能渲染与现实世界高度相似的扫描场景。所使用的场景多为开阔空间，这类环境传统上很难进行动作捕捉。关于EgoSim功能的更多细节，请参阅附录中的表3。多传感器和多人物记录的同步。在现实世界的记录中，同步多个摄像头颇具挑战性，但在EgoSim中生成同步的多模态数据却轻而易举，同时还能获取环境或虚拟人物的真实特征。此外，EgoSim能够模拟并渲染来自多个虚拟人物的数据，进而得到对应的真实姿态和摄像头位置信息。EgoSim支持灵活设置传感器的数量、特性和附着位置——每个虚拟人物可独立配置。 ![Image](images/eb7007a7cf1d9fb1baf96d67ba80815b02682568d91604791533c250d2307b45.jpg)

Figure 2: EgoSim renders multiple modalities: (a) RGB, (b) depth, (c) normals, (d) semantic labels.

--- ![Image](images/2c431dd255ddc89b9679e7caee07eaa80a540d5157dba3f33366ffdc1e3a5e59.jpg)

Figure 3: Example RGB renders produced by EgoSim and included in our MultiEgoView dataset. Qualitatively, the simulated scan (d, e, f) and real data (g, h, i) look similar. Both simulated scenes (Scene 1: a, b, c; Scene 2: d, e, f) offer high-fidelity environments. The pelvis provides a stable view of the environment, whereas wrist and knee cameras typically move quickly and capture artifacts.

### 4 MultiEgoView数据集 MultiEgoView提供了一套规模庞大且同步性良好的数据集，其中包含来自六台佩戴式摄像头的RGB数据，以及人体姿态和活动标注的基准真值。该数据集涵盖了真实数据与合成数据，为训练和评估人体姿态估计、活动分类、动态摄像头定位及建图算法提供了极具挑战性且富有价值的测试平台。合成数据生成。借助EgoSim工具，我们渲染了由虚拟化身上六台虚拟摄像头拍摄的7740万张RGB图像，这些图像对应119.4小时的视频内容。图像的视场角（FOV）为$118^{\circ}$，分辨率为$640 \times 360$，帧率为30帧/秒。摄像头分别安装在头部、骨盆、手腕和膝盖处，朝外拍摄以同时捕捉环境以及穿戴者身体的部分区域。这一设计大幅拓展了以往针对头戴式摄像头的研究范畴[^12] [^13] [^15] [^73]，也更符合新兴可穿戴设备的特性[^3] [^17] [^74]。为确保动作逼真，我们使用AMASS数据库中的动作捕捉序列来驱动虚拟化身，这些序列随后被转换为FBX格式以供EgoSim使用[^47] [^71]。我们还利用BEDLAM的资源随机调整虚拟化身的肤色与服装纹理[^26]。我们的数据集涵盖4个场景中的24个地点：（1）人工搭建的城市虚拟户外环境；（2）我们通过Polycam扫描的大学建筑前庭院，该地点有精准的公共点云扫描结果及运动恢复结构模型可供参考[^91]；（3）拥有摩天大楼的市中心区域；（4）包含运动场、草坪、植被和水体的公园。每个场景中最多会同时出现四个动画虚拟化身，以此增加数据多样性并支持多视角多人姿态估计[^4] [^92]。除了RGB数据外，我们还提供了摄像头与3D虚拟化身姿态的基准真值，以及来自全部六台摄像头的模拟加速度计和陀螺仪读数。真实世界数据采集。我们使用六台GoPro摄像头（5台HERO 10型号，1台HERO 9型号）在现实环境中采集了约5小时的数据[^93]，这些摄像头的佩戴位置与模拟实验中的设置一致。我们招募了来自机构周边的13名参与者参与此次数据采集，他们均同意参与并允许记录相关数据。该研究遵循ETH伦理准则，参与者会因付出时间而获得小额报酬。数据采集地点为用于合成环境建模的同一所大学前庭院（即上述场景2），GoPro摄像头设置为1080p分辨率、30帧/秒，水平视场角为118°。这13名参与者中女性4名、男性9名，年龄介于21至30岁之间，平均年龄为26.4岁；他们的身高范围为160至190厘米，平均身高为176.1厘米，标准差为9.5厘米； --- 体重范围为50至94公斤，平均体重为69.6公斤，标准差为13.2公斤。参与者在签署知情同意书后（详情见附录），会穿上全套Xsens [^48]动作捕捉服以获取姿态基准真值。初步校准完成后，参与者会进行35种不同活动的练习，这些活动涵盖了BABEL标注中基于AMASS数据的最常见动作[^49]。活动完整列表详见附录中的表7。每组练习时长约为10分钟，参与者会重复1至3次。为使GoPro摄像头与Xsens系统同步，参与者会在每次录制开始时拍手，并根据提取的SMPL姿态来调整摄像头。我们还会利用Virtual Caliper工具根据参与者的身体测量数据计算形状参数[^94]。真实数据和合成数据中的所有序列都标注了来自BABEL的活动类别 [^49]。 ### 5 基线方法：可穿戴多摄像头人体姿态估计为了展示MultiEgoView的优势，我们训练了一个神经网络，利用多个佩戴在身上的摄像头来估计三维自我身体姿态。该网络的输入为对齐后的视频序列 $\boldsymbol{X} \in [0, 1]^{C \times F \times 3 \times H \times W}$，包含来自C个佩戴在身上的摄像头的F帧图像。基于这些输入，网络会为每一帧输入i预测一个姿态 $\hat{\boldsymbol{p}}_i$。 #### 5.1 网络架构我们的网络是基于稀疏视频管ViT的视觉Transformer模型 [^95]。我们使用带有共享插值核的稀疏视图分词器SVT，从每个输入视频中提取特征向量。随后，将来自稀疏管分词器的特征向量与它们固定的时空位置编码 $\kappa_p$ 以及每个摄像头c的可学习视角编码 $\kappa_{v,c}$ 相加。 $$ \begin{array}{r}{\boldsymbol{v}_{c}=\mathrm{S V T}(\boldsymbol{X}_{c},\boldsymbol{W})+\kappa_{p}+\kappa_{v,c},\quad\mathrm{~w h e r e~}\boldsymbol{W}\mathrm{~a r e~t h e~s h a r e d~w e i g h t s~o f~t h e~k e r n e l}.}\end{array} $$ 不同摄像头生成的特征向量 $v^c$ 会与姿态词元 $\phi_j = \boldsymbol{\tau}(j) + \psi, j \in [0, F-1]$ 拼接在一起，其中 $\psi$ 是一个可训练的姿态词元，$\boldsymbol{\tau}$ 是正弦位置编码。随后，得到的词元序列会被送入视觉Transformer编码器进行处理。 $$ \{z_{0},\ldots,z_{F-1}\}=\operatorname{V i T}(\operatorname{c o n c a t}(\phi_{0},...,\phi_{F-1},\boldsymbol{v}_{0},...,\boldsymbol{v}_{c-1})) $$ 基于每个嵌入的姿态词元z，我们能够得到SMPL姿态参数 [^96] 的6D表示 $\theta$、6D相对旋转 $R_r$，以及根节点相对于前一帧的3D相对平移量tr。 $$ \begin{array}{r}{\hat{\boldsymbol{\theta}}=\boldsymbol{W}_{\theta}\boldsymbol{z},\quad\hat{\boldsymbol{R}}_{r}=\boldsymbol{W}_{R}\boldsymbol{z},\quad\hat{\boldsymbol{t}}_{r}=\boldsymbol{W}_{t}\boldsymbol{z}}\end{array} $$ 为了提高泛化能力，网络被训练用来预测姿态差，即相对于前一姿态的相对根姿态，而不是直接预测全局根姿态。通过正向运动学，我们能够得到相对于初始姿态的全局身体姿态p。 $$ \begin{array}{r}{\{\hat{p}_{0},\ldots,\hat{p}_{F-1}\}=\mathrm{F K}_{\theta}(\pmb{\theta},\hat{\pmb{R}}_{g},\hat{\pmb{t}}_{g},\beta),\mathrm{w h e r e}\quad\hat{\pmb{R}}_{g},\hat{\pmb{t}}_{g}=\mathrm{F K}_{g}(\hat{\pmb{R}}_{r},\hat{\pmb{t}}_{r})}\end{array} $$ 其中 $\beta$ 是给定人物的SMPL-X模型的形状参数 [^71]。我们使用了4种管配置：$16 \times 16 \times 16$，步长为(12, 48, 48)，偏移量为 $(0, 0, 0)$；$24 \times 6 \times 6$，步长为(12, 32, 32)，偏移量为 $(8, 12, 12)$；$12 \times 24 \times 24$，步长为(24, 48, 48)，偏移量为 $(0, 28, 28)$；以及 $1 \times 32 \times 32$，步长为(12, 64, 64)，偏移量为 $(0, 0, 0)$。姿态嵌入参数采用Kaiming均匀分布初始化 [^97]，姿态词元则采用正态分布初始化。 #### 5.2 损失函数我们用以下损失函数对网络进行监督： $$ \mathcal{L}=\lambda_{\theta}\mathcal{L}_{\theta}+\lambda_{p}\mathcal{L}_{p}+\lambda_{v}\mathcal{L}_{v}+\lambda_{t_{r}}\mathcal{L}_{t_{r}}+\lambda_{R_{r}}\mathcal{L}_{R_{r}}+\lambda_{t_{g}}\mathcal{L}_{t_{g}}+\lambda_{R_{g}}\mathcal{L}_{R_{g}}+\lambda_{z}\mathcal{L}_{z} $$ 角度损失 $\mathcal{L}_{\theta}$ 促使模型学习SMPL角度 $\theta$，而关节位置损失 $\mathcal{L}_{p}$ 则强制通过正向运动学得到的预测关节位置接近真实的关节位置。通过这种方式，局部误差和累积误差都能被考虑在内。 $$ \mathcal{L}_{\theta}=|\pmb{\theta}_{6\mathrm{D}}-\hat{\pmb{\theta}}_{6\mathrm{D}}|_{1}\quad\mathrm{a n d}\quad\mathcal{L}_{p}=|\pmb{p}-\hat{\pmb{p}}|_{1}, $$ --- 其中6D表示旋转矩阵的六维表示 [^96]。对于根姿态，我们会惩罚通过运动链累积起来的相对和绝对平移及方向误差。 $$ \mathcal{L}_{R_{r}}=|\boldsymbol{R}_{r,6\mathrm{D}}-\hat{\boldsymbol{R}}_{r,6\mathrm{D}}|_{1}\quad\mathrm{a n d}\quad\mathcal{L}_{t_{r}}=|\boldsymbol{t}_{r}-\hat{\boldsymbol{t}}_{r}|_{1} $$ $$ \mathcal{L}_{R_{g}}=\|\hat{\boldsymbol{R}}_{g}\boldsymbol{R}_{g}^{-1}-\boldsymbol{I}\|_{2}\quad\mathrm{a n d}\quad\mathcal{L}_{t_{g}}=|\boldsymbol{t}_{g}-\hat{\boldsymbol{t}}_{g}|_{1} $$ 为了促使模型能够准确估计更具表现力的动作，我们加入了速度损失 $\mathcal{L}_{v}$。我们还使用 $l_{2}$ 正则化项 $\mathcal{L}_{z}$ 对嵌入的姿态词元z进行正则化。 $$ \mathcal{L}_{v}=|(\boldsymbol{p}_{i}-\boldsymbol{p}_{i-1})-(\hat{\boldsymbol{p}}_{i}-\hat{\boldsymbol{p}}_{i-1})|_{1}\quad\mathrm{a n d}\quad\mathcal{L}_{z}=\|\boldsymbol{z}\|_{2} $$ 我们设定了 $\lambda_{\theta}=10$、$\lambda_{p}=25$、$\lambda_{v}=40$、$\lambda_{t_{r}}=25$、$\lambda_{R_{r}}=15$、$\lambda_{t_{g}}=1$、$\lambda_{R_{g}}=0.025$ 以及 $\lambda_{z}=0.0005$。 ### 6 实验我们通过实验验证了MultiEgoView在自我中心人体姿态估计中的有效性。按照BABEL-60划分方式 [^49]（60%/20%/20%），合成数据序列被分割成时长不超过5秒的片段。基线模型直接接收来自全部六个摄像头的输入，将图像归一化至ImageNet均值，并将其下采样为 $224 \times 224$ 像素，帧率为10 fps。我们利用在UCF101上预训练的稀疏管状特征提取器来加速训练过程 [^98] [^99]。该模型采用Adam优化器进行训练，学习率为 $1 \times 10^{-4}$，运行在Nvidia GeForce RTX 4090显卡上，批量大小为12，共训练135k步，耗时约3天。对于真实数据，我们采用随机的80%/20%划分方式，保持相同的5秒分段及训练参数。我们还进行了跨参与者评估：选取10名参与者用于训练，3名用于测试，以此验证模型的泛化能力。 #### 6.1 定量指标我们使用SMPLX模型的人体关节来评估模型的各项指标，具体如下：全局MPJPE（米）：评估预测关节位置与真实关节位置之间的平均 $l_{2}$ 范数，该指标会同时惩罚姿态误差和全局位置误差。 PA-MPJPE（米）：在通过相似变换对齐关节位置后评估姿态估计精度，从而分离出纯粹的姿态误差。 MTE（米）：平均平移误差，衡量全局根节点平移误差的平均 $l_{2}$ 范数，反映全局平移精度。 MRE（平均旋转误差）：利用 $\|R\hat{R}^{-1} - I\|$ 来报告全局方向误差。 MJAE（$^{\circ}$）：平均关节角度误差，以度为单位比较预测的关节角度误差，不考虑正向运动链误差。抖动 $(m/s^{3})$：衡量预测运动的平滑程度，反映运动的时间连续性和自然性。 #### 6.2 评估结果表2展示了在MultiEgoView上训练的多视角姿态变换器的结果。在合成数据上训练时，PA-MPJPE值较低，说明姿态估计效果极佳。全局MPJPE误差略高，是由于根节点的平移和旋转估计较差所致。MultiEgoView中合成数据与真实数据的结合至关重要，因为直接进行模拟到现实迁移或仅用真实数据训练都无法实现准确的姿态估计。先在合成数据上预训练，再在真实数据上微调，可使全局MPJPE降低3.1至4倍，PA-MPJPE也至少降低2.7厘米，这表明从大型合成数据集中学到的姿态理解知识被成功迁移到了真实世界数据中。即便微调训练集比例降至20%，网络仍能预测出准确的姿态，不过平移误差会增加8.8%。这凸显了合成数据在真实训练数据稀缺的情况下对改善姿态估计的作用。跨参与者评估的结果相对较差，说明要获得稳定的跨参与者结果可能需要更多的数据多样性。 ---

Table 2: Results of our method on MultiEgoView, showing the benefit of our simulator.

Method trained on	evaluated on	Global MPJPE $\downarrow$	PA-MPJPE $\downarrow$	MTE $\downarrow$	MRE $\downarrow$	MJAE $\downarrow$	Jerk
Synthetic	Synthetic	0.16	0.040	0.13	0.272	9.1	21.9
Synthetic	Real	0.77	0.119	0.71	0.947	29.0	20.9
Real	Real	1.23	0.087	0.79	1.030	16.4	1.5
with fine-tuning:
Synthetic + 20% Real	Real	0.40	0.056	0.37	0.504	12.8	15.4
Synthetic + 80% real	Real	0.33	0.044	0.31	0.415	10.2	16.7
Synthetic + 10 real participants	Real (cross-participant)	0.35	0.060	0.32	0.557	16.6	18.3

图4中对预测姿态的可视化结果验证了定量指标的准确性。总体而言，该模型能够准确估计姿态。最大的误差通常出现在快速运动的肢体上，如图4右侧栏所示，模型会错误地检测到手臂运动。模型输出的姿态在时空上较为平滑，这一点也可从较低的抖动值（表2）中看出。一般来说，抖动值越低，意味着预测结果越平稳，尽管这些预测未能完全捕捉到真实运动的全范围和速度（评估集上的gt-抖动值为29.3），但视觉效果仍很自然。该模型的弱点在于全局位置估计的误差较大。我们将这种全局变换预测方面的不足归因于两个因素：1）模型预测的是各帧之间的相对变换，通过专注于相邻帧的变换来简化训练过程；然而，相对预测中的微小误差会在正运动学中迅速累积。2）模型缺乏基于全局位置的定位方法（例如通过SLAM或SfM），因此其变换预测依赖于对环境的学习理解。总体而言，MultiEgoView凭借其合成数据与真实世界数据，在实现从仿真到现实的迁移学习方面展现了实用价值。我们的结果还表明，仅依靠合成数据或现有数量的真实数据是无法实现这一点的，这也印证了我们模拟器的优势。 #### 6.3 弹簧阻尼器佩戴式摄像头会受到运动伪影的影响，尤其是安装在快速运动的肢体上时，这是由于安装点并非刚性连接所致。EgoSim通过弹簧臂来模拟这类运动伪影。我们证明，与刚性安装方式相比，弹簧阻尼系统能更好地近似真实的摄像头运动。为此，我们使用OptiTrack动作捕捉系统来追踪被穿戴者的身体以及松散连接在身上的GoPro摄像头。结果显示，与刚性模型（2.35厘米）相比，弹簧阻尼模型的平均位置误差更低（1.98厘米），这凸显了其有效性。 ### 7 讨论虽然以自我为中心的姿态估计已被广泛研究，但在以往的实现中，头戴式摄像头面临着自遮挡、下肢重建分辨率降低等问题， ![Image](images/f0bb6543a567abac423268d6281d71d8834d82ba00ff2004acb6bf7acd9719bb.jpg)

Figure 4: Visualization of our results obtained from our multi-view egocentric pose estimator on real-world data. The change of color denotes different timestamps.

--- 且缺乏环境信息。而多台佩戴式摄像头可以通过提供动态的多视角画面来缓解这些问题，这些画面能同时捕捉环境、人体，更重要的是还能记录双手和双腿与周围物体的互动情况。 EgoSim与MultiEgoView是深化我们对不同场景下佩戴式摄像头所拍摄的人体活动理解的第一步。我们通过基于视频的端到端多视角模型，展示了MultiEgoView在自我姿态估计中的实用性。我们的研究结果表明，利用多台佩戴式摄像头可以有效估计自我姿态，而且EgoSim生成的数据有助于在仿真到现实场景中获得更精准的姿态估计结果。 EgoSim的局限性。我们当前的模拟器存在一些局限性，这些将在未来的版本中得到解决。首先，尽管我们的数据包含多人体场景，但单个虚拟角色动画是从AMASS中独立采样的。这些动画虽然符合物理规律，却未考虑与其他人或物体的交互，从而限制了对此类交互的研究。此外，我们的系统目前仅包含四个场景，未来可扩展以改善泛化能力。最后，虽然我们的模拟器支持高保真渲染，但图形和神经渲染方法的改进[^100]有望进一步缩小模拟与现实之间的差距。关于MultiEgoView的未来研究。尽管使用EgoMultiView训练的多视角变换器在真实数据上的姿态估计能力令人信服（PA-MPJPE < 5厘米），但在根节点的全局位置和方向估计方面仍有提升空间，尤其是在长序列中，根位置的累积误差会更加明显。未来的研究方向可以考虑整合低漂移的相机定位方法，例如SLAM [^59]，或基于运动结构恢复的图像定位技术[^101]，以实现更稳定的全局平移和方向估计。此外，我们目前的实验仅使用了RGB数据。未来研究可以利用MultiEgoView来优化基于惯性的姿态估计[^29]、利用单目或多摄像头进行的深度估计[^102]，以及语义场景分类[^103]，而这些都得益于我们模拟器提供的真实标注数据。 ### 8 结论我们提出了EgoSim——一种用于佩戴式摄像头的以自我为中心的多视角模拟器，它能生成多种数据模态，以支持新兴的可穿戴动作捕捉和方法开发。借助EgoSim，我们部分构建了MultiEgoView数据集，这是首个通过从身体其他部位佩戴的六台摄像头同步拍摄的视频来补充现有以头部为中心的自我中心数据集的数据集，这些视频是基于真实的人类动作及伪影模拟而成的。我们用6名参与者在野外进行的各种运动和活动中录制的5小时真实数据，以及标注好的3D人体姿态和分类标签，来补充MultiEgoView数据集中的119小时合成数据，从而弥合模拟数据与真实数据之间的差距。鉴于基于一个或多个佩戴式传感器的视觉方法开发这一新兴领域的发展，我们相信EgoSim和MultiEgoView的发布将成为未来研究的重要资源，有助于我们更深入地理解现实世界中的人类活动与互动。 ### 参考文献 [^1]: Meta Platforms, Inc., “Ray-ban meta smart glasses,” 2023. [Online]. Available: [^2]: Humane Inc., “Hu.ma.ne ai pin: Beyon touch, beyond screens,” 2023. [Online]. Available: [^3]: S. Zhang, Q. Ma, Y. Zhang, Z. Qian, T. Kwon, M. Pollefeys, F. Bogo, and S. Tang, “Egobody: Human body shape and motion of interacting people from head-mounted devices,” in European Conference on Computer Vision. Springer, 2022, pp. 180–200. [^4]: R. Khirodkar, A. Bansal, L. Ma, R. Newcombe, M. Vo, and K. Kitani, “Ego-humans: An ego-centric 3d multi-human benchmark,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 19 807–19 819. ### [^5]: J. Li, K. Liu, and J. Wu, “Ego-body pose estimation via ego-head pose estimation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 17142–17151 --- [^6]: X. Yi, Y. Zhou, M. Habermann, V. Golyanik, S. Pan, C. Theobalt, and F. Xu, “Egolocate: Real-time motion capture, localization, and mapping with sparse body-mounted sensors,” ACM Transactions on Graphics (TOG), vol. 42, no. 4, pp. 1–17, 2023. [^7]: T. Ohkawa, K. He, F. Sener, T. Hodan, L. Tran, and C. Keskin, “Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 12999–13008. [^8]: J. Jiang, P. Streli, M. Meier, and C. Holz, “EgoPoser: Robust real-time egocentric pose estimation from sparse and intermittent observations everywhere,” in European Conference on Computer Vision. Springer, 2024. [^9]: K. Ahuja, E. Ofek, M. Gonzalez-Franco, C. Holz, and A. D. Wilson, “CoolMoves: User motion accentuation in virtual reality,” Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, vol. 5, no. 2, pp. 1–23, 2021. [^10]: R. Xiao, J. Schwarz, N. Throm, A. D. Wilson, and H. Benko, “Mrtouch: Adding touch input to head-mounted mixed reality,” IEEE transactions on visualization and computer graphics, vol. 24, no. 4, pp. 1653–1660, 2018. [^11]: P. Streli, J. Jiang, J. Rossie, and C. Holz, "Structured Light Speckle: Joint ego-centric depth estimation and low-latency contact detection via remote vibrometry," in Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology, 2023, pp. 1–12. [^12]: W. Xu, A. Chatterjee, M. Zollhoefer, H. Rhodin, P. Fua, H.-P. Seidel, and C. Theobalt, "Mo2Cap2: Real-time Mobile 3D Motion Capture with a Cap-mounted Fisheye Camera," Jan. 2019. [^13]: D. Tome, P. Peluse, L. Agapito, and H. Badino, “xr-egopose: Egocentric 3d human pose from an hmd camera,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 7728–7738. [^14]: J. Wang, D. Luvizon, W. Xu, L. Liu, K. Sarkar, and C. Theobalt, “Scene-Aware Egocentric 3D Human Pose Estimation,” in 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, BC, Canada: IEEE, Jun. 2023, pp. 13031–13040. [^15]: H. Akada, J. Wang, S. Shimada, M. Takahashi, C. Theobalt, and V. Golyanik, “Unrealego: A new dataset for robust egocentric 3d human motion capture,” in European Conference on Computer Vision. Springer, 2022, pp. 1–17. [^16]: V. Guzov, A. Mir, T. Sattler, and G. Pons-Moll, “Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors,” in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA: IEEE, Jun. 2021, pp. 4316–4327. [^17]: K. Grauman, A. Westbury, E. Byrne, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, M. Liu, X. Liu et al., “Ego4d: Around the world in 3,000 hours of egocentric video,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 18 995–19 012. [^18]: K. Grauman, A. Westbury, L. Torresani, K. Kitani, J. Malik, T. Afouras, K. Ashutosh, V. Baiyya, S. Bansal, B. Boote et al., “Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 19 383–19 400. [^19]: G. Li, K. Zhao, S. Zhang, X. Lyu, M. Dusmanu, Y. Zhang, M. Pollefeys, and S. Tang, "Egogen: An egocentric synthetic data generator," in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 14497–14509. [^20]: W. Wang, D. Zhu, X. Wang, Y. Hu, Y. Qiu, C. Wang, Y. Hu, A. Kapoor, and S. Scherer, “Tartanair: A dataset to push the limits of visual slam,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020, pp. 4909–4916. [^21]: S. Wang, J. Yue, Y. Dong, S. He, H. Wang, and S. Ning, “A synthetic dataset for visual slam evaluation,” Robotics and Autonomous Systems, vol. 124, p. 103336, 2020. ### [^22]: D. Rukhovich, D. Mouritzen, R. Kaestner, M. Rufli, and A. Velizhev, “Estimation of absolute scale in monocular slam using synthetic data,” in Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops, 2019, pp. 0–0 --- [^23]: J. Straub, T. Whelan, L. Ma, Y. Chen, E. Wijmans, S. Green, J. J. Engel, R. Mur-Artal, C. Ren, S. Verma et al., “The replica dataset: A digital replica of indoor spaces,” arXiv preprint arXiv:1906.05797, 2019. [^24]: L. Lin, Y. Liu, Y. Hu, X. Yan, K. Xie, and H. Huang, “Capturing, reconstructing, and simulating: the urbanscene3d dataset,” in European Conference on Computer Vision. Springer, 2022, pp. 93–109. [^25]: P. Patel, C.-H. P. Huang, J. Tesch, D. T. Hoffmann, S. Tripathi, and M. J. Black, “Agora: Avatars in geography optimized for regression analysis,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 13468–13478. [^26]: M. J. Black, P. Patel, J. Tesch, and J. Yang, “Bedlam: A synthetic dataset of bodies exhibiting detailed lifelike animated motion,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 8726–8737. [^27]: Z. Yang, Z. Cai, H. Mei, S. Liu, Z. Chen, W. Xiao, Y. Wei, Z. Qing, C. Wei, B. Dai et al., “Synbody: Synthetic dataset with layered human models for 3d human perception and modeling,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 20282–20292. [^28]: M. Trumble, A. Gilbert, C. Malleson, A. Hilton, and J. Collomosse, “Total capture: 3d human pose estimation fusing video and inertial sensors,” in Proceedings of 28th British Machine Vision Conference, 2017, pp. 1–13. [^29]: Y. Huang, M. Kaufmann, E. Aksan, M. J. Black, O. Hilliges, and G. Pons-Moll, “Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time,” ACM Transactions on Graphics (TOG), vol. 37, no. 6, pp. 1–15, 2018. [^30]: X. Yi, Y. Zhou, and F. Xu, “Transpose: Real-time 3d human translation and pose estimation with six inertial sensors,” ACM Transactions on Graphics (TOG), vol. 40, no. 4, pp. 1–13, 2021. [^31]: X. Yi, Y. Zhou, M. Habermann, S. Shimada, V. Golyanik, C. Theobalt, and F. Xu, “Physical inertial poser (pip): Physics-aware real-time human motion tracking from sparse inertial sensors,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2022, pp. 13 167–13 178. [^32]: R. Armani, C. Qian, J. Jiang, and C. Holz, “Ultra Inertial Poser: Scalable motion capture and tracking from sparse inertial sensors and ultra-wideband ranging,” in ACM SIGGRAPH 2024 Conference Papers, 2024, pp. 1–11. [^33]: J. Jiang, P. Streli, H. Qiu, A. Fender, L. Laich, P. Snape, and C. Holz, “AvatarPoser: Articulated full-body pose tracking from sparse motion sensing,” in European conference on computer vision. Springer, 2022, pp. 443–460. [^34]: J. Jiang, P. Streli, X. Luo, C. Gebhardt, and C. Holz, “MANIKIN: Biomechanically accurate neural inverse kinematics for human motion estimation,” in European Conference on Computer Vision. Springer, 2024. [^35]: T. Shiratori, H. S. Park, L. Sigal, Y. Sheikh, and J. K. Hodgins, “Motion capture from body-mounted cameras,” in ACM SIGGRAPH 2011 papers, 2011, pp. 1–10. [^36]: D. Kim, O. Hilliges, S. Izadi, A. D. Butler, J. Chen, I. Oikonomidis, and P. Olivier, “Digits: freehand 3d interactions anywhere using a wrist-worn gloveless sensor,” in Proceedings of the 25th annual ACM symposium on User interface software and technology, 2012, pp. 167–176. [^37]: T. Maekawa, Y. Kishino, Y. Yanagisawa, and Y. Sakurai, "WristSense: Wrist-worn sensor device with camera for daily activity recognition," in 2012 IEEE International Conference on Pervasive Computing and Communications Workshops. Lugano, Switzerland: IEEE, Mar. 2012, pp. 510–512. [^38]: K. Ohnishi, A. Kanehira, A. Kenezaki, and T. Harada, “Recognizing activities of daily living with a wrist-mounted camera,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 3103–3111. #### [^39]: S. Li, J. Jiang, P. Ruppel, H. Liang, X. Ma, N. Hendrich, F. Sun, and J. Zhang, “A mobile robot hand-arm teleoperation system by vision and imu,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020, pp. 10900–10906 --- [^40]: L. J. Cleveland and J. Wartman, “Principles and applications of digital photogrammetry for geotechnical engineering,” Site and Geomaterial Characterization, pp. 128–135, 2006. [^41]: Y. Furukawa, C. Hernández et al., “Multi-view stereo: A tutorial,” Foundations and Trends® in Computer Graphics and Vision, vol. 9, no. 1-2, pp. 1–148, 2015. [^42]: X. Wang, C. Wang, B. Liu, X. Zhou, L. Zhang, J. Zheng, and X. Bai, “Multi-view stereo in the deep learning era: A comprehensive review,” Displays, vol. 70, p. 102102, 2021. [^43]: F. Bonin-Font, A. Ortiz, and G. Oliver, “Visual navigation for mobile robots: A survey,” Journal of Intelligent and Robotic Systems, vol. 53, pp. 263–296, 2008. [^44]: M. Goesele, N. Snavely, B. Curless, H. Hoppe, and S. M. Seitz, “Multi-view stereo for community photo collections,” in 2007 IEEE 11th International Conference on Computer Vision. IEEE, 2007, pp. 1–8. [^45]: H. Tu, C. Wang, and W. Zeng, “Voxelpose: Towards multi-camera 3d human pose estimation in wild environment,” in Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part I 16. Springer, 2020, pp. 197–212. [^46]: J. Zhang, Y. Cai, S. Yan, J. Feng et al., “Direct multi-view multi-person 3d pose estimation,” Advances in Neural Information Processing Systems, vol. 34, pp. 13 153–13 164, 2021. [^47]: N. Mahmood, N. Ghorbani, N. F. Troje, G. Pons-Moll, and M. J. Black, “Amass: Archive of motion capture as surface shapes,” in Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 5442–5451. [^48]: Xsens. (2024) . [Online]. Available: [^49]: A. R. Punnakkal, A. Chandrasekaran, N. Athanasiou, A. Quiros-Ramirez, and M. J. Black, “Babel: Bodies, action and behavior with english labels,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 722–731. [^50]: T. Li, T. Bolkart, M. J. Black, H. Li, and J. Romero, “Learning a model of facial shape and expression from 4d scans.” ACM Trans. Graph., vol. 36, no. 6, pp. 194–1, 2017. [^51]: M. Hassan, P. Ghosh, J. Tesch, D. Tzionas, and M. J. Black, “Populating 3d scenes by learning human-scene interaction,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 14708–14718. [^52]: K. Zhao, Y. Zhang, S. Wang, T. Beeler, and S. Tang, “Synthesizing diverse human motions in 3d indoor scenes,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14738–14749. [^53]: Y. Zhang and S. Tang, “The wanderings of odysseus in 3d scenes,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 20481–20491. [^54]: S. L. Delp, F. C. Anderson, A. S. Arnold, P. Loan, A. Habib, C. T. John, E. Guendelman, and D. G. Thelen, “Opensim: open-source software to create and analyze dynamic simulations of movement,” IEEE transactions on biomedical engineering, vol. 54, no. 11, pp. 1940–1950, 2007. [^55]: H. Zhang, S. Christen, Z. Fan, L. Zheng, J. Hwangbo, J. Song, and O. Hilliges, “Artigrasp: Physically plausible synthesis of bi-manual dexterous grasping and articulation,” in 2024 International Conference on 3D Vision (3DV). IEEE, 2024, pp. 235–246. [^56]: J. Braun, S. Christen, M. Kocabas, E. Aksan, and O. Hilliges, “Physically plausible full-body hand-object interaction synthesis,” in 2024 International Conference on 3D Vision (3DV). IEEE, 2024, pp. 464–473. [^57]: K. Minoda, F. Schilling, V. Wüest, D. Floreano, and T. Yairi, “Viode: A simulated dataset to address the challenges of visual-inertial odometry in dynamic environments,” IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 1343–1350, 2021. [^58]: D. Rukhovich, D. Mouritzen, R. Kaestner, M. Rufli, and A. Velizhev, “Estimation of absolute scale in monocular slam using synthetic data,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, Oct 2019. #### [^59]: Z. Teed and J. Deng, “Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras,” in Advances in Neural Information Processing Systems, M. Ranzato, A. Beygelzimer, Y. Dauphin, P. Liang, and J. W. Vaughan, Eds., vol. 34. Curran Associates, Inc., 2021, pp --- 16558–16569。[在线]。可访问： [^60]: G. Varol, J. Romero, X. Martin, N. Mahmood, M. J. Black, I. Laptev, and C. Schmid, “Learning from synthetic humans,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 2017. [^61]: S. Shah, D. Dey, C. Lovett, and A. Kapoor, “Airsim: High-fidelity visual and physical simulation for autonomous vehicles,” in Field and Service Robotics: Results of the 11th International Conference. Springer, 2018, pp. 621–635. [^62]: M. Fonder and M. Van Droogenbroeck, “Mid-air: A multi-modal dataset for extremely low altitude drone flights,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops, 2019, pp. 0–0. [^63]: A. Dosovitskiy, G. Ros, F. Codevilla, A. Lopez, and V. Koltun, “Carla: An open urban driving simulator,” in Conference on robot learning. PMLR, 2017, pp. 1–16. [^64]: X. Puig, E. Undersander, A. Szot, M. D. Cote, T. Yang, R. Partsey, R. Desai, A. W. Clegg, M. Hlavac, S. Y. Min, V. Vondrus, T. Gervet, V. Berges, J. M. Turner, O. Maksymets, Z. Kira, M. Kalakrishnan, J. Malik, D. S. Chaplot, U. Jain, D. Batra, A. Rai, and R. Mottaghi, “Habitat 3.0: A co-habitat for humans, avatars and robots,” 2023. [Online]. Available: [^65]: H. Joo, H. Liu, L. Tan, L. Gui, B. Nabbe, I. Matthews, T. Kanade, S. Nobuhara, and Y. Sheikh, “Panoptic studio: A massively multiview system for social motion capture,” in The IEEE International Conference on Computer Vision (ICCV), 2015. [^66]: B. L. Bhatnagar, X. Xie, I. Petrov, C. Sminchisescu, C. Theobalt, and G. Pons-Moll, “Behave: Dataset and method for tracking human object interactions,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. [^67]: C.-H. P. Huang, H. Yi, M. Hoschle, M. Safroshkin, T. Alexiadis, S. Polikovsky, D. Scharstein, and M. J. Black, “Capturing and inferring dense full-body human-scene contact,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022. [^68]: M. Hassan, V. Choutas, D. Tzionas, and M. J. Black, “Resolving 3d human pose ambiguities with 3d scene constraints,” in International Conference on Computer Vision (ICCV), Oct 2019, pp. 2282–2292. [^69]: Z. Cai, D. Ren, A. Zeng, Z. Lin, T. Yu, W. Wang, X. Fan, Y. Gao, Y. Yu, L. Pan, F. Hong, M. Zhang, C. C. Loy, L. Yang, and Z. Liu, “Humman: Multi-modal 4d human dataset for versatile sensing and modeling,” in European Conference on Computer Vision, 2022. [^70]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, “SMPL: A skinned multi-person linear model,” ACM Trans. Graphics (Proc. SIGGRAPH Asia), vol. 34, no. 6, pp. 248:1–248:16, Oct. 2015. [^71]: G. Pavlakos, V. Choutas, N. Ghorbani, T. Bolkart, A. A. A. Osman, D. Tzionas, and M. J. Black, "Expressive body capture: 3D hands, face, and body from a single image," in Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 10975–10985. [^72]: A. A. Osman, T. Bolkart, and M. J. Black, “STAR: A sparse trained articulated human body regressor,” in European Conference on Computer Vision (ECCV), 2020, pp. 598–613. [Online]. Available: [^73]: H. Rhodin, C. Richardt, D. Casas, E. Insafutdinov, M. Shafiei, H.-P. Seidel, B. Schiele, and C. Theobalt, “Egocap: egocentric marker-less motion capture with two fisheye cameras,” ACM Transactions on Graphics (TOG), vol. 35, no. 6, pp. 1–11, 2016. [^74]: D. Zhao, Z. Wei, J. Mahmud, and J.-M. Frahm, “Egoglass: Egocentric-view human pose estimation from an eyeglass frame,” in 2021 International Conference on 3D Vision (3DV). IEEE, 2021, pp. 32–41. [^75]: M. Andriluka, L. Pishchulin, P. Gehler, and B. Schiele, “2d human pose estimation: New benchmark and state of the art analysis,” in IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014. ### [^76]: U. Iqbal, A. Milan, and J. Gall, “Posetrack: Joint multi-person pose estimation and tracking,” in Computer Vision and Pattern Recognition (CVPR), 2017, pp. 4654–4663 --- [^77]: R. Martin-Martin, M. Patel, H. Rezatofighi, A. Shenoi, J. Gwak, E. Frankel, A. Sadeghian, and S. Savarese, “Jrdb: A dataset and benchmark of egocentric robot visual perception of humans in built environments,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021. [^78]: G. Moon, H. Choi, and K. M. Lee, “Neuralannot: Neural annotator for 3d human mesh training sets,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 2299–2307. [^79]: N. Kolotouros, G. Pavlakos, M. J. Black, and K. Daniilidis, “Learning to reconstruct 3d human pose and shape via model-fitting in the loop,” in International Conference on Computer Vision (ICCV), 2019, pp. 2252–2261. [^80]: H. Joo, N. Neverova, and A. Vedaldi, “Exemplar fine-tuning for 3d human pose fitting towards in-the-wild 3d human pose estimation,” in International Conference on 3D Vision (3DV), 2020, pp. 42–52. [^81]: E. Ng, D. Xiang, H. Joo, and K. Grauman, “You2me: Inferring body pose in egocentric video via first and second person interactions,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 9890–9900. [^82]: L. Ma, Y. Ye, F. Hong, V. Guzov, Y. Jiang, R. Postyeni, L. Pesqueira, A. Gamino, V. Baiyya, H. J. Kim, K. Bailey, D. S. Fosas, C. K. Liu, Z. Liu, J. Engel, R. D. Nardi, and R. Newcombe, "Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild," Sep. 2024. [^83]: W. Xu, A. Chatterjee, M. Zollhoefer, H. Rhodin, P. Fua, H.-P. Seidel, and C. Theobalt, “Mo 2 cap 2: Real-time mobile 3d motion capture with a cap-mounted fisheye camera,” IEEE transactions on visualization and computer graphics, vol. 25, no. 5, pp. 2093–2101, 2019. [^84]: V. Guzov, A. Mir, T. Sattler, and G. Pons-Moll, “Human poseitioning system (hps): 3d human pose estimation and self-localization in large scenes from body-mounted sensors,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 4318–4329. [^85]: Z. Luo, R. Hachiuma, Y. Yuan, and K. Kitani, “Dynamics-regulated kinematic policy for egocentric pose estimation,” Advances in Neural Information Processing Systems, vol. 34, pp. 25019–25032, 2021. [^86]: P. Streli, R. Armani, Y. F. Cheng, and C. Holz, “HOOV: Hand out-of-view tracking for proprioceptive interaction using inertial sensing,” in Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, 2023, pp. 1–16. [^87]: Y. Yuan and K. Kitani, “Ego-pose estimation and forecasting as real-time pd control,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 10082–10092. [^88]: A. Zhao, C. Tang, L. Wang, Y. Li, M. Dave, C. D. Twigg, and R. Y. Wang, “EgoBody3M: Egocentric Body Tracking on a VR Headset using a Diverse Dataset,” in European Conference on Computer Vision, Milano, 2024. [^89]: "Unreal engine," . [^90]: P. Pueyo, E. Cristofalo, E. Montijano, and M. Schwager, “Cinemairsim: A camera-realistic robotics simulator for cinematographic purposes,” in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2020, pp. 1186–1191. [^91]: P.-E. Sarlin, M. Dusmanu, J. L. Schönberger, P. Speciale, L. Gruber, V. Larsson, O. Miksik, and M. Pollefeys, “LaMAR: Benchmarking Localization and Mapping for Augmented Reality,” in Computer Vision – ECCV 2022, S. Avidan, G. Brostow, M. Cissé, G. M. Farinella, and T. Hassner, Eds. Cham: Springer Nature Switzerland, 2022, vol. 13667, pp. 686–704. [^92]: K. Aso, D.-H. Hwang, and H. Koike, “Portable 3d human pose estimation for human-human interaction using a chest-mounted fisheye camera,” in Proceedings of the Augmented Humans International Conference 2021, 2021, pp. 116–120. [^93]: GoPro. (2024) . [Online]. Available: ### [^94]: S. Pujades, B. Mohler, A. Thaler, J. Tesch, N. Mahmood, N. Hesse, H. H. Bülthoff, and M. J. Black, “The virtual caliper: Rapid creation of metrically accurate avatars from 3d --- “测量结果”，《IEEE可视化与计算机图形学汇刊》，第25卷，第5期，第1887–1897页，2019年。 [^95]: A. Piergiovanni, W. Kuo, and A. Angelova, “Rethinking video vits: Sparse video tubes for joint image and video learning,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 2214–2224. [^96]: Y. Zhou, C. Barnes, J. Lu, J. Yang, and H. Li, “On the Continuity of Rotation Representations in Neural Networks,” in 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE, Jun. 2019, pp. 5738–5746. [^97]: K. He, X. Zhang, S. Ren, and J. Sun, “Delving deep into rectifiers: Surpassing human-level performance on imagenet classification,” in Proceedings of the IEEE international conference on computer vision, 2015, pp. 1026–1034. [^98]: S. YR, “Daniel-code/TubeViT,” May 2024. [^99]: K. Soomro, “Ucf101: A dataset of 101 human actions classes from videos in the wild,” arXiv preprint arXiv:1212.0402, 2012. [^100]: B. Kerbl, G. Kopanas, T. Leimkühler, and G. Drettakis, “3d gaussian splatting for real-time radiance field rendering,” ACM Transactions on Graphics, vol. 42, no. 4, pp. 1–14, 2023. [^101]: J. L. Schonberger and J.-M. Frahm, “Structure-from-motion revisited,” in Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, pp. 4104–4113. [^102]: C. Zhao, Q. Sun, C. Zhang, Y. Tang, and F. Qian, “Monocular depth estimation based on deep learning: An overview,” Science China Technological Sciences, vol. 63, no. 9, pp. 1612–1627, 2020. [^103]: A. Dai and M. Nießner, “3dmv: Joint 3d-multi-view prediction for 3d semantic scene segmentation,” in Proceedings of the European Conference on Computer Vision (ECCV), 2018, pp. 452–468. [^104]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), vol. 36, no. 6, Nov. 2017. ### [^105]: Optimization in Robotics and Biomechanics (ORB-HD), “Deface: Video Anonymization by Face Detection,” Jun. 2024, gitHub repository, MIT License. [Online]. Available: --- ### A 数据获取 MultiEgoView数据集、其结构描述及使用信息可在此处查看：。我们将发布EgoSim的代码以促进未来的研究和数据生成。表3展示了EgoSim丰富的自定义选项概览。图5则展示了我们场景的多样性。

Figure 5: An excerpt of our example images from 24 locations across 4 scenes.

![Image](images/ada58f68d515ba13130a64748e18070315172fc2f7b8f96a82487db8b83978e1.jpg) ![Image](images/6332f2344c86f04fbfdf8a28c15490a9ed75250e7af86cf16a988040481b59f2.jpg) ### B 模型复杂度与消融研究我们的多视角Transformer基于ViT架构，拥有1.14亿个可训练参数，推理时大约需要1.7GB的显存。其输入/输出窗口最长可达5秒，在RTX 4090显卡上以批量大小1进行推理时，耗时仅为17.6毫秒，因此该系统具备实时处理能力。若使用6个摄像头且批量大小设为12，显存需求则会增至20GB。 ### B.1 摄像头分析以往的研究采用了不同数量的佩戴式摄像头 [^5] [^6] [^35] [^85]。在我们的消融实验（表4）中，我们证明了使用更多摄像头的优势。在该实验中，我们使用了数据集中的场景（1）和（2）。当使用六个摄像头时，我们的多视角Transformer能取得最低的全局MPJPE值。即便摄像头安装在膝盖和手腕等快速移动的部位（详见C节），我们的方法仍能准确还原人体姿态，不过全局平移误差会有所增大。仅使用头部和手腕摄像头会导致更高的姿态误差，尤其是在腿部和脚部的运动方面（三种配置下根部对齐的脚部位置误差分别为0.068米、0.106米和0.145米）。使用更多摄像头还会使动作更加明显和活跃。模型倾向于对序列中的姿态取平均值，而非捕捉快速运动；摄像头数量越少，抖动就越低，这一发现也得到了定性分析的支持。这凸显了额外摄像头的优势，尤其是在准确估计肢体姿态方面，即便这些摄像头安装在快速移动的部件上也是如此。这也表明我们并不需要摄像头固定在头部或骨盆等稳定位置。 ---

Table 3: Details of EgoSim's features that allow simulating complex scenarios for body-worn sensors in egocentric settings. These features are especially useful in contexts where data is scarce and data collection poses significant challenges or requires extensive time.

EgoSim Feature	Description
Avatar skeletal mesh options	Compatible with SMPL [^70], SMPL+H [^104], SMPL-X [^71], and custom skeletal meshes via the FBX format
Avatar motion capabilities	Supports MoCap data [^26] [^47] as well as synthetic motions
Camera customization	Adjustable image resolution, field of view (FOV), and auto exposure settings including speed, bias, brightness limits, and spring system between body and camera for realistic motion simulation of nonrigid camera mounting
Image noise and distortion	Customizable noise intensity and horizontal bump distortion
Environmental settings	Support for various environments including indoor and outdoor settings, diverse weather conditions, and lighting variations based on Unreal Engine [^89] marketplace
Egocentric and external camera integration	Support for both egocentric cameras attachable to different body parts and stationary external cameras to facilitate third-person perspective captures.

Table 4: Results of different camera setups. Adding more cameras yields better pose prediction. Training and evaluation were conducted on synthetic scenes (1) and (2).

cameras	Global MPJPE	PA-MPJPE	MTE	MRE	MJAE	Jerk
all six	0.18	0.041	0.14	0.334	9.3	21.7
wrists & knees	0.238	0.051	0.197	0.376	11.1	19.4
head & wrists	0.293	0.06	0.243	0.454	11.6	14.6
head	0.345	0.0823	0.286	0.452	14.7	0.9

#### B.2 场景分析在主论文中，我们研究了模型的仿真到现实迁移能力。在此，我们探究该模型在不同场景间迁移知识的能力。表5显示，进行场景迁移时姿态预测误差会显著上升。有趣的是，模型通常能够预测根节点姿态（MTE值较低）以及虚拟人物的下半身姿态，而手臂部分的预测效果较差，定性检查也证实了这一点。无论是在仅用一个场景训练并在场景（2）上评估，还是用场景（1）和（2）训练并在差异较大的场景（3）和（4）上评估，这一趋势都保持一致。这表明未来通过生成新场景来提升数据集的泛化能力存在机遇。一旦我们的EgoSim被接收发表，后续研究便可针对性地定制合成场景，以在目标领域实现最佳性能。 ### C 摄像头位置分析安装在手腕或膝盖等部位的肢体摄像头具有更高的速度、加速度和抖动，因此更难以跟踪和定位。如表6所示，头部和骨盆是最稳定的安装点，运动幅度最小。相比之下，由于行走等活动时手臂运动迅速，手腕的平均加速度最高。膝盖的加速度略低一些，因为在所有站立动作中它都相对平稳。总体而言，MultiEgoView提供了多种稳定性各异的身体摄像头安装位置。 ---

Table 5: Results of scene transfer.

Train Scene	Eval Scene	Global	PA-	MTE	MRE
Downtown (1)	Downtown (1)	0.18	0.043	0.15	0.270
Downtown (1)	CAB (2)	0.37	0.143	0.28	0.466
Synthetic (1) & (2)	Synthetic (1) & (2)	0.18	0.041	0.14	0.334
Synthetic (1) & (2)	Synthetic (3) & (4)	0.42	0.148	0.34	0.47

Table 6: Statistics about the movements of the real-world data of MultiEgoView. The head and pelvis offer the most stable positions on the body, while wrists and knees experience much higher average accelerations and changes of acceleration.

Joints	mean velocity (m/s)	mean acceleration (m/s $^{2}$)	mean jerk (m/s $^{3}$)
Head	0.53 $\pm$ 0.12	2.37 $\pm$ 1.80	113.46 $\pm$ 192.24
Pelvis	0.48 $\pm$ 0.12	2.39 $\pm$ 1.77	119.46 $\pm$ 192.24
Wrists	0.83 $\pm$ 0.15	4.95 $\pm$ 2.28	163.4 $\pm$ 241.90
Knees	0.61 $\pm$ 0.12	3.58 $\pm$ 1.69	162.4 $\pm$ 187.18

### D 数据录制流程参与数据录制完全出于自愿。参与者需签署同意书，以授权数据录制及后续的数据发布。他们有权在数据采集过程开始前或进行期间随时撤销对录制和发布的许可。参与者的姓名和身份将被严格保密且不会对外披露。作为感谢，参与者会因参与本研究而收到一份小礼物。在获得知情同意书后，参与者会简要了解录制流程以及研究所需的特定动作。录制环节从标准化的起始位置开始，随后进行简短的校准过程。接着通过拍手声来激活并同步摄像头。参与者会在预设区域内按照顺序执行指定的动作。为了增加位置和摄像视角的变化性，参与者被要求在每个动作重复之间移动1到5步。录制环节以参与者返回初始起始位置而结束。一次录制平均耗时10分28秒，标准差为1分50秒，每位参与者最多可录制3次。 ### E 数据标注为了深入理解人类动作的语义，我们参照BABEL [^49]中的分类标准，对真实场景下的录制视频进行了人工标注。BABEL为AMASS数据集中的大部分内容标注了动作标签。标注员识别出相关片段并为其分配标签，随后将原始的基于语言的标注归类到相应的动作类别中。基于BABEL框架，我们在录制中纳入了BABEL中常见的动作，详见表7。我们的标注涵盖了从起始位置到返回起始位置的整个序列。录制过程中，参与者按顺序完成不同动作，动作之间通常会行走几步。除非这些中间步骤超过几步，否则不会被标注为独立的片段。数据集中大多数动作类别的时长约为6分钟。其中步行最为常见，因为参与者在不同动作之间经常需要行走。MultiEgoView涵盖了从腿部、手臂动作到体育活动的多种动作，因此是评估基于BABEL的系统在真实数据上表现的理想资源。 ---

Table 7: Overview of different movements in the real-world data of MultiEgoView. MultiEgoView covers a wide range of 35 different movements.

Motion	Fraction (%)	Motion	Fraction (%)
jump	3.18	stretch body left right	2.56
walk	11.68	wave arm	2.48
A-pose	2.95	bicep curls	2.51
kick ball	2.88	elbow to opposite knee	2.44
throw ball	3.07	raise left/right arm	2.46
stand	3.80	arms in front of chest	2.50
dribble ball	2.58	squats	2.35
side steps	3.41	T-pose	3.75
aim with hand	2.84	arms over head	2.34
rotate arms	3.0	walk backward	2.38
move arms to front	2.38	balance step feet in one line	2.60
lunge with arms to the side	3.11	pick something up one arm	2.69
lunge	2.26	pick something up both arms	1.81
punch the air in front	2.49	blow kiss	1.91
walk with extended arms	2.53	bow	1.83
swing tennis racket	2.77	crouch down	2.04
arms to face	2.34	jumping jacks	1.63
stretch arms left and right	2.27

### F 伦理考量 EgoSim对摄像机画面的高保真模拟解决了与动作捕捉相关的若干伦理问题，尤其是在真实场景中。动作捕捉会给被记录者带来隐私方面的担忧，尤其是当需要采集包含多样化参与者的大规模代表性人体数据时。我们的模拟器通过生成来自逼真虚拟形象的数据来缓解这一问题，这些虚拟形象的外观可灵活调整，且其行为基于真实的人类动作。这不仅保护了个人隐私，还能创建包含多种族背景的多样化数据集，这对于提升算法的泛化能力至关重要。因此，我们的模拟器为推动真实场景下的感知推理发展提供了宝贵的工具，同时兼顾了伦理要求。佩戴在身上的摄像头能够捕捉到丰富的环境细节，从而具备同时理解主体自身与环境的能力。使用更多摄像头来采集数据，总会带来更多的监控机会。在本研究中，由于摄像头数量较多，导致参与者附近的人员会无意中被录入数据。MultiEgoView专注于主体本身，因此我们选择了行人较少的录制区域，以减少数据集中对其他人的暴露程度。此外，为了保护旁观者的隐私，我们借助去脸算法自动检测并模糊处理所有面部信息[^105]。模糊处理后的图像示例如图6所示。总之，我们通过向参与者支付报酬、获取其数据录制的书面同意、通过面部模糊来保护隐私，以及确保不泄露任何个人信息，解决了与数据相关的问题。我们相信我们的工作不会造成任何有害后果或负面的社会影响。 ### G许可证、数据可访问性与维护相关数据及其文档将依据CC BY-NC-SA许可证发布，可在查看。该数据集由PNG图像和CSV文件组成，这些均为开放且广泛使用的格式，便于访问和使用。SMPL-X格式的合成数据真实标注可通过AMASS网站获取。托管网站上提供了关于如何读取和利用该数据集的详细说明。论文被接收后，EgoSim及我们的方法相关代码将依据GPL-3.0许可证在GitHub上发布。数据集和代码将托管在ETH服务器上，以确保其长期保存与可用性。 --- ![Image](images/d12c224aa428b6c103c7dce652bc7ac381ab8fceb65f17d080a0e249e2dcae1b.jpg)

Figure 6: MultiEgoView typically does not feature many people in the field of view. We preserve people's privacy by automatically blurring their faces.

作者确认数据的收集过程符合参与者的意愿，并对与该数据集相关的任何权利侵犯行为承担全部责任。 --- ### 检查清单 1. 对于所有作者…… (a) 摘要和引言中提出的主要主张是否准确反映了论文的贡献与范围？是的。 (b) 您是否描述了工作的局限性？是的。 (c) 您是否讨论了工作可能产生的负面社会影响？是的。 (d) 您是否阅读了伦理审查指南并确保论文符合相关要求？是的。 2. 如果您包含了理论结果…… (a) 您是否陈述了所有理论结果的完整假设条件？没有包含理论结果。 (b) 您是否给出了所有理论结果的完整证明？没有包含理论结果。 3. 如果您开展了实验（例如用于基准测试）…… (a) 您是否提供了复现主要实验结果所需的代码、数据和说明（要么在补充材料中，要么提供URL）？是的。 (b) 您是否说明了所有的训练细节（例如数据划分、超参数及其选取方式）？是的。 (c) 您是否报告了误差范围（例如多次运行实验后针对随机种子的误差）？是的。 (d) 您是否说明了计算总量及所使用的资源类型（例如GPU型号、内部集群或云服务提供商）？是的。 4. 如果您使用了现有资源（例如代码、数据、模型）或正在整理/发布新资源…… (a) 如果你的作品使用了现有素材，你是否注明了创作者的出处？是的。 (b) 你是否说明了这些素材的许可信息？是的。 (c) 你是否在补充材料中或通过网址提供了任何新素材？是的。 (d) 你是否讨论了针对所使用/整理的数据来源人群的知情同意情况及其获取方式？是的。 (e) 你是否探讨了所使用/整理的数据中是否包含个人身份信息或具有冒犯性的内容？是的。 5. 如果你采用了众包方式或开展了涉及人类受试者的研究…… (a) 你是否附上了给参与者的完整指导说明文本及截图（如适用）？是的。 (b) 你是否描述了参与者可能面临的风险，并附上机构审查委员会（IRB）的批准链接（如适用）？是的。 (c) 你是否说明了支付给参与者的每小时预估工资以及用于支付参与者报酬的总金额？是的。