# EgoBody：基于头戴式设备的交互人体形状与运动数据张思伟 $^{1}$ 马千丽 $^{1}$ 张燕 $^{1}$ 钱之茵 $^{1}$ 权泰仁 $^{1}$ 马克·波勒费斯 $^{1,2}$ 费德里卡·博戈 $^{2*}$ 唐思宇 $^{1}$ $^{1}$苏黎世联邦理工学院 $^{2}$微软公司 {司伟·张、千丽·马、严·张、泰仁·权、马克·波勒费斯、思宇·唐}@inf.ethz.ch 摘要：从自我中心视角理解社交互动对辅助机器人、增强现实/虚拟现实等诸多应用而言至关重要。而推理互动过程的关键在于从自我中心视角获取互动对象的身体姿态与运动信息。然而，该领域的研究因缺乏相应数据集而严重受阻。现有数据集在规模、采集/标注方式、真实值质量或互动多样性方面均存在局限。为此我们提出了EgoBody——一种用于从自我中心视角估计复杂3D场景中互动时的人体姿态、形状与运动的新颖大规模数据集。我们采用Microsoft HoloLens2头戴式设备来记录丰富的自我中心数据流（包括RGB图像、深度图、眼动追踪数据以及头部与手部追踪数据）。为了获得精准的3D真实值，我们将头戴设备与多Kinect阵列进行校准，并将表现力丰富的SMPL-X人体网格拟合到多视角RGB-D帧上，从而随时间重建出相对于场景的人体形状与姿态。我们共收集了125个序列，涵盖多种互动场景，并推出了首个针对从自我中心视角估计互动对象全身姿态与形状的基准测试。我们对现有最先进的方法进行了全面评估，指出了它们在自我中心场景下的局限性，并利用我们的高质量标注数据解决了这些问题。相关数据及代码可在获取。关键词：姿态估计、自我中心视角、动作捕捉、数据集 ## 1 引言人类会不断彼此互动与交流；对我们而言，理解社交互动对象的动作、意图与情绪几乎是本能。但机器却无法做到这一点。要实现自动化的人类互动理解，首要步骤便是从自我中心视角（例如通过头戴式设备）估计社交互动对象（“被互动者”）的3D身体姿态、形状与运动。解决这一极具挑战性的问题对辅助机器人、增强现实与虚拟现实等诸多应用而言至关重要，这类应用中传感器通常只能感知到 --- ![Image](images/36780ea33fe6550bb1fdfa2abdc42a27e3cb2897c7190df163543bd2fd304d55.jpg)

Fig. 1: EgoBody is a large-scale dataset capturing ground-truth 3D human motions during social interactions in 3D scenes. Given two interacting subjects, we leverage a lightweight multi-camera rig to reconstruct their 3D shape and pose over time (top row). One of the subjects (blue) wears a head-mounted device, synchronized with the rig, capturing egocentric multi-modal data like eye gaze tracking (red circles in first two rows) and RGB images (bottom).

从自我中心视角看到的被互动者。尽管这一问题至关重要，但迄今为止文献中对其的关注甚少。虽然已有大量基于RGB(D)帧的全身姿态（有时也包括形状）估计方法[14,20,30,40,41,45,48,60,73,82,91,94,99–102]，但它们在头戴式设备采集的数据上的表现往往较差（详见第5节）。实际上，这种采集设置带来了独有的挑战，而大多数方法至今尚未明确应对这些挑战。任何旨在理解被互动者姿态与形状的方法都必须应对严重的身体截断问题、运动模糊现象（由头戴设备的自身移动加剧），以及人物进出视野等情况。造成这种研究受限的原因在于数据的缺乏。一方面，大多数人体运动数据集是由第三人称视角摄像头采集的，并不包含以自我为中心的帧 [^23] [^30] [^34] [^37] [^38] [^65] [^86] [^103]，这些数据无法真实反映AR/VR场景；且大多数数据集一次仅捕捉一个受试者，缺乏互动信息 [^30] [^34]。另一方面，现有的以自我为中心的数据集在标注方式、规模以及互动多样性方面存在局限。它们要么仅关注粗粒度的互动/动作标签 [^21] [^56] [^67] [^75] [^80]，要么仅提供佩戴摄像头者的姿态数据，却未考虑 [^84] [^85] [^93] [^98]，或者涉及互动对象 [^29] 的数据量极少。You2Me [^68] 收集了两人互动时的以自我为中心的RGB图像，并标注了3D骨骼信息，但缺少3D场景上下文及人体形状数据。最近推出的Ego4D [^27] 为多种任务采集了大量以自我为中心的视频，包括动作识别和社会互动理解，但同样没有人体姿态、形状和运动的3D真值数据。为了填补这一空白，我们提出了EgoBody——一个独特且大规模以自我为中心的数据集，能够捕捉社交互动过程中的高质量3D人体运动数据。我们重点关注两人互动场景，并根据社会学中研究的社会互动类别来定义互动情境 [^8]。与大多数仅提供RGB流的数据集不同，EgoBody采集的是以自我为中心的多模态数据，具体包括 ---

Table 1: Comparison with existing image-based datasets with 3D human pose annotations. “Fr.#” denotes frame numbers. “3rd-PV” and “Ego” refers to the third-person-view and egocentric view, respectively. “Mesh” refers to the body mesh. “Interact” refers to social interactions. “Global-Cfg.” refers to global translation and rotation.

Dataset	Fr.#	Sub.#	3rd-PV	Ego	Mesh	Gaze	3D-Scene	Interact	Global-Cfg.
TNT15 [^64]	13k	4	✓		✓				✓
3DPW [^63]	51k	7	✓		✓ $^{{*}}$			✓
PROX [^30]	100k	20	✓		✓ $^{{*}}$		✓		✓
Panoptic [^38]	297k	180+	✓					✓	✓
HUMBI [^97]	380k	772	✓		✓ $^{{*}}$	✓			✓
TotalCapture [^86]	1,900k	5	✓						✓
Human3.6M [^34]	3,600k	11	✓		✓				✓
Mo2Cap2 [^93]	15k	5		✓
You2Me [^68]	150k	10		✓				✓
HPS [^29]	300k	7		✓	✓ $^{{*}}$		✓		✓
Ours	220k	36	✓	✓	✓ $^{{*}}$	✓	✓	✓	✓

$^{*}$ 由参数化人体模型定义的身体网格。两名互动受试者精确的3D人体形状、姿态和运动真值数据，同时还包括佩戴摄像头者的视线追踪信息。此外，EgoBody还提供了精确的3D场景重建数据，从而能够对摄像头使用者周围的物理世界形成全面且连贯的3D认知。这些以自我为中心的数据是通过Microsoft HoloLens2头戴设备采集的 [^3]，该设备能提供丰富的多模态数据流：RGB、深度、头部、手部及视线追踪数据，且这些数据在空间和时间上相互关联。尤其是视线信息，能反映互动过程中人类的注意力情况。通过提供与其他模态同步的视线追踪数据，EgoBody为研究人类注意力、互动与运动之间的关系打开了大门。我们利用无标记动作捕捉技术，自动生成高质量的3D人体形状和运动标注数据。具体来说，我们采用由多个Azure Kinect设备组成的多摄像头系统 [^1] 作为动作捕捉系统。不过，由于硬件限制，将自我中心视角与第三人称视角的原始数据流结合起来仍然极具挑战性。具体而言，由于工厂校准不够精确以及跟踪漂移现象，Kinect-HoloLens2的校准会出现误差。为此，我们提出了一种基于人体关键点的优化方案。借助经过精心校准的数据，我们进一步构建了一条高效的动作捕捉流程，该流程基于[^102]来将SMPLX人体模型[^73]拟合到多视角及自我中心RGB-D数据中，从而为佩戴摄像头的人以及互动对象重建出精准的3D全身网格。通过这种方式，我们获得了在所有传感器坐标系以及世界坐标系中均精准且经过良好校准的基准数据，而这类数据在大多数现有数据集中是无法获取的。这套系统轻便易用，可轻松部署于各种环境中。 --- 借助EgoBody数据集，我们推出了首个针对头戴式显示器所捕捉互动场景中互动对象3D人体姿态与形状估计（3DHPS）的基准测试。通过在EgoBody测试集上评估最先进的3DHPS方法，我们仔细分析了现有方法在这种自我中心场景下的局限性并加以指出。我们通过在该数据集的训练集上对三种最新方法[^36]、[^48]、[^57]进行微调，证明了EgoBody数据集的实用性，最终在我们的测试集上取得了显著提升的性能。最后，通过跨数据集评估我们发现，在EgoBody数据集上微调后的模型在You2Me数据集[^68]上的表现也同样更优。我们的贡献总结如下：（1）我们提供了首个大规模自我中心数据集EgoBody，该数据集包含自我中心视角与第三人称视角的多模态数据，并标注了互动人员的高质量3D真实动作数据以及3D场景重建信息；（2）我们在测试集上对最先进的3DHPS方法进行了全面评估，揭示了它们在自我中心场景下的不足，为未来相关方法的研究提供了参考；（3）我们证明了训练集的实用性：仅需在上面进行简单微调，就能显著提升现有方法在我们测试集以及另一自我中心数据集上的性能与鲁棒性；（4）我们推出了首个针对社交互动中自我中心视角下互动对象3DHPS估计的基准测试。 ## 2 相关工作 3D人体姿态、动作及互动相关数据集。大量数据集专注于第三人称视角下的3D人体姿态与动作研究[23,30,34,37,38,52,63–65,72,86,97,103]。例如，Human3.6M [^34]和AMASS [^62]利用光学标记点式动作捕捉技术收集了大量高质量的3D动作序列；不过它们局限于受控的摄影棚环境，且现有的图像会受到标记点的干扰。PROX [^30]能够在不涉及人际互动的情况下，从单目RGB-D数据中无标记地捕捉人们在3D场景中的运动。借助LEMO [^102]，重建出的动作质量还能进一步提升。Panoptic Studio数据集[37–39,92]采用多视角摄像系统捕捉人们之间的互动，并标注了身体与手部3D关节以及面部特征点。CHI3D [^23]聚焦于近距离的人际接触场景，利用动作捕捉系统提取真实的3D骨骼数据。3DPW [^63]通过将SMPL [^59]模型拟合到惯性测量单元数据与手持摄像头拍摄的RGB图像上，来重建人体的3D形状与动作，但无法完成3D环境重建。这些数据集均未提供自我中心视角的数据。在以自我为中心的视觉数据集中，手与物体的交互以及动作识别受到了大量关注，但通常缺乏三维真实数据[10,16,17,22,42–44,51,56,67,70,75,77,80,96,104]。Mo2Cap2 [^93] 和 xR-EgoPose [^84] [^85] 提供了用于预测佩戴相机者身体姿态的图像-三维骨骼对，但并未涉及交互对象。HPS [^29] 能够重建在大型三维场景中移动的佩戴相机者的身体姿态和形状；不过只有少数帧包含与交互对象的互动。You2Me [^68] 为互动的双方提供三维骨骼数据，这些数据与胸戴式相机及外部相机拍摄的图像相匹配；但该数据集不包含身体形状或三维场景标注。 --- EgoMoCap [^58] 仅利用自我中心的RGB视频流，分析户外社交场景中的交互对象身体形状和姿态。表1对比了EgoBody与其他最相关的人体运动数据集。EgoBody是首个同时采集校准后的自我中心视角和第三人称视角图像的运动捕捉数据集，涵盖了多种互动场景、多模态数据以及丰富的三维真实标注。此外，EgoBody还提供了佩戴相机者的视线数据，以便开展涉及人类注意力与运动分析的潜在社交互动研究。三维人体姿态估计。从第三人称视角的RGB(D)图像中估计三维人体姿态这一问题在文献中已被广泛研究——无论是基于单帧图像[5,9,12,15,20,26,28,30,40,46–50,55,57,66,71,73,81,83,87,89,91,94,101,105]、单目视频 [^14] [^41] [^45] [^60] [^82] [^99] [^100] [^102] 还是多视角摄像机序列 [^19] [^24] [^33] [^39] [^78] [^90]。SPIN [^48] 通过结合深度学习与优化框架，从单张RGB图像中估计SMPL [^59] 参数。METRO [^57] 无需依赖参数化身体模型即可重建人体网格。大多数方法要求输入“全身”图像，因此当身体部分被遮挡或截断时（如在自我中心视频中的交互对象），其鲁棒性便会下降。EFT [^36] 在训练阶段引入裁剪增强技术，以更好地重建高度截断的人体。PARE [^46] 则专门学习预测由身体部位引导的注意力掩码。然而，当这些方法应用于自我中心数据时，性能会出现显著下降。正如第5节所示，我们的数据集有助于填补这一性能缺口。自我中心姿态估计问题正受到越来越多的关注。大多数方法基于图像、惯性测量单元数据、场景线索或身体-物体交互来估计佩戴相机者的三维骨骼 [^29] [^35] [^61] [^79] [^84] [^85] [^98]。You2Me [^68] 会以交互对象的姿态作为额外线索来估计佩戴相机者的姿态。Liu等人 [^58] 利用户外场景中的自我中心视频来估计交互对象的三维人体姿态和形状，但互动多样性有限。以自我为中心的社交互动学习。以自我为中心的视频为研究社交互动提供了一种独特的方式。大多数方法侧重于社交互动识别 [^6] [^7] [^18] [^21] [^54] [^67] [^77] [^95] [^96]。Lee等人 [^53] 根据以自我为中心的视频，制作了佩戴摄像头者一天的活动故事板摘要。Northcutt等人 [^69] 收集了一个专注于对话的以自我为中心的交流数据集。最近，Ego4D [^27] 数据集收集了大量用于各种任务的以自我为中心的视频，包括手-物体交互和社交互动理解，为推动以自我为中心领域的未来研究取得了重要进展。EgoBody的独特之处在于，我们是首个提供丰富3D标注的以自我为中心的数据集，包括所有互动对象的精确3D人体姿态和形状信息。 ## 3 构建EgoBody数据集 EgoBody收集了记录受试者在各种室内场景中进行的多样化社交互动的序列。每个序列中，两名受试者会参与一种或多种互动场景（见第3.1节）。他们的表现是从以自我为中心视角和第三人称视角进行捕捉的。其中一名受试者（即佩戴摄像头者）会佩戴 ---

Table 2: EgoBody interaction scenarios.

Category	Interaction Scenarios
Cooperation	Guess by Action game, catching and tossing, searching for items, etc.
Social exchange	Teaching to dance/workout, giving a presentation, etc.
Conflict	Arguing about a specific topic
Conformity	One subject instructs the other to perform a task
Others	Haggling, negotiation, promotion, self-introduction, casual chat, etc.
Action Types	Sitting, standing, walking, dancing, exercising, bending, lying, grasping, squatting, drinking, passing objects, catching, throwing, etc.

HoloLens2头戴设备 [^3]，用于采集多模态的以自我为中心数据（RGB、深度图像、头部、手部及眼部追踪数据流）。而他们的互动对象则不佩戴任何设备。佩戴摄像头的受试者的HoloLens2设备会与三到五台Azure Kinect摄像头 [^1] 进行校准和同步，这些摄像头从不同视角捕捉互动过程（见第3.2节）。基于这些多视角数据，我们为所有帧获取了丰富的真实标注信息，包括两名互动受试者的3D全身姿态和形状，以及重建的3D场景（见第3.3节）。EgoBody的相关统计数据将在第4节中报告。 ### 3.1 互动场景为了引导受试者并获得丰富多样的身体动作数据，我们在社会学研究中的五大互动类别 [^8] 内定义了多种互动场景：合作、社会交换、冲突、从众及其他，涵盖了多样化的动作类型（见表2）和身体姿态（见图5）。对于每个序列，我们会预先设定一种或多种互动场景，并要求两名参与者据此进行互动。我们允许受试者在每个互动场景内即兴发挥，以确保类别内的差异性。通过在3D场景中采集数据，进一步增加了人类与场景互动的多样性。 ### 3.2 数据采集设置如前所述，EgoBody收集以自我为中心视角和第三人称视角的多模态数据，以及3D场景重建数据。图2展示了我们的系统设置。以自我为中心视角的采集：我们使用Microsoft Hololens2 [^3] 头戴设备来记录以自我为中心的数据。通过Research Mode API [^88]，我们能以30 FPS的速率采集1920×1080分辨率的RGB视频，以1-5 FPS的速率采集长距深度帧（512×512），同时以60 FPS的速率采集眼部视线、手部和头部追踪数据。需要注意的是，由于[^88]中提到的“深度混叠”现象，我们并未以更高帧率采集深度数据（AHAT）。我们观察到，对于低功耗设备而言，采集过程中会出现帧丢失和图像模糊等典型问题。第三人称多视角采集：我们使用三到五台Azure Kinect摄像头 [^1]（分别标记为Cam1~Cam5）来采集多视角、同步的RGB- --- ![Image](images/4c42f873ab7946ede1944a9865c4e24820d5224a112e2058848d8ff0f93077c9.jpg)

Fig. 2: Capture setup. Multiple Azure Kinects capture the interactions from different views (A, B, C), and a synchronized HoloLens2 worn by one subject captures the egocentric view image (D), as well as the eye gaze (red circle) of the camera wearer.

D视频记录了互动中的受试者。拥有多视角数据有助于我们的运动重建流程获取真实数据（见第3.3节）。录制过程中摄像头保持固定，它们以30帧/秒的速率采集同步的RGB图像（1920×1080）和深度图像（640×576）。 3D场景表示。我们使用运行着3D扫描应用的iPhone12 Pro Max对环境进行预扫描[^2]。场景重建结果以3D三角网格形式存储，每个网格包含$10^5 \sim 10^6$个顶点。我们选择这一方案是因为其效率高且重建质量好。校准与同步。对于每台Kinect设备，我们通过Azure Kinect DK获取其相机参数[^1]；对于HoloLens2，我们则利用研究模式提供的相机参数[^88]。我们通过音频线对Kinect设备实现硬件级同步。由于无法用类似方式同步HoloLens2与Kinect，我们采用所有设备都能看到的手电筒光作为第一帧的信号。Kinect之间以及Kinect与HoloLens2之间的相机通过棋盘格进行空间校准，再通过刚性对齐步骤（ICP [^11]）进一步优化。基于人体关键点，我们对Kinect与HoloLens2的校准进行了进一步优化（见第3.3节）。我们以Cam1为基准定义世界坐标系原点。一旦将HoloLens2的坐标系与Cam1的世界原点校准一致，就能依靠其内置的头戴式追踪器[^88]来追踪头显的位置，进而确定其相机位置。我们还将3D场景注册到Cam1的坐标系中，并在该空间内重建人体模型（详见补充材料）。 ### 3.3 真实数据获取借助多Kinect设备采集的RGB-D图像以及第一人称视角图像，我们的运动重建流程能为每一帧、每个受试者估算出对应的SMPL-X人体参数[^73]，包括 --- ![Image](images/ef5e634998c870fd58f7738343480623217f156f71577cb6563897633cc745fa.jpg) ![Image](images/85774d2c42eba003fe75d686661fa6a5d378b52a337af181baffd14943bfd084.jpg)

Fig.3: Which body part attracts

more attention? For each joint group, Fig.4: Accuracy of SoTAs on 3DPW and % of the occurrences it is the closest to EgoBody with the advance of the 3DHPS the 2D gaze point in the image. field.

全局平移$\gamma \in \mathbb{R}^3$、体型$\beta \in \mathbb{R}^{10}$、姿态$\theta \in \mathbb{R}^{96}$（身体和手部）以及面部表情$\phi \in \mathbb{R}^{10}$。针对HoloLens2出厂校准不够精确导致的深度数据误差，进而引发Kinect与HoloLens2校准不准的问题，我们提出了一种基于关键点的优化方案，以便更好地利用HoloLens2采集的数据。我们首次实现了利用多视角Kinect相机和沉浸式头戴式显示器重建精确的3D人体姿态、体型及运动。得益于优化后的Kinect与HoloLens2校准结果，无论是第一人称视角还是第三人称视角的图像，都能获得每帧精确的姿态数据、自然的人体运动动态以及逼真的人体-场景交互效果。需要注意的是，我们是在Cam1的坐标系中估算人体参数的。数据预处理。我们使用OpenPose[^13]在所有（Kinect和HoloLens2）RGB图像中检测2D人体关节点。OpenPose会为每张图像中检测到的人体分配一个身体索引来区分不同个体。总体而言该方法效果不错，但会产生一些误检，需后续处理。为了从Kinect深度图像中提取人体点云，我们使用了Mask-RCNN[^31]和DeepLabv3[^31]。我们会人工检查数据以剔除错误检测结果（例如背景中无关的人员、被误判为人的场景物体）。我们还会确保不同帧和视角下受试者的识别一致性，并手动修正不准确的2D关节点检测结果，这类情况多由人体相互遮挡或人体与场景遮挡导致。更多细节详见补充材料。逐帧拟合。如[^102]所述，给定Kinect深度数据和2D关节点，我们首先针对每个受试者/帧分别优化SMPL-X参数，最小化一个与[^30]中定义的目标函数类似的函数： $$ E(\boldsymbol{\beta},\boldsymbol{\gamma},\boldsymbol{\theta},\phi)=E_{J}+\lambda_{D}E_{D}+E_{p r i o r}+\lambda_{c o n t a c t}E_{c o n t a c t}+\lambda_{c o l l}E_{c o l l}, $$ 其中$\beta, \gamma, \theta, \phi$为优化后的SMPL-X参数。给定来自n个视角的预处理后的OpenPose 2D关节点$J_{OP}^{v}$（$v \in \{1, ..., n\}$），多视角关节误差项$E_{J}$会最小化所有视角下$J_{OP}^{v}$与SMPL-X关节点在相机视图v中的2D投影之间的2D距离之和： $$ E_{J}(\boldsymbol{\beta},\boldsymbol{\gamma},\boldsymbol{\theta},\phi)=\sum_{v i e w v}E_{J_{v}}(\boldsymbol{\beta},\boldsymbol{\gamma},\boldsymbol{\theta},\phi,J_{O P}^{v},K_{v},T_{v}), $$ --- 其中$K_{v}$表示相机v的内参，$T_{v}$表示相机v与相机1之间的外参。深度项$E_{D}$会对估计的身体表面与身体深度点云之间的差异进行惩罚；$E_{prior}$代表身体姿态、形状和表情的先验信息；$E_{contact}$用于鼓励身体与场景的接触；$E_{coll}$则会对身体与场景的碰撞进行惩罚。$\lambda_{is}$用于权衡各项的贡献权重。更多细节请参阅[^30]和[^102]。 Kinect与HoloLens2的校准优化。Kinect与HoloLens2之间的校准由外部参数T表示，该参数描述了Kinect $\text{Cam1}$坐标系与HoloLens2坐标系原点之间的关系。在每次采集会话中，这一原点在世界坐标系中是固定的[^88]；当头戴式显示器移动时，其头部追踪器会提供该原点与每个以观察者为中心的坐标系t之间的变换关系，记为$T_t^{ego}$。由于HoloLens2的深度传感器校准存在误差，导致初始的Kinect-HoloLens2校准不够精确$T_{init}$，因此我们提出了一种基于关键点的校准优化方案。对于每一帧t，我们将3D SMPL-X关节点$J_{3D,t}$（通过每帧拟合得到，位于$\text{Cam1}$坐标系中）投影到以观察者为中心的图像上。我们最小化投影得到的2D关节点与OpenPose检测到的以观察者为中心的帧t中的关节点$J_{OP,t}^{ego}$之间的2D误差，进而优化变换矩阵T： $$ E_{T}(T)=\sum_{t}||K^{e g o}T_{t}^{e g o}T J_{3D,t}-J_{O P,t}^{e g o}||_{2}^{2}+\lambda||T-T_{i n i t}||_{2}^{2}, $$ 其中$K^{ego}$表示HoloLens2 RGB相机的内参，$\lambda$用于权衡正则化项的权重。时间一致性拟合。逐帧拟合为我们提供了一组合理的初始姿态估计值，但这些估计值在时间上会出现抖动且不一致。因此，我们基于LEMO先验[^102]运行第二阶段优化，以获得平滑、逼真的人体运动。此外，为了提高以自我为中心视角和以第三人称视角估计结果之间的一致性，我们还会利用经过优化的Kinect-HoloLens2校准结果来处理以自我为中心的数据。我们取HoloLens2 RGB帧中的OpenPose 2D关节估计值作为额外的约束条件。不过，我们仍然针对每个受试者单独进行优化。时间拟合阶段最小化的目标函数为： $$ E(\boldsymbol{\gamma},\boldsymbol{\varTheta},\boldsymbol{\phi})=E_{J}+E_{J_{e g o}}+E_{p r i o r}+\lambda_{s m o o t h}E_{s m o o t h}+\lambda_{f r i c}E_{f r i c}, $$ 其中$E_{fric}$是[^102]中定义的接触摩擦项，用于防止身体滑动；$E_{smooth}$和$E_{prior}$分别表示[^102]中提到的时间先验和静态先验。$E_{J_{ego}}$是2D投影项，用于最小化以自我为中心视图帧中的OpenPose检测结果与SMPL-X关节点在以自我为中心视图中的2D投影之间的误差；仅当交互对象在以自我为中心的帧中可见时，$E_{J_{ego}}$才会被启用。$\lambda_{i}$用于权衡各项的贡献权重。 ## 4 EgoBody数据集 EgoBody数据集从36名受试者（18名男性，18名女性）处采集了125个序列，这些受试者在15个室内场景中进行了各类社交互动。总计包含219,731个样本。 --- ![Image](images/c5c8d9120db60154ef4f474f908f58c7eb133d3fb53f07e65a5d080e119f2b84.jpg)

Fig. 5: Reconstructed ground-truth bodies overlaid on third-person-view images from 3 Kinects (row 1-3), and the corresponding egocentric view image (row 4). Left/middle/right shows three different frames. Row 5 shows more examples from the egocentric view. Blue denotes the camera wearer, and pink denotes the interactee. Eye gaze of the camera wearer are in red circles.

我们同步采集了来自Azure Kinect的多视角第三人称视角视频帧。我们将其称为“多视角（MV）数据集”。对于每一帧MV数据，我们提供了两名互动对象的3D人体全身姿态和形状标注（以SMPL-X参数形式表示），同时还包括3D场景网格信息。此外，我们还收集了199,111张以HoloLens2拍摄的 Egocentric RGB图像（“EgoSet”），这些图像已与Kinect帧完成校准和同步。由于佩戴摄像头者的头部运动，并非每张 Egocentric 图像中都能看到互动对象；其中共有175,611帧在 Egocentric 视角下能观察到互动对象（“EgoSet-interactee”）。图5展示了相关示例图像。针对EgoSet数据集，我们还收集了头部、手部及眼部追踪数据，以及HoloLens2生成的深度帧。我们通过官方转换工具[^59]生成SMPL [^4]人体标注。下文将给出数据集的统计信息；如需更详细的分析及标注质量评估，请参阅补充材料。关节可见性。由于佩戴摄像头者的运动、头戴设备的视野范围限制，以及互动受试者之间的距离较近，导致互动对象在以自我为中心的视图中经常被遮挡。为了量化这种遮挡现象的发生频率，我们将拟合出的三维人体关节投影到HoloLens2拍摄的图像上，若投影后的二维关节位于图像范围内，则将其视为“可见”。如图6（第二行右侧）所示，图像中下半身部位更容易被遮挡。关于关节可见性对3DHPS估计性能的影响，请参阅第5节内容。 --- 眼部注视与注意力。我们可以将HoloLens2的眼部注视追踪数据与我们对场景/人物的三维重建结果相结合，从而估算出用户的注视三维位置，并将其投影到以自我为中心的图像上（可理解为用户“注意力”所聚焦的位置），进而获得用于理解人际互动的宝贵数据。我们观察发现，在互动过程中，佩戴摄像头者的注意力高度集中在互动对象身上，且往往更偏向于上半身关节位置（见图3），这反过来又导致了下半身部位的可见性降低。 ## 5 实验 ### 5 实验我们利用EgoBody数据集首次推出了基于 Egocentric 图像的3D人体姿态与形状（3DHPS）估计基准测试。给定目标对象的单张RGB图像，3DHPS方法的目标是估算出能够最佳解释该图像数据的人体网格及一组相机参数。当前最先进的3DHPS方法大多在第三人称视角数据上训练和评估，它们在常见的第三人称视角数据集上的性能已趋于饱和[^34] [^63]（见图4）；不过，它们在实际场景中的泛化能力（例如处理裁剪或模糊图像时）仍有限[^72]。借助EgoBody数据集，我们能够测试这些方法在 Egocentric 图像上的表现。我们为3DHPS方法在EgoSet-interactee测试集上定义了一个基准。在社交互动场景中，输入为互动对象的自我中心视角图像。我们评估了当前最先进的方法，发现它们在我们的数据上的性能显著下降。通过深入分析（第5.2节），我们揭示了现有方法的局限性；因为自我中心视角带来了诸多挑战，而这些挑战在现有的第三人称视角数据集中很少出现。我们还提供了有价值的见解，以提升这些方法在自我中心场景下的性能。具体而言，我们证明EgoSet-interactee训练集有助于应对自我中心视角数据带来的挑战：利用该数据集，我们对三种最新方法——SPIN [^48]、METRO [^57]和EFT [^36]进行微调，结果在我们的测试集（第5.3节）以及You2Me [^68]数据集上的跨数据集评估（第5.4节）中均显示出显著提高的准确性和鲁棒性。 ### 5.1 基准评估指标我们采用两种常用指标：平均关节位置误差（MPJPE）和顶点间误差（V2V）。在计算每种指标的准确率之前，我们会使用两种对齐方式：（1）仅平移对齐（将身体对齐在骨盆关节处 [^72]）；（2）Procrustes对齐 [^25]（“PA”，同时解决缩放、平移和旋转问题）。除非特别标注“PA-”前缀，否则结果默认采用仅平移对齐方式报告。MPJPE是在24个SMPL身体关节上，预测结果与真实3D关节之间的平均欧几里得距离。V2V误差则是两个网格之间所有身体顶点的平均欧几里得距离。 ---

Table 3: Evaluation of SoTA 3DHPS estimation methods on our test set. All metrics are in mm. "PA-" stands for Procrustes alignment. "SPIN-ft", "METRO-ft" and "EFT-ft" denote results of fine-tuning SPIN, METRO and EFT on our training set.

Method	MPJPE $\downarrow$	PA-MPJPE $\downarrow$	V2V $\downarrow$	PA-V2V $\downarrow$
CMR [^49]	200.7	109.6	218.7	136.8
SPIN [^48]	182.8	116.6	187.3	123.7
LGD [^81]	158.0	99.9	168.3	106.0
METRO [^57]	153.1	98.4	164.6	106.4
PARE [^46]	123.0	83.8	131.4	89.7
EFT [^36]	123.9	78.4	135.0	86.0
SPIN-ft (Ours)	106.5	67.1	120.9	78.3
METRO-ft (Ours)	98.5	66.9	110.5	76.8
EFT-ft (Ours)	102.1	64.8	116.1	74.8

### 5.2 基线评估表3总结了不同类别的最先进3DHPS方法的评估结果：（1）基于拟合的方法 [^81]；以及基于回归的方法，它们要么（2）预测参数化人体模型的参数 [^36] [^46] [^48] [^49]，要么（3）预测非参数化人体网格 [^57]。对于每种基线方法，我们都使用了作者提供的最佳性能模型（用最优训练数据训练而成）。在图4中，我们绘制了这些方法在我们的数据集以及一个现有的主要第三人称视角基准 $^{1}$ 上的PA-MPJPE误差。平均而言，这些方法在EgoBody上的3D关节误差比在3DPW上高出77%。更重要的是，虽然3DPW上的准确率曲线已趋于饱和，但不同最先进方法在我们的数据集上仍表现出显著差异的性能。这表明当前的数据集不足以训练出能良好处理自我中心视角图像的模型。下文我们将讨论影响性能的两个关键挑战因素。运动模糊。由于佩戴相机者的运动，运动模糊在自我中心视角图像中十分常见。为了研究运动模糊对3DHPS估计准确性的影响，我们在图6（第一行，左侧）中绘制了所有方法的MPJPE与图像清晰度评分的关系。清晰度评分定义为图像拉普拉斯算子的方差 [^74]，上限为60；评分越高意味着图像越清晰。我们观察到，令人惊讶的是，除严重模糊的情况（评分<10）外，大多数方法对模糊并不敏感。然而，我们微调后的模型（SPIN-ft / METRO-ft / EFT-ft）对运动模糊更具鲁棒性：在所有方法中，它们在七种图像清晰度水平上的标准差最小；具体数值见图6（第一行，左侧）图例中各方法旁边的数字。关节可见性。虽然大多数3DHPS方法都假设目标人体在图像中几乎是完整可见的，就像3DPW等现有的第三人称视角数据集中所呈现的那样[^63]，但在以自我为中心的视角图像中这种情况却很少见。为了评估这一问题的重要性，我们分析了各基准方法在我们测试集图像中可见关节部分（“可见性”，详见第4节）方面的性能表现。 --- ![Image](images/5ebd873f9e8fc83b0e17c0d16e5409915d97d88937345e709ef1cd1e79fc7bc8.jpg)

Fig. 6: First Row: Impact of motion blur (left) / joint visibility (right) on SoTA method accuracies. Second Row: 3D joint error analysis by body parts (left) / ratio of each joint group being invisible (truncated) from the images in our test set (right).

分析结果汇总于图6（第1行，右侧）。需要注意的是，我们对关节可见性的定义与遮挡概念相关但又有区别：二者都用于衡量某个身体部位缺失的像素信息量，但可见性侧重于身体从图像中被截断的程度。根据我们的定义，即使某个关节被物体遮挡，仍可被视为可见。总体而言，当身体截断程度较低时，所有方法的误差都会更小。其中，PARE [^46]和EFT [^36]两种方法取得了最佳效果。PARE通过专门采用身体部位注意力机制来提升对遮挡情况的鲁棒性；而EFT则通过将图像大幅裁剪作为训练数据增强手段，“隐性地”应对身体截断问题。我们进一步在图6（第2行）中绘制了各关节组的MPJPE值与不可见比例。总体来看，两者趋势一致：关节可见性越低，其对应的误差就越大。不过腕关节是个例外：尽管其可见性较好，误差却依然相对较高。正如[^46]中所观察到的那样，四肢部位的误差较大是现有3DHPS模型普遍存在的问题，这可能是因为当前大多数模型仅利用输入图像中的单一全局特征来进行回归预测。这一发现为未来的研究指明了方向——采用局部图像特征，这类方法在最近的3DHPS模型中已被证明行之有效[^28] [^46]。 ### 5.3 基准方法改进为了评估EgoBody训练集的有效性，我们用它来对三种基线方法进行微调：两种基于模型的方法，即SPIN [^48]和EFT [^36]，因为它们都采用相同的架构（HMR [^40]网络），而这种架构正是许多其他近期模型的骨干 [^40] [^45] [^76]；还有一种无模型方法METRO [^57]，它可直接预测人体网格。预训练的EFT与SPIN的主要区别在于，它是利用扩展的3D伪真值进行训练的。 --- 这些训练数据来自EFT数据集，且EFT在训练过程中采用了激进的图像裁剪作为数据增强手段。我们采用了作者提供的相同超参数，并选择了验证分数最高的微调后模型。如表3所示，微调后，这三种方法在所有指标上的误差均大幅降低：SPIN-ft/METRO-ft/EFT-ft的MPJPE分别降低了42%/36%/18%，V2V误差分别降低了35%/33%/14%，均优于对应的原始模型。从图6中各类模糊/可见性条件下的结果也可看出这种改进。就运动模糊而言，微调后的模型不仅在各个图像清晰度水平上误差更低，鲁棒性也更强。这一点可以从各方法在不同清晰度水平下的标准差中看出：微调后，SPIN的标准差从27.3降至2.4，METRO从16.7降至3.2，EFT则从11.1降至1.3。这些结果表明，我们的训练集能够有效帮助现有3DHPS方法适配以自我为中心的场景。 ## 5.4 在You2Me数据集上的跨数据集评估我们训练集的效果是否仅局限于当前的采集场景，还是能够推广到其他以自我为中心的姿态估计数据集？为验证这一点，我们在You2Me [^68]数据集上，将SPIN、EFT和METRO与其经过微调后的模型进行对比评估。此处报告各模型的姿态误差PA-MPJPE数值（单位：毫米）：SPIN为152.8，而SPIN-ft为87.9；EFT为95.8，EFT-ft为85.6；METRO为117.7，METRO-ft为88.2。再次表明，基于我们的训练集进行微调能够提升所有模型的性能；更多细节请参阅补充材料。这些结果说明，我们的数据能够赋予现有模型应对通用以自我为中心视角场景下各类挑战的能力。 ## 6 结论我们提出了EgoBody数据集，该数据集记录了不同环境中交互人群的人体姿态、形状及动作信息。EgoBody收集了多模态的以自我为中心及第三人称视角数据，同时提供了所有交互对象的真实3D人体姿态与形状信息。借助该数据集，我们建立了以自我为中心的3D人体姿态与形状（3DHPS）估计基准，系统评估并分析了现有最先进方法在以自我为中心场景下的局限性，还证明了借助我们的标注数据可显著提升这些模型的泛化性能。本文展现了EgoBody在3DHPS估计任务中的独特价值，我们认为它在推动相关领域更深入理解以自我为中心的人体动作、行为及社会互动方面具有巨大潜力。未来，增加更多参与者以及更丰富的数据模态（如音频记录、自然语言描述的运动标注）将进一步丰富该数据集。 ## 致谢。本研究得到了瑞士国家科学基金会资助项目200021 204840以及微软苏黎世混合现实与人工智能实验室博士奖学金的支持。马乾立部分研究经费来自马克斯·普朗克-苏黎世联邦理工学院学习系统中心。 --- 我们衷心感谢Francis Engelmann、Korrawe Karunratanakul、Theodora Kontogianni、马琪、Marko Mihajlovic、Sergey Prokudin、Matias Turkulainen、王瑞、王少非以及Samokhvalov Vyacheslav在数据采集与处理方面的帮助，感谢张旭聪在数据收集方面的讨论，以及Jonas Hein在硬件设置方面的讨论。 ### 参考文献 1. Azure Kinect. 3, 6, 7 2. Laan Labs 3D Scanner应用. 3. Microsoft Hololens2. 4. SMPL模型迁移. 10 [^5]: Agarwal, A., Triggs, B.: Recovering 3d human pose from monocular images. IEEE transactions on pattern analysis and machine intelligence 28(1), 44–58 (2005) 5 [^6]: Aghaei, M., Dimiccoli, M., Ferrer, C.C., Radeva, P.: Towards social pattern characterization in egocentric photo-streams. Computer Vision and Image Understanding 171, 104–117 (2018) 5 [^7]: Aghaei, M., Dimiccoli, M., Radeva, P.: With whom do i interact? detecting social interactions in egocentric photo-streams. In: 2016 23rd International Conference on Pattern Recognition (ICPR). pp. 2959–2964. IEEE (2016) 5 [^8]: A.Nisbet, R.: The Social Bond: An Introduction to the Study of Society (1970) 2, 6 [^9]: Bălan, A.O., Black, M.J.: The naked truth: Estimating body shape under clothing. In: European Conference on Computer Vision. pp. 15–29. Springer (2008) 5 [^10]: Bambach, S., Lee, S., Crandall, D.J., Yu, C.: Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In: Proceedings of the IEEE international conference on computer vision. pp. 1949–1957 (2015) 4 [^11]: Besl, P., McKay, N.D.: A method for registration of 3-d shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence 14(2), 239–256 (1992) 7, 1 [^12]: Bogo, F., Kanazawa, A., Lassner, C., Gehler, P., Romero, J., Black, M.J.: Keep it SMPL: Automatic estimation of 3D human pose and shape from a single image. In: European Conference on Computer Vision. pp. 561–578 (2016) 5 [^13]: Cao, Z., Hidalgo Martinez, G., Simon, T., Wei, S., Sheikh, Y.A.: Openpose: Real-time multi-person 2d pose estimation using part affinity fields. IEEE Transactions on Pattern Analysis and Machine Intelligence (2019) 8, 1 [^14]: Choi, H., Moon, G., Chang, J.Y., Lee, K.M.: Beyond static features for temporally consistent 3d human pose and shape from a video. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1964–1973 (2021) 2, 5 [^15]: Choi, H., Moon, G., Lee, K.M.: Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In: European Conference on Computer Vision (ECCV) (2020) 5 #### [^16]: Damen, D., Doughty, H., Farinella, G.M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., et al.: Scaling egocentric vision: The epic-kitchens dataset. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 720–736 (2018) 4 --- [^17]: Damen, D., Doughty, H., Farinella, G.M., Furnari, A., Kazakos, E., Ma, J., Molti-santi, D., Munro, J., Perrett, T., Price, W., et al.: Rescaling egocentric vision: collection, pipeline and challenges for epic-kitchens-100. International Journal of Computer Vision 130(1), 33–55 (2022) 4 [^18]: Dhand, A., Dalton, A.E., Luke, D.A., Gage, B.F., Lee, J.M.: Accuracy of wearable cameras to track social interactions in stroke survivors. Journal of Stroke and Cerebrovascular Diseases 25(12), 2907–2910 (2016) 5 [^19]: Dong, J., Shuai, Q., Zhang, Y., Liu, X., Zhou, X., Bao, H.: Motion capture from internet videos. In: European Conference on Computer Vision. pp. 210–227. Springer (2020) 5 [^20]: Fang, Q., Shuai, Q., Dong, J., Bao, H., Zhou, X.: Reconstructing 3d human pose by watching humans in the mirror. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 12814–12823 (2021) 2, 5 [^21]: Fathi, A., Hodgins, J.K., Rehg, J.M.: Social interactions: A first-person perspective. In: 2012 IEEE Conference on Computer Vision and Pattern Recognition. pp. 1226–1233. IEEE (2012) 2, 5 [^22]: Fathi, A., Farhadi, A., Rehg, J.M.: Understanding egocentric activities. In: 2011 international conference on computer vision. pp. 407–414. IEEE (2011) 4 [^23]: Fieraru, M., Zanfir, M., Oneata, E., Popa, A.I., Olaru, V., Sminchisescu, C.: Three-dimensional reconstruction of human interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 7214–7223 (2020) 2, 4 [^24]: Gall, J., Rosenhahn, B., Brox, T., Seidel, H.P.: Optimization and filtering for human motion capture. International journal of computer vision 87(1-2), 75 (2010) 5 [^25]: Gower, J.C.: Generalized procrustes analysis. Psychometrika 40(1), 33–51 (1975) 11 [^26]: Grauman, K., Shakhnarovich, G., Darrell, T.: Inferring 3d structure with a statistical image-based shape model. In: ICCV. vol. 3, p. 641 (2003) 5 [^27]: Grauman, K., et al.: Ego4D: Around the world in 3000 hours of egocentric video. arXiv preprint arXiv:2110.07058 (2021) 2, 5 [^28]: Guler, R.A., Kokkinos, I.: Holopose: Holistic 3d human reconstruction in-the-wild. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 10884–10894 (2019) 5, 13 [^29]: Guzov, V., Mir, A., Sattler, T., Pons-Moll, G.: Human poseitioning system (hps): 3d human pose estimation and self-localization in large scenes from body-mounted sensors. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 4318–4329 (2021) 2, 3, 4, 5 [^30]: Hassan, M., Choutas, V., Tzionas, D., Black, M.J.: Resolving 3d human pose ambiguities with 3d scene constraints. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 2282–2292 (2019) 2, 3, 4, 5, 8, 9 [^31]: He, K., Gkioxari, G., Dollár, P., Girshick, R.: Mask r-cnn. In: Proceedings of the IEEE international conference on computer vision. pp. 2961–2969 (2017) 8, 1 [^32]: Hernandez, A., Gall, J., Moreno-Noguer, F.: Human motion prediction via spatiotemporal inpainting. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 7134–7143 (2019) 3 #### [^33]: Huang, Y., Bogo, F., Lassner, C., Kanazawa, A., Gehler, P.V., Romero, J., Akhter, I., Black, M.J.: Towards accurate marker-less human shape and pose estimation over time. In: 2017 international conference on 3D vision (3DV). pp. 421–430. IEEE (2017) 5 --- [^34]: Ionescu, C., Papava, D., Olaru, V., Sminchisescu, C.: Human3. 6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence 36(7), 1325–1339 (2013) 2, 3, 4, 11 [^35]: Jiang, H., Grauman, K.: Seeing invisible poses: Estimating 3d body pose from egocentric video. In: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 3501–3509. IEEE (2017) 5 [^36]: Joo, H., Neverova, N., Vedaldi, A.: Exemplar fine-tuning for 3d human pose fitting towards in-the-wild 3d human pose estimation (2021) 4, 5, 11, 12, 13, 7 [^37]: Joo, H., Simon, T., Cikara, M., Sheikh, Y.: Towards social artificial intelligence: Nonverbal social signal prediction in a triadic interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 10873–10883 (2019) 2, 4 [^38]: Joo, H., Simon, T., Li, X., Liu, H., Tan, L., Gui, L., Banerjee, S., Godisart, T., Nabbe, B., Matthews, I., et al.: Panoptic studio: A massively multiview system for social interaction capture. IEEE transactions on pattern analysis and machine intelligence 41(1), 190–204 (2017) 2, 3, 4 [^39]: Joo, H., Simon, T., Sheikh, Y.: Total capture: A 3d deformation model for tracking faces, hands, and bodies. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 8320–8329 (2018) 4, 5 [^40]: Kanazawa, A., Black, M.J., Jacobs, D.W., Malik, J.: End-to-end recovery of human shape and pose. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 7122–7131 (2018) 2, 5, 13 [^41]: Kanazawa, A., Zhang, J.Y., Felsen, P., Malik, J.: Learning 3d human dynamics from video. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 5614–5623 (2019) 2, 5 [^42]: Kay, W., Carreira, J., Simonyan, K., Zhang, B., Hillier, C., Vijayanarasimhan, S., Viola, F., Green, T., Back, T., Natsev, P., et al.: The kinetics human action video dataset. arXiv preprint arXiv:1705.06950 (2017) 4 [^43]: Kazakos, E., Nagrani, A., Zisserman, A., Damen, D.: Epic-fusion: Audio-visual temporal binding for egocentric action recognition. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 5492–5501 (2019) [^44]: Kitani, K.M., Okabe, T., Sato, Y., Sugimoto, A.: Fast unsupervised ego-action learning for first-person sports videos. In: CVPR 2011. pp. 3241–3248. IEEE (2011) 4 [^45]: Kocabas, M., Athanasiou, N., Black, M.J.: Vibe: Video inference for human body pose and shape estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 5253–5263 (2020) 2, 5, 13 [^46]: Kocabas, M., Huang, C.H.P., Hilliges, O., Black, M.J.: PARE: Part attention regressor for 3D human body estimation. In: Proceedings International Conference on Computer Vision (ICCV). pp. 11127–11137. IEEE (Oct 2021) 5, 12, 13, 7 [^47]: Kocabas, M., Huang, C.H.P., Tesch, J., Müller, L., Hilliges, O., Black, M.J.: SPEC: Seeing people in the wild with an estimated camera. In: Proc. International Conference on Computer Vision (ICCV). pp. 11035–11045 (Oct 2021) 5 [^48]: Kolotouros, N., Pavlakos, G., Black, M.J., Daniilidis, K.: Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 2252–2261 (2019) 2, 4, 5, 11, 12, 13, 7 #### [^49]: Kolotouros, N., Pavlakos, G., Daniilidis, K.: Convolutional mesh regression for single-image human shape reconstruction. In: CVPR (2019) 5, 12, 7 --- [^50]: Kolotouros, N., Pavlakos, G., Jayaraman, D., Daniilidis, K.: Probabilistic modeling for human mesh recovery. In: ICCV (2021) 5 [^51]: Kwon, T., Tekin, B., Stuhmer, J., Bogo, F., Pollefeys, M.: H2O: Two hands manipulating objects for first person interaction recognition. In: International Conference on Computer Vision (ICCV) (2021) 4 52. Lab, C.G.：CMU图形实验室动作捕捉数据库. (2000) 4 [^53]: Lee, Y.J., Ghosh, J., Grauman, K.: Discovering important people and objects for egocentric video summarization. In: 2012 IEEE conference on computer vision and pattern recognition. pp. 1346–1353. IEEE (2012) 5 [^54]: Li, H., Cai, Y., Zheng, W.S.: Deep dual relation modeling for egocentric interaction recognition. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 7932–7941 (2019) 5 [^55]: Li, J., Xu, C., Chen, Z., Bian, S., Yang, L., Lu, C.: Hybrik: A hybrid analytical neural inverse kinematics solution for 3d human pose and shape estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 3383–3393 (2021). 5 [^56]: Li, Y., Liu, M., Rehg, J.M.: In the eye of beholder: Joint learning of gaze and actions in first person video. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 619–635 (2018) 2, 4 [^57]: Lin, K., Wang, L., Liu, Z.: End-to-end human pose and mesh reconstruction with transformers. In: CVPR (2021) 4, 5, 11, 12, 13, 7 [^58]: Liu, M., Yang, D., Zhang, Y., Cui, Z., Rehg, J.M., Tang, S.: 4D human body capture from egocentric video via 3D scene grounding. 2021 international conference on 3D vision (3DV) (2021) 5 [^59]: Loper, M., Mahmood, N., Romero, J., Pons-Moll, G., Black, M.J.: Smpl: A skinned multi-person linear model. ACM transactions on graphics (TOG) 34(6), 1–16 (2015) 4, 5, 10 [^60]: Luo, Z., Golestaneh, S.A., Kitani, K.M.: 3d human motion estimation via motion compression and refinement. In: Proceedings of the Asian Conference on Computer Vision (2020) 2, 5 [^61]: Luo, Z., Hachiuma, R., Yuan, Y., Iwase, S., Kitani, K.M.: Kinematics-guided reinforcement learning for object-aware 3d ego-pose estimation. arXiv preprint arXiv:2011.04837 (2020) 5 [^62]: Mahmood, N., Ghorbani, N., Troje, N.F., Pons-Moll, G., Black, M.J.: Amass: Archive of motion capture as surface shapes. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 5442–5451 (2019) 4, 3 [^63]: von Marcard, T., Henschel, R., Black, M.J., Rosenhahn, B., Pons-Moll, G.: Recovering accurate 3d human pose in the wild using imus and a moving camera. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 601–617 (2018) 3, 4, 11, 12 [^64]: von Marcard, T., Pons-Moll, G., Rosenhahn, B.: Human pose estimation from video and imus. Transactions on Pattern Analysis and Machine Intelligence 38(8), 1533–1547 (Jan 2016) 3, 4 [^65]: Mehta, D., Rhodin, H., Casas, D., Fua, P., Sotnychenko, O., Xu, W., Theobalt, C.: Monocular 3d human pose estimation in the wild using improved cnn supervision. In: 2017 international conference on 3D vision (3DV). pp. 506–516. IEEE (2017) 2, 4 ### [^66]: Moon, G., Lee, K.M.: I2l-meshnet: Image-to-lixel prediction network for accurate 3d human pose and mesh estimation from a single rgb image. In: European Conference on Computer Vision (ECCV) (2020) 5 --- [^67]: Narayan, S., Kankanhalli, M.S., Ramakrishnan, K.R.: Action and interaction recognition in first-person videos. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. pp. 512–518 (2014) 2, 4, 5 [^68]: Ng, E., Xiang, D., Joo, H., Grauman, K.: You2me: Inferring body pose in egocentric video via first and second person interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 9890–9900 (2020) 2, 3, 4, 5, 11, 14, 6, 9 [^69]: Northcutt, C., Zha, S., Lovegrove, S., Newcombe, R.: Egocom: A multi-person multi-modal egocentric communications dataset. IEEE Transactions on Pattern Analysis and Machine Intelligence (2020) 5 [^70]: Ogaki, K., Kitani, K.M., Sugano, Y., Sato, Y.: Coupling eye-motion and egomotion features for first-person activity recognition. In: 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. pp. 1–7. IEEE (2012) 4 [^71]: Omran, M., Lassner, C., Pons-Moll, G., Gehler, P., Schiele, B.: Neural body fitting: Unifying deep learning and model based human pose and shape estimation. In: 2018 international conference on 3D vision (3DV). pp. 484-494. IEEE (2018) 5 [^72]: Patel, P., Huang, C.H.P., Tesch, J., Hoffmann, D.T., Tripathi, S., Black, M.J.: AGORA: Avatars in geography optimized for regression analysis. In: Proceedings IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR) (Jun 2021) 4, 11, 5 [^73]: Pavlakos, G., Choutas, V., Ghorbani, N., Bolkart, T., Osman, A.A., Tzionas, D., Black, M.J.: Expressive body capture: 3d hands, face, and body from a single image. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 10975–10985 (2019) 2, 3, 5, 7, 1 [^74]: Pech-Pacheco, J.L., Cristóbal, G., Chamorro-Martinez, J., Fernández-Valdivia, J.: Diatom autofocusing in brightfield microscopy: a comparative study. In: Proceedings 15th International Conference on Pattern Recognition. ICPR-2000. vol. 3, pp. 314–317. IEEE (2000) 12, 4 [^75]: Pirsiavash, H., Ramanan, D.: Detecting activities of daily living in first-person camera views. In: 2012 IEEE conference on computer vision and pattern recognition. pp. 2847–2854. IEEE (2012) 2, 4 [^76]: Rong, Y., Shiratori, T., Joo, H.: Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In: IEEE International Conference on Computer Vision Workshops (2021) 13 [^77]: Ryoo, M.S., Matthies, L.: First-person activity recognition: What are they doing to me? In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 2730–2737 (2013) 4, 5 [^78]: Saini, N., Price, E., Tallamraju, R., Enficiaud, R., Ludwig, R., Martinovic, I., Ahmad, A., Black, M.J.: Markerless outdoor human motion capture using multiple autonomous micro aerial vehicles. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 823–832 (2019) 5 [^79]: Shiratori, T., Park, H.S., Sigal, L., Sheikh, Y., Hodgins, J.K.: Motion capture from body-mounted cameras. In: ACM SIGGRAPH 2011 papers, pp. 1–10 (2011) 5 #### [^80]: Sigurdsson, G.A., Gupta, A., Schmid, C., Farhadi, A., Alahari, K.: Actor and observer: Joint modeling of first and third-person videos. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 7396–7404 (2018) 2, 4 --- [^81]: Song, J., Chen, X., Hilliges, O.: Human body model fitting by learned gradient descent (2020) 5, 12, 7 [^82]: Sun, Y., Ye, Y., Liu, W., Gao, W., Fu, Y., Mei, T.: Human mesh recovery from monocular images via a skeleton-disentangled representation. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 5349–5358 (2019) 2, 5 [^83]: Tan, J.K.V., Budvytis, I., Cipolla, R.: Indirect deep structured learning for 3d human body shape and pose prediction (2017) 5 [^84]: Tome, D., Alldieck, T., Peluse, P., Pons-Moll, G., Agapito, L., Badino, H., De la Torre, F.: Selfpose: 3d egocentric pose estimation from a headset mounted camera. arXiv preprint arXiv:2011.01519 (2020) 2, 4, 5 [^85]: Tome, D., Peluse, P., Agapito, L., Badino, H.: xr-egopose: Egocentric 3d human pose from an hmd camera. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 7728–7738 (2019) 2, 4, 5 [^86]: Trumble, M., Gilbert, A., Malleson, C., Hilton, A., Collomosse, J.: Total capture: 3d human pose estimation fusing video and inertial sensors. In: 2017 British Machine Vision Conference (BMVC) (2017) 2, 3, 4 [^87]: Tung, H.Y., Tung, H.W., Yumer, E., Fragkiadaki, K.: Self-supervised learning of motion capture. In: Advances in Neural Information Processing Systems. pp. 5236–5246 (2017) 5 [^88]: Ungureanu, D., Bogo, F., Galliani, S., Sama, P., Duan, X., Meekhof, C., Stuhmer, J., Cashman, T.J., Tekin, B., Schonberger, J.L., Tekin, B., Olszta, P., Pollefeys, M.: HoloLens 2 Research Mode as a Tool for Computer Vision Research. arXiv:2008.11239 (2020) 6, 7, 9 [^89]: Wandt, B., Rudolph, M., Zell, P., Rhodin, H., Rosenhahn, B.: Canonpose: Self-supervised monocular 3d human pose estimation in the wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 13294–13304 (2021) 5 [^90]: Wang, Y., Liu, Y., Tong, X., Dai, Q., Tan, P.: Outdoor markerless motion capture with sparse handheld video cameras. IEEE transactions on visualization and computer graphics 24(5), 1856–1866 (2017) 5 [^91]: Weng, Z., Yeung, S.: Holistic 3d human and scene mesh estimation from single view images. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 334–343 (2021) 2, 5 [^92]: Xiang, D., Joo, H., Sheikh, Y.: Monocular total capture: Posing face, body, and hands in the wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (2019) 4 [^93]: Xu, W., Chatterjee, A., Zollhoefer, M., Rhodin, H., Fua, P., Seidel, H.P., Theobalt, C.: Mo2Cap2: Real-time mobile 3D motion capture with a cap-mounted fisheye camera. IEEE transactions on visualization and computer graphics 25(5), 2093–2101 (2019) 2, 3, 4 [^94]: Xu, Y., Zhu, S.C., Tung, T.: Denserac: Joint 3d pose and shape estimation by dense render-and-compare. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 7760–7770 (2019) 2, 5 [^95]: Yang, J.A., Lee, C.H., Yang, S.W., Somayazulu, V.S., Chen, Y.K., Chien, S.Y.: Wearable social camera: Egocentric video summarization for social interaction. In: 2016 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). pp. 1–6. IEEE (2016) 5 #### [^96]: Yonetani, R., Kitani, K.M., Sato, Y.: Recognizing micro-actions and reactions from paired egocentric videos. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 2629–2638 (2016) 4, 5 --- [^97]: Yu, Z., Yoon, J.S., Lee, I.K., Venkatesh, P., Park, J., Yu, J., Park, H.S.: Humi: A large multiview dataset of human body expressions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 2990–3000 (2020) 3, 4 [^98]: Yuan, Y., Kitani, K.: Ego-pose estimation and forecasting as real-time pd control. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 10082–10092 (2019) 2, 5 [^99]: Yuan, Y., Wei, S.E., Simon, T., Kitani, K., Saragih, J.: Simpoe: Simulated character control for 3d human pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 7159–7169 (2021) 2, 5 [^100]: Zanfir, A., Bazavan, E.G., Xu, H., Freeman, B., Sukthankar, R., Sminchisescu, C.: Weakly supervised 3d human pose and shape reconstruction with normalizing flows. arXiv preprint arXiv:2003.10350 (2020) 2, 5 [^101]: Zhang, J., Yu, D., Liew, J.H., Nie, X., Feng, J.: Body meshes as points. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 546–556 (2021) 2, 5 [^102]: Zhang, S., Zhang, Y., Bogo, F., Marc, P., Tang, S.: Learning motion priors for 4d human body capture in 3d scenes. In: International Conference on Computer Vision (ICCV) (Oct 2021) 2, 3, 4, 5, 8, 9 [^103]: Zhang, Y., An, L., Yu, T., Li, X., Li, K., Liu, Y.: 4d association graph for realtime multi-person motion capture using multiple video cameras. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 1324–1333 (2020) 2, 4 [^104]: Zhang, Z., Crandall, D., Proulx, M., Talathi, S., Sharma, A.: Can gaze inform egocentric action recognition? In: 2022 Symposium on Eye Tracking Research and Applications. pp. 1–7 (2022) 4 ### [^105]: Zhou, Y., Habermann, M., Habibie, I., Tewari, A., Theobalt, C., Xu, F.: Monocular real-time full body capture with inter-part correlations. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 4811–4822 (2021) 5 --- ### EgoBody：基于头戴式设备的交互人群人体形状与动作数据 #### 补充材料 #### A 数据集构建详情 #### A.1 校准为实现Kinect之间以及Kinect与HoloLens2之间的空间校准，我们首先利用棋盘格获取初始校准参数；随后通过在设备深度传感器重建的场景点云上运行ICP算法[^11]来优化校准结果。此外，如主论文第3.3节所述，Kinect与HoloLens2的校准还通过基于关键点的优化方案进一步优化。为了将相机数据注册到3D场景中，我们首先手动标注场景网格与Kinect深度帧提供的场景点云之间的一组对应点，以此得到初始刚性变换，再通过ICP算法对该变换进行优化。 #### A.2 SMPL-X人体模型我们采用SMPL-X [^73]，它将人体表示为一个函数$\mathcal{M}_b(\gamma, \beta, \theta, \phi)$。该函数将全局平移$\gamma \in \mathbb{R}^3$、人体形状$\beta \in \mathbb{R}^{10}$、姿态$\theta$以及面部表情$\phi \in \mathbb{R}^{10}$映射为包含10475个顶点的人体三角网格。$\mathcal{M}_b = (V_b, F_b)$由人体顶点$V_b \in \mathbb{R}^{10475 \times 3}$和面片$F_b$构成。姿态参数包括身体、面部和手部姿态。$J(\beta)$表示中性姿态下的3D人体关节，之后可根据给定的$\theta$调整其姿态。 #### A.3 数据处理人体点云提取。我们使用Mask-RCNN [^31]在Kinect的RGB帧中获取粗略的人体实例分割掩码，再用DeepLabv3 [^31]对掩码进行优化。得到的人体实例分割掩码会被映射到Kinect深度帧中，从而从深度数据提取的点云中分割出人体点云。受试者索引重排序。需要注意的是，OpenPose [^13]、DeepLabv3和MaskRCNN都是逐帧处理的，不具备时间跟踪功能。因此对于每个序列，我们会根据2D空间中各受试者之间的相对位置，对OpenPose检测结果和人体掩码中的受试者索引进行重排序，以确保每个受试者在所有帧及所有Kinect视角下都拥有一致的索引。数据清洗。当存在人体之间或人体与场景之间的遮挡时，2D关节检测和人体实例分割可能会失败（见图S1左侧/中间）。因此我们会手动清理这些失败的检测结果，并将其排除在重建过程之外。 --- 处理流程。我们也会手动清理因自遮挡导致的不准确2D关节检测结果（见图S1右侧）。同时我们利用Kinect摄像头的深度信息，过滤掉那些深度值与目标人物所有2D关节的中值深度相差较大的2D关节。 ![Image](images/8b91a875e910af57333a9ea22868e1acc27d2c64e9e42d1f6b77a2663fc92ff2.jpg)

Fig. S1: Limitations for OpenPose 2D joint detection when body-body occlusion (left), body-scene occlusion (middle), or self-occlusion (right) happens. Different keypoint colors denote different detected body indices.

EgoSet-interactee子集筛选。通过以下筛选流程，将人体被严重截断的以自我为中心的图像帧从EgoSet-interactee子集中排除。我们对所有以自我为中心的图像帧运行OpenPose 2D关节检测，并手动排除每帧中的错误检测结果（背景中的无关人员或场景物体上的误检）。由于OpenPose可能会将同一人体的关节拆分为多个检测结果，这种情况下我们会将其合并为一个人体，关节冲突则通过置信度得分来解决。当能检测到至少六个有效的互动者关节（OpenPose BODY_25格式）时，该帧才会被纳入EgoSet-interactee子集。我们按照[^48]中的设定，将关节置信度得分阈值设为0.2。需要注意的是，由于距离较近，集中在头部的五个关节被视为一个关节，每只脚上的四个关节也是如此。边界框是根据处理后的结果计算的。 ### B 真实标注质量 #### B.1 重建精度为了评估重构人体在自我中心视角下的二维精度，我们随机选取了1,517帧图像，并通过Amazon Mechanical Turk (AMT)平台手动标注其二维关节点，标注时采用SMPL-X骨骼定义。将我们的算法估算出的三维关节点投影到自我中心视角下后，平均二维关节误差（即投影点与AMT标注点之间的二维欧几里得距离）为31.08像素（图像分辨率为$1920 \times 1080$）。我们还通过两个指标来评估基准数据的三维精度：Scan-to-body Chamfer Distance为1.65厘米，三维关节误差（PJE）为4.32厘米。三维PJE的计算方法如下：我们利用AMT标注所有Kinect视角下的二维人体关节点。 ---

Table S1: Motion smoothness evaluation of HPS and our dataset. PSKL(X, A) denotes PSKL(HPS/ours, AMASS), and PSKL(A, HPS/ours) the reverse direction. Better result in boldface.

	PSKL(X,A) $\downarrow$	PSKL(A,X) $\downarrow$
HPS [^29]	0.924	1.044
EgoBody	0.312	0.262

针对100帧图像，通过多视角三角测量得到标注的三维关节点。随后，我们将基准数据中的SMPL-X人体关节点与这些标注的三维关节点之间的误差作为三维PJE进行测量。 ### B.2 运动平滑度我们采用功率谱KL散度得分（PSKL）[^32]来评估数据集的运动平滑度，该指标的计算方式如[^102]所述：我们测量数据集中关节加速度分布与高质量动作捕捉数据集AMASS [^62]中关节加速度分布之间的距离。该得分越低，说明运动越接近AMASS中的自然运动。此外，我们还将其与近期发布的自我中心视角数据集HPS [^29]进行对比（见表S1）。EgoBody较低的PSKL得分反映出其基准运动数据的高质量。 ### C 更多统计数据关节不可见性。我们定义了两种“不可见性”度量方式：帧级不可见性比例和关节级不可见性比例。对于每一帧而言，帧级不可见性比例计算的是不可见关节在所有人体关节中所占的百分比。如图S2(a)所示，大多数帧中都存在部分身体不可见的情况，极端情况下甚至有超过60%的身体关节不可见。对于每个身体关节而言，关节级不可见性比例计算的是该关节不可见的帧数在所有帧数中所占的比例（见图S2(b)）。身体下半部分的关节更容易出现不可见情况（膝盖约为50%，脚部约为80%）。上半身关节的可见性更高：其中颈部、肩部、脊柱和肘关节的可见性最高，而手腕和头部关节的不可见比例略高（约为10%）。视线与注意力。HoloLens2的眼动追踪功能可提供视线三维射线的起点和方向，我们可以将其与三维重建结果求交，从而计算出用户的注视位置。将三维视线点投影到自我中心图像上后，我们分析了该投影后的二维视线点（即注意力区域）与自我中心视角图像中互动对象身体关节之间的距离。对于二维视线点位于图像范围内的所有帧，图S3(a)展示了二维视线点与其最近身体关节之间的欧几里得距离分布情况。在超过75%的帧中，二维视线点与其最近关节之间的距离都在120像素以内，这表明佩戴相机的人在互动过程中注意力高度集中于互动对象。 --- ![Image](images/408cdf350c7a6ba84543cb5b936b56a7df9150a214fec764e5c67cf623d3b4dd.jpg)

(a)

![Image](images/a84f2c0b225782c7203cf23d7e7e787f1327c0fdbbd89ed92bbd840995ecff21.jpg)

(b)

Fig. S2: (a) Distribution of frame-wise invisibility ratio (% of invisible joints among all body joints for each frame). (b) Joint-wise invisibility ratio (% of occurrences when the corresponding joint is invisible among all frames.): ‘l_’ denotes ‘left_’ and ‘r_’ denotes ‘right_’.

![Image](images/3cef3d80c29abad2d631d600eafc0b807fcc0f5013050cf88e88f09748957488.jpg)

(a)

![Image](images/43097ef63da94779978d7b791c6453625671101e6a4635d01704880a3c488e45.jpg)

(b)

Fig. S3: (a) Distribution of the 2D distance between the 2D gaze point and its nearest body joint. (b) Mean 2D distance between the 2D gaze point and each body joint. 'l- denotes 'left_ and 'r-' denotes 'right_.

所有帧中每个关节与二维视线点之间的平均距离（见图S3(b)）显示，互动过程中受试者的注意力往往更靠近上半身关节。互动距离。EgoBody涵盖了较广范围的室内互动距离：互动双方骨盆关节之间的三维欧几里得距离在0.90米到3.48米之间。图S4(a)展示了两名互动对象之间的互动距离分布情况。运动模糊。图像清晰度评分（图像拉普拉斯算子的方差）[^74] 用于量化我们数据集中的运动模糊程度（其分布如图S4(b)所示）。评分越高，说明图像越清晰。 #### D 实验：细节与讨论 #### D.1 关于评估指标的讨论虽然MPJPE是常用的姿态估计精度衡量指标，但它过于稀疏，且无法惩罚因关节扭曲导致的误差。因此我们有必要在基准测试中引入V2V误差作为另一项指标：它不仅是形状估计的直接衡量标准，而且比MPJPE能更细致、更严格地衡量姿态误差，因为它还会对错误的纵向关节旋转进行惩罚。 --- ![Image](images/31b14df075b0d7c5478e6e64052ca3b86002a539efe4f67e419db6fcf4246498.jpg)

(a)

![Image](images/327845070dfff5c41f8ea854914ccd95f5c50afa62d65076f1289f650256a308.jpg)

(b)

Fig. S4: (a) Distribution of interaction distances between two interacting subjects. (b) Distribution of the image sharpness score on EgoSet-interactee test set.

![Image](images/5f879560bf0f8198f1b19cb9757ba0eb40faa4c7959a7117b81d89e2f26eb6ed.jpg)

Fig. S5: Misalignments between the body mesh and HoloLens2 images during fast motions (for example, fast hand movements).

默认情况下，我们考虑未经过Procrustes对齐（PA）处理的MPJPE和V2V误差，因为PA会消除全局方向的差异，而这正是大多数方法出错的主要原因。摒弃基于PA的指标正逐渐成为新趋势[^46] [^72]。 #### D.2 EgoBody上的基线模型改进实现细节。我们使用官方代码对SPIN [^48]、METRO [^57] 和EFT [^36] 进行微调，但训练过程做了如下细微调整。对于SPIN，我们在训练期间禁用SMPLify循环机制，因为EgoBody训练集已经提供了来自伪真值的直接3D监督信息。实际上，当存在3D真值时，这也是SPIN的默认设置。扩展结果与讨论。如图S6所示，虽然SPIN在全身可见的图像上表现良好，但在人体被截断的图像上却会失效。相比之下，EFT对这种截断情况的鲁棒性更强，因为该模型在训练期间是以大幅裁剪的图像作为数据增强来训练的。EFT的数据增强效果还得到了我们微调实验的进一步证实。在我们的训练集上对SPIN和EFT进行微调后，两种模型对运动模糊和图像截断的鲁棒性均有所提升，且在所有指标上的误差都低于原始模型，具体数据见主论文表3。结合在You2Me数据集上的实验结果（见主论文第5.4节），这表明我们的训练集能够帮助现有的3DHPS模型适配于自中心视角数据。 --- ![Image](images/7cf77351b22313643befae8610119ada1d4be6ab054a9e47b2da1719559308f9.jpg)

Fig. S6: Qualitative results from the baseline evaluation.

#### D.3 You2Me数据集交叉评估的细节此处我们汇报You2Me数据集实验的实验设置。You2Me数据集[^68]提供了自中心视角的图像（由佩戴在胸前的GoPro相机拍摄），以及佩戴相机者和互动对象的3D关节真值位置。不过这些3D关节真值位于世界坐标系下，因此无法计算仅涉及平移的MPJPE（详见主论文第5.1节）：由于GoPro相机与世界坐标系之间的校准参数未知，即便预测结果在相机坐标系下完全准确，也可能与真值存在刚体变换差异。为解决这一问题，我们首先执行Procrustes对齐，求出缩放、平移和全局旋转参数，将预测的3D人体关节与真值对齐，再计算对齐后人体的MPJPE，从而得到论文中报告的PA-MPJPE误差。 #### D.4 运动模糊增强实验数据增强技术或许能够模拟图像模糊和截断现象。仅仅通过在原始训练数据集上加入额外数据增强并进行微调，就能提升现有方法在EgoBody上的性能吗？EFT模型在训练时采用了激进的图像裁剪策略，这在一定程度上模拟了我们数据集中的身体截断情况。事实上，其出色的性能已经证明了数据增强的效果；但这种增强方式并未能完全解决EgoBody中的挑战：原始EFT模型与在我们数据集上微调后的所有模型（SPIN-ft、METRO-ft、EFT-ft）之间存在着明显的性能差距。（详见主论文中的表4） --- 同样，我们在此进一步分析了运动模糊增强的效果。我们在SPIN模型原本的训练数据集上，利用额外的运动模糊增强技术对预训练模型进行微调。在微调过程中，我们以0.5的概率随机设定模糊方向、角度和核大小来对训练图像进行模糊处理，同时我们尝试了多种不同核大小的设置。但在以心视角测试集上评估时，并未观察到相较于原始SPIN模型的性能提升（见表S2）。这两点观察结果均表明，现有的数据增强技术无法完全应对以心视角场景中的挑战，而EgoBody正是填补了这一空白。

Table S2: Evaluation of motion blur augmentation on our egocentric test set. 'SPIN-blur' denotes the result of fine-tuning SPIN on its original training set with additional motion blur augmentation.

MPJPE $\downarrow$ PA-MPJPE $\downarrow$ V2V $\downarrow$ PA-V2V $\downarrow$
SPIN [^48]	182.8	116.6	187.3	123.7
SPIN-blur	184.9	128.2	188.5	129.2

### D.5 基线方法的细节 CMR [^49]首先通过图卷积网络回归SMPL人体顶点的3D位置。基于图像的CNN将输入图像编码为特征向量，该向量会被附加到由网格模板定义的图网络中。多层感知机（MLP）则根据回归得到的人体顶点来预测SMPL参数。 METRO [^57]采用无模型框架来直接估计人体顶点和3D关节位置。Transformer编码器通过自注意力机制建模顶点与顶点之间、顶点与关节之间的交互关系。 SPIN [^48]将迭代优化循环融入神经网络训练过程，从而结合基于回归的方法和基于优化的方法的优势。这种优化过程会将SMPL人体模型拟合到图像上的2D关节处，从而为回归器提供更稳健的监督信号。 EFT [^36]通过示例微调技术，为现有大规模2D数据集添加3D标注信息。该模型从预训练的3D姿态回归器出发，通过将2D关节拟合到图像上来微调模型权重。在获得的3D标注信息的监督下，一个架构与SPIN [^48]相同的模型会被训练，训练时会采用极端裁剪增强和辅助输入表示。 LGD [^81]提出利用神经网络来预测优化框架中的参数更新规则。梯度更新网络会回归每次优化迭代中SMPL参数的更新步长。 PARE [^46]利用人体各部位的可见性信息，预测以人体部位为导向的注意力掩码，从而在人体被遮挡的情况下仍能实现SMPL参数的稳健预测。 --- ![Image](images/f260364ed7120515fafb4f925de3fe2cd294de151358947d59aedc6b87911adf.jpg)

(a)

![Image](images/9ba3bde7a8ca8d7c8bb80429d830f4fbbeffeacb9fd9f8498d807a8176dd2792.jpg)

(b)

Fig. S7: (a) The user interface, and the (b) definition of the 17 joints, for AMT manual annotation.

为了评估人体形状和姿态标注的准确性，我们通过亚马逊土耳其机器人（Amazon Mechanical Turk, AMT）在EgoSet-interactee帧上收集17个人体关节的2D位置的人工标注数据。用户界面如图S7(a)所示。我们从最初的22个SMPL-X人体关节中排除了人工标注难度较大的关节（头部、脊柱1、脊柱2、脊柱3、左领口、右领口），同时添加了用户易于定义的鼻关节。系统会向用户展示人体关节的定义说明（图S7(b)），并提供待标注目标人物的图像（以防背景中存在无关人物）。对于被自身遮挡的关键点，需要由用户进行推断；而被场景物体遮挡的关键点则无需标注。我们对EgoSet-interactee数据以50%的比例进行下采样，最终得到2,286帧图像。为确保标注质量，每帧图像由五名用户共同标注，若某个关节的标注人数少于三人，则该关节数据将被忽略。有少量用户会将左右侧标注颠倒，这会给真实值的评估带来不可忽视的噪声。为解决这一问题，我们按照以下流程过滤异常值并修正颠倒的标注：对于每个已标注的关节，计算各标注点与平均位置的2D距离$\mathbf{x}_i$（$i = 0,1,...,4$），该距离记为$\bar{\mathbf{x}}$，即$d_i = ||\mathbf{x}_i - \bar{\mathbf{x}}||_2$。若满足$\frac{d_i - \bar{d}}{\sigma} > 1.5$条件，则该标注被视为异常值，其中$\bar{d}$为平均距离，$\sigma = \sqrt{\frac{1}{n}(d_i - \bar{d})^2}$为距离的标准差。对于身体另一侧存在对应关节的关节，我们会先翻转标注的左右侧，再执行相同的异常值检测，从而修正用户颠倒左右侧的情况。 --- #### F 局限性由于无法通过硬件方式同步HoloLens2和Kinect，我们采用软件方法对两者的时钟进行对齐：利用所有设备都能看到的手电筒光线作为第一帧的信号。尽管HoloLens2偶尔会出现丢帧现象，但根据HoloLens2研究模式API提供的时间戳[^88]，仍能将所有设备的对应帧对齐。此外，我们经实验发现存在轻微的时间错位现象。在本研究中，这种错位现象在快速运动场景下尤为明显（例如手部运动，如图S5所示）。不过，第三人称视角摄像头与头戴式显示器之间的同步出现此类问题在所难免[^68]。尽管存在轻微错位，但如第4.2节的重建精度测试结果所示，我们的重建算法仍能达到很高的精度。