# 基于组件感知变换器的一体化3D全身网格恢复林静 $^{1,2§}$、曾爱玲 $^{1¶}$、王浩乾 $^{2}$、张雷 $^{1}$、李宇 $^{1}$ $^{1}$ 国际数字经济研究院（IDEA） $^{2}$ 清华大学深圳国际研究生院 ![Image](images/8ca1c742220ed934d0af49c47dec68508d110b8358e2bc778b7251bea5efeb0d.jpg)

(a) Previous multi-stage pipeline

(b) Our one-stage pipeline

Figure 1. A comparison of existing whole-body mesh recovery methods and ours. Most existing methods leverage a multi-stage pipeline which uses separate expert models to process body component (e.g., E1: HeadNet, E2: HandNet, E3: BodyNet) and fuse them to get the whole-body prediction in a copy-paste manner. The result (from [^36]) produces unnatural wrist poses. In contrast, our pipeline is a neat one-stage framework with a single encoder-decoder and can predict more accurately with natural meshes.

## 摘要全身网格恢复旨在从单张图像中估计出3D人体、面部和手部参数。由于分辨率问题，即面部和手部通常位于极小的区域内，因此用单个网络完成这项任务极具挑战性。现有方法通常会先检测出手部和面部，放大其分辨率后再输入特定网络以预测参数，最后融合这些结果。虽然这种“复制粘贴”式的流程能够捕捉到面部和手部的精细细节，但在后期融合时却难以恢复不同部位之间的连接关系，从而导致不合理的3D旋转和不自然的姿态。在这项工作中，我们提出了一种用于表达性全身网格恢复的一体化流程，命名为OSX，无需为各个部位单独设计网络。具体而言，我们设计了由全局人体编码器和局部面部/手部解码器组成的组件感知变换器（CAT）。编码器负责预测人体参数，并为解码器提供高质量的特征图；解码器则采用特征级上采样-裁剪机制来提取高分辨率的部位专属特征，同时运用关键点引导的可变形注意力机制来精准估计手部与面部参数。整个流程简单高效，无需任何人工后处理，自然避免了不合理的预测结果。大量实验验证了OSX的有效性。最后，我们构建了一个大规模的上半身数据集（UBody），该数据集包含高质量的2D和3D全身标注信息，涵盖了在各类现实场景中部分可见的人体样本，旨在缩小基础任务与下游应用之间的差距。 ### 1. 引言 ### 1. 引言表达性全身网格恢复旨在从单目图像中同时估计3D人体姿态、手部动作和面部表情。由于近期全身参数化模型（如SMPL-X [^37]）的不断发展，这一领域正受到越来越多的关注。该任务是建模人类行为的关键步骤，具有诸多应用场景，例如动作捕捉、人机交互等。以往的研究主要聚焦于重建人体的单个任务 [^9] [^21] [^25] [^44] [^48] [^49]、面部 [^2] [^10] [^12] [^43]， --- 或手部 [^4] [^8] [^16]。然而，全身网格恢复尤其具有挑战性，因为它需要准确估计每个部位，并确保它们之间存在自然的连接关系。现有的基于学习的方法[^13] [^29] [^36] [^41] [^51]采用多阶段流水线来处理身体、手部和面部估计，以实现本任务的目标。如图1(a)所示，这些方法通常会检测不同的身体部位，对每个区域进行裁剪和缩放，再将它们输入到独立的专家模型中以估计各部位的参数。这种针对身体、手部和面部分别使用不同估计器的多阶段流水线会导致系统结构复杂且计算开销巨大。此外，不同组件之间的通信受阻必然会引发配置不兼容、网格关节运动不自然以及3D手腕旋转结果不合理等问题，因为它们无法从其他组件中获取有信息量且一致的特征线索。有些方法[^13] [^29] [^51]试图通过设计额外的复杂整合方案或针对单个身体部位的肘部补偿融合机制来缓解这些问题。然而，这些方法可被视为后期融合策略，因此相互增强及修正不合理预测的能力有限。在这项工作中，我们提出了一种名为OSX的单阶段框架用于3D全身网格恢复，如图1(b)所示，该框架无需为各个部位单独设置网络。受近期视觉Transformer[^11] [^47]发展的启发——这类模型在简单架构中就能有效捕捉空间信息——我们将所设计的流水线构建为组件感知型Transformer（CAT），它由全局身体编码器和局部部件专属解码器组成。以身体标记作为输入编码器能够捕捉全局相关性、预测身体参数，同时为解码器提供高质量的特征图。解码器利用可微的上采样-裁剪机制来提取特定部位的高分辨率特征，并采用关键点引导的可变形注意力机制来精准定位并估计手部和面部参数。所提出的流水线简单却高效，无需任何人工后处理。据我们所知，这是首个用于3D全身估计的单阶段流水线。我们开展了全面的实验来探究上述设计的效果，并在三个基准数据集上将我们的方法与现有工作进行了比较。结果显示，在AGORA数据集上OSX的性能比最先进方法（SOTA）[^29]高出9.5%，在EHF数据集上高出7.8%，在仅包含身体的3DPW数据集上更是高出13.4%。此外，如图2第一行所示，现有的主流基准测试数据集要么是图像数量有限的室内单人场景（如EHF [^37]），要么是室外合成场景（如AGORA [^35]），这些场景中人物往往离摄像头太远，且手部与面部常被遮挡。实际上，人体姿态估计与网格恢复是一项基础任务，对手语识别、手势生成以及人机交互等诸多下游应用都有着重要价值。脱口秀和在线课堂等场景虽对我们的日常生活至关重要，却尚未得到充分研究。在这类场景中，上半身是主要关注对象，而手部与面部则是分析的关键。为解决这一问题，我们构建了包含十五个以人为中心的真实生活场景的大规模上半身数据集，如图2(f)至(t)所示。该数据集包含许多未见过的姿态、多样的外观、严重的截断现象、人物互动以及突发的镜头切换情况，这与以往的数据集存在显著差异。据此，我们设计了系统化的标注流程，提供了精确的2D全身关键点与3D全身网格标注。借助该数据集，我们对现有的全身估计器进行了全面的基准测试。我们的贡献可总结如下。 - 我们提出了一种用于3D全身网格恢复的单阶段流程OSX，能够以简单高效的方式回归SMPL-X参数。 - 尽管我们的单阶段框架在概念上较为简单，但它在三个主流基准测试中均取得了新的最优性能。 - 我们构建了大规模上半身数据集UBody，旨在弥合基础任务与下游应用之间的差距，并提供精确的标注，借此我们对现有方法开展基准测试。我们希望UBody能激发新的研究方向。 #### 2. 相关工作 #### 2.1. 全身网格恢复方法全身网格恢复旨在从单目图像中定位包括身体、手部和面部在内的所有人体部件的网格顶点。以往的大多数研究仅聚焦于单独的手部 [^4] [^8] [^16]、面部 [^2] [^10] [^12] [^43] 以及身体[23–25, 44, 48]重建。相比之下，针对全身的联合估计方法较少被提及。一些基于优化的方法通过利用从图像中检测到的2D关键点并结合额外约束来重建3D人体，但这类方法速度较慢且易陷入局部最优解 [^37] [^46]。得益于全身参数化模型（如SMPLX [^37]），基于学习的模型 [^13] [^36] [^41] [^42] [^54] 应运而生，用于训练网络以预测富有表现力的身体姿态、形状、手部动作及面部表情。由于手部与面部的分辨率较低，这些全身方法会将手部与面部图像裁剪并缩放至高分辨率，再输入专门的网络进行对应的参数回归。具体而言，ExPose [^36] 引入了由身体驱动的注意力机制来实现面部与手部的更高分辨率裁剪估计，还设计了专门的细化模块，并利用现有的仅手部及仅面部数据集中的特定知识。FrankMocap [^41] 则提出了一种回归与整合相结合的方法，构建出快速且精准的系统。PIXIE [^13] 能够生成可动画化的全身模型。 --- ![Image](images/dd3fc4298bff9353bac0e0ef1c0f100247bece6ad923d148f10b6b4ecc1fbdc9.jpg) ![Image](images/96c662e0d5e79fb1f314be597b37194b8ad365b016bb965b84996d67af52d959.jpg) ![Image](images/a1b1bc99a58d90563a213fb7a33fb487a1dc46a308a2d56c18952ae683e7c057.jpg)

![Image](images/5690464e682ec35018b703396f3e5cd42945c5e192521a0c5f58458e7ca1a153.jpg) ![Image](images/c641ae4f742f14c8aed2e50324438e0b3972451fbc15cee77b1f76fd745d5f36.jpg) ![Image](images/bbed71d480d1ad06c4ddccf5363a6faa28ec724982c04c4d47f32d2b9786705c.jpg)

(e) 3DPW

![Image](images/e6c7cec2e45a689fd3840975faaf748ca9494060721531bf83002552d6892a87.jpg) ![Image](images/cf0924f2613b1cdaa54a2a68b64830250d6aece33f7c8afb0fa491314728db71.jpg) ![Image](images/7ebe65e83e3c55c6416575b4717b56642ddc7718dfe245707ed60eac807352c2.jpg) ![Image](images/e71eeb05720e9eed23013c1d11e247f9cb0da2bb5d17314699e0d8671dad94c6.jpg) ![Image](images/7b91702b846dc7ecfe807d0f7955b443f88f777e158620308b209bd31c5a843c.jpg) ![Image](images/9af033d927c2ccbf2d1fcda8d5cf09493c2cfc68aa66dddf65aa1750f2ebf146.jpg)

(p) Speech

![Image](images/6d0385814bd649de838f92a37b3973c4f2322a1260d801ee64c9675d20fbe33f.jpg) ![Image](images/8857a6ea88b740546ffbd52ae88ca4af6606d6113bbd8ccdcfc4cdbe50095d90.jpg)

(q) TV Show

![Image](images/68d058e43683d2b52a20bedcbd8a746214ed1b183bd5bb2cfae6e45cac85e057.jpg) ![Image](images/4e1e57ac4071aab1e8a857c6026c3f30396899f35f70ec88b3ae3f5b531474d1.jpg) ![Image](images/c8fc973432e581f1a54ead38c8893af29a1d591d666419123c5c82ffe69b1397.jpg)

(r) Conference

![Image](images/f7c22e52b07d626a8d769a26070e252f929ac1f07436f92e4a049643feafaa5b.jpg) ![Image](images/d20eeb471ab881e7a6374705dac5e5a71e2194571618321d797f45c9c22184dc.jpg)

(s) Live Vlog

![Image](images/db0272c180a8caef7f091d6b24e426659f1945fe4ce8afb6ca9eba626fda7d48.jpg)

Figure 2. Illustration of five previous datasets (from (a) to (e)) and the proposed Upper Body Dataset (from (f) to (t)) with fifteen real-life scenes. UBody bridges the gap between the basic 3D whole-body estimation task and downstream tasks with highly expressive actions.

通过调节器自适应融合身体部位特征，从而生成具有逼真面部细节的图像。最近，Hand4Whole [^29] 利用身体和手部关节特征来精确估计三维手腕旋转，并实现身体与手部之间的平滑连接。不过，这些方法为了追求高性能，采用分而治之的策略，为不同组件使用独立的网络，再通过特定的融合模块将它们拼接起来。这种多阶段流程导致复杂度很高，不可避免地会造成网格关节的不连贯与不自然，以及三维手腕旋转的失真，尤其是在被遮挡、截断或模糊的情况下。迄今为止，该任务中尚未有单阶段方法被探索。 ### 2.2. 富有表现力的身体基准测试为了推动该领域的发展，已经开发出一些带有参数化模型标注的数据集 [^5] [^17] [^20] [^30] [^35] [^37] [^45]。表1从标注类型、规模、场景多样性等方面对这些数据集进行了总结。具体而言，EHF [^37] 是基于SMPL-X模型的首个评估数据集，它是通过扫描系统获取三维人体形状，再将SMPL-X模型拟合到扫描结果上构建而成的。AGORA [^35] 是一个逼真度极高且真值准确的合成数据集，由于受试者、环境、服装及遮挡情况的多样性，它目前是最常用的测试数据。值得注意的是，AGORA中的人物通常离摄像头较远，其手部和面部被遮挡且分辨率较低，这使得现有方法更侧重于身体而非手部和面部的估计。由于基于标记的三维动作捕捉标签难以获取，因此针对单目室内外场景，有几种高精度标注方法 [^13] [^30] [^33] [^37] [^38] [^40]。FBA [^40] 强调了现有身体恢复方法在消费级视频数据上的严重失效情况，这些失效源于不寻常的摄像视角和严重的截断现象。他们利用HMR [^21] 在四个动作识别数据集的1.3万帧图像上标注伪二维人体关键点及SMPL标注。Multi-shot-AVA [^38] 也认为，来自编辑媒体（如包含丰富外观、人际互动及各种时间背景的电影）的数据很有价值。他们将在AVA [^14] 上提出的多镜头优化方法应用于获取数据，从而得到伪三维真值。有趣的是，一项身体恢复基准测试 [^34] 发现，仅使用带有伪三维标签的二维COCO数据集就能意外地取得更好的性能和泛化能力。为了补充这些先前的数据集并专注于富有表现力的身体恢复研究，我们构建了一个带有高质量二维和三维全身标注的新基准测试。 #### 3. 方法 #### 3.1. 动机单阶段框架对于简化繁琐的流程、避免手工设计和复杂的集成方案至关重要。然而，将多阶段方法直接转化为单阶段方法并非易事。我们以当前最先进的方法Hand4Whole $^{[29]}$ 为例，开展了一些初步研究，以缩小多阶段方法与单阶段方法之间的差距。一方面，我们用一个共享的骨干网络替换其独立的骨干网络，用于处理所有人体部件；另一方面，我们探索了针对手部和面部的不同裁剪与缩放图像分辨率，因为这两部分通常尺寸较小。 ---

Type	Dataset	#Frames	Scenes	Multi Person	In-the-wild	Upper Body	Video	Annotation Type	Annotation Source
Rendered	AGORA [^35]	17K	Daily	Y	N	N	N	SMPL-X	[^35]
Marker/Sensor-based MoCap	Human3.6M [^17]	3.6M	Daily	N	N	N	Y	SMPL-X	[^30]
Marker/Sensor-based MoCap	3DPW [^45]	> 51K	Daily	Y	Y	N	Y	SMPL-X	[^30]
Marker-less Multi-view MoCap	MPI-INF-3DHP [^28]	> 1.3M	Daily	N	Y	N	Y	SMPL-X	[^30]
	EHF [^37]	0.1K	Daily	N	N	N	N	SMPL-X	[^37]
	ZJU-MoCap [^39]	≥ 237K	Daily	N	N	N	Y	SMPL-X	[^1]
Pseudo-3D Labels	PennAction [^53]	77K	Fitness	N	Y	N	Y	SMPL	[^52]
	MSCOCO [^27]	200K	Daily	Y	Y	N	N	SMPL-X	[^30]
	COCO-Wholebody [^18]	200K	Daily	Y	Y	N	N	2D KPT	[^18]
	MPII [^3]	25K	Daily	Y	Y	N	N	SMPL-X	[^30]
	MTP [^32]	3.8K	Daily	N	Y	N	N	SMPL-X	[^32]
	FBA [^40]	13K	Vlog&Cook&Daily	Y	Y	N	Y	SMPL	[^40]
	Multi-shot-AVA [^38]	350K	Movie	Y	Y	N	Y	SMPL	[^38]
	UBody (Ours)	>1051K	Real-life Scenes	Y	Y	Y	Y	SMPL-X&2D KPT	Ours

Table 1. Comparison of related datasets. UBody is a large-scale upper-body dataset with high-precision whole-body annotations.

Method	AGORA-val			EHF
Method	Hand	Face	All	Hand	Face	All
Ori.	73.3	81.4	183.8	42.7	25.7	77.5
Ori. $+1/4$ Hand	75.7	80.8	183.0	50.9	24.8	78.5
Ori. $+1/4$ Face	73.2	81.8	184.0	41.3	24.2	77.0
Share Backbone	81.1	91.0	202.3	55.5	33.5	84.7
Share $+1/4$ Hand	77.4	86.1	188.6	57.0	25.8	84.8
Share $+1/4$ Face	79.5	85.0	196.7	57.8	24.4	82.5

Table 2. A preliminary study on the effect of different component scales and share backbone for all components' feature extraction.

表2显示，当我们从原始设置（Ori.）切换到共享骨干网络（Share Backbone）时，在两个数据集上所有恢复误差都会显著恶化。具体而言，在AGORA数据集上，MPVPE值从183.8毫米增加到202.3毫米（下降了10.1%）[^35]；在EHF数据集上，所有组件（All）的MPVPE值从77.5毫米增加到84.7毫米（下降了9.3%）。这些结果表明，利用共享骨干网络提取多组件全身特征十分困难。值得注意的是，在EHF数据集上手部的估计性能下降了30.0%。基于不同分辨率下的实验结果，我们总结出以下几点有趣的现象：（i）总体而言，在EHF数据集上改变手部分辨率导致的性能下降幅度比面部更大；（ii）在不共享骨干网络的情况下，当手部和面部的输入分辨率较低时，整体结果往往更差。 #### 3.2. 构建组件感知型Transformer 为了打破上述现状，我们提出了一种用于表达性全身网格恢复的单阶段框架，该框架采用视觉Transformer编码器和解码器，名为OSX。正如我们后续将展示的那样，它设计简单且在全身网格预测方面效果显著。我们希望它能为未来的单阶段方法提供基准。给定一张人体图像$\mathbf{I} \in \mathbb{R}^{H \times W \times 3}$后，我们的组件感知型Transformer（CAT）会估算出对应的身体、手部和面部参数$\hat{\mathcal{P}} = \{\hat{\mathbf{P}}_{body}, \hat{\mathbf{P}}_{hand}, \hat{\mathbf{P}}_{rhand}, \hat{\mathbf{P}}_{face}\}$，随后将其输入SMPL-X层[^37]以得到最终的3D全身人体网格。具体来说，$\hat{\mathbf{P}}_{body}$包含3D身体关节旋转$\theta_{body} \in \mathbb{R}^{22 \times 3}$、身体形状$\beta \in \mathbb{R}^{10}$以及3D全局平移$t \in \mathbb{R}^3$。对于$\hat{\mathbf{P}}_{hand}$和$\hat{\mathbf{P}}_{rhand}$而言，它们分别对应3D左手和右手关节旋转$\theta_{hand} \in \mathbb{R}^{15 \times 3}$与$\theta_{rhand} \in \mathbb{R}^{15 \times 3}$。$\hat{\mathbf{P}}_{face}$则包含3D下颌旋转$\theta_{face} \in \mathbb{R}^3$和面部表情$\phi \in \mathbb{R}^{10}$。我们的训练目标是最小化恢复出的参数$\hat{\mathcal{P}}$与真实参数$\mathcal{P}$之间的差距。如图3所示，所提出的CAT包含一个用于捕捉全局相关性并提取高质量多尺度特征的组件感知型编码器，以及一个通过上采样策略强化手部和面部回归、以获取更高分辨率特征图的组件感知型解码器。 #### 3.3. 通过全局编码器进行身体回归在组件感知型编码器中，人体图像$\mathbf{I}$会被分割成固定大小的图像块$\mathbf{P} \in \mathbb{R}^{\underline{HW}M^2 \times (M^2 \times 3)}$，其中M代表块的大小。这些图像块$\mathbf{P}$随后会通过卷积层进行线性投影，并与位置嵌入$\mathbf{P}_e \in \mathbb{R}^{\underline{HW}M^2 \times C}$相加，从而得到一系列特征令牌$\mathbf{T}_f \in \mathbb{R}^{\underline{HW}M^2 \times C}$。为了在编码器中充分利用身体先验并学习身体信息，我们将特征令牌$\mathbf{T}_f$与作为可学习参数的身体令牌$\mathbf{T}_b \in \mathbb{R}^{B \times C}$进行拼接。拼接后的令牌随后被输入到包含多个Transformer块的标准Transformer编码器中[^11]。每个块由多头自注意力机制、前馈网络（FFN）以及两层归一化层组成。经过全局特征融合后，身体令牌和图像特征令牌会分别更新为$\mathbf{T}_b' \in \mathbb{R}^{B \times C}$和$\mathbf{T}_f' \in \mathbb{R}^{\underline{HW}M^2 \times C}$。最后，我们使用几个全连接层来回归 --- ![Image](images/f03c80b6a3542270a13ed8daa40df819fc032b71ef937fec4d55168874e387d5.jpg)

(a) Component-aware Encoder

(b) Component-aware Decoder

Figure 3. The overview of the proposed one-stage framework (OSX) with component-aware transformer. It includes (a) a component-aware Transformer encoder and (b) a component-aware Transformer decoder.

基于$\hat{\mathbf{P}}_{body} = \{\theta_{body}, \beta, t\}$的身体参数$\mathbf{T}_{\mathbf{b}}'$。 ### 3.4. 用于手部和面部的高分辨率解码器多尺度高分辨率特征的上采样。由于人体图像中的手和面部通常较小，以往的方法会对人体图像进行上采样，再裁剪出手部和面部以获得更高分辨率的图像。然而，这种图像级的上采样-裁剪方案需要额外的骨干网络来分别提取手部和面部特征。为解决这一问题，我们借鉴近期提出的ViTDet方法[^26]，提出了一种可微的特征级上采样-裁剪策略，以优化手部和面部回归过程。具体而言，我们将特征令牌$T_f'$重塑为特征图，并通过反卷积层将其上采样为多个更高分辨率的特征$T_{hr}$。由于从完整特征图中解码手部和面部成分信息必然会导致冗余计算，降低计算效率，因此我们对特征图执行可微的RoIAlign操作[^15]，再根据由FFN从$T_{hand}$回归得到的手部和面部边界框，裁剪出多尺度的手部特征图$T_{face}$与面部特征图$T_f'$。手部和面部成分的上采样与解码过程相同，我们在图3(b)中详细展示了手部参数回归的情况。裁剪后的多尺度手部特征可表示为$T_{hand} = \{F_{lr}, ..., F_{hr}\}$。低分辨率特征$F_{lr} \in \mathbb{R}^{\frac{H'}{M} \times \frac{W'}{M} \times C}$是从原始低分辨率特征图中裁剪得到的，其中$H'$和$W'$分别为手部图像块的高度和宽度，$F_{hr}$则是最高分辨率的特征。这些裁剪后的多尺度特征随后会作为关键点引导的组件感知解码器的记忆令牌V。为减轻计算压力，我们在组件感知解码器中将令牌维度从C缩减为$C'$，其中$C' = C/2$。关键点引导的可变形注意力解码器。为提高手部和面部参数回归的精度，我们利用2D关键点位置作为先验知识，以获取比随机初始化更好的组件令牌$\mathbf{T}_c$。我们简单利用特征图$\mathbf{F}_{lr}$来回归每个2D关键点，以在精度与效率之间取得平衡，并将其视为参考关键点。解码器的输入$\mathbf{T}_c \in \mathbb{R}^{K \times C'}$——我们称之为关键点引导的组件令牌——是通过将参考关键点特征、姿态位置嵌入以及可学习嵌入相加得到的。随后，我们借鉴Deformable DETR的思路[^55]，将关键点引导的组件令牌传入N个可变形注意力模块。为解决遍历所有可能空间位置的问题，这些模块会在参考关键点周围学习一小组采样点（此处为四个），从而在保持计算效率的同时提升特征的空间分辨率，这一点优于传统的DETR模型[^7]。每个模块由多头自注意力层、多尺度可变形交叉注意力层以及FFN组成。在可变形交叉注意力层中，关键点查询$\mathbf{Q}$会从关键点位置$\mathbf{V}$周围的多尺度特征元素$p_q$中提取特征： $$ \mathbf{C A}(\mathbf{Q},\mathbf{V},p_{q})=\sum_{l=1}^{L}\sum_{k=1}^{K}A_{l q k}W\mathbf{V}_{l}(\phi_{l}(p_{q})+\Delta p_{l q k}), $$ --- ![Image](images/55d44d0f839acaa14e8e5b8b490b5f2e4c1c8c2d11f2fc1556079f6bdc3e5ad6.jpg)

Figure 4. Illustration of the annotation pipeline of UBody. Black lines show the annotation process of 2D whole-body keypoints, and blue lines are the 3D SMPL-X annotation procedure. Red dotted lines mean to update the information.

![Image](images/d59a0a6697b24db04a3f5d59abed9db2f8539fe04c9ad400c8f3dfd6c7b2fafc.jpg)

(a) 2D Keypoints Annotation

(b) 3D Mesh Annotation

Figure 5. Comparisons of (a) the 2D keypoints annotation quality of wildly used methods [^6] [^50] and recent SOTA [^47] on UBody (the left part), and (b) the 3D mesh annotation quality of previous SOTA [^30] with ours on COCO (the right part).

其中l和k分别表示特征层级和键，A和W分别为注意力权重与可学习参数，$\phi(\cdot)$和$\Delta p$为位置缩放因子与偏移量。之后，更新后的组件令牌$\mathbf{T}_{\mathbf{c}}' \in \mathbb{R}^{K \times C'}$会被送入手部或面部回归头，分别输出最终的手部或面部参数$(\hat{\mathbf{P}}_{lhand}, \hat{\mathbf{P}}_{rhand}, \hat{\mathbf{P}}_{face})$。损失函数。OSX通过最小化下述损失函数以端到端方式训练： $$ \begin{array}{r}{L=L_{s m p l x}+L_{k p t3D}+L_{k p t2D}+L_{b b o x2D}.}\end{array} $$ 这四项指标是通过计算真实值与预测值之间的L1距离得出的。具体而言，$L_{smplx}$提供了对SMPL-X参数的显式监督。$L_{kpt3D}$、$L_{kpt2D}$和$L_{bbox2D}$分别是针对3D全身关键点、投影后的2D全身关键点以及左右手和面部2D边界框的回归损失。更多细节详见附录。 #### 4. UBody——一个上半身数据集从视频中恢复3D全身网格是一项基础的计算机视觉任务，它能够提供全面的运动、手势和表情信息，从而帮助理解人类的行为与感知方式。然而，现有数据集缺乏适合下游任务的场景，比如手语识别、手势生成、情感识别，以及以VLOG形式记录的真实生活场景，这使得最新的先进方法难以在这些场景中取得良好的泛化效果。有趣的是，这些场景更关注上半身的表征。基于这一发现，我们提出了一种用于表达性上半身网格恢复的新颖大规模基准数据集，如图2(f)至(t)所示，命名为UBody。我们的标注流程如图4所示。由于篇幅限制，数据采集、标注过程及标注可视化内容均放在附录中介绍。 #### 4.1. 质量分析与以往基于优化和基于学习的方法相比，我们的标注流程能在更短的运行时间内生成质量更好的3D伪真实值拟合结果[^13] [^20] [^30] [^37] [^38]。图5(a)将我们的2D标注结果与两种常用的标注方法（OpenPose [^6]和MediaPipe [^50]）进行了对比。我们的2D标注质量明显更优，尤其是在手部细节以及遮挡和模糊情况下的鲁棒性方面。图5(b)则将我们的3D标注结果与SOTA方法NeuralAnnot在COCO数据集上的结果进行了对比[^30]。从肉眼观察来看，我们的方法在身体形状的贴合度和全身姿态的准确性方面也表现更佳。 ### 4.2. 数据特征与图2(a)至(e)中展示的常用数据集以及表1中列出的相关人体数据集相比，UBody具备独特的特征，呈现出新的…… --- ![Image](images/34d28ae376b60c33dce950a37d910bd034c02ca1fc87d7c4302ccfdbc88000aa.jpg) ![Image](images/64aac1906ae3fab7ba77c94aaa7863b7eb52c28c3fcd833a5330457f780b279f.jpg) ![Image](images/8e9cd2b7ba6b959ec6d49829751d244042aa691eef95cb5f10a7007162fe9dff.jpg) ![Image](images/7e89536899828acbd8f8266204f6a5137fb3ed4a1ecdd411894bc6d5d8865bb7.jpg)

Figure 6. The statistical comparisons of the areas of the hand and face bounding boxes (upper row) and the number of 2D visible hand and face keypoints (lower row) with the logarithmic scale of the Y-axis. UBody focuses on upper bodies exhibiting expressive gestures and facial expressions.

未来研究面临的挑战。许多视频来源于经过编辑的媒体，包含极其多样的场景以及丰富的人类动作和手势，这些视频往往存在突兀的镜头切换和动态的摄像机视角，从而导致帧与帧之间的不连续性。人类的特写镜头会造成严重的图像截断现象，使得现有方法容易失效。同时，视频中物体与身体部位、字幕以及特效之间存在不同程度的遮挡，背景和光线条件也变化多端；这些情况在以往的数据集中并未出现。UBody数据集中的所有场景都包含丰富的手部手势和面部表情，这使得识别模型能够更加关注这些重要的身体部位。最后，这些真实生活视频还提供了音频作为额外信息，以供未来开发多模态方法之用。我们还在图6中给出了UBody与广泛使用的AGORA数据集[^35]的关键特征统计对比。AGORA数据集中手部/面部边界框区域通常较小，而UBody则更注重多样化的手部与面部尺度，这从其更分散的区域分布中便可看出。同时，UBody中可见的面部/手部关键点更多，凸显了识别手部手势和面部表情的重要性。最后，UBody包含的真实生活视频为后续的时空建模提供了新的可能性，这是基于图像的AGORA数据集所不具备的。 #### 5. 实验 #### 5.1. 实验设置由于页面限制，详细的实验设置、实现过程、标注可视化、与最先进方法的定性比较，以及更多的基准测试结果和分析内容，我们均放在附录中介绍。数据集。我们使用 COCO-Wholebody [^18]、MPII [^3] 和 Human3.6M [^17] 作为训练集。与以往的多阶段方法 [^29] [^36] 不同，我们不使用额外的仅手部 ![Image](images/da71d3c936c80f3a3172a34c49f0fee1a98b38fc735859557e248b366c89752a.jpg)

The Input Image MPVPE (Hands): 38.46 mm MPVPE (Hands): 45.61 mm

Figure 7. Illustration of the inconsistency between quantitative and qualitative results compared Hand4Whole [^29] (the middle one) with OSX (the right figure) on EHF.

和仅面部数据集进行训练，作为单阶段方法的简单基线。SMPL/SMPL-X pseudo-GTs 由 EFT [^19] 和 NeuralAnnot [^30] 获得。评估指标。对于三维全身网格恢复任务，我们以平均顶点位置误差（MPVPE）作为主要评价指标。此外，我们对恢复的网格进行普氏分析（Procrustes Analysis, PA），并报告刚性对齐后的PA-MPVPE值。针对AGORA数据集，我们还报告归一化平均顶点误差（N-PMVPE），以弥补检测遗漏带来的影响。手部误差则是左右手误差的平均值。在3DPW数据集上进行仅限身体的三维恢复任务时，我们遵循以往的研究[^25] [^48]，采用平均关节位置误差（MPJPE）和PA-MPJPE作为评价指标。所有报告的误差单位均为毫米。实现细节。OSX模型基于PyTorch实现，采用Adam优化器进行训练，初始学习率设为$1 \times 10^{-4}$，共训练14个周期。训练过程中采用缩放、旋转、随机水平翻转和颜色抖动作为数据增强手段。我们将身体标记的数量$T_b$和组件标记的数量$T_c$分别设定为27和92。 #### 5.2. 与现有方法的比较表3对OSX与现有的全身网格恢复方法进行了全面比较。作为首个单阶段方法，OSX在大多数情况下都优于那些结构复杂的现有多阶段模型。值得注意的是，OSX并未在仅包含手部或面部的数据集上训练过 [^22] [^31] [^56]。我们的所有MPVPE模型在AGORA测试集上的表现较SOTA提升了9.5%，在EHF数据集上则提升了7.8% [^29]。由于AGORA比EHF更复杂且更贴近真实场景，先前的研究 [^29] [^35] 认为它更能反映现实情况且具有代表性。我们还在图7中可视化了EHF数据集上的高误差误导案例。此外，在仅含人体的3DPW数据集上，我们也取得了SOTA级别的性能，与那些全身恢复方法相比误差降低了13.4%。更多定性结果详见附录。 #### 5.3. 消融实验组件感知解码器的影响。与仅人体姿态估计不同，全身网格恢复需要同时关注人体的姿势（属于较大尺度）以及手部和面部的手势与表情（属于更精细的尺度）。 ---

Method	AGORA-test					EHF					3DPW
	MPVPE $\downarrow$		N-MPVPE $\downarrow$			MPVPE $\downarrow$			PA-MPVPE $\downarrow$		MPJPE $\downarrow$	PA-MPJPE $\downarrow$
	All	Hands	Face	All	Body	All	Hands	Face	All	Hands	Face	Body
Expose [^36]	217.3	73.1	51.1	265.0	184.8	77.1	51.6	35.0	54.5	12.8	5.8	93.4
FrankMocap [^41]	-	55.2	-	-	207.8	107.6	42.8	-	57.5	12.6	-	96.7
PIXIE [^13]	191.8	49.3	50.2	233.9	173.4	89.2	42.8	32.7	55.0	11.1	4.6	91.0
Hand4Whole [^29]	-	-	-	-	-	79.2	43.2	25.0	53.1	12.1	5.8	-
Hand4Whole [^29] x	135.5	47.2	41.6	144.1	96.0	76.8	39.8	26.1	50.3	10.8	5.8	86.6
OSX (Ours)	122.8 $\downarrow$9.5 $\downarrow$	45.7	36.2	130.6	85.3	70.8 $\downarrow$7.8%	53.7	26.4	48.7	15.9	6.0	74.7 $\downarrow$13.4%

Table 3. 3D body reconstruction error comparisons on three existing datasets. × uses additional hand-only and face-only training datasets.

Hand	Ours	w/o H.D.	w/o K.G	w/o both
MPVPE	53.7	55.3	55.1	56.4
PA-MPVPE	15.9	17.7	17.6	18.1
Face	Ours	w/o F.D.	w/o K.G	w/o both
MPVPE	26.4	27.2	26.4	26.8
PA-MPVPE	6.0	5.9	5.8	6.0
Upsampling	$\times 1$	$\times 2$	$\times 4$	$\times 8$
MPVPE	54.9	54.3	53.7	54.1

Table 4. Ablation study of component-aware decoder on EHF with H.D., F.D., K.G, and Upsampling strategies. H.D., F.D., and K.G are abbreviations for Hand Decoder, Face Decoder and Keypoint-Guided scheme.

Method	MPVPE $\downarrow$			PA-MPVPE $\downarrow$			PA-MPJPE $\downarrow$
Method	All	Hand	Face	All	Hand	Face	Body	Hand
ExPose [^36]	171.5	83.7	45.1	66.9	12.0	3.9	70.7	12.3
PIXIE [^13]	168.4	55.6	45.2	61.7	12.2	4.2	66.8	12.3
Hand4Whole [^29]	104.1	45.7	27.0	44.8	8.9	2.8	45.5	9.0
Hand4Whole [^29] $\times$	157.4	62.2	49.8	82.2	9.8	3.9	92.8	10.0
OSX (Ours)	92.4	47.7	24.9	42.4	10.8	2.4	42.9	11.0
OSX (Ours) $\dagger$	81.9	41.5	21.2	42.2	8.6	2.0	48.4	8.8

作为新发布的数据集，我们提供了UBody上的定量与定性结果。表5展示了现有3D全身恢复方法的性能对比。总体结果排名与AGORA类似。由于上半身离摄像头更近，其误差会比AGORA更小。不过，手部和面部在此数据集中的作用比以往的数据集更为重要。此外，我们还进行了微调。 ### 5.4. UBody基准测试为了应对单阶段流程中的分辨率问题，我们提出了附着在组件感知编码器上的组件感知解码器。首先，在上面的表4中，我们验证了所提出解码器对手部和面部回归的有效性。我们可以观察到，没有该解码器时性能会显著下降（例如w/o H.D.和w/o F.D.），这说明直接从编码器回归低分辨率的手部和面部数据是效果不佳的。此外，如中间的表4所示，没有所提出的基于关键点的可变形注意力机制时，误差也会增大。尤其是手部估计的性能受此影响很大，这表明手部姿态估计会更关注稀疏可变形的空间信息以获得更好的查询结果。

Table 5. Reconstruction errors on UBody test set on the intra-scene protocol. All models are pretrained on previous datasets, except for the results labeled by (i) †: finetuned on the UBody training data; (ii) ×: finetuned on the AGORA training data. The result of the inter-scene setting is in the appendix.

上采样策略的影响。为了解决手部和面部特征分辨率低的问题，我们在解码器中设计了特征上采样策略以获取多尺度的更高分辨率特征。下面的表4展示了不同上采样尺度的影响。随着上采样尺度的增加，MPVPE值会先减小，随后达到饱和点。因此，我们在实验中默认使用三种尺度（即$[\times 1, \times 2, \times 4]$）。我们重新在AGORA数据集上测试Hand4Whole，发现所有误差都明显增大。这一观察结果可以归因于AGORA与UBody之间的数据分布差异，如图6所示。此外，我们在自己的训练集上训练OSX，发现其性能较原始预训练模型提升了16.1%，这表明UBody能够用于提升下游真实场景中的性能。 ## 6. 结论在这项工作中，我们提出了首个用于3D全身网格恢复的单阶段流水线，它以简洁而高效的方式在三个基准测试中取得了最先进的性能。此外，为了弥合全身姿态与形状估计这一基础任务与其下游任务之间的差距，我们构建了一个涵盖日常生活场景的大规模数据集。借助我们提出的标注方法，我们发现基于UBody训练能够有效提升上半身场景中的网格恢复性能。我们希望这项工作能在方法论和数据集方面为该领域带来新的见解。局限性与未来工作。目前，我们的训练并未使用额外的手部及面部专用数据集。值得研究的是如何在其流水线中充分利用这些数据集以进一步提升性能。此外，我们还可以验证UBody在一些下游应用中的有效性，例如手势识别和驾驶虚拟形象生成。致谢：本研究部分得到了国家重点研发计划（项目编号：2022YFB36066）以及深圳市科技项目（资助编号：CJGJZD20200617102601004、JCYJ20220818101001004）的支持。 --- ## 参考文献 [^1]: Easymocap - make human motion capture easier. Github, 2021. 4 [^2]: Oswald Aldrian and William A. P. Smith. Inverse rendering of faces with a 3d morphable model. TPAMI, 2013. 1, 2 [^3]: Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele. 2d human pose estimation: New benchmark and state of the art analysis. In CVPR, 2014. 4,7 [^4]: Adnane Boukhayma, Rodrigo de Bem, and Philip H. S. Torr. 3d hand shape and pose from images in the wild. In CVPR, 2019. 2 [^5]: Zhongang Cai, Daxuan Ren, Ailing Zeng, Zhengyu Lin, Tao Yu, Wenjia Wang, Xiangyu Fan, Yang Gao, Yifan Yu, Liang Pan, Fangzhou Hong, Mingyuan Zhang, Chen Change Loy, Lei Yang, and Ziwei Liu. Human: Multi-modal 4d human dataset for versatile sensing and modeling. In ECCV, 2022. 3 [^6]: Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei, and Yaser Sheikh. OpenPose: Realtime multi-person 2d pose estimation using part affinity fields. TPAMI, 2021. 6 [^7]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In ECCV, 2020. 5 [^8]: Theocharis Chatzis, Andreas Stergioulas, Dimitrios Konstantinidis, Kosmas Dimitropoulos, and Petros Daras. A comprehensive study on deep learning-based 3d hand pose estimation methods. Applied Sciences, 2020. 2 [^9]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose. In ECCV. 2020. 1 [^10]: Yu Deng, Jiaolong Yang, Sicheng Xu, Dong Chen, Yunde Jia, and Xin Tong. Accurate 3d face reconstruction with weakly-supervised learning: From single image to image set. In CVPRW, 2019. 1, 2 [^11]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. In ICLR, 2021. 2, 4 [^12]: Bernhard Egger, William A. P. Smith, Ayush Tewari, Stefanie Wuhrer, Michael Zollhoefer, Thabo Beeler, Florian Bernard, Timo Bolkart, Adam Kortylewski, Sami Romdhani, Christian Theobalt, Volker Blanz, and Thomas Vetter. 3d morphable face models—past, present, and future. TOG, 2020. 1, 2 [^13]: Yao Feng, Vasileios Choutas, Timo Bolkart, Dimitrios Tzionas, and Michael J. Black. Collaborative regression of expressive bodies using moderation. In 3DV, 2021. 2, 3, 6, 8 [^14]: Chunhui Gu, Chen Sun, David A. Ross, Carl Vondrick, Caroline Pantofaru, Yeqing Li, Sudheendra Vijayanarasimhan, George Toderici, Susanna Ricco, Rahul Sukthankar, Cordelia Schmid, and Jitendra Malik. AVA: A video dataset of spatio-temporally localized atomic visual actions. In CVPR, 2018. 3 [^15]: Kaiming He, Georgia Gkioxari, Piotr Dollar, and Ross Girshick. Mask R-CNN. In ICCV, 2017. 5 [^16]: Lin Huang, Zhang Boshen, Zhilin Guo, Yang Xiao, Zhiguo Cao, and Junsong Yuan. Survey on depth and rgb image-based 3d hand shape and pose estimation. Virtual Reality & Intelligent Hardware, 2021. 2 [^17]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6M: Large scale datasets and predictive methods for 3d human sensing in natural environments. TPAMI, 2014. 3, 4, 7 [^18]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole-body human pose estimation in the wild. In ECCV, 2020. 4,7 [^19]: Hanbyul Joo, Natalia Neverova, and Andrea Vedaldi. Exemplar fine-tuning for 3d human pose fitting towards in-the-wild 3d human pose estimation. 2020. 7 [^20]: Hanbyul Joo, Natalia Neverova, and Andrea Vedaldi. Exemplar fine-tuning for 3d human model fitting towards in-the-wild 3d human pose estimation. 3DV, 2022. 3, 6 [^21]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In CVPR, 2018. 1, 3 [^22]: Tero Karras, Samuli Laine, and Timo Aila. A style-based generator architecture for generative adversarial networks. TPAMI, 2021. 7 [^23]: Muhammed Kocabas, Chun-Hao P Huang, Otmar Hilliges, and Michael J Black. Pare: Part attention regressor for 3d human body estimation. In ICCV, 2021. 2 [^24]: Muhammed Kocabas, Chun-Hao P Huang, Joachim Tesch, Lea Müller, Otmar Hilliges, and Michael J Black. Spec: Seeing people in the wild with an estimated camera. In CVPR, 2021. 2 [^25]: Nikos Kolotouros, Georgios Pavlakos, Michael Black, and Kostas Daniilidis. Learning to reconstruct 3d human pose and shape via model-fitting in the loop. In ICCV, 2019. 1, 2, 7 [^26]: Yanghao Li, Hanzi Mao, Ross B. Girshick, and Kaiming He. Exploring plain vision transformer backbones for object detection. In ECCV, 2022. 5 [^27]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014. 4 [^28]: Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 3DV, year=2017. 4 [^29]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Accurate 3d hand pose estimation for whole-body 3d human mesh estimation. In CVPRW, 2022. 2, 3, 7, 8 [^30]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. NeuralAnnot: Neural annotator for 3d human mesh training sets. In CVPRW, 2022. 3, 4, 6, 7 ## [^31]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. ECCV, 2020. 7 --- [^32]: Lea Muller, Ahmed AA Osman, Siyu Tang, Chun-Hao P Huang, and Michael J Black. On self-contact and human pose. In CVPR, 2021. 4 [^33]: Lea Muller, Ahmed A. A. Osman, Siyu Tang, Chun-Hao P. Huang, and Michael J. Black. On self-contact and human pose. In CVPR, 2021. 3 [^34]: Hui En Pang, Zhongang Cai, Lei Yang, Tianwei Zhang, and Ziwei Liu. Benchmarking and analyzing 3d human pose and shape estimation beyond algorithms. In Neural Information Processing Systems Datasets and Benchmarks Track. 3 [^35]: Priyanka Patel, Chun-Hao P. Huang, Joachim Tesch, David T. Hoffmann, Shashank Tripathi, and Michael J. Black. AGORA: Avatars in geography optimized for regression analysis. In CVPR, 2021. 2, 3, 4, 7 [^36]: Georgios Pavlakos, Vasileios Choutas, Timo Bolkart, Dimitrios Tzionas, Michael J. Black, Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, and Michael J. Black. Monocular expressive body regression through body-driven attention. ECCV, 2020. 1, 2, 7, 8 [^37]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3d hands, face, and body from a single image. In CVPR, 2019. 1, 2, 3, 4, 6 [^38]: Georgios Pavlakos, Jitendra Malik, and Angjoo Kanazawa. Human mesh recovery from multiple shots. In CVPR, 2022. 3, 4, 6 [^39]: Sida Peng, Yuanqing Zhang, Yinghao Xu, Qianqian Wang, Qing Shuai, Hujun Bao, and Xiaowei Zhou. Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans. In CVPR, 2021. 4 [^40]: Chris Rockwell and David F Fouhey. Full-body awareness from partial observations. In ECCV, 2020. 3, 4 [^41]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. FrankMocap: A monocular 3d whole-body pose estimation system via regression and integration. In ICCVW, 2021. 2, 8 [^42]: Yu Sun, Tianyu Huang, Qian Bao, Wu Liu, Wenpeng Gao, and Yili Fu. Learning monocular mesh recovery of multiple body parts via synthesis. In ICASSP. IEEE, 2022. 2 [^43]: Ayush Tewari, Michael Zollhofer, Hyeongwoo Kim, Pablo Garrido, Florian Bernard, Patrick Perez, and Christian Theobalt. MoFA: Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction. In IC-CVW, 2017. 1, 2 [^44]: Yating Tian, Hongwen Zhang, Yebin Liu, and Limin Wang. Recovering 3d human mesh from monocular images: A survey. arXiv:2203.01923, 2022. 1, 2 [^45]: Timo von Marcard, Roberto Henschel, Michael J. Black, Bodo Rosenhahn, and Gerard Pons-Moll. Recovering accurate 3d human pose in the wild using IMUs and a moving camera. In ECCV. 2018. 3, 4 [^46]: Donglai Xiang, Hanbyul Joo, and Yaser Sheikh. Monocular total capture: Posing face, body, and hands in the wild. In CVPR, 2019. 2 [^47]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. arXiv:2204.12484, 2022. 2, 6 [^48]: Ailing Zeng, Xuan Ju, Lei Yang, Ruiyuan Gao, Xizhou Zhu, Bo Dai, and Qiang Xu. Deciwatch: A simple baseline for 10x efficient 2d and 3d pose estimation. In ECCV, 2022. 1, 2, 7 [^49]: Ailing Zeng, Lei Yang, Xuan Ju, Jiefeng Li, Jianyi Wang, and Qiang Xu. Smoothnet: A plug-and-play network for refining human poses in videos. In ECCV, 2022. 1 [^50]: Fan Zhang, Valentin Bazarevsky, Andrey Vakunov, Andrei Tkachenka, George Sung, Chuo-Ling Chang, and Matthias Grundmann. Mediapipe hands: On-device real-time hand tracking. arXiv:2006.10214, 2020. 6 [^51]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, and Yebin Liu. Pymaf-x: Towards well-aligned full-body model regression from monocular images. arXiv:2207.06400, 2022. 2 [^52]: Jason Y Zhang, Panna Felsen, Angjoo Kanazawa, and Jitendra Malik. Predicting 3d human dynamics from video. In ICCV, 2019. 4 [^53]: Weiyu Zhang, Menglong Zhu, and Konstantinos G Derpanis. From actemes to action: A strongly-supervised representation for detailed action understanding. In ICCV, 2013. [^54]: Yuxiao Zhou, Marc Habermann, Ikhsanul Habibie, Ayush Tewari, Christian Theobalt, and Feng Xu. Monocular real-time full body capture with inter-part correlations. In CVPR, 2021. 2 [^55]: Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, and Jifeng Dai. Deformable DETR: deformable transformers for end-to-end object detection. In ICLR, 2021. 5 [^56]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max J. Argus, and Thomas Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In ICCV, 2019. 7