# 利用条件性手部调制器提升3D全身姿态估计中的手部表现文：Gyeongsik Moon 韩国大学 ## 摘要在3D全身姿态估计中，准确恢复身体背景下的手部姿态仍是一项重大挑战。这一难题源于一种根本性的监督缺口：全身姿态估计器是在手部多样性有限的全身数据集上训练的，而仅针对手部训练的估计器虽然能精准还原手指关节活动，却缺乏全局身体感知能力。为解决这一问题，我们提出了Hand4Whole++——一个模块化框架，能够充分发挥预训练全身姿态估计器和手部姿态估计器的优势。我们引入了CHAM（条件性手部调制器），这是一个轻量级模块，可利用从预训练手部姿态估计器中提取的手部专属特征来调制全身特征流。这种调制方式能让全身模型预测出既准确又与上半身运动结构相协调的腕部朝向，且无需重新训练全身模型。同时，我们直接采用手部姿态估计器预测的手指关节活动和手部形状，通过可微分的刚性对齐将其与全身网格相匹配。这种设计让Hand4Whole++能够兼顾全局一致的身体推理与精细的手部细节。大量实验表明，Hand4Whole++显著提升了手部估计精度，也改善了整体全身姿态的质量。 ### 1. 引言精确的3D全身姿态估计在众多应用中至关重要，包括人机交互、虚拟化身控制以及动作理解。尽管近期的研究通过利用SMPL-X等参数化全身模型 [^3] 取得了显著进展 [^6] [^9] [^13] [^16] [^23] [^33] [^35] [^40] [^28]，但在全身上下文中恢复精细的手部关节运动仍面临挑战。如图1所示，现有方法在全身背景下进行推理时，难以还原 ![Image](images/59840e1cefc40d882178bab6ca231190fc521cc7f59cee127a91e06465ad6aff.jpg)

(b) Previous works

(a) Input images

Figure 1. Comparison between (b) previous works and (c) the proposed Hand4Whole++. Hand pose estimators [^29] [^30] recover each hand well but fail under interaction due to missing full-body context. Whole-body pose estimators [^3] lack hand accuracy due to limited hand diversity in whole-body training data. Naively combining both leads to implausible hands, especially under occlusion. In contrast, Hand4Whole++ recovers accurate and plausible hands within full-body context.

准确且协调的手部姿态。手部姿态估计器[^29] [^30]在单独预测单只手时表现优异，但当下手之间发生相互作用或需要与全局身体姿态协调时，往往无法产生合理的结果。全身姿态估计器[^3]虽能捕捉整体结构，却不具备表示精细手部关节活动的能力，常常导致手部预测结果较为粗糙。一种权宜之计是简单地将手部姿态估计器的输出附加到身体上[^33]，但这往往会导致手部位置在物理上不合理——尤其是当手部被遮挡或不可见时。 --- 被遮挡或不可见。这种局限性源于训练监督方面的不匹配：全身姿态估计器通常在包含全身标注的数据集上训练[^2] [^8] [^16] [^18] [^27]，但这些数据集中手部姿态和形状的多样性有限。相反，以手为中心的数据集[^4] [^8] [^10] [^12] [^22] [^24] [^29] [^43]虽然提供了详细的手部标注，却不包含对应的全身标签。这种监督层面的脱节使得模型无法学习手部在全身姿态空间中的行为及交互方式，从而导致图中所示的定性误差。为解决这些挑战，我们提出了Hand4Whole++，这是一个模块化框架，它整合了预训练的全身姿态估计器和手部姿态估计器，以提升全身3D姿态估计中的手部预测效果。我们引入了CHAM（条件性手部调制器），这是一个轻量级模块，它能利用从预训练手部姿态估计器中提取的手部特定特征来调制全身特征流。这种调制使全身模型能够预测出既准确又与上半身运动结构一致的手腕方向，且无需重新训练。在训练过程中，全身姿态估计器和手部姿态估计器均保持冻结状态，仅对CHAM进行优化。这样既能保留预训练模型的能力，又能有效适配以手为中心的线索，同时不影响模型的泛化能力。此外，我们直接采用了由手部姿态估计器预测出的手指关节活动和手部形状。具体来说，我们根据MANO [^32]参数生成标准手部网格，并通过可微变换将其与全身模型预测出的手腕方向进行刚性对齐。这能够恢复出精细的手指关节活动信息，而仅靠全身监督难以实现这一点。此外，通过利用仅针对手部模型的专用形状空间，还能提升手部形状的精确度；相比之下，全身模型[^28]会将身体、手部和面部编码到共享的潜在空间中。这种设计有效地结合了全身模型的全局结构推理能力，以及手部模型精确的关节活动与形状表达能力。大量实验表明，与最先进的全身姿态估计方法相比，Hand4Whole++显著提升了手部预测的精确度，而且这种提升也带来了整体全身姿态估计效果的改善。我们的研究结果凸显了采用面向局部组件的模块化增强方式来弥补异构数据集间的标注缺口的重要性，同时还能保持预训练估计器的效率和泛化能力。我们的主要贡献如下：提出相关模块以提升全身3D姿态估计中的手部精确度。 - 我们提出了Hand4Whole++，这是一个整合了预训练全身姿态估计器和手部姿态估计器的模块化框架。 - 我们引入了CHAM，这是一个轻量级的特征调制模块，它能将手部特定特征注入到已冻结的全身姿态估计器中，从而无需重新训练即可实现准确的手腕方向预测以及连贯的上半身姿态输出。 - 我们通过可微的刚性对齐方式，融合了来自手部姿态估计器的精细手指关节活动信息和富有表现力的手部形状，充分利用了以手为中心模型的专门化优势。 ### 2. 相关工作 3D全身姿态估计。常用的方法是回归SMPL-X参数，包括3D关节旋转、面部表情和身体形状[^28]。目前已提出了多种架构：FrankMocap [^33]采用独立的身体和手部网络；Hand4Whole [^23]在关节层面融合特征；OSX [^16]采用单阶段设计；PyMAF-X [^40]、HybrIK-X [^13]和AiOS [^35]引入了各种针对特定模型的改进；而SMPLer-X [^3]则作为基础模型，用450万个姿态样本进行训练。尽管取得了这些进展，但与专门的手部模型相比，手部估计的精度仍然有限。DOPE [^38]虽然提炼出特定部位的特征专家，但由于缺少全身上下文信息，无法利用仅含手部的数据集[^22] [^24] [^43]。HMR-Adapter [^34]解决了类似的问题，但由于忽略了手部的相对位置，在处理相互交互的手部时表现不佳。HMR-Adapter虽然利用从内部全身特征中插值得到的手部特征来优化身体估计——而这些特征在以手部为中心的图像中往往信息量不足——但我们的Hand4Whole++弥补了这一缺口。具体来说，我们通过CHAM将来自外部手部模型的有用特征注入全身特征流中，从而将手部特有的高精度特性融入全身估计之中。 3D手部姿态估计。标准方法是回归MANO参数[^32]，包括3D手指旋转和低维形状。近期的研究探索了各种表示方式和架构以提高精度。I2L-MeshNet [^20]采用基于体素的表现形式来预测3D网格顶点；Pose2Mesh [^5]利用图卷积将2D关键点映射到3D空间。基于Transformer的方法如METRO [^17]和HaMeR [^29]能够实现全局上下文推理并提升泛化能力。WiLoR [^30]专注于对初始预测结果进行精细化处理。这些模型在具有挑战性的基准测试中表现出色[^4] [^8] [^22]，凸显了手部专属监督与设计的价值。条件调制。利用轻量级模块控制预训练模型已成为一种流行的策略，旨在无需重新训练即可提升模型的通用性。这些方法将特定任务的信号注入到冻结的骨干网络中，从而减少计算量。典型例子包括ControlNet [^41]， --- ![Image](images/e954cf353df7cf473dd9a9a21b1c43c083187e8d820b98c656880fc3687ef18b.jpg)

Figure 2. Overview of Hand4Whole++, which comprises a pre-trained hand pose estimator, a pre-trained whole-body pose estimator, CHAM, and a finger articulation and shape transfer module. During training, only CHAM is updated, while the pre-trained pose estimators remain frozen.

T2I-Adapter [^26]和X-Adapter [^31]用于图像模型，ControlVideo [^42]、CTRL-Adapter [^15]用于视频模型。受此启发，CHAM利用手部特有的线索来调节全身特征，同时保持两个姿态估计器都处于冻结状态。 ### 3. Hand4Whole++ #### 3.1. 概述图2展示了所提出的Hand4Whole++的整体架构。我们的目标是通过发挥专门的手部姿态估计器的优势，在全身姿态估计流程中提升3D手部估计的精度。Hand4Whole++是一个模块化框架，它整合了一个预训练的全身姿态估计器和一个预训练的手部姿态估计器，并通过一个名为CHAM的轻量级调制模块对其进行增强。在我们的实现中，选用SMPLer-XL32 [^3]作为全身姿态估计器，选用WiLoR [^30]作为手部姿态估计器，这两者在各自的任务领域均表现出色。该框架以完全前馈的方式运行。给定输入图像后，手部姿态估计器会提取手部特征，并预测手部姿态和形状参数。随后，CHAM利用提取出的手部特征作为条件信号，对全身图像特征流进行调制。基于这些调制后的特征，全身姿态估计器便能预测出完整的SMPL-X参数，包括身体、手部和面部姿态以及形状。为了获得高保真度的手部预测结果，我们会舍弃由全身估计器预测出的手指姿态参数。取而代之的是，我们使用手部姿态估计器预测的精细手部网格，该网格定义在规范腕部坐标系下。这个网格会与全身模型预测的腕部方向进行刚性对齐，如此一来，我们既能融入来自手部估计器的更精确的手指关节信息及富有表现力的手部形状，又能保证其与全局身体姿态的一致性。对于下颌姿态和面部表情的回归任务，我们使用了Hand4Whole中预训练的FaceNet [^23]。该网络以全身姿态估计器输出的面部关键点为基础，将裁剪后的面部图像作为输入。FaceNet基于ResNet-18架构 [^11]，体积小巧，考虑到CHAM训练集中面部多样性有限，其性能甚至优于全身估计器中的面部分支。 #### 3.2. 条件性手部调制器（CHAM）图3展示了CHAM的架构。CHAM是一个轻量级模块，能够以空间对齐的方式利用手部特定信息来调制全身特征。受ControlNet [^41] 的启发，CHAM能够对已预训练的模型进行条件性调制，从而在不破坏从大规模数据集中学到的全身姿态估计能力的前提下，提升上半身运动链中腕部方向的预测精度。虽然我们在实现中使用了SMPLerX [^3] 和WiLoR [^30]，但CHAM与其他基于ViT的全身模型兼容，因为它作用于Transformer令牌，不存在特定架构的依赖。在每秒10帧的处理速度下，CHAM仅增加10毫秒的处理时间，约占总运行时间的10%。架构方面：给定输入图像后，我们首先定位手部区域 [^30] [^39]，并将其裁剪为WiLoR所需的$256 \times 256$分辨率。这些裁剪后的图像会被送入预训练的WiLoR手部姿态估计器中，该估计器利用ViT骨干网络 [^7] 来预测手部姿态和形状参数。我们提取两只手的最终层ViT特征（即图3中最左侧的右手和左手特征），将其作为条件输入传给CHAM，因为这些特征包含了重要的手部关节信息。对于未被检测到的手部，我们将ViT特征设为零。 --- ![Image](images/80e655ff4bfb2ff429ee270b2cb5721e78d8b6c064e7470f5167d402cab89437.jpg)

Figure 3. Architecture of the proposed CHAM. The gray dashed box (2D positional encoding and cross-attention) is used only when both hands are detected. Otherwise, each hand feature is directly passed to its corresponding branch. For simplicity, we illustrate only three layers instead of the full 24-layer design.

CHAM处理手部特征时，首先应用二维位置编码，随后通过三层交叉注意力Transformer编码器 [^37] 进行处理。二维位置编码源自原始全身图像空间，之后会采用与手部图像制备时相同的边界框进行裁剪和缩放，以此保留手部在全局身体语境中的空间信息。只有当检测到两只手时，才会应用交叉注意力机制，从而使CHAM能够建模手与手之间的关系。如果仅检测到一只手或两只手都未被检测到，CHAM会跳过二维位置编码和交叉注意力步骤，直接使用现有的ViT特征。生成的手部特征会通过CHAM中的两个独立分支传递：左手分支和右手分支。每个分支包含一组24个独立的$1 \times 1$卷积层，这与SMPLer-X中的24个Transformer块相对应。具体来说，左手特征仅由左手分支中的卷积层处理，右手特征则由右手分支中的卷积层处理。每个卷积层会并行处理其输入，为对应的Transformer块生成独特的手部特征。所有卷积层的参数均初始化为零，这一设计借鉴了ControlNet [^41]的思路，确保CHAM从中性状态开始，仅在必要时才学习如何进行调节。为了与全身特征图保持空间对齐，CHAM会对每个手部特征应用逆向仿射变换，从而抵消WiLoR [^30]在手部定位过程中采用的裁剪和缩放操作。非手部区域会通过零填充来填补。随后，左右分支的对齐输出会通过逐元素取最大值运算合并为双手特征。CHAM会生成24个这样的双手特征，它们会被逐个叠加融合到SMPLer-X对应块中的ViT特征流的空间标记上，以此来调节全身表征。 ![Image](images/5569541442763822b2813817535e71e71fb95f11f58f6c571536a95a51a25082.jpg)

Figure 4. Pipeline of the finger and shape transfer. We align the canonical 3D hand mesh to the initial whole-body mesh using the wrist and the four MCP joints (index, middle, ring, and pinky).

训练期间，SMPLer-X和WiLoR姿态估计器均保持冻结状态，以保留其预训练所得的能力。只有CHAM会被优化，从而实现高效且有针对性的学习，无需进行联合训练，也无需在手部-centric数据集中提供全身标注。调节上半身运动学以实现手部朝向的精准建模。CHAM的主要作用是改善全身语境下的手腕朝向，而非精细的手指关节活动——后者将在下一小节中单独讨论。将全身姿态估计器与仅手部姿态估计器结合以获取手腕朝向的简单基准方法，是直接把手部姿态估计器预测出的手腕朝向（即相机坐标系下的手腕朝向）赋值给SMPL-X中的手腕关节。但这种方法往往会导致解剖学上不合理的手腕形态，因为手部姿态估计器独立估计手腕朝向，并未考虑身体结构以及上半身运动链的影响。实际中，这会导致手腕朝向与肩关节、肘关节不一致，出现不连贯或物理上无效的形态。CHAM通过用手部特定线索调节全身特征来解决这一问题，使人体模型能够预测出既准确又与整体身体结构解剖学上一致的腕部姿态。这种针对性调节能够将手部特定信息无缝整合到全身估计流程中，同时不破坏结构的合理性。相反，若将身体特征注入手部特征流，仅会影响手腕，其他身体关节则不会被调节。这种受限的调节无法优化手部的相对位置，从而导致性能不佳。 #### 3.3. 手指关节活动与手部形状迁移虽然CHAM通过调节全身特征流来实现精准且解剖学上合理的手腕朝向建模，但它并不涉及手指关节活动或手部形状的建模。如图4所示，我们直接将这些组件从手部姿态估计器中迁移过来——该估计器在手部-centric数据集上训练，擅长预测精确的手指关节活动和手部形状。 --- 这些组件来自手部姿态估计器，该估计器在手部-centric数据集上训练，专门用于预测精确的手指关节活动和手部形状。我们使用手部姿态估计器预测的MANO参数——具体来说是手指姿态（$\theta_{rh}$和$\theta_{lh}$）以及形状参数（$\beta_{rh}$和$\beta_{lh}$）——同时忽略手腕方向。利用这些参数，我们生成处于标准（零）手腕方向空间中的手部网格和关键点。为了将这种手部网格与SMPL-X全身网格对齐，我们基于手腕以及食指、中指、无名指和小指的四个掌指关节进行刚性对齐。这些关节为将标准手部与SMPL-X网格的手腕区域对齐提供了稳定且符合解剖学意义的参考[^21] [^25]。所得到的刚性变换会被应用到标准的MANO手部网格上，进而替换SMPL-X网格中对应的手部顶点。重要的是，这一对齐步骤是完全可微分的，从而允许梯度通过CHAM反向传播以估计手腕方向。尽管手部姿态估计器也能预测手腕方向，但我们完全舍弃该预测结果，以避免其与全身运动链产生不一致。取而代之的是，手腕位置和方向完全由受CHAM调控的SMPL-X模型来确定。这种设计使得手部估计器提供的精确关节活动和形状信息能够与身体估计器给出的符合解剖学规律的手部位置相结合，同时通过可微分对齐来确保空间和结构上的一致性。为了进一步提升插入的MANO手部网格与周围SMPL-X手腕区域之间的几何连续性，我们在对齐后对手部边界顶点应用简单的拉普拉斯平滑处理。这有助于减轻由于两种模型之间手腕几何结构差异而产生的接缝瑕疵，从而实现更平滑且视觉上更连贯的整合效果。 #### 3.4. 损失函数训练期间，我们冻结SMPL-X和手部姿态估计器，仅对CHAM进行优化。其目标是通过对上半身运动链施加姿态损失和关键点损失的组合约束，促使在全身体背景下形成符合解剖学规律的手腕方向。姿态损失。对于提供SMPL-X姿态标注的全身体数据集，我们最小化估计值与真实值（GT）之间的3D关节旋转的$\ell_1$距离。对于仅提供手腕方向标注的纯手部数据集，我们通过正运动学将SMPL-X中的局部手腕姿态转换为全局手腕方向，并据此进行监督学习。形状损失。对于带有SMPL-X形状标注的全身体数据集，我们最小化估计值与GT形状参数之间的$\ell_1$距离。对于纯手部数据集，我们对SMPL-X形状参数施加$\ell_2$正则化惩罚，以防止出现不符合现实的形状预测。 2D和3D关键点损失。我们针对2D和3D关键点计算$\ell_{1}$损失。对于2D损失，需将3D关键点投影到图像空间，并与GT 2D坐标进行对比监督；对于3D关键点，根据数据集的不同在计算损失时采用不同的参考坐标系：（1）全身体数据集采用以骨盆为参考的坐标系，（2）交互手部数据集采用以右手腕为参考的坐标系，（3）纯手部数据集采用以手腕为参考的坐标系。身体根节点姿态正则化。对于缺乏全身体标注的纯手部样本，我们对SMPL-X根节点姿态进行正则化，以保持躯干在世界坐标系中的垂直方向。这能够消除因手部图像被裁剪而产生的歧义，有助于稳定上半身的预测结果。 ### 4. 实验 #### 4.1. 协议数据集。我们使用InterHand2.6M（IH26M）[^22]、ReInterHand（ReIH）[^24]、ARCTIC [^8]以及AGORA [^27]来训练Hand4Whole++模型。我们会在这些数据集的测试集上评估该模型的性能。此外，我们还在EHF [^28]和HIC [^36]数据集上进行评估，以验证其对完全未见过的图像领域的泛化能力。IH26M、ReIH和HIC提供了多样化的无全身标注的3D手部数据；而AGORA、ARCTIC和EHF则提供了多样化的全身标注数据。评估指标。遵循先前的研究[3, 13, 22–24, 40]，我们报告平均顶点位置误差（MPVPE）和平均根位置相对误差（MRRPE），两者均以毫米为单位进行测量。在全身评估中，MPVPE是在对齐骨盆（根关节）后计算得出的；在手部评估中，MPVPE是在对齐手腕后计算得出的，而MRRPE则是通过对比左右手腕位置来衡量两只手之间的相对位置。为了计算手部的MPVPE和MRRPE，我们会利用SMPL-X模型提供的官方手部顶点索引，从恢复出的SMPL-X网格中提取手部顶点。我们并未报告手部的PA-MPVPE（Procrustes对齐后的MPVPE），因为该指标会消除全局旋转误差，从而忽略了手腕方向——而这正是我们的CHAM模块的主要目标之一。 #### 4.2. 消融实验微调与CHAM模块对比。表1显示，Hand4Whole++在各类全身数据集[^8] [^27] [^28]和双手数据集[^22] [^24] [^36]上的误差均最小，其性能优于三种基线模型：原始的全身姿态估计器[^3]、其微调变体，以及最先进的仅手部姿态估计器[^30]。用于微调的全身模型是在与CHAM训练时相同的有限数据集上训练的，以确保比较的公平性。然而，该模型会过拟合于训练数据（主要是仅含手部的数据集），在EHF等未见过的全身图像上表现较差。如图5(b)所示，尽管其手部对齐准确，但生成的身体姿态却存在扭曲现象。相比之下，Hand4Whole++既保留了原始模型的泛化能力，又提升了手部精度，这一点可从图5(c)和(d)中看出。这得益于CHAM模块——它能在不修改预训练骨干网络的前提下整合手部专属特征。这些结果证明，CHAM能够在监督信息有限的情况下实现高效学习，在提升手部性能的同时保留全局结构。仅手部估计器在手指关节和形状方面的精度较高，但缺乏全局一致性（见图1顶部行）；这一点从其较大的MRRPE值中便可体现，说明其对双手相对位置的估计较差，且不具备全身感知能力。通过结合两种模型的优势，Hand4Whole++既能给出精准的手部预测结果，又能保持整体一致性，其较低的MPVPE和MRRPE值便证明了这一点。 ---

Table 1. Comparisons of baselines and our Hand4Whole++ on full-body and hand-only datasets.

Settings	Full-body datasets (Full/hands MPVPE)			Hand-only datasets (MPVPE/MRRPE)
Settings	AGORA	ARCTIC	EHF	IH26M	ReIH	HIC
Original whole-body [^3]	85.61/52.31	56.06/31.48	63.26/46.21	38.64/119.56	58.86/101.82	32.43/67.68
Fine-tuned whole-body [^3]	90.77/55.91	67.52/29.03	126.34/57.35	20.00/47.89	24.87/28.32	32.30/62.11
Hand-only [^30]	- /99.11	- /46.79	- /46.28	11.17/94817.41	8.09/3094.65	15.44/848.23
Hand4Whole++ (Ours)	76.84/49.71	45.95/25.03	61.24/33.43	9.40/32.30	7.98/16.37	17.72/29.09

Table 2. MPVPE comparison on the AGORA dataset using different strategies for combining whole-body and hand-only pose estimators. The last row shows ours.

Wrist copy	CHAM	Full-body errors (body root-relative)	Hands errors (wrist-relative)
✗	✗	84.76	52.31
✓	✗	90.70	100.59
✗	✓	76.88	50.56

![Image](images/76da14fd68ea9ce33d76f54810f3d73371bf98ce1dd1d0ba261487f2bcea6426.jpg)

Figure 5. Effectiveness of the proposed CHAM.

如何结合全身模型与仅手部模型。

Table 3. MPVPE comparison with and without the proposed finger articulation and hand shape transfer. The last row shows ours.

Finger	Shape	IH26M	ReIH	HIC
✗	✗	14.69	18.13	21.68
✓	✗	12.26	15.24	19.61
✓	✓	9.40	7.98	17.72

如何结合全身模型与仅手部模型。表2对比了多种结合全身姿态估计器与仅手部姿态估计器的策略。第一行采用Hand4Whole [^23]所采用的策略：仅从仅手部模型中复制手指姿态，而腕部姿态则直接取自预训练的全身模型。第二行类似于FrankMocap [^33]的做法，直接拷贝来自仅手部模型的腕部朝向和手指姿态。这种简单粗暴的方法会导致误差增大，如图1下方所示；因为仅手部模型预测的腕部朝向并未考虑全身上下文信息，往往会产生解剖学上不合理的腕部形态。最后一行展示的是我们的方法：通过基于CHAM的全身特征流调制，在所有设置中实现了最低的误差。值得注意的是，虽然CHAM明显降低了手部误差，但它也大幅减少了全身误差。这是因为CHAM以全局一致的方式优化了腕部朝向；更重要的是，通过对全身特征流的影响，它改善了包括肩部、肘部和腕部在内的整个上半身运动链（见图5(b)和(c)）。通过在身体上下文中强制实现解剖学上合理的手部位置，CHAM间接修正了上游关节，从而有助于获得更精准的整体姿态预测。需要注意的是，本表中的数值与表1中的略有差异，因为我们在此处对所有设置都禁用了形状迁移，以确保比较的公平性。这种省略对AGORA的影响极小，因为其SMPL-X真值数据在手部形状上的多样性有限，因此形状迁移的影响也被削弱了。手指关节活动与手部形状迁移。表3展示了我们提出的手指与形状迁移技术在精确三维手部重建中的有效性。在所有设置中，仅训练CHAM，而预训练的全身及手部姿态估计器则保持冻结状态。第一行使用全身模型预测的手指姿态，其特征由CHAM进行调制。在这一组中 --- ![Image](images/8e4c4cf57e22ac88e23d50910a0222301cb729850b6f8b2342983c3944072e02.jpg)

Figure 6. Qualitative comparison on in-the-wild images comparing our Hand4Whole++ with SMPLer-X [^3] and Multi-HMR [^1].

Figure 7. Qualitative comparison of our Hand4Whole++ with OSX [^16], SMPLer-X [^3], and Multi-HMR [^1].

由此可见，CHAM有潜力改善包括手指关节活动在内的全身预测结果。相比之下，第二行和第三行舍弃了全身模型中的手指姿态，转而直接采用仅手部姿态估计器输出的手指姿态。尽管仅手部姿态估计器在训练期间完全独立于CHAM且保持不变，但仅替换手指姿态（第二行）就已经降低了所有数据集上的误差，这充分体现了仅手部模型强大的关节活动建模能力。第三行通过进一步迁移手部形状来进一步提升精度，解决了SMPL-X手部形状表达受限的问题——SMPL-X在共享的隐空间中同时编码身体、手部和面部信息，而仅手部模型则专注于手部形状的表征。 ---

Table 4. Comparisons with full-body pose estimators on full-body and hand-only datasets. $*$ represents evaluated with GT scale of hands following previous protocols [^14].

Methods	Full-body datasets (Full/hands MPVPE)			Hand-only datasets (MPVPE/MRRPE)
Methods	AGORA	ARCTIC	EHF	IH26M	ReIH	HIC
Hand4Whole [^23]	185.18/74.55	151.47/47.79	76.84/39.82	30.65*/219.26	71.57/310.69	22.73/101.72
OSX [^16]	178.28/76.37	111.42/50.70	70.82/53.73	38.47*/173.56	71.10/221.83	35.51/94.57
SMPLer-X [^3]	85.61/52.31	56.06/31.48	63.26/46.21	38.64*/119.56	58.86/110.82	32.43/67.68
Hand4Whole++ (Ours)	76.84/49.71	45.95/25.03	61.24/33.43	9.40*/32.30	7.98/16.37	17.72/29.09

Table 5. MPVPE/MRRPE comparisons with hand pose estimators on hand-only datasets. * represents evaluated with GT scale of hands following previous protocols [^14].

Methods	IH26M	ReIH	HIC
IntagHand [^14]	9.03*/48.04	19.31*/33.37	20.08*/52.46
InterWild [^19]	10.28*/44.75	13.99/22.38	15.68/31.35
HaMeR [^29]	9.53*/594.84	17.29/644.51	16.15/526.94
WiLoR [^30]	11.17*/94817.41	8.09/3094.65	15.44/848.23
Hand4Whole++ (Ours)	9.40*/32.30	7.98/16.37	17.72/29.09

tion. #### 4.3. 与最先进方法的比较表4显示，我们的Hand4Whole++算法在手部精度方面优于现有的全身姿态估计方法。图6和图7表明，与以往的研究相比，我们的算法在处理复杂的自然场景图像以及双手交互图像时，能够生成更精准的手部和上半身运动学数据[^1] [^3]。尤其是当上半身被遮挡时，Multi-HMR[^1]会产生不稳定的结果。表5进一步证明，即使在涉及双手交互的复杂基准测试中，Hand4Whole++的性能也与最先进的仅手部模型相当甚至更优。值得注意的是，尽管IntagHand[^14]和InterWild[^19]是专为三维双手交互重建设计的算法，但Hand4Whole++在MPVPE指标上与之相当，而MRRPE指标却显著更低。较低的MPVPE值说明其手腕和手指关节的运动还原精度可与专门的手部算法相媲美；而极低的MRRPE则反映出我们的算法所生成的上半身运动学数据能更准确地描述手部的相对位置，如图1第一行所示。这些改进主要归功于CHAM模块，它能在全身上下文中优化手腕朝向及整体上半身结构。相比之下，单手重建算法[^29] [^30]由于缺乏全身上下文信息，会产生极大的MRRPE误差，如图1第一行所示。最重要的是，表5中列出的所有手部姿态估计算法均无法提供完整的全身结果，这限制了它们在更广泛场景中的应用。所有结果均通过运行各方法官方发布的代码和权重获得。对于Multi-HMR[^1]，我们使用了GT边界框，因为其内置检测器在图6和图7所示的一半案例中无法定位人体。需要注意的是，一些先前的研究[^3] [^16]在其论文中报告的AGORA和ARCTIC数据集上的数值略有不同，原因是它们采用了定制的数据划分方式，并使用中性性别的SMPL-X模型来生成评估目标，而我们则使用GT形状和性别作为评估目标。此外，一些全身方法[^23]所报告的手部基准测试性能[^43]是基于单独训练的仅手部模型，而非全身网格输出的手部数据。相比之下，包括我们的方法在内，所有方法都直接评估全身模型生成的手部顶点，从而能更真实地反映从全身预测中得到的手部精度。HMR-Adapter[^34]无法进行评估，因为其代码并未公开，但我们预计它在处理交互式手部图像时会表现不稳定，因为它忽略了手部的相对位置信息。 ### 5. 结论局限性。由于仅手部数据集中缺乏全身标注[^22] [^24]，非手部关节只能接受弱监督，即便手部预测准确，这些关节也可能与输入图像存在偏差。此外，Hand4Whole++依赖两个预训练模型——一个用于手部姿态估计，另一个用于全身姿态估计——这导致了运行时间的增加。摘要。我们提出了Hand4Whole++，这是一个模块化框架，结合了预训练的整体人体和手部姿态估计器，以实现精确的三维整体人体姿态估计。CHAM通过利用手部特定线索来调节整体人体特征，从而改善手腕方向；手指关节活动及形状则通过刚性对齐来传递。这种解耦设计能够充分发挥各估计器的优势，而无需重新训练。除了标准基准测试外，我们对以手为中心的图像（如自拍视角）的初步观察也显示出良好的实用潜力。我们计划在未来进一步研究并正式验证这些场景。实验表明，Hand4Whole++显著提升了手部估计的精确度以及整体姿态质量。 --- ## 《利用条件性手部调制器增强三维整体人体姿态估计中的手部表现》的补充材料在这份补充材料中，我们提供了更多因篇幅限制未能纳入正文的实验、讨论及其他细节。内容总结如下： • 第S1节：消融研究 • 第S2节：实现细节 • 第S3节：运行时间分析 ### S1. 消融研究 MANO与SMPL-X形状空间的表达能力。在正文的3.3节中，我们介绍了手指关节活动及形状传递策略。该形状传递旨在利用MANO更具表达力的手部形状空间。图S1和表S1通过实验结果支持了这一设计选择：MANO能提供更具表达力的手部形状表征。图中显示MANO手部与三维扫描结果的对齐效果更好，表中记录的误差也低于SMPL-X手部模型。为了进行这项对比，我们将MANO和SMPL-X模型分别拟合到MANO测试集中的三维扫描数据及关键点[^32]。两个模型的初始化方式均为将手腕及四个掌指关节（食指、中指、无名指、小指）进行刚性对齐，同时形状参数和手指姿态均设为零。在SMPL-X优化过程中，我们仅使用全身网格中的手部顶点。优化目标包括：1）三维关键点损失，2）点对点损失，3）形状参数正则化，三者权重分别为1、1和0.001。每个样本需优化500次迭代。身体根姿态正则化器。在正文的3.4节中，我们介绍了身体根姿态正则化器，其作用是在仅有手部标注而无全身标注时，强制根姿态保持垂直状态。如图S2所示，若没有该正则化器，由于仅含手部标注的数据集中缺乏全身标注信息，恢复出的三维人体往往会出现错误的根姿态。由于仅含手部标注的数据集通常是在受试者直立站立状态下采集的，因此我们引入这一先验来约束根方向。具体而言，我们通过约束世界坐标系的竖直方向与人体的竖直方向的点积为1，来实现两者的对齐。 CHAM中的交叉注意力机制。正如正文3.2节所述，我们引入了带有二维位置编码的交叉注意力机制，以捕捉双手之间的相互关系。表S2表明，在仅含手部标注的数据集中，我们的交叉注意力机制能有效降低MPVPE和MRRPE数值，尤其在处理双手交互复杂的场景时效果更为显著。 ![Image](images/5cb8fe827c0cad747ed0aeffae5b5f79bc4063aec9df5f186ef9a68f2c260a82.jpg)

Figure S1. Comparison of hand shape expressiveness between MANO and SMPL-X. MANO produces hand shapes that more closely match the 3D scans compared to SMPL-X.

Table S1. Comparison of point-to-point distances between 3D scans and optimized hand meshes. We report the mean point-to-point distances between 3D scans and hand meshes optimized from 1) SMPL-X and 2) MANO.

Settings	Point-to-point error (mm)
SMPL-X hands	1.98
MANO hands (Ours)	1.34

![Image](images/78ff589414114de266613d313f54e1399cbb4dd58e749dd3134a910a4cc711d7.jpg)

Figure S2. Effectiveness of the body root pose regularizer. The red, green, and blue axes represent the x-, y-, and z-axes of the world coordinate system, respectively. The green axis (y-axis) points downward, which is opposite to the up-right direction in the world coordinate system.

包含复杂双手交互的数据集。 #### S2. 实现细节我们使用PyTorch实现了该方法。模型训练了4个周期，批量大小为32，采用Adam优化器，初始学习率为$1e^{-4}$。在第3个周期时，学习率会缩小为原来的十分之一。所有损失项的权重均为1且同等重要。训练在单块NVIDIA RTX A6000 GPU上进行，耗时约20小时。其他实现细节均已在开源代码中给出。 #### S3. 运行时间分析表S3总结了Hand4Whole++中各个组件的运行时间。 ---

Table S2. Comparison of MPVPE/MRRPE with and without cross-attention in CHAM.

Settings	IH26M	ReIH	HIC
Without cross attention	9.77/35.36	9.12/19.42	18.25/30.44
With cross attention (Ours)	9.40/32.30	7.98/16.37	17.72/29.09

Table S3. Running time (in seconds) to process a single image on an RTX A6000 GPU.

Hand detector	Hand pose estimator [^30]	CHAM	Whole-body pose estimator [^3]	Total
0.01	0.05	0.01	0.03	0.1

总体而言，Hand4Whole++在单块RTX A6000 GPU上的运行速度可达每秒10帧。在所有组件中，手部姿态估计器（WiLoR[^30]）耗时最长。相比之下，得益于轻量化的设计，我们的CHAM模块的运行速度明显快于手部姿态估计器（WiLoR[^30]）和全身姿态估计器（SMPLerX[^3]）。 ### 致谢本研究部分得到了韩国政府（MSIT）资助的信息通信技术规划评估研究所（IITP）-ICT创意融合计划项目（IITP-2026-RS2020-II201819，占比20%）的支持。该研究还得到了2026年韩国文化体育观光部通过韩国创意内容署资助的文化体育观光研发计划的支持（项目名称：基于AI的图像扩展与高清（8K/16K）演出内容服务技术开发，项目编号：RS-2024-00395886，贡献率：20%）。本研究还得到了韩国贸易工业能源部（MOTIE）资助的工业技术创新计划（RS-2025-02653087，运动数据采集系统与动态人物建模技术开发）的支持。本研究还得到了MSIT资助的IITP项目（编号RS-2025-25441838，面向以人为中心的通用人工智能的人体基础模型开发及人才培养）的支持。本研究还得到了韩国政府（MSIT）资助的国家研究基金会（NRF）项目（RS-2025-21063115）的支持。 --- ### 参考文献 [^1]: Fabien Baradel, Matthieu Armando, Salma Galaoui, Romain Brégier, Philippe Weinzaepfel, Grégory Rogez, and Thomas Lucas. Multi-HMR: Multi-person whole-body human mesh recovery in a single shot. In ECCV, 2024. 7, 8 [^2]: Michael J Black, Priyanka Patel, Joachim Tesch, and Jinlong Yang. BEDLAM: A synthetic dataset of bodies exhibiting detailed lifelike animated motion. In CVPR, 2023. 2 [^3]: Zhongang Cai, Wanqi Yin, Ailing Zeng, Chen Wei, Qingping Sun, Wang Yanjun, Hui En Pang, Haiyi Mei, Mingyuan Zhang, Lei Zhang, et al. SMPLer-X: Scaling up expressive human pose and shape estimation. In NeurIPS, 2023. 1, 2, 3, 5, 6, 7, 8, 10 [^4]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021. 2 [^5]: Hongsuk Choi, Gyeongsik Moon, and Kyoung Mu Lee. Pose2Mesh: Graph convolutional network for 3D human pose and mesh recovery from a 2D human pose. In ECCV, 2020. 2 [^6]: Vasileios Choutas, Georgios Pavlakos, Timo Bolkart, Dimitrios Tzionas, and Michael J Black. Monocular expressive body regression through body-driven attention. In ECCV, 2020. 1 [^7]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth 16x16 words: Transformers for image recognition at scale. In ICLR, 2021. 3 [^8]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In CVPR, 2023. 2, 5 [^9]: Yao Feng, Vasileios Choutas, Timo Bolkart, Dimitrios Tzionas, and Michael J. Black. Collaborative regression of expressive bodies using moderation. In 3DV, 2021. 1 [^10]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In CVPR, 2020. 2 [^11]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, 2016. 3 [^12]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. $H_{2}O$: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. 2 [^13]: Jiefeng Li, Siyuan Bian, Chao Xu, Zhicun Chen, Lixin Yang, and Cewu Lu. HybrIK-X: Hybrid analytical-neural inverse kinematics for whole-body mesh recovery. TPAMI, 2025. 1, 2, 5 [^14]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, 2022. 8 [^15]: Han Lin, Jaemin Cho, Abhay Zala, and Mohit Bansal. CTRL-Adapter: An efficient and versatile framework for 可将各种控制方式适配到任意扩散模型中。发表于ICLR 2025会议。3 [^16]: Jing Lin, Ailing Zeng, Haoqian Wang, Lei Zhang, and Yu Li. One-stage 3D whole-body mesh recovery with component aware transformer. In CVPR, 2023. 1, 2, 7, 8 [^17]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In CVPR, 2021. 2 [^18]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO: Common objects in context. In ECCV, 2014. 2 [^19]: Gyeongsik Moon. Bringing inputs to shared domains for 3D interacting hands recovery in the wild. In CVPR, 2023. 8 [^20]: Gyeongsik Moon and Kyoung Mu Lee. I2L-MeshNet: Image-to-Lixel prediction network for accurate 3D human pose and mesh estimation from a single RGB image. In ECCV, 2020. 2 [^21]: Gyeongsik Moon, Takaaki Shiratori, and Kyoung Mu Lee. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. In ECCV, 2020. 5 [^22]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In ECCV, 2020. 2, 5, 8 [^23]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Accurate 3D hand pose estimation for whole-body 3D human mesh estimation. In CVPRW, 2022. 1, 2, 3, 6, 8 [^24]: Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffaloini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe De Bree, et al. A dataset of relighted 3D interacting hands. In NeurIPS, 2023. 2, 5, 8 [^25]: Gyeongsik Moon, Weipeng Xu, Rohan Joshi, Chenglei Wu, and Takaaki Shiratori. Authentic hand avatar from a phone scan via universal hand model. In CVPR, 2024. 5 [^26]: Chong Mou, Xintao Wang, Liangbin Xie, Yanze Wu, Jian Zhang, Zhongang Qi, and Ying Shan. T2I-Adapter: Learning adapters to dig out more controllable ability for text-to-image diffusion models. In AAAI, 2024. 3 [^27]: Priyanka Patel, Chun-Hao P. Huang, Joachim Tesch, David T. Hoffmann, Shashank Tripathi, and Michael J. Black. AGORA: Avatars in geography optimized for regression analysis. In CVPR, 2021. 2, 5 [^28]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3D hands, face, and body from a single image. In CVPR, 2019. 1, 2, 5 [^29]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 1, 2, 8 ## [^30]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. WiLoR: End-to-end 3D hand localization and reconstruction in-the-wild. In CVPR, 2025. 1, 2, 3, 4, 5, 6, 8, 10 --- [^31]: Lingmin Ran, Xiaodong Cun, Jia-Wei Liu, Rui Zhao, Song Zijie, Xintao Wang, Jussi Keppo, and Mike Zheng Shou. X-Adapter: Adding universal compatibility of plugins for upgraded diffusion model. In CVPR, 2024. 3 [^32]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied Hands: Modeling and capturing hands and bodies together. ACM TOG, 2017. 2, 9 [^33]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. FrankMocap: A monocular 3D whole-body pose estimation system via regression and integration. In ICCVW, 2021. 1, 2, 6 [^34]: Wenhao Shen, Wanqi Yin, Hao Wang, Chen Wei, Zhongang Cai, Lei Yang, and Guosheng Lin. HMR-Adapter: A lightweight adapter with dual-path cross augmentation for expressive human mesh recovery. In ACMMM, 2024. 2, 8 [^35]: Qingping Sun, Yanjun Wang, Ailing Zeng, Wanqi Yin, Chen Wei, Wenjia Wang, Haiyi Mei, Chi-Sing Leung, Ziwei Liu, Lei Yang, et al. Aios: All-in-one-stage expressive human pose and shape estimation. In CVPR, 2024. 1, 2 [^36]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 2016. 5 [^37]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. NeurIPS, 2017. 4 [^38]: Philippe Weinzaepfel, Romain Brégier, Hadrien Combaluzier, Vincent Leroy, and Grégory Rogez. DOPE: Distillation of part experts for whole-body 3d pose estimation in the wild. In ECCV, 2020. 2 [^39]: Zhendong Yang, Ailing Zeng, Chun Yuan, and Yu Li. Effective whole-body pose estimation with two-stages distillation. In ICCVW, 2023. 3 [^40]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, and Yebin Liu. PyMAF-X: Towards well-aligned full-body model regression from monocular images. TPAMI, 2023. 1, 2, 5 [^41]: Lvmin Zhang, Anyi Rao, and Maneesh Agrawala. Adding conditional control to text-to-image diffusion models. In ICCV, 2023. 2, 3, 4 [^42]: Yabo Zhang, Yuxiang Wei, Dongsheng Jiang, Xiaopeng Zhang, Wangmeng Zuo, and Qi Tian. ControlVideo: Training-free controllable text-to-video generation. In ICLR, 2023. 3 [^43]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In ICCV, 2019. 2, 8