# HySUP：基于接缝感知的手部-身体融合算法，实现单图像下的精确全身三维重建
Le Cong Thuong*、Thu Phuong Le $^{\dagger\ddagger}$、Minh Hang Dang*、Son Tung Ha*、Thanh Ha Le $^{*}$ $^{\S}$ *越南河内工程技术大学信息技术学院
$^{\dagger}$美国马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院
摘要—富有表现力的人体姿态与形状估计（EHPS）能够同时捕捉人体、手部及面部运动，对于新兴的AR/VR和远程呈现应用而言至关重要。当前最先进的整体回归模型虽然能准确还原全身姿态，但手指部分往往会出现融合或精度不足的问题；而专门针对手部的网络虽能解析精细的指关节运动，却会牺牲全局一致性。我们在EHF数据集上对两种主流的整体模型（SMPLest-X、SMPLest-X）和两种手部专用模型（HaMeR、WiLoR）进行了基准测试，证实了这种权衡关系。利用它们互补的优势，我们提出了HySUP——一种轻量级流程，通过两阶段接缝感知对齐技术，将SMPLest-X的手部区域替换为HaMeR的输出：(i) 采用PCA引导的普洛克鲁斯特斯变换来实现尺度与姿态归一化；(ii) 进行尽可能刚性的优化，以确保手腕接缝处的顶点与法线级别的一致性。无需重新训练，且仅增加150毫秒的额外开销，HySUP就能将EHF数据集上手部的PA-MPVPE和PA-MPJPE分别降低3.30毫米（27.11%）和3.55毫米（29.48%），同时保留全身姿态的精度。这些结果揭示了一条简单的路径：“即插即用”的专业模块融合方式，能以极低的计算成本超越规模越来越大的整体模型。代码与更多结果可在我们的项目页面查看。
索引词—富有表现力的人体姿态估计、SMPL-X、三维重建、优化、混合模型
## 一、引言
富有表现力的人体姿态与形状估计（EHPS）能够从单张RGB图像中重建完整的三维人体模型，包括手部与面部，从而支撑沉浸式远程呈现、XR内容创作以及符合人体工程学的人机交互。诸如SMPLerX [^1]和SMPLest-X [^2]等整体基础模型如今已能高精度预测躯干与四肢的几何结构，但其手部输出仍较为粗糙：手指常常出现融合或关节错位现象（见图1）。而在HaMeR和WiLoR [^3]、[^4]等专注于手部的网络中则存在相反的权衡：它们能呈现毫米级的手指细节，却无法与全局人体框架保持对齐。这种持续存在的不匹配现象引出了我们的核心问题：能否在不重新训练且延迟极低的情况下，将整体模型的全局一致性优势与手部专业模型的精细精度结合起来？
Fig. 1. Illustration of the limitations in current whole-body human models, especially fused or imprecise fingers.
无需重新训练且延迟极低，就能达到手部专家级的精细度吗？
为解决这一问题，我们首先在EHF数据集[^5]上对主流的整体模型与专用模型进行了系统基准测试。分析结果显示，整体网络能准确预测躯干与四肢的关节位置，包括手腕等关键部位的表面法线，但在手指关节的还原上表现欠佳。相反，专用回归模型则表现出相反的特性，其中HaMeR在手部姿态重建方面表现更优。基于这些发现，我们选择SMPLestX作为人体部分的专家模型，HaMeR作为手部部分的专用模型。
基于这些模型，我们提出了HySUP（混合子模块统一流水线），这是一种轻量级的优化方法，能够有效融合各个部件网格。HySUP通过顶点与法线一致性目标来对齐手腕接缝。具体而言，HySUP采用两步优化策略：首先利用Procrustes分析自动缩放并对齐各个部件网格，随后进行面向表面的刚性约束优化。第二阶段通过在解剖学上的关键标志点（包括手腕关键点）处强制满足顶点与法线一致性，从而精细化网格整合过程，实现身体部位间的无缝过渡。
在EHF基准测试中，与最佳的整体基线方法相比，HySUP将手部MPVPE误差降低了3.30毫米（27.11%），MPJPE误差降低了29.48%，而额外开销仅约为150毫秒。这种启发式驱动融合策略成功地将基础模型提供的全局一致性，与专用回归器所具备的精细精度相结合，实现了最先进的全身建模精度，同时计算开销极小。
---
全身建模精度达到顶尖水平，且计算开销极低。
### II. 相关工作
富有表现力的3D人体重建。SMPL-X [^6] 通过扩展广受欢迎的SMPL模型 [^5]，加入完全可活动的手部和富有表现力的面部特征，显著推进了人体建模的发展。从数学角度看，SMPL-X通过姿势参数 $\theta$（关节旋转）、形状参数 $\beta$（身体比例）以及面部表情参数 $\psi$ 的组合来对人体进行参数化描述。这种全面的建模方式能够生成富有表现力的表征，对于动画、虚拟现实和情感计算等精细应用而言至关重要。在此基础上，SMPLer-X [^1] 通过在包含450万个样本、涵盖32个数据集的多样化集合上训练Vision Transformer（ViT）骨干网络，提升了人体姿态估计的表现力，同时还引入了用于改善面部和手部定位的专用模块。随后，SMPLest-X [^2] 利用在规模高达1000万个样本上训练的简约版ViT-Huge骨干网络进一步提升了性能，在AGORA [^7]、UBody [^8] 和EgoBody [^9] 等基准测试中均取得了顶尖结果。然而，尽管有这些进步，手部关节的精细重建仍然较为粗糙。
手部网格恢复。随着专用模型的问世，从单张RGB图像中恢复手部网格取得了重大进展。MANO [^10] 已成为标准的参数化手部模型，它能够简洁地对手部姿势和形状进行参数化，以便用于后续的回归任务。HaMeR [^3] 通过基于Transformer的架构显著提升了重建精度，该架构采用迭代细化策略，其ViT-H骨干网络是在FreiHAND [^11] 和InterHand2.6M [^12] 等大规模手部专用数据集上训练的。与此同时，WiLoR [^4] 将定位与重建整合到统一的流水线中，能够有效处理无控制环境下多手部的复杂场景。其基于Transformer的回归器通过在多样化、大规模的自然场景数据集上训练，展现了出色的鲁棒性和实时性能。这些专用的手部模型在局部手部细节重建方面优于整体建模方法，但在确保与全身网格的全局一致性方面仍面临挑战。
### III. 基准测试评估
### A. 实验设置
a) 数据集：所有评估均在Expressive Hands and Faces (EHF)数据集上进行[^5]。EHF包含高分辨率的RGB图像，展示单个受试者做出的各种身体姿势、手指动作和面部表情。通过将SMPL-X模型与多视角扫描结果进行精细拟合，可获得真实值的SMPL-X网格，其在身体、手部和面部上的顶点精度可达毫米级。由于该数据集仅用于基准测试，因此在任何阶段都不会使用来自EHF的训练图像。
TABLE I
HAND ACCURACY ON EHF (LOWER IS BETTER; BEST IN BOLD).
| Model | PA-MPVPE $\downarrow$ | PA-MPJPE $\downarrow$ |
| Left | Right | Mean | Left | Right | Mean |
| Holistic models |
| SMPLer-X | 14.73 | 14.63 | 14.68 | 14.81 | 14.74 | 14.77 |
| SMPLest-X | 12.42 | 11.91 | 12.17 | 12.32 | 11.76 | 12.04 |
| Specialized regressors |
| WiLoR | 11.44 | 12.42 | 11.95 | 11.17 | 12.56 | 11.88 |
| HaMeR | 8.92 | 8.81 | 8.87 | 8.43 | 8.55 | 8.49 |
TABLE II
WHOLE-BODY ACCURACY ON EHF (LOWER IS BETTER; BEST IN BOLD).
| Model | PA-MPVPE $\downarrow$ | PA-MPJPE $\downarrow$ |
| SMPLer-X | 38.79 | 42.79 |
| SMPLest-X | 36.33 | 39.89 |
b) 评价指标：遵循近期的研究工作[^3]、[^4]，我们报告经过Procrustes对齐的平均顶点位置误差（PA-MPVPE）以及经过Procrustes对齐的平均关节位置误差（PA-MPJPE）。这两种指标衡量的是在消除全局平移、旋转和统一缩放的相似性对齐之后，预测顶点/关节与真实顶点/关节之间的欧几里得距离（单位为毫米）。数值越低，说明精度越高。
c) 硬件：所有实验均在一台配备Intel Core i9-10900 CPU（2.80 GHz）和NVIDIA GeForce RTX 3090 GPU的工作站上运行。
### B. EHF基准测试评估
我们在EHF数据集上评估候选模型。针对手部，我们测试了最先进的回归器HaMeR [^3]和WiLoR [^10]；针对全身重建，我们比较了最新的基础模型SMPLer-X [^1]和SMPLest-X [^2]。定量结果总结在表I和表II中。
a) 手部相关发现：HaMeR表现明显更优，其平均PA-MPVPE仅为8.87毫米——比次优的专业回归器WiLoR（11.95毫米）低约3.08毫米（约26%）。即便是这款性能稍弱的手部专用模型，其表现仍优于最强的整体模型SMPLest-X（12.17毫米），这一结果证实：在精细手指几何结构的还原上，专用的手部网络始终优于全身建模方法。
b) 全身性能：SMPLest-X在PA-MPVPE指标上比SMPLer-X提升了2.46毫米（$\approx$降低6.3%），在PA-MPJPE指标上提升了2.9毫米（$\approx$降低6.8%），在各类整体基线模型中展现出最强的全局精度。
### IV. HYSUP：混合子模块统一流水线
像SMPLest-X这样的整体回归器能够准确还原全局身体姿势，但在精细手指关节的还原上存在不足，导致手部轮廓融合或不够精确。相比之下，像HaMeR这样的专用网络虽然能生成高保真度的手部网格，却无法保持与全身拓扑的一致性。基于这一认知，我们提出了HySUP——一种轻量级、具备接缝感知能力的两阶段拟合流水线，可将SMPLest-X生成的粗略手部输出与HaMeR生成的精细手指网格相融合。通过在腕部接缝处对齐顶点和法线级别的一致性，HySUP仅需约150毫秒就能同时实现全局一致性与精细局部细节，定性结果如图2所示。
---
TABLE III
INFLUENCE OF VERTEX-NORMAL TRADE-OFF $\lambda$ ON OPTIMIZATION CONVERGENCE. LOWER IS BETTER.
| $\lambda$ | Right hand $\downarrow$ | Left hand $\downarrow$ |
| Steps | Vert. $\times 10^{-3}$ | Norm. | Steps | Vert. $\times 10^{-3}$ | Norm. |
| 0 (verts) | 86.47 | 3.73 | 20.52 | 106.13 | 30.98 | 54.98 |
| $10^{6}$ (norms) | 36.40 | 0.30 | 0.25 | 28.63 | 0.71 | 0.54 |
| $10^{-2}$ | 87.51 | 0.29 | 0.27 | 82.40 | 0.59 | 0.55 |
| $10^{-1}$ | 81.33 | 0.29 | 0.26 | 72.00 | 0.68 | 0.54 |
| 1 | 83.24 | 0.29 | 0.25 | 62.78 | 0.70 | 0.54 |
| 10 | 80.90 | 0.29 | 0.25 | 54.32 | 0.70 | 0.54 |
现有方法虽能生成网格，却无法在全身拓扑结构中保持一致性。基于这一发现，我们提出了HySUP——一种轻量级的、具备接缝感知功能的两阶段拟合流程，它能将SMPLest-X生成的粗糙手部输出与HaMeR生成的精细手指网格融合起来。通过在腕部接缝处对齐顶点和法线层面的一致性，HySUP仅需约150毫秒每帧就能同时实现全局一致性与精细的局部细节。定性结果如图2所示。
### A. 算法
— 第一阶段（S1）：基于PCA的Procrustes对齐。对于每个手部网格$\mathcal{M}_h$及其对应的身体网格$\mathcal{M}_b$，我们首先在模板网格上确定腕部锚点顶点$\mathbf{V}^A$（见图3；详情见附录A）。基于这些锚点，我们利用它们的质心和最大范围来计算平移$\mathbf{t}_0$与缩放$s_0$的初始估计值。对这些锚点应用主成分分析（PCA）可得到正交基$\mathbf{U}_h$、$\mathbf{U}_b \in \mathrm{SO}(3)$。随后通过旋转$\mathbf{R}_0 = \mathbf{U}_b \mathbf{U}_h^\top$来对齐主轴，从而得到初始的相似性变换$(s_0, \mathbf{R}_0, \mathbf{t}_0)$。
第二阶段（S2）：接缝优化。从初始变换参数$(s, \mathbf{R}, \mathbf{t}) = (s_0, \mathbf{R}_0, \mathbf{t}_0)$出发，我们最小化下述损失函数：
$$ \begin{aligned}\mathcal{L}(s,\mathbf{R},\mathbf{t})=&\sum_{i}\left\|s\mathbf{R}\mathbf{V}_{h}^{(i)}+\mathbf{t}-\mathbf{V}_{b}^{(i)}\right\|^{2}\\&+\lambda\sum_{i}\left(1-\left\langle\mathbf{R}\mathbf{N}_{h}^{(i)},\mathbf{N}_{b}^{(i)}\right\rangle\right),\end{aligned} $$
其中$\mathbf{V}_{h}^{(i)},\mathbf{V}_{b}^{(i)}$和$\mathbf{N}_{h}^{(i)},\mathbf{N}_{b}^{(i)}$分别是HaMeR和SMPLest-X上的对应接缝顶点和单位法向量。
我们采用了L-BFGS-B优化器[^13]，因为我们的公式仅涉及柔性的平滑约束，且尺度参数$(s > 0)$有简单的线性边界限制；当连续迭代间目标函数的变化量低于$10^{-4}$时，或迭代次数达到5000次时，即判定收敛。
### B. 消融实验与分析
a) 顶点与法向损失的作用：表III显示，仅依赖顶点损失($\lambda = 0$)会优先保证顶点精度，但会导致严重的法向误差（右手为$20.52^{\circ}$，左手为$54.98^{\circ}$），反映出严重的表面方向问题。
Input
SMPLest-X
我们的方法
Fig. 2. Qualitative comparison of SMPLest-X results before and after applying HySUP. As can be seen, the hand articulation—especially the fingers—is noticeably improved.
---
Fig. 3. Position of wrist-anchor vertices
TABLE IV
EFFECT OF ADDING STAGE 1 ON OPTIMIZATION METRICS. LOWER IS BETTER.
| Config. | Right hand $\downarrow$ | Left hand $\downarrow$ |
| Steps | Vert. $\times 10^{-3}$ | Norm. | Steps | Vert. $\times 10^{-3}$ | Norm. |
| Only S2 | 134.81 | 0.29 | 0.26 | 109.30 | 0.67 | 0.54 |
| S1 + S2 | 31.68 | 0.29 | 0.25 | 26.44 | 0.67 | 0.54 |
（如图4所示）。即便仅少量加入法向损失($\lambda = 10^{-2}$)，也能将这些误差大幅降低至约$0.26^{\circ}$，且不会显著影响顶点精度。此外，顶点与法向损失的权衡具有很好的鲁棒性：当参数取值在$10^{-2}$到10之间时，能得到稳定一致的结果，大大简化了调参过程。值得注意的是，加入法向损失还能显著加快优化收敛速度；纯法向导向的损失($\lambda = 10^{6}$)能使迭代次数减少近一半。不过，仅使用顶点损失或法向损失都存在局限性：纯顶点优化会导致方向畸变，而纯法向优化虽能加快收敛，却会牺牲顶点精度。因此，将顶点损失与法向损失按平衡权重($\lambda \approx 1$)结合是最优选择，既能保证高几何保真度、准确的表面法向，又能实现高效收敛。
b) 优化阶段的作用：表IV展示了引入PCA引导的Procrustes对齐（第一阶段）的效果。尽管这一初始对齐阶段并不会显著提升最终的顶点或法向精度，
Surface orientation issues
Grouttruth
Fig. 4. Illustration of optimization without normal loss, causing surface orientation issues.
但它能大幅降低计算成本。具体而言，加入第一阶段后迭代次数及相应的计算开销会减少约四倍，从而大幅缩短优化时间（右手从约134次迭代减少到约32次，左手从109次减少到约26次）。这一阶段带来的计算开销微乎其微（不到1毫秒），因此能显著提升整个流程的效率。
### V. 结论与局限性
我们提出了HySUP，这是一个轻量却高效的流程，它通过两阶段的、考虑接缝相似性的优化，将通用基础模型（SMPLest-X）与专用手部回归器（HaMeR）融合起来。在EHF基准测试中，HySUP使手部PA-MPVPE/MPJPE分别降低了3.3毫米（相对降幅27.11%）和3.55毫米（相对降幅29.48%），相比最强的通用基线模型，仅增加了150毫秒的计算时间。更广泛地说，“即插即用的部件融合”范式可以轻松推广到其他领域，比如面部、鞋类或服装，只要出现更强大的专用模型即可。随着该方法能进一步提升精度，此前极具挑战性的应用——比如手语理解——也将变得更容易实现。
局限性：HySUP的性能提升受限于底层部件网络的质量；如果未来通用模型能完全解决手部关节问题，我们的相对优势将会缩小。
## 参考文献
[^1]: Z. Cai, W. Yin, A. Zeng, C. Wei, Q. Sun, W. Yanjun, H. E. Pang, H. Mei, M. Zhang, L. Zhang, et al., Smpler-x: Scaling up expressive human pose and shape estimation, Advances in Neural Information Processing Systems 36 (2023) 11454–11468.
[^2]: W. Yin, Z. Cai, R. Wang, A. Zeng, C. Wei, Q. Sun, H. Mei, Y. Wang, H. E. Pang, M. Zhang, et al., Smplest-x: Ultimate scaling for expressive human pose and shape estimation, arXiv preprint arXiv:2501.09782 (2025).
[^3]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, J. Malik, Reconstructing hands in 3d with transformers, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 9826–9836.
[^4]: R. A. Potamias, J. Zhang, J. Deng, S. Zafeiriou, Wilor: End-to-end 3d hand localization and reconstruction in-the-wild, arXiv preprint arXiv:2409.12259 (2024).
[^5]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, M. J. Black, Smpl: A skinned multi-person linear model, in: Seminal Graphics Papers: Pushing the Boundaries, Volume 2, 2023, pp. 851–866.
[^6]: G. Pavlakos, V. Choutas, N. Ghorbani, T. Bolkart, A. A. Osman, D. Tzionas, M. J. Black, Expressive body capture: 3d hands, face, and body from a single image, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2019, pp. 10975–10985.
[^7]: P. Patel, C.-H. P. Huang, J. Tesch, D. T. Hoffmann, S. Tripathi, M. J. Black, Agora: Avatars in geography optimized for regression analysis, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 13468–13478.
[^8]: Z. Yang, A. Zeng, C. Yuan, Y. Li, Effective whole-body pose estimation with two-stages distillation, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 4210–4220.
## [^9]: S. Zhang, Q. Ma, Y. Zhang, Z. Qian, T. Kwon, M. Pollefeys, F. Bogo, S. Tang, Egobody: Human body shape and motion of interacting people from head-mounted devices, in: European conference on computer vision, Springer, 2022, pp. 180–200
---
[^10]: J. Romero, D. Tzionas, M. J. Black, Embodied hands: modeling and capturing hands and bodies together, ACM Trans. Graph. 36 (6) (Nov. 2017). doi:10.1145/3130800.3130883. URL
[^11]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. Argus, T. Brox, Freihand: A dataset for markerless capture of hand pose and shape from single rgb images, in: Proceedings of the IEEE/CVF international conference on computer vision, 2019, pp. 813–822.
[^12]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, K. M. Lee, Interhand2. 6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image, in: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, Springer, 2020, pp. 548–564.
[^13]: C. Zhu, R. H. Byrd, P. Lu, J. Nocedal, Algorithm 778: L-bfgs-b: Fortran subroutines for large-scale bound-constrained optimization, ACM Trans-actions on mathematical software (TOMS) 23 (4) (1997) 550–560.
## 附录 A
## 腕部锚点顶点索引
表V列出了MANO模型中的$^{1}$顶点编号，这些顶点定义了HySUP在第1阶段（基于PCA的Procrustes对齐）和第2阶段（接缝优化）所使用的腕部接缝。这些锚点是通过对MANO模板进行分析后选定的；它们构成了一个闭合环路，与对应的SMPL-X腕部环一一对应。
TABLE V
MANO WRIST-ANCHOR VERTEX IDs USED IN HYSUP.
| 33 | 34 | 37 | 38 | 39 | 44 | 52 | 53 | 78 |
| 79 | 85 | 91 | 92 | 107 | 108 | 116 | | |
| 117 | 118 | 119 | 120 | 121 | 122 | 190 | 191 | 210 |
| 211 | 214 | 215 | 234 | 239 | 279 | | | |