文章 # 基于法向积分的轻量显式三维人体数字化 刘家轩 $^{1,2}$ $^{ID}$, 吴静怡 $^{1}$ $^{ID}$, 荆瑞阳 $^{1}$, 郁涵 $^{1}$ $^{ID}$, 刘静 $^{1}$ $^{ID}$ 及 宋梁 $^{1,2,*}$ $^{ID}$ 中国上海市复旦大学工程与应用技术研究院，邮编200433； (J.L.); (J.W.); (R.J.) ② 海南省院士创新平台，中国海口市，邮编570228 通讯作者： 摘要：近年来，基于图像生成三维人体模型在三维人体重建领域得到了广泛关注。然而，大型神经网络模型在实际应用中的部署仍存在挑战，尤其是在资源受限的边缘设备上。这一问题的主要原因在于，大型神经网络模型需要更高的计算能力，这对硬件性能和推理时间提出了更高的要求。为解决该问题，我们可以通过优化网络架构减少模型参数量，从而缓解对硬件资源的高度依赖。我们提出了一种轻量高效的三维人体重建模型，能够平衡重建精度与计算成本。具体而言，我们的模型将扩张卷积和互协方差注意力机制融入架构，构建了轻量生成网络。该设计在显著降低模型复杂度的同时，有效捕捉了多尺度信息。此外，我们针对法向图的几何特性提出了一种创新损失函数，该损失函数能更准确地衡量表面重建质量，提升整体重建性能。实验结果表明，与现有方法相比，本文方法在保持生成模型质量的前提下，将训练参数量减少了约80%。 版权：© 2025 归作者所有。 被许可方：MDPI，瑞士巴塞尔。 本文是一篇开放获取文章 分发遵循条款与 知识共享的 署名（CC BY）许可协议 ( licenses/by/4.0/). ![Image](images/dbd0d2823ea17c6f698660477a89499d202db9465f1e741965826852d79d3262.jpg) 学术编辑：斯特凡诺·贝雷蒂 收稿日期：2025年1月4日 修改日期：2025年2月9日 录用日期：2025年2月27日 发表日期：2025年2月28日 引用：刘家轩; 吴静怡; 荆瑞阳; 郁涵; 刘静; 宋梁. 基于法向积分的轻量显式三维人体数字化. Sensors 2025, 25, 1513. 关键词：三维人体重建；法向图估计；蒙皮多人线性模型；深度学习 ## 1. 引言 深度学习与计算机视觉领域的最新进展显著提升了各界对三维重建的研究兴趣，三维重建现已成为多个不同领域的关键技术支撑。三维重建指利用软硬件技术对场景、物体或人物进行三维数字重建。与二维数据相比，三维信息本身包含更全面、更精确的空间特征，因此三维模型相比传统二维图像能够提供更丰富的上下文信息。这一能力让计算机可以更好地保存和感知三维世界，突破了二维数据表示的局限。目前，三维重建已被广泛应用于自动驾驶、三维全息图生成与重建[^1]、三维形状重建[^2]、运动恢复结构摄影测量[^3]等领域，为各行各业的创新应用赋能。 随着三维重建技术的发展，三维人体重建逐渐获得了广泛关注。近年来该领域的发展已经取得了显著进展， --- 展现出可观的实用价值与发展潜力，因此得以在虚拟现实（VR）、人机交互（HCI）[^4]、医疗健康[^5]、三维特征提取[^6]、运动分析[^7]、文化遗产保护[^8]等领域实现广泛应用。 三维人体重建在多个领域具备广泛应用潜力，这使得从图像高效重建人体模型成为计算机视觉[^9] [^10]与计算机图形学[^11]方向的关键研究课题。然而，由于人体拥有复杂的几何结构、外观以及关节可动特性，实现高保真重建仍然充满挑战。近年来，非参数化重建方法取得了重大进展。PIFu（Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization）[^12]和PIFuHD（Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization）[^13]借助隐函数，以扫描得到的三维人体数据作为监督，实现了穿衣人体的精细重建。但这类方法并未融入人体结构先验信息。随后，PaMIR（Parametric Model-Conditioned Implicit Representation for Image-Based Human Reconstruction）[^14]引入SMPL模型（A Skinned Multi-Person Linear Model）[^15]作为先验，大幅提升了姿态估计[^16]的准确率和整体重建精度。但该方法仅依靠隐函数进行表示，缺乏更精细的重建技术。SMPL、SMPL-X等参数化模型已被广泛应用于虚拟现实、游戏开发和虚拟试穿系统中。与SMPL和SMPL-X重建出的裸体人体模型相比，本文方法能够还原更多细节，还可以对复杂衣物进行重建。 随着各领域对真实感人体模型的需求不断增长，已有诸多方法提出创新的网络架构与训练技术来提升重建性能。然而挑战仍然存在，尤其是大规模网络模型在实际应用中存在明显局限性。本研究的核心内容是从单张二维图像重建高精度三维人体模型，重点聚焦于法向图估计与重建。此外，本研究还结合使用了人体姿态估计[^16]和纹理生成技术。尽管遮挡处理和动态场景重建是三维建模领域的重大挑战，但这些内容不在本研究的范围之内。我们采用SMPL-X模型作为人体姿态估计的先验信息，通过引入法向图估计的思路，生成人体正面与背面的法向图。生成网络计算得到的法向图可用来表征人体表面的三维信息。为了高效生成人体表面法向图，我们设计了一种轻量且高效的生成网络架构。该架构利用了扩张卷积扩展感受野的优势[^17]以及互协方差注意力的跨通道特征提取能力[^18]。在此过程中，我们对人体的正面和背面分别进行处理。之后，我们通过d-BiNI（深度感知轮廓一致性双边法向积分）方法[^19]结合生成的法向图恢复网格模型，再结合SMPL-X模型（Expressive Body Capture: 3D Hands, Face, and Body from a Single Image）[^20]完成整体网格重建。在训练阶段，我们引入表面褶皱损失函数[^21]来生成细节更丰富的褶皱变化，同时引入空间损失函数[^22]来衡量三维空间中点与点之间的距离。这两个损失函数共同约束法向图生成网络，确保网络沿着正确的方向优化。 图1展示了不同人体模型的重建结果。为了降低生成网络的参数量，我们将扩张卷积与互协方差注意力机制相结合，构建了一个轻量型网络。此外，我们提出了一种创新损失函数，能够更好地对法向图进行评估。最终结果 --- 证明本方法在高重建质量与模型效率之间实现了平衡。本文的贡献如下： 我们提出了一种创新的人体重建方法，该方法引入了专门用于优化训练过程的创新损失函数。该损失函数显著提升了重建结果的精度与细节丰富度，我们实验取得的优异结果也印证了这一点； - 我们还提出了一个轻量型生成网络，专门用于生成高质量的人体表面法向图。该网络采用高效的架构设计，能够有效捕捉复杂的几何细节。实验结果证实了我们的方法在生成准确、真实的表面法向图方面具备良好的鲁棒性与效率； - 我们开展了大量实验，对所提出的方法进行了全面评估。这些评估包含定量分析与定性分析，彰显了我们方法的优越性。实验结果表明该方法在不同场景下都能保持稳定的性能，凸显了其在重建精细化人体模型方面的鲁棒性与有效性。 ![Image](images/933ef1dfec2d986504341b2633fa5ddcdc6aa1f1de0c602771035693010b4818.jpg)
Figure 1. This figure demonstrates our method's reconstruction capability. Our approach successfully generates detailed 3D human models. The top row shows the input images, the middle row presents the generated normal maps, and the bottom row displays the reconstructed 3D human models.
本文的结构安排如下：第1章系统阐述了本研究的研究背景、问题定义以及本工作的学术意义。第2章梳理了相关领域的最新研究进展，重点分析了现有方法的优势与局限性。第3章详细介绍了本文提出的算法框架与网络架构设计。第4章通过系统的实验验证与对比分析，全面探究了所提方法的有效性与性能表现。最后，第5章总结了本研究的主要创新贡献，客观讨论了当前存在的局限性，并展望了未来潜在的研究方向。 --- ### 2. 相关研究 在三维人体重建领域，主流方法可分为「参数化方法」和「非参数化方法」两类。参数化方法依托统计人体模型完成人体模型重建，这类方法又可进一步分为两类：一类通过统计技术学习与体型、姿态相关的校正量[^23] [^24]，另一类用于解决非线性形变问题，补偿线性混合蒙皮产生的伪影[^25] [^26]。参数化重建依赖低维向量表示人体体型，该方法在降低数据表示复杂度的同时，能够精准重建人体的体型与姿态。常用的参数化模型包括SCAPE（SCAPE: shape completion and animation of people）[^23]、SMPL [^15]和SMPL-X [^20]，这些模型通过优化或回归方法推断人体参数。例如，SMPLify（Keep It SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image）[^27]通过最小化检测到的二维关键点与合成三维姿态之间的重投影误差优化SMPL参数（包括体型和姿态），同时加入碰撞约束减少二维转三维的歧义性。HMR（end-to-end recovery of human shape and pose）[^28]将人体关节的重投影误差引入损失函数，对SMPL的姿态和体型参数进行监督。受生成对抗网络（Generative Adversarial Networks, GANs）[^29]启发，HMR还在损失函数中加入判别器，保证预测得到的人体参数的有效性。SPIN（Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop）[^30]结合基于回归和基于优化的方法进行三维姿态与体型估计：它使用回归网络生成SMPL参数，作为迭代拟合模块的初始值，再将迭代拟合模块的优化结果作为监督信号改进回归网络，实现循环训练以提升生成效果。 非参数方法主要聚焦于生成穿衣人体的详细表面模型。为了适配穿衣人体形状，大量方法 [^12] [^19] 通过调整网格顶点实现精确的衣物建模。隐式表示也已被广泛应用于非参数三维重建中。例如，PIFu [^12] 引入了像素对齐的隐式重建，而PIFuHD [^13] 通过多级架构和从RGB图像预测得到的法线图增强了几何细节。然而，这些方法没有融入人体的结构先验，导致重建结果不够理想。GeoPIFu（GeoPIFu: geometry and pixel-aligned implicit functions for single-view human reconstruction） [^31] 融入了粗略的人体体积形状，Self-Portrait [^32]、PINA（Pina: Learning a personalized implicit neural avatar from a single rgb-d video sequence） [^33] 和 S3（S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling） [^34] 这类方法利用深度或激光雷达数据对形状进行正则化，提升对姿态变化的鲁棒性。PaMIR [^14] 和 DeepMultiCap [^35] 将像素对齐特征对齐到带姿态的体素化SMPL网格上，使用参数模型作为先验来保证重建的完整性和稳定性。但在很多场景下，它们的重建结果往往较为粗糙，无法令人满意。ARCH（ARCH: Animatable Reconstruction of Clothed Humans） [^36]、ARCH++（ARCH++: Animation-Ready Clothed Human Reconstruction Revisited） [^37] 和 CAR（High-fidelity clothed avatar reconstruction from a single image） [^38] 使用SMPL将像素对齐查询点从姿态空间映射到规范空间。ICON（ICON: Implicit Clothed Humans Obtained from Normals） [^39] 通过局部特征回归将该方法扩展到野外观测图像中的未知姿态，取得了出色的重建质量。但该方法未充分利用生成的法线图，且模型体积较大。ECON（ECON: Explicit Clothed Humans Optimized via Normal Integration） [^19] 引入了d-BiNI技术，并采用ResNet [^40] 作为其生成网络的骨干，实现了 --- 可观的结果。尽管如此，在模型体积和推理速度方面仍存在优化空间。 在生成网络中，有效的架构设计至关重要。R-MSFM（R-MSFM: Recurrent Multi-Scale Feature Modulation for Monocular Depth Estimating） [^41] 提出了一种紧凑的特征调制模块来学习多尺度特征，仅使用ResNet-18的前三个阶段作为骨干就实现了极具竞争力的性能。Zhang等人 [^42] 提出了一种结合卷积和Transformer的混合架构，在保持性能的同时有效减小了模型体积。Bae等人 [^43] 利用Transformer增强CNN特征，实现了当前最优的准确率，但使用多个并行模块拖慢了处理速度。ICON和ECON均采用ResNet [^40] 作为其法线图生成网络的骨干，取得了高质量的结果。然而，它们较大的模型体积和较慢的推理速度限制了其实用性。 ### 3. 方法 #### 3.1. 人体模型重建 从单张图像生成三维人体模型颇具挑战性，通常会得到异常的输出结果。为了解决这一问题，我们引入参数化人体模型（SMPL-X）[^20]作为先验知识，以保证人体姿态的准确性。该方法已在PaMIR [^14]、ICON [^39]和ECON [^19]等方法中得到有效应用。通过从输入图像估计姿态并生成对应的SMPL-X模型[^20]，我们结合输入图像和SMPL-X模型推断人体表面法向图，最终得到准确的法向图。 如图2A所示，我们首先对重建图像进行SMPL-X模型估计，并利用可微渲染器从重建得到的SMPL-X模型$N^{b}$生成表面法向图$M^{b}$。随后，将输入图像和上述法向图输入两个独立的Lite-GN网络，分别生成前视图和后视图法向图。之后我们通过d-BiNI方法和人体形状补全阶段对这些输出进行整合，重建出完整的三维人体模型。Lite-GN主要由膨胀卷积块（Dilated Convolutions Block）和互协方差注意力块（Cross-Covariance Attention Block）构成。Lite-GN的详细架构如图3所示，膨胀卷积块和互协方差注意力块的具体结构如图4所示。为了在训练过程中优化表面几何结构，我们通过对比预测法向图与真值，联合优化两个优化损失项（如图2B所示），即折叠优化损失和空间优化损失。该方法可以有效减少表面不规则问题和几何偏差。
(A) Reconstruction
(B) Surface Refinement
![Image](images/891bcafef1bc7b9ea36b8f15206cb1f5ad73666fc10282d3dc5e7d1115b5150c.jpg)
Figure 2. Overview. (A) Pipeline for 3D human reconstruction; (B) architectural framework of the loss function for normal map generation.
--- ![Image](images/3d795399f871f9b3f49f0df7a4c5e7a2856fb787947955dbed3b395766ba6328.jpg)
Figure 3. Overview of Lite-GN. The generative network is designed using an encoder–decoder architecture. Each module comprises $M_{N}$ Dilated Convolution Blocks and a Cross-Covariance Attention Block.
![Image](images/63482463d9af72f67039b15cf8de215980635814a453d95c8f4d6900e56011fd.jpg)
Figure 4. The detailed architectures of the Dilated Convolution Block and Cross-Covariance Attention Block are illustrated.
我们首先对输入图像进行姿态估计，生成对应姿态的SMPL-X模型。我们的方法基于SMPL-X模型生成穿衣人体模型，以减少歧义，从前后两个视角指导穿衣人体的预测。利用美国加利福尼亚州门洛帕克市Facebook AI研究院开发的PyTorch3D（版本0.7.1）中的可微渲染器（记为DR），我们从前后视角提取SMPL-X模型的表面法向图，如图2所示。随后将输入图像和法向图$\hat{N}^b = \left\{ \hat{N}_F^b, \hat{N}_B^b \right\}$输入到 --- 生成网络$LiteG^N = \{G_F^N, G_B^N\}$，该网络输出人体前后视角的法向图，记为$\hat{N}^c = \{\hat{N}_F^c, \hat{N}_B^c\}$。 $$ DR\Big(M^{b}\Big)=N^{b}, $$ $$ Lite G^{N}\Big(N^{b},I\Big)=\hat{N}^{c}, $$ 其中$M^b$表示基于姿态参数生成的SMPL-X模型，$\hat{N}^c = \{\hat{N}_F^c, \hat{N}_B^c\}$是由$G^N$生成的预测法向图。 我们针对生成的法向图采用深度感知轮廓一致双边法向积分方法（d-BiNI）。该技术利用SMPL-X模型提供的先验信息，在轮廓处施加一致性约束，保证高频表面细节与预测稠密法向图对齐，同时通过SMPL-X模型保留包括不连续性在内的低频表面变化。目标函数[^19]由五个主要部分构成： $$ d-B i N I\Big(\hat{N}_{F}^{c},\hat{N}_{B}^{c},Z_{F}^{b},Z_{B}^{b}\Big)\to\hat{Z}_{F}^{c},\hat{Z}_{B}^{c}, $$ $$ \begin{aligned}\min_{\hat{Z}_{F}^{c},\hat{Z}_{B}^{c}}\mathcal{L}_{n}\big(\hat{Z}_{F}^{c},\hat{N}_{F}^{c}\big)+\mathcal{L}_{n}\big(\hat{Z}_{B}^{c},\hat{N}_{B}^{c}\big)+\lambda_{d}\mathcal{L}_{d}\Big(\hat{Z}_{F}^{c},Z_{F}^{b}\Big)+\\ \lambda_{d}\mathcal{L}_{d}\Big(\hat{Z}_{B}^{c},Z_{B}^{b}\Big)+\lambda_{s}\mathcal{L}_{s}\big(\hat{Z}_{F}^{c},\hat{Z}_{B}^{c}\big),\end{aligned} $$ 其中$\mathcal{L}_n$是BiNI [^44]损失项，$\mathcal{L}_d$是前后深度表面的先验深度，$\mathcal{L}_s$是前后轮廓一致性项，$Z_b^*$和$\hat{Z}_*$分别表示粗人体深度图和穿衣人体深度图。$\mathcal{L}_d\left(\hat{Z}_i^c, Z_i^b\right)$和$\mathcal{L}_s\left(\hat{Z}_F^c, \hat{Z}_B^c\right)$ [^19]的详细计算公式如下： $$ \mathcal{L}_{d}\Big(\hat{Z}_{i}^{c},Z_{i}^{b}\Big)=\Big|\hat{Z}_{i}^{c}-Z_{i}^{b}\Big|_{\Omega_{n}\cap\Omega_{z}}\quad i\in\{F,B\}, $$ $$ \mathcal{L}_{s}\big(\hat{\mathsf{Z}}_{\mathrm{F}}^{c},\hat{\mathsf{Z}}_{\mathrm{B}}^{c}\big)=\big|\hat{\mathsf{Z}}_{\mathrm{F}}^{c}-\hat{\mathsf{Z}}_{\mathrm{B}}^{c}\big|_{\partial\Omega_{n}}, $$ 其中$\Omega_{n}$和$\Omega_{z}$分别表示着装区域和身体区域的定义域，$\partial\Omega_{n}$表示$\Omega_{n}$的轮廓。 SMPL-X参数优化：我们的方法将SMPL-X模型作为先验信息，从图像提取的姿态参数的准确性对获得精确重建结果至关重要。准确的参数能够提供更可靠的先验，从而提升生成结果的质量。为此，我们采用PIXIE方法[^45]提取SMPL-X参数。然而，人体模型直接推断得到的参数通常无法与输入图像中呈现的姿态和形状完全匹配。为解决这一局限，我们进一步通过优化过程对SMPL-X模型参数进行精修[^30] [^39]。具体来说，我们优化SMPL-X模型的形状参数$\beta$、姿态参数$\theta$和平移参数t，确保生成模型与输入图像的姿态和外观高度对齐。该优化过程的目标是最小化以下损失函数[^19]： $$ L_{S M P L-X}=\operatorname*{m i n}_{\theta,\beta,t}(\lambda_{N\_{d} i f f}L_{N\_{d} i f f}+L_{S\_{d} i f f}), $$ $$ L_{N\_{d} i f f}=\left|N^{b}-\hat{N}^{c}\right|,\qquad L_{S\_{d} i f f}=\left|S^{b}-\hat{S}^{c}\right|, $$ 其中$L_{N\_diff}$表示由$\lambda_{N\_diff}$加权的法线图L1损失，$L_{S\_diff}$是衡量SMPL人体法线图轮廓$S_{b}$与人体掩码$S_{bc}$差异的L1损失，人体掩码按照Rembg中描述的方法从I中分割得到[^46]。 --- 人体形状补全：我们采用ECON-EX方法[^19] [^47]完成人体表面重建，利用SMPL-X模型填补缺失表面。我们从生成网格中移除SMPL-X模型对应的三角形面片$M^{b}$，剩余三角形面片包含侧视边界和遮挡区域$M^{r}$。我们使用PSR将生成表面与剩余表面合并，得到完整的人体模型[^47]。 #### 3.2 本文提出的框架：Lite-GN 多项研究表明，设计良好的编码器能够提取更有效的特征，从而提升生成结果质量[^48] [^49]。我们设计了一种轻量级生成网络，可从输入图像高效生成法线图。该网络由编码器（Encoder Net）和解码器（Decoder Net）组成，如图3所示。为有效降低模型尺寸，我们采用堆叠空洞卷积（Dilated Convolutions）[^17]，在维持大感受野的同时降低网络深度。此外，我们引入Transformer[^50]学习全局特征，并采用互协方差注意力（Cross-Covariance Attention）[^18]聚焦通道间关系。该架构大幅降低了计算复杂度。 编码器：我们通过引入多尺度信息融合实现高效的特征编码，过程如下：首先，输入人体图像经过四个$3 \times 3$卷积下采样层处理，提取局部特征，得到尺寸为$256 \times 256 \times 64$的特征图。在模块1阶段，将下采样得到的特征图与池化后的输入图像拼接，随后进行两次$3 \times 3$卷积下采样操作，得到尺寸为$128 \times 128 \times 64$的特征图。之后特征被送入空洞卷积块以扩大感受野，该过程重复六次。得到的特征随后被输入互协方差注意力块，引入互协方差机制。在模块2阶段，输入特征图经过两次$3 \times 3$卷积操作，得到尺寸为$64 \times 64 \times 128$的特征图，之后特征被送入空洞卷积块，该过程重复六次，再输入互协方差注意力块。在模块3阶段，输入特征图经过两次$3 \times 3$卷积操作，生成尺寸为$32 \times 32 \times 224$的特征图，这些特征随后经过空洞卷积块处理，该过程重复18次，之后再接一个互协方差注意力块。至此编码阶段完成。如表1所示，$[Conv3 \times 3]$表示使用一个$3 \times 3$卷积核。 解码器：我们采用了改编自单目深度估计[^48]的解码器。如图3所示，我们使用多个双线性上采样层实现有效的上采样，同时通过卷积层连接编码器三个阶段输出的特征。该设计确保高层特征与低层特征深度融合，在保留低维信息的同时将信息损失降至最低，最终在最顶层输出生成的法向量图。
Table 1. The network parameters of the Encoder.
Output SizeStageLayer
$512 \times 512 \times 6$Input
$256 \times 256 \times 64$Conv Stem$[Conv3 \times 3] \times 4$
---
Table 1. Cont.
Output SizeStageLayer
$128 \times 128 \times 64$Stage 1$[Conv3 \times 3] \times 2$
Dilated Convolutions Block $\times$ 6
Cross-Covariance Attention Block $\times 1$
$64 \times 64 \times 128$Stage 2$[Conv3 \times 3] \times 2$
Dilated Convolutions Block $\times$ 6
Cross-Covariance Attention Block $\times 1$
$32 \times 32 \times 224$Stage 3$[Conv3 \times 3] \times 2$
Dilated Convolutions Block $\times$ 18
Cross-Covariance Attention Block $\times 1$
##### 3.2.1. 空洞卷积块 我们采用多层空洞卷积从输入图像和SMPL-X法向量图中提取特征。堆叠多个空洞卷积层可以增强特征的整合与融合效果。 对于给定的输入特征$x[i]$，空洞卷积$y[i]$生成的输出特征[^17]可以表示为： $$ y[v]=\sum_{u=1}^{U}x[v+r\cdot u]w[u], $$ 其中$w[u]$表示尺寸为U的滤波器，r为卷积操作中对输入x[v]应用的膨胀率。对于标准卷积（无空洞），膨胀率r设置为1。 通过使用空洞卷积，网络可以在保持输出特征图尺寸的同时扩大感受野。我们的空洞卷积块输出如下： $$ \hat{X}={L i n e a r}\big({G}\big({L i n e a r}\big({B N}\big({D D W C o n v}_{r}(X)\big)\big)\big)\big)+X, $$ 其中Linear表示逐点卷积，G表示GELU [^51]激活函数。BN表示批量归一化层，$DDWConv_{r}(X)$表示膨胀率为r的$3 \times 3$深度可分离空洞卷积。 ##### 3.2.2. 互协方差注意力块 在互协方差注意力块（Cross-Covariance Attention Block）中，输入特征X经过逐点卷积处理，生成查询$Q = XW_{q}$、键K = XW_k和值$V = XW_v$，其中$W_q$、$W_k$和$W_v$是权重矩阵。互协方差注意力（Cross-Covariance Attention）[^18]结合了传统Transformer的精度与卷积架构的可扩展性，能够高效处理高分辨率图像。该方法成功将注意力计算的二次复杂度降低为线性复杂度： $$ \tilde{X}=X+Attention(Q,K,V), $$ 其中$Attention(Q,K,V)=V\cdot Softmax(Q^{T}\cdot K)$ [^18]。 此外，我们对特征的非线性做了如下增强： $$ \hat{X}=X+{L i n e a r}\big(G\big({L i n e a r}\big({L N}(\tilde{X})\big)\big)\big), $$ 其中LN表示层归一化[^52]操作，Linear代表逐点卷积，G是GELU[^53]激活函数。 --- #### 3.3. 表面细化 VGG损失[^21]通过在特征空间进行对比来提升生成图像的感知质量，因此特别适用于要求高保真度和结构一致性的任务。VGG损失不会直接在像素空间比较图像差异，而是使用从预训练VGG网络中提取的中间特征表示计算损失[^21]： $$ {\cal L}_{V G G}=\frac{1}{h_{l}w_{l}c_{l}}\sqrt{\sum_{i,j,k}\Bigl(\phi_{i,j,k}^{(l)}(\hat{N}^{c})-\phi_{i,j,k}^{(l)}(N_{g t})\Bigr)^{2}}, $$ 其中$h_l$、$w_l$和$c_l$分别表示l层特征图的高度、宽度和通道数。网络记为$\phi$，在l层提取的高级特征表示为$\phi^{(l)}(N)$，我们在对应层计算$N_{gt}$和$\hat{N}^c$的高级特征表示之间的欧氏距离。 因此，VGG网络的特征表示更符合人类视觉系统对图像的理解，能够更好地捕捉高层语义信息和感知质量，因此可以更有效地反映法线图的语义信息和质量。 VGG损失仅关注感知差异，却忽略了空间信息。为了解决这个问题，我们使用Huber损失[^22]测量两个法线图之间的空间差异。Huber损失通过直接比较每个位置两个向量的差异，精准捕捉空间信息，弥补了VGG损失的局限性。这是因为，基于预训练网络提取特征图的VGG损失主要关注图像的感知相似性（例如纹理和风格），却忽略了三维空间中顶点的几何对齐。相比之下，Huber损失通过统计两个向量对应位置的差异元素数量来量化空间不一致性，迫使模型在优化过程中优先保证几何精度。Huber损失[^22]的公式如下： $$ L_{\delta}(N_{g t},\hat{N}^{c})=\left\{\begin{matrix}{\frac{1}{2}(N_{g t}-\hat{N}^{c})^{2},}&{\big|N_{g t}-\hat{N}^{c}\big|\leq\delta}\\ {\delta\big|N_{g t}-\hat{N}^{c}\big|-\frac{1}{2}\delta^{2},}&{\big|N_{g t}-\hat{N}^{c}\big|>\delta}\\ \end{matrix}\right., $$ 其中$\delta$是决定MSE和MAE之间平衡的超参数。因此，Huber损失结合了MSE和MAE二者的优势。 因此，我们使用如下损失函数训练生成网络Lite-GN： $$ L_{N}=L_{\delta}\big(N_{{g t}},\hat{N}^{c}\big)+\lambda_{{V G G}}\mathcal{L}_{{V G G}}, $$ 其中$\lambda_{VGG}$表示VGG损失的权重。 在训练阶段（如图3所示），我们从与输入图像对应的真实网格$N_{gt}$中提取出正面和背面法向图$M_{gt}$。这些$N_{gt}$法向图会与生成得到的法向图$\hat{N}_{c}$一同输入损失函数$L_{n}$，用于训练法向图生成网络LiteGN。损失函数的具体细节如图2B所示，并由式(15)描述。 ### 4. 实验与结果 #### 4.1. 实现细节 数据集：我们使用THuman2.0数据集[^54]作为生成网络的训练集。THuman2.0包含525个高质量人体扫描模型，已被用于训练ECON [^19]、ICON [^39]、IF-Nets（隐式函数网络）[^19]、PIFu [^12]和PaMIR [^14]等方法。此外，我们还使用CAPE [^55]和Render- --- people数据集 [^56]进行定量评估。CAPE数据集用于评估重建方法在复杂姿态下的鲁棒性，而Renderpeople数据集则用于评估方法处理复杂衣物的鲁棒性。 THuman2.0数据集由高精度扫描仪采集得到，提供了带纹理的高分辨率3D人体模型。每个模型都附带对应姿态下的SMPL和SMPL-X参数（如图5所示）。 训练阶段：我们使用PIXIE（基于调节的表情人体协同回归） [^45]从输入图像中提取SMPL-X参数，随后利用这些参数构建SMPL-X模型。优化器采用AdamW，初始学习率为 $10^{-3}$，每10个训练轮次将学习率降低为原来的0.1倍。训练过程共进行50个轮次，批次大小为4。详细的实验环境参数如表2所示。 ![Image](images/c0d25d0480a5250f38d6b3d4f034c2b625192fe0a315de4bf2082128ceb6fe16.jpg)
Figure 5. Examples from the THuman2.0 dataset.
Table 2. Experimental environment's parameters.
EquipmentComputer Configuration Parameters
Operating systemLinux
RAM32 G
Type of operating systemUbuntu20.04
CPUIntel Core i7-12700K
GPURTX 4090(24 GB) $\times$ 1
Development languagePython 3.8
Deep learning frameworkPyTorch 1.12.1
#### 4.2. 评估指标 倒角距离（Chamfer distance）：倒角距离[^57]是三维几何处理中广泛使用的指标，用于评估两个点集之间的相似性。准确来说，它测量真实扫描中每个点到生成模型中最近邻点的平均平方距离。这种对称计算确保两个点集在评估中得到同等考量。倒角距离在评估真实数据与重建模型的整体几何对齐方面效果尤为突出，因此是衡量生成结果质量的可靠指标。倒角距离越低，说明重建模型越接近实际几何形状。 --- P2S距离：点到面（Point-to-Surface, P2S）距离[^47]是一种更精细的评估指标，用于测量真实扫描中每个点到重建模型最近表面的最短距离。与将两组数据都视为点云的倒角距离不同，P2S距离纳入了重建模型的表面信息，因此它特别适合评估重建表面与真实数据基础几何的贴合程度。通过聚焦点与面之间的邻近度，P2S距离能够提供对重建精度更细致的衡量，在对精确表面细节要求很高的区域尤其有价值。 法向量差异：法向量差异[^19]评估真值模型与重建模型对应点处法向量之间的角度差异。法向量编码了表面的局部朝向，对于捕捉精细几何细节和高频结构至关重要。通过对比这些向量，法向量差异能够凸显仅靠位置指标无法发现的局部表面特征差异。该指标对于评估重建过程中对锐边、细微表面起伏等复杂细节的保留能力至关重要。法向量差异越小，说明局部几何特征的重建保真度越高。 #### 4.3. 评估 ##### 4.3.1. 定量评估 本文方法支持从单张图像重建精细的三维人体模型，能够为任何性别、任意身份的个体生成完整的人体模型。如图1所示，即使在复杂姿态和衣物场景下，我们的方法仍能保持较高的重建质量，可在准确重建衣物和姿态的同时保留关键面部特征。 我们将本文方法与多种现有最优方法进行了全面对比，包括ECON [^19]、ICON [^39]、PaMIR [^14]和PIFuHD [^13]。为全面评估各方法的性能，我们采用了四项核心指标：倒角距离、点到面距离（P2S）、法向量差异和权重大小，共同衡量方法的优劣。对比结果如表3所示。为保证评估公平，所有方法均使用提供高质量三维人体扫描数据的THuman2.0数据集[^54]训练，并在捕捉多样衣物变化的挑战性基准CAPE数据集[^55]上测试。实验结果表明，在视觉保真度和结构准确性方面，本文方法的生成质量可与PaMIR和ICON相媲美，取得了极具竞争力的结果。尽管部分指标略逊于ECON-EX，但本文方法大幅减小了模型体积，凸显了其优异的轻量化特性。如表4所示，本文方法在轻量化效率方面取得了更为突出的结果。 我们还与其他利用法线图进行三维重建的方法进行了针对性对比。本次对比从三项核心指标评估法线图生成网络的性能：网络参数量、模型权重文件大小和推理阶段的运行时间。如表4所示，本文方法大幅降低了资源消耗。具体来说，我们的方法在最小化网络参数量和权重文件大小的同时，显著缩短了运行时间，实现了更快的处理速度并降低了计算开销。这种高效的资源利用凸显了本文方法的实际优势，尤其适用于计算资源受限或对实时性能要求较高的场景。本文方法平衡了重建质量与效率，非常适合需要轻量化三维人体重建的应用场景。 ---
Table 3. Quantitative comparison on CAPE dataset.
MethodsChamfer $\downarrow$P2S $\downarrow$Normals $\downarrow$Weight Size $\downarrow$
PIFuHD [^13]3.7673.5910.09941.4 GB
PaMIR [^14]0.9890.9920.0422472 MB
ICON [^39]0.9710.9090.04091.38 GB
ECON-IF [^19]0.9960.9670.04131.49 GB
ECON-EX [^19]0.9260.9170.03671.35 GB
Ours0.9650.9300.0472201.6 MB
↓表示数值越小越好。
Table 4. Model complexity and speed evaluation. We evaluated and compared the parameters, model weight file size, and inference speed of different methods.
MethodsModel Size $\downarrow$Weight Size $\downarrow$Speed (ms) $\downarrow$
ICON [^39]345.6 M1.35 GB22.8 ms
ECON [^19]345.6 M1.35 GB23.6 ms
Ours50 M201.6 MB12.8 ms
↓表示数值越小越好。 此外，我们在Renderpeople数据集上评估了我们的方法，测试其在复杂服装条件下对各类衣物的鲁棒性。我们还采用Chamfer Distance、P2S Distance和Normals Difference作为核心评价指标。结果表明，我们的方法在RenderPeople数据集上取得了高质量的生成结果，与该方法在CAPE数据集上的表现一致。如表5所示，虽然生成质量优于大多数对比方法，但略逊色于ECONEX。不过，我们的方法大幅缩减了模型体积，体现出其出色的轻量效率优势。
Table 5. Quantitative comparison on Renderpeople dataset.
MethodsChamfer $\downarrow$P2S $\downarrow$Normals $\downarrow$
PIFuHD [^13]1.9461.9830.0658
PaMIR [^14]1.2961.4300.0518
ICON [^39]1.3731.5220.0566
ECON-IF [^19]1.4011.4220.0516
ECON-EX [^19]1.3421.4580.0478
Ours1.3531.4300.0452
↓表示数值越小越好。 ##### 4.3.2 定性对比 我们将本文方法与其他人体重建方法进行了对比。测试图像被分为「复杂姿态」和「复杂衣物」两类。如图6所示，我们的方法可以有效重建人体的视觉特征。第一行为输入图像，作为单目重建的输入。左侧是包含复杂人体姿态的图像，展示了我们方法处理高难度姿态的能力。右侧是复杂衣物的示例，体现了我们方法对复杂服装的鲁棒性。定性对比结果与表3中的定量结论一致。结果表明，我们的方法性能显著优于PIFuHD [^13] 和PaMIR [^14]，同时能够取得与ECON [^19] 和ICON [^39] 相当的性能，还拥有网络更轻量的额外优势。 用户偏好：为了补充定量与定性评价，我们开展了一项用户研究，评估参与者对基于CAPE数据集的重建结果的主观偏好。在该研究中，向参与者展示 --- 两种方法的重建结果：我们提出的方法和对比方法。我们要求参与者从姿态准确性、衣物细节、面部和手部特征精度等方面出发，选择他们认为质量更优的重建结果。共收集了43名参与者的数据，每位参与者对每组对比中的10对重建人体模型进行评估。如图7所示，参与者始终更偏好我们的方法，证明了该方法的优越性。
(A) Challenging poses
(B) Complex clothing
![Image](images/741cdc5f1bc20fbf8835434891cc3ff358af1d26f9c0e15cee0f1bf53cf90802.jpg)
Figure 6. Existing methods exhibit varying limitations in 3D human reconstruction: PIFuHD [^13] demonstrates competent clothing reconstruction capabilities but encounters challenges with complex pose estimation. While ICON [^39] achieves reasonable overall performance, its ability to reconstruct intricate clothing details remains constrained. Similarly, PaMIR [^14] shows insufficient reconstruction fidelity, particularly in capturing fine-grained surface details. In contrast, both ECON [^19] and our proposed method demonstrate superior reconstruction quality, effectively addressing these limitations through advanced architectural designs.
--- ![Image](images/a880419a9b93ebb5a5a46eb39d674f350a54fe80e8e9a86ed5087dedcc48aaef.jpg)
Figure 7. User preference. Our method demonstrated higher user preference compared with the baseline approach. The user study results further validate our approach's effectiveness in meeting the demand for high-quality human body reconstruction. In the figure, the orange color represents our method, while the blue color indicates the comparative method.
#### 4.4 消融实验 为进一步验证所提模型的有效性，我们开展了一系列消融实验，评估本文方法中不同模块和设计的重要性与贡献。具体而言，我们系统性地移除或修改了网络中的部分关键模块，分析这些改动对模型性能的影响。实验在CAPE数据集 [^55] 上开展，该数据集包含丰富的姿态变化，适合测试模型在复杂姿态条件下的性能。通过对比不同配置下的实验结果（如表6所示），我们分析了各模块对生成结果质量、运行时效率和整体模型性能的具体贡献。 膨胀卷积模块（Dilated Convolutions Block）的优势：为评估膨胀卷积（Dilated Convolutions）的影响，我们开展了消融实验，将膨胀卷积模块中所有膨胀卷积的膨胀率设置为1，关闭了膨胀机制。实验结果显示准确率有所下降，表明引入膨胀卷积模块能够扩大感受野，解决了浅层网络感受野受限的问题，结果如表6所示。 互协方差注意力模块（Cross-Covariance Attention Block）的优势：为评估该模块的作用，我们通过移除所有该模块实例开展了实验。结果显示准确率有所下降，证实了互协方差注意力模块对提取跨通道特征信息至关重要，这一机制弥补了CNN只能提取局部特征的缺陷。 VGG损失（VGG Loss）的优势：在我们网络架构上开展的消融实验显示，移除VGG Loss后重建准确率出现明显下降，这凸显了VGG Loss对提升法向图生成任务性能的关键作用。通过捕捉高层语义信息、提升感知质量，VGG Loss能够确保生成的法向图与人类视觉感知高度契合。它对精细细节和上下文关系的强调能力大幅提升了重建结果的整体质量和保真度，因此是我们损失函数设计中不可或缺的组成部分。 Huber损失（Huber Loss）的优势：实验结果表明，训练过程中移除Huber Loss后准确率有所下降，说明它对网络性能有关键贡献。Huber Loss的优势在于，它能够在平衡对离群点敏感度的同时，保持优化过程的稳定性。与传统的L1损失和L2损失相比，Huber Loss对大偏差的惩罚更缓和，能够让网络有效提取空间信息。该损失函数提升了网络处理几何结构变化的鲁棒性和精度，在存在微妙过渡或复杂细节的区域表现尤为突出。加入Huber Loss能够确保生成准确、真实的表面法向图，进一步提升了整体重建质量。 ---
Table 6. Ablation study on CAPE dataset.
MethodsChamferP2SNormals
w/o Cross-Covariance Attention Block1.0740.9940.0535
w/o Dilated Convolutions Block1.1391.0870.0569
w/o VGG Loss1.5601.6070.0662
w/o Huber Loss1.9171.9730.0546
#### 4.5 人脸与手部细化尝试 我们进一步探索了提升重建人物人脸与手部细节的方法：使用SMPL-X人脸模型生成的特征替换人物原始特征，该方法的设计目标是提升人脸特征和手部关节运动的精度与细化程度。如图8所示的实验结果显示，这种替换大幅增强了面部表情和手部细节的整体真实感与精细度。但该方法也存在明显的权衡问题：人物独有的特征被削弱，导致独特性丢失。这一发现凸显了在人体重建任务中，平衡细节真实感与保留个性化属性是一项核心挑战。 ![Image](images/94a342836cc543edccd197358a00e8ab98f26880a59e8de468b0d739db3f4403.jpg) ![Image](images/893a853f646f3d6202dd08fe384e419b22fabfebb0ed37047f09bec2d1b49fac.jpg) ![Image](images/33d8e85cb4a15b840b080a34ed849ddf52f69a585986c462544761784e9107f4.jpg)
Figure 8. To enhance the reconstruction quality, the facial and hand regions of the generated model are replaced with the corresponding components from the SMPL-X model.
#### 4.6 文本驱动纹理生成 我们借鉴TEXTure提出的纹理方法[^58]，为人体模型生成表面纹理。我们利用由文本提示引导的预训练深度转图像扩散模型[^59]，从多个视角对3D模型进行渲染。随后，我们对渲染图像进行三值图（trimap）划分，将其分为三个递进状态。该过程借助三值图表示从不同视角生成无缝纹理，最终完成整个模型的映射。 通过提供不同的文本描述，例如“拿破仑”、“一名30岁男性，身穿红色衬衫、蓝色裤子和棕色鞋子”，或是“一名18岁男孩，身穿红色夹克、红色裤子和黑色鞋子”，我们生成了多种结果（如图9所示），并取得了优异的实验结果。 --- ![Image](images/52074fccf1734d0bac4effe181a4cf136650ae3bb3e2646a31042de44b779ea3.jpg)
Figure 9. This figure demonstrates the generated texture maps from various viewpoints using different text prompts.
#### 4.7. 可动画化身创建 我们进一步评估了本文方法生成的3D人体模型的可动画性。具体而言，我们重建了一系列展示同一个体不同姿势的图像，将得到的3D模型及其对应的SMPL模型输入SCANimate [^60]。借助我们生成的结果，SCANimate可以有效学习并表示人体模型在不同姿势下的变形。该过程通过提供高质量输入数据，大幅简化了可动化身的构建流程，能够更好地捕捉人体复杂的几何变化。如图10所示，实验结果表明，我们的方法有助于生成高质量的可动化身，凸显了本文重建输出的有效性。 ![Image](images/4b2553cc7adf778ee1f29c5a8288e6364eb11f6f04331f077055bffcfe7a9e02.jpg)
Figure 10. We developed a pose-parameter-driven avatar using generated human models based on the SCANimate [^60] framework.
--- ### 5. 结论 本文提出了一种创新的3D人体重建框架，在准确性、效率和真实度方面都取得了显著进步。我们的方法以SMPL-X作为先验生成表面法向图，随后整合法向图重建出高质量的3D人体模型。我们引入了自定义损失函数来优化模型质量，同时利用SMPL-X先验恢复缺失细节。此外，我们采用扩散模型生成表面纹理，并借助SCANimate生成可动化身。为进一步提升效率，我们提出了一种融入膨胀卷积（Dilated Convolutions）和互协方差注意力（Cross-Covariance Attention）机制的轻量法向图生成网络，在不损失性能的前提下大幅降低了计算复杂度。实验结果表明，我们的方法在优化网络规模和参数的同时，实现了优异的重建质量。但本文方法在处理复杂姿势和衣物时仍存在挑战，可能会出现肢体缺失、背部重建不一致等伪影。未来工作将聚焦于提升对极端姿势的鲁棒性，优化衣物重建效果，增强整体一致性，旨在推动单目3D人体重建在更广泛的实际场景中得到应用。 作者贡献：概念构思：J.L.（Jiaxuan Liu）、J.W.和H.Y.；方法设计：J.L.（Jiaxuan Liu）和J.W.；软件开发：J.L.（Jiaxuan Liu）；验证：J.L.（Jiaxuan Liu）；形式分析：J.L.（Jiaxuan Liu）；研究调查：J.L.（Jiaxuan Liu）和R.J.；资源提供：L.S.；数据整理：J.L.（Jiaxuan Liu）、J.W.和J.L.（Jinxiu）；初稿撰写：J.L.（Jiaxuan Liu）；文稿审阅与编辑：J.L.（Jiaxuan Liu）、L.S.、J.L.（Jinxiu）、J.W.和H.Y.；可视化：J.L.（Jiaxuan Liu）和R.J.；指导：L.S.；项目管理：L.S.；经费申请：L.S.。所有作者均已阅读并同意本文的发表版本。 基金资助：本研究得到中国国家重点研发计划资助，项目编号：2024YFE0200700，课题编号：2024YFE0200703。本研究还部分获得海南省院士创新平台专项研究基金（项目编号YSPTZX202314）资助，以及上海NSAI重点研究实验室与中国一汽联合开发项目资助。 机构审查委员会声明：不适用。 知情同意声明：不适用。 数据可用性声明：数据已包含在本文中。 利益冲突：作者声明不存在利益冲突。 ## 参考文献 [^1]: Rymov, D.A.; Svistunov, A.S.; Starikov, R.S.; Shifrina, A.V.; Rodin, V.G.; Evtikiev, N.N.; Cheremkin, P.A. 3D-CGH-Net: Customizable 3D-hologram generation via deep learning. Opt. Lasers Eng. 2025, 184, 108645. [CrossRef] [^2]: Wu, Z.; Wang, H.; Che, F.; Chen, X.L.Z.; Zhang, Q. Dynamic 3D shape reconstruction under complex reflection and transmission conditions using multi-scale parallel single-pixel imaging. Light Adv. Manuf. 2024, 5, 373. [CrossRef] [^3]: Puliti, C.S. Structure from Motion Photogrammetry in Forestry: A Review. Curr. For. Rep. 2019, 5, 155–168. [^4]: Kossol, N.; Cheng, I.; Basu, A. A Multisensor Technique for Gesture Recognition Through Intelligent Skeletal Pose Analysis. IEEE Trans. Hum.-Mach. Syst. 2016, 46, 350–359. [CrossRef] [^5]: Chua, J.; Ong, L.Y.; Leow, M.C. Telehealth Using PoseNet-Based System for In-Home Rehabilitation. Future Internet 2021, 13, 173. [CrossRef] [^6]: Dai, Q.; Ma, C.; Zhang, Q. Advanced Hyperspectral Image Analysis: Superpixelwise Multiscale Adaptive T-HOSVD for 3D Feature Extraction. Sensors 2024, 24, 4072. [CrossRef] ## [^7]: Sharma, P.; Shah, B.B.; Prakash, C. A Pilot Study on Human Pose Estimation for Sports Analysis. In Pattern Recognition and Data Analysis with Applications; Gupta, D., Goswami, R.S., Banerjee, S., Tanveer, M., Pachori, R.B., Eds.; Springer: Singapore, 2022; pp. 533–544. --- [^8]: Rabosh, E.V.; Balbekin, N.S.; Petrov, N.V. Analog-to-digital conversion of information archived in display holograms: I. discussion. J. Opt. Soc. Am. A 2023, 40, B47–B56. [CrossRef] [PubMed] [^9]: Wang, L.; Liu, Z.; Gu, X.; Wang, D. Three-Dimensional Reconstruction of Road Structural Defects Using GPR Investigation and Back-Projection Algorithm. Sensors 2025, 25, 162. [CrossRef] [^10]: Liu, H.; Hellín, C.J.; Tayebi, A.; Calles, F.; Gómez, J. Vertex-Oriented Method for Polyhedral Reconstruction of 3D Buildings Using OpenStreetMap. Sensors 2024, 24, 7992. [CrossRef] [^11]: Pan, H.; Cai, Y.; Yang, J.; Niu, S.; Gao, Q.; Wang, X. HandFI: Multilevel Interacting Hand Reconstruction Based on Multilevel Feature Fusion in RGB Images. Sensors 2025, 25, 88. [CrossRef] [PubMed] [^12]: Saito, S.; Huang, Z.; Natsume, R.; Morishima, S.; Li, H.; Kanazawa, A. PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization. In Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision, ICCV 2019, Seoul, Republic of Korea, 27 October–2 November 2019; pp. 2304–2314. [CrossRef] [^13]: Saito, S.; Simon, T.; Saragih, J.M.; Joo, H. PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization. In Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, 13–19 June 2020; pp. 81–90. [CrossRef] [^14]: Zheng, Z.; Yu, T.; Liu, Y.; Dai, Q. PaMIR: Parametric Model-Conditioned Implicit Representation for Image-Based Human Reconstruction. IEEE Trans. Pattern Anal. Mach. Intell. 2022, 44, 3170–3184. [CrossRef] [^15]: Loper, M.; Mahmood, N.; Romero, J.; Pons-Moll, G.; SMPL, M.B. SMPL: A skinned multi-person linear model. ACM Trans. Graph. (TOG) 2015, 34, 1–16. [CrossRef] [^16]: Kovács, L.; Bódis, B.M.; Benedek, C. LidPose: Real-Time 3D Human Pose Estimation in Sparse Lidar Point Clouds with Non-Repetitive Circular Scanning Pattern. Sensors 2024, 24, 3427. [CrossRef] [^17]: Yu, F.; Koltun, V. Multi-Scale Context Aggregation by Dilated Convolutions. arXiv 2016, arXiv:1511.07122. [^18]: Ali, A.; Touvron, H.; Caron, M.; Bojanowski, P.; Douze, M.; Joulin, A.; Laptev, I.; Neverova, N.; Synnaeve, G.; Verbeek, J.; et al. XCiT: Cross-Covariance Image Transformers. arXiv 2021, arXiv:2106.09681. [^19]: Xiu, Y.; Yang, J.; Cao, X.; Tzionas, D.; Black, M.J. ECON: Explicit Clothed humans Optimized via Normal integration. In Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada, 17–24 June 2023; pp. 512–523. [CrossRef] [^20]: Pavlakos, G.; Choutas, V.; Ghorbani, N.; Bolkart, T.; Osman, A.A.; Tzionas, D.; Black, M.J. Expressive body capture: 3d hands, face, and body from a single image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, CA, USA, 15–20 June 2019; pp. 10975–10985. [^21]: Johnson, J.; Alahi, A.; Li, F.-F. Perceptual Losses for Real-Time Style Transfer and Super-Resolution; Springer: Cham, Switzerland, 2016. [^22]: Huber, P.J. Robust Estimation of a Location Parameter. Ann. Math. Stat. 1964, 35, 73–101. [CrossRef] [^23]: Anguelov, D.; Srinivasan, P.; Koller, D.; Thrun, S.; Rodgers, J.; Davis, J. SCAPE: Shape completion and animation of people. ACM Trans. Graph. (TOG) 2005, 24, 408–416. [CrossRef] [^24]: Hasler, N.; Stoll, C.; Sunkel, M.; Rosenhahn, B.; Seidel, H. A Statistical Model of Human Pose and Body Shape. Comput. Graph. Forum 2009, 28, 337–346. [CrossRef] [^25]: James, D.L.; Twigg, C.D. Skinning mesh animations. ACM Trans. Graph. 2005, 24, 399–407. [CrossRef] [^26]: Allen, B.; Curless, B.; Popović, Z. Articulated body deformation from range scan data. ACM Trans. Graph. (TOG) 2002, 21, 612–619. [CrossRef] [^27]: Bogo, F.; Kanazawa, A.; Lassner, C.; Gehler, P.V.; Romero, J.; Black, M.J. Keep It SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image. In Proceedings of the Computer Vision-ECCV 2016-14th European Conference, Amsterdam, The Netherlands, 11–14 October 2016; Volume 9909, pp. 561–578. [CrossRef] [^28]: Kanazawa, A.; Black, M.J.; Jacobs, D.W.; Malik, J. End-to-end recovery of human shape and pose. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018; pp. 7122–7131. [^29]: Creswell, A.; White, T.; Dumoulin, V.; Arulkumaran, K.; Sengupta, B.; Bharath, A.A. Generative adversarial networks: An overview. IEEE Signal Process. Mag. 2018, 35, 53–65. [CrossRef] [^30]: Kolotouros, N.; Pavlakos, G.; Black, M.J.; Daniilidis, K. Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop. In Proceedings of the ICCV, Seoul, Republic of Korea, 27 October–2 November 2019. [^31]: He, T.; Collomosse, J.; Jin, H.; Soatto, S. Geo-pifu: Geometry and pixel aligned implicit functions for single-view human reconstruction. Adv. Neural Inf. Process. Syst. 2020, 33, 9276–9287. [^32]: Li, Z.; Yu, T.; Pan, C.; Zheng, Z.; Liu, Y. Robust 3d self-portraits in seconds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13–19 June 2020; pp. 1344–1353. ## [^33]: Dong, Z.; Guo, C.; Song, J.; Chen, X.; Geiger, A.; Hilliges, O. Pina: Learning a personalized implicit neural avatar from a single rgb-d video sequence. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, 18–24 June 2022; pp. 20470–20480. --- [^34]: Yang, Z.; Wang, S.; Manivasagam, S.; Huang, Z.; Ma, W.; Yan, X.; Yumer, E.; Urtasun, R. S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2021, Virtual, 19–25 June 2021; pp. 13284–13293. [CrossRef] [^35]: Zheng, Y.; Shao, R.; Zhang, Y.; Yu, T.; Zheng, Z.; Dai, Q.; Liu, Y. Deepmulticap: Performance capture of multiple characters using sparse multiview cameras. In Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, BC, Canada, 11–17 October 2021; pp. 6239–6249. [^36]: Huang, Z.; Xu, Y.; Lassner, C.; Li, H.; Tung, T. ARCH: Animatable Reconstruction of Clothed Humans. In Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, 13–19 June 2020; pp. 3090–3099. [CrossRef] [^37]: He, T.; Xu, Y.; Saito, S.; Soatto, S.; Tung, T. ARCH++: Animation-Ready Clothed Human Reconstruction Revisited. In Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision, ICCV 2021, Montreal, QC, Canada, 11–17 October 2021; pp. 11026–11036. [CrossRef] [^38]: Liao, T.; Zhang, X.; Xiu, Y.; Yi, H.; Liu, X.; Qi, G.J.; Zhang, Y.; Wang, X.; Zhu, X.; Lei, Z. High-fidelity clothed avatar reconstruction from a single image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, BC, Canada, 17–24 June 2023; pp. 8662–8672. [^39]: Xiu, Y.; Yang, J.; Tzionas, D.; Black, M.J. ICON: Implicit Clothed humans Obtained from Normals. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2022, New Orleans, LA, USA, 18–24 June 2022; pp. 13286–13296. [CrossRef] [^40]: He, K.; Zhang, X.; Ren, S.; Sun, J. Deep Residual Learning for Image Recognition. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, 27–30 June 2016; pp. 770–778. [CrossRef] [^41]: Zhou, Z.; Fan, X.; Shi, P.; Xin, Y. R-MSFM: Recurrent Multi-Scale Feature Modulation for Monocular Depth Estimating. In Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision, ICCV 2021, Montreal, QC, Canada, 10–17 October 2021; pp. 12757–12766. [CrossRef] [^42]: Zhang, N.; Nex, F.; Vosselman, G.; Kerle, N. Lite-Mono: A Lightweight CNN and Transformer Architecture for Self-Supervised Monocular Depth Estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2023, Vancouver, BC, Canada, 17–24 June 2023; pp. 18537–18546. [CrossRef] [^43]: Bae, J.; Moon, S.; Im, S. Deep Digging into the Generalization of Self-Supervised Monocular Depth Estimation. In Proceedings of the Thirty-Seventh AAAI Conference on Artificial Intelligence, AAAI 2023, Thirty-Fifth Conference on Innovative Applications of Artificial Intelligence, IAAI 2023, Thirteenth Symposium on Educational Advances in Artificial Intelligence, EAAI 2023, Washington, DC, USA, 7–14 February 2023; pp. 187–196. [CrossRef] [^44]: Deng, B.; Lewis, J.P.; Jeruzalski, T.; Pons-Moll, G.; Hinton, G.; Norouzi, M.; Tagliasacchi, A. Nasa neural articulated shape approximation. In Proceedings of the Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, 23–28 August 2020; pp. 612–628. [^45]: Feng, Y.; Choutas, V.; Bolkart, T.; Tzionas, D.; Black, M.J. Collaborative regression of expressive bodies using moderation. In Proceedings of the 2021 International Conference on 3D Vision (3DV), London, UK, 1–3 December 2021; pp. 792–804. 46. Rembg：一款图像背景移除工具。2022。在线获取：（访问于2024年1月26日）。 [^47]: Kazhdan, M.; Bolitho, M.; Hoppe, H. Poisson surface reconstruction. In Proceedings of the Fourth Eurographics Symposium on Geometry Processing, Cagliari, Italy, 26–28 June 2006; Volume 7. [^48]: Godard, C.; Aodha, O.M.; Firman, M.; Brostow, G.J. Digging Into Self-Supervised Monocular Depth Estimation. In Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision, ICCV 2019, Seoul, Republic of Korea, 27 October–2 November 2019; pp. 3827–3837. [CrossRef] [^49]: Zhou, H.; Greenwood, D.; Taylor, S. Self-Supervised Monocular Depth Estimation with Internal Feature Fusion. arXiv 2021, arXiv:2110.09482. 50. Dosovitskiy, A.; Beyer, L.; Kolesnikov, A.; Weissenborn, D.; Zhai, X.; Unterthiner, T.; Dehghani, M.; Minderer, M.; Heigold, G.; Gelly, S.; 等人。《一张图像值$16 \times 16$个词：面向大规模图像识别的Transformer》。arXiv 2021, arXiv:2010.11929。 51. Hendrycks, D.; Gimpel, K.; Gimpel, K. 借助高斯误差线性单元连通非线性与随机正则化。arXiv 2016, arXiv:abs/1606.08415。在线获取：（访问于2025年2月20日）。 [^52]: Ba, L.J.; Kiros, J.R.; Hinton, G.E. Layer Normalization. arXiv 2016, arXiv:1607.06450. [^53]: Hendrycks, D.; Gimpel, K. Gaussian error linear units (gelus). arXiv 2016, arXiv:1606.08415. ## [^54]: Yu, T.; Zheng, Z.; Guo, K.; Liu, P.; Dai, Q.; Liu, Y. Function4d: Real-time human volumetric capture from very sparse consumer rgbd sensors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, USA, 20–25 June 2021; pp. 5746–5756. --- [^55]: Ma, Q.; Yang, J.; Ranjan, A.; Pujades, S.; Pons-Moll, G.; Tang, S.; Black, M.J. Learning to dress 3d people in generative clothing. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 13–19 June 2020; pp. 6469–6478. 56. RenderPeople. 2018。在线获取：（访问于2024年10月20日）。 [^57]: Charles, R.Q.; Su, H.; Kaichun, M.; Guibas, L.J. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017; pp. 77–85. [CrossRef] [^58]: Richardson, E.; Metzer, G.; Alaluf, Y.; Giryes, R.; Cohen-Or, D. TEXTURE: Text-Guided Texturing of 3D Shapes. In Proceedings of the ACM SIGGRAPH 2023 Conference Proceedings, SIGGRAPH 2023, Los Angeles, CA, USA, 6–10 August 2023; pp. 54:1–54:11. [CrossRef] [^59]: Rombach, R.; Blattmann, A.; Lorenz, D.; Esser, P.; Ommer, B. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, LA, USA, 18–24 June 2022; pp. 10684–10695. [^60]: Saito, S.; Yang, J.; Ma, Q.; Black, M.J. SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2021, Virtual, 19–25 June 2021; pp. 2886–2897. [CrossRef] 声明/出版者注：所有出版物中包含的陈述、观点和数据均仅属于各个人作者及贡献者，不代表MDPI和/或编辑的立场。MDPI和/或编辑不对因本文提及的任何观点、方法、说明或产品导致的人身伤害或财产损害承担责任。