# HySUP-V：基于锚点引导的运动学融合、具备质量感知能力的越南语手语3D重建 阮光越*，阮蝶皇*，裴海英*，黎公尚*，黎清河*$ *越南河内工程技术大学信息技术学院 摘要—由于运动模糊、压缩伪影以及频繁的手部和面部遮挡，从自然场景中的单目视频重建富有表现力的3D手语动作仍极具挑战性。这些退化现象会导致标准流程在时间上不稳定，且容易丢失精细的发音器官细节。我们提出了HySUP-V，这是一个能够评估并管理序列中视觉证据质量的可靠性感知框架。在第一阶段（EQA）中，我们对部件级图像质量进行评分，从而选出高保真度的锚定帧作为参考。在第二阶段（AKF）中，我们通过将专门的手部模型（MANO）和面部模型（FLAME）估计结果融合为统一的SMPL-X模型来确保形状一致性，并利用测地姿态传输技术来衔接质量较差的帧。应用HySUP-V后，我们整理了VSL-3D数据集，这是一个包含1540个带有富有表现力的SMPL-X参数的越南语手语片段的公共数据集。人类评估得出的平均意见得分为3.47/5，重建结果合理，语义保留良好且手部精度较高，同时也凸显出在面部细节和运动自然度方面仍存在的挑战。 索引词—手语、3D人体重建、SMPL-X、FLAME、手部、图像质量评估、插值、时间平滑 我们的项目页面： ## 一、引言 从单目2D视频重建精确的3D人体运动一直是计算机视觉领域的长期难题，尤其是针对自然场景下的视频，这类视频往往存在运动模糊和压缩伪影问题。在手语分析领域，这些困难尤为突出，因为手语依靠手部、面部和身体的快速精准运动来传递意义。我们的研究聚焦于越南语手语（VSL），这是越南聋人社区的主要手语。尽管语言学研究已经明确了其主要变体和音系结构[^1]、[^2]、[^3]，且2D视频资料丰富，但该社区缺乏公开的3D动作捕捉语料库。与其他语言相比，VSL在相关数据上的缺失[^4]，促使人们研发从现有2D视频生成高质量3D重建的方法。 ![Image](images/3e6c3e64f53e1c12f2b5abacba616f54ecc60d36bd0135c2a0d554a247d42d8b.jpg) ![Image](images/5fd838ca79fab4bbac2a18fddbee5b784259f2edd636025d954735d731de3023.jpg)
Figure 1: Blur compromises 3D reconstruction. (a) Input frame from a VSL video. (b) A crop of the hand reveals severe motion blur. (c) Standard reconstruction models can produce unstable hand poses from such input, motivating our approach of reliability-aware anchoring and guided motion refinement.
然而，对2D视频的依赖也暴露出当前3D估计流程的局限性。如图1所示，快速的手语表达会产生严重的模糊和自遮挡现象[^5]，导致标准的2D转3D模型生成的姿态在时间上抖动或不符合常理[^6]、[^7]。基于SMPL-X的整体化方法（如SMPLestX [^8]、SMPLer-X [^9]）虽然能提供统一的人体-手部-面部参数化方案，但在优化过程中往往更侧重较大的身体区域，而忽略了手指和面部的精细细节。相比之下，专门用于手部的MANO模型[^10]和用于面部的FLAME模型[^11]虽然能提供更优的保真度，但需要谨慎融合才能保持运动学一致性[^12]、[^13]。 为了解决这些问题，我们提出了HySUP-V——一种用于从具有挑战性的视频中进行鲁棒三维重建的两阶段框架。该方法的核心原则是动态管理视觉证据的质量差异。首先，在证据质量评估（EQA）阶段，识别出可作为可靠参考的高质量锚定帧；接着，在锚定引导的运动融合（AKF）阶段，利用这些锚定帧来构建一致的人体形状，并将高保真度的手部与面部模型融合为统一的SMPL-X表示。对于锚定帧之间的质量较差的片段，我们的框架通过保留运动连贯性来处理。 --- 我们通过采用测地插值而非依赖质量不佳的视觉数据，来保持运动连贯性。 为了推动富有表现力的三维人体运动及手语分析领域的研究，我们做出了两项主要贡献：一是提出HySUP-V，这一两阶段流程旨在克服从复杂视频中进行三维重建时的常见难题；二是基于该方法开发出VSL-3D，这是一个包含1540个三维重建的越南语手语片段的新基准数据集，且每个片段都配有丰富的SMPL-X参数。人类评估研究表明，我们的重建结果具备较高的语义保真度与合理的手势表现（李克特量表评分为3.47/5），同时也揭示了当前技术在捕捉细微面部表情及整体自然度方面的局限。 ### 二、相关工作 ### A. 参数化人体模型与网格恢复 参数化模型是单目三维人体重建的基础。SMPL [^14]提供了人体的形状与姿态参数，而SMPL-X [^8]则整合了关节化的手部模型（MANO [^10]）以及富有表现力的面部模型（FLAME [^11]）。基于单图像的方法包括直接回归 [^15] 以及基于优化的拟合方法，如SMPLify-X [^16]。 视频扩展技术能够增强时间连贯性：VIBE利用GRU进行特征聚合 [^17]，TCMR采用因果卷积来进行细化 [^18]，而PyMAF-X则借助对网格对齐特征的处理来实现优化 [^19]。然而，这些整体性方法在手语视频处理中往往表现不佳——因为承载语言线索的手部和面部所占像素极少，且统一的先验假设会抑制快速的非手动动作特征。我们的流程通过质量门控推理以及专门组件的融合来应对这一问题。 ### B. 专门的手部与面部重建 像HaMeR [^20]这样的专用手部模型优于整体性模型，它们是在InterHand2.6M [^21]等数据集上训练而成的。对于面部而言，DECA [^12]和EMOCA [^22]能提供更出色的表情与身份细节。将这些模型整合到SMPL-X中时会面临诸多挑战，比如运动学不匹配问题（例如手腕错位或左右手混淆错误）。我们的融合协议通过遵循模型的链条结构与几何特性，并进行针对性的头部关节细化，来确保一致性。 ### C. 手语数据集与三维重建 大多数手语数据集都是带有语言标注的二维视频库，例如WLASL [^23]、MS-ASL [^24]、RWTH-PHOENIX-Weather 2014T [^25]以及How2Sign [^26]——其中没有一个是针对越南语手语的。这种二维到三维的差距促使研究人员开发方法来提升现有视频的质量。我们的方法提供了一种针对手语挑战量身定制的、稳健且可扩展的流程。 ### 三、方法 我们提出了HySUP-V，这是一个用于从单目视频中稳健重建3D人体的框架。该场景下的核心挑战在于每帧视觉证据的质量参差不齐。我们的方法旨在专门解决这一问题：首先识别出可信的时间锚点，然后利用它们来引导时间上连贯且运动学上一致的人体重建。该框架包含两个主要阶段：第一阶段为证据质量评估（EQA），用于分析每帧数据的质量；第二阶段为锚点引导的运动学融合（AKF），利用这些质量信息对最终的3D输出进行规整和优化。图2展示了HySUP-V的流程。 我们的目标是从图像序列[^16]中恢复富有表现力的SMPL-X人体模型的参数$\{I_t\}_{t=1}^T$。这包括一个用于表示身份的序列级形状向量$\beta$，以及每帧的姿势参数$\theta_t$、表情参数$\psi_t$和位移参数$\mathbf{t}_t$。我们利用专门的部件模型——手部采用MANO模型，面部采用FLAME模型[^10]、[^11]。 ### A. 第一阶段：证据质量评估（EQA） EQA阶段会逐帧量化面部、左手和右手视觉证据的可靠性。对于每一帧t和身体部位$\ell$，我们首先通过分割引导的裁剪操作提取相应区域，再利用无参考图像质量评估（IQA）模型对其进行评估，从而得出质量分数$q_t^\ell$。基于这些分数，我们将序列划分为高质量锚点集$\mathcal{A}^\ell$（包含最可靠的帧，包括得分最高的那一帧$t_\ell^*$）和其余的退化集$\mathcal{D}^\ell$。关键在于，身份和形状参数是仅利用锚点集来估计的。 ### B. 第二阶段：锚点引导的运动学融合（AKF） AKF阶段利用EQA阶段识别出的锚点（以及可选的可靠性掩码），来强制保证时间一致性，并将各部件的估计结果融合为一个统一的、运动学上一致的SMPL-X人体模型。 a) 序列级形状一致性：为了抑制形状的闪烁现象，我们只需估计一次特定于个体的形状，并在整个序列中保持固定。具体来说，我们从锚点帧$\beta$中提取SMPL-X形状$\beta_{\text{MANO}}$、MANO手部形状$\beta_{\text{FLAME}}$以及FLAME面部形状$t_{\text{hand}}^{*} t_{\text{face}}^{*}$，并将这些向量对所有t值保持不变。这一做法遵循视频处理中的常规做法：将身份形状视为不随时间变化，而每帧的姿势$\theta_t$和表情$\psi_t$则保持动态， --- ![Image](images/6089e79fcb3e8b71c8725f24620c6a46b23a18a8bd0461cf20140eb7d468a6be.jpg)
Figure 2: Overview of the HySUP-V pipeline: Stage I-EQA segments and scores frames to choose anchors, then Stage II-AKF reconstructs shapes/poses with SMPL-X+MANO+FLAME and uses geodesic transport to fill degraded intervals, yielding optimized poses for all frames.
从而在不牺牲动作细节的前提下提升时间稳定性。 b) 测地姿态传递：为了确保双手和面部在低质量片段中仍能保持时间上的连贯运动，我们采用了测地姿态传递技术。对于任意位于两个连续可靠锚点之间的退化帧$t_{a}$和$t_{b}$，我们通过沿SO(3)流形上的最短测地路径插值关节旋转来推断其姿态。 具体而言，对于每个相关关节j（包括手指、下颌和眼部关节），中间帧t处的旋转$R_{j}^{\ell}(t)$是通过球面线性插值（SLERP）计算得出的： $$ \begin{array}{r}{R_{j}^{\ell}(t)=\mathrm{S L E R P}\big(R_{j}^{\ell}(t_{a}),\;R_{j}^{\ell}(t_{b});\;s\big),}\end{array} $$ 其中 $s = (t - t_a)/(t_b - t_a)$ 是归一化后的时间权重。该计算在四元数空间中进行，并通过标准的符号校正来保证选取最短弧线。对于仅由单个锚点界定的序列起始或结束处的片段，我们通过保持最近的可靠姿态（零阶保持）来进行外推。 c) 手部与面部的一体化融合与优化：手部专用回归器（如HaMeR）会在其自身的标准手部坐标系下输出全局手腕/手指旋转值，而SMPL-X则期望得到相对于父关节（前臂）在SMPL-X运动树中的局部旋转值。我们提出的方法解决了这种不匹配问题。首先，我们使用固定的变换 $C_h \in \text{SO}(3)$ 来对齐坐标系（若坐标系已对齐，则 $C_h = I$）。接着，我们将专用模型输出的某个关节的全局旋转值 $R_j^{\text{spec}}$ 转换为相对于其SMPL-X父关节的局部旋转值。手部h上关节j的局部旋转值计算如下： $$ R_{j,h}^{\mathrm{l o c a l}}=\big(R_{\mathrm{p a r e n t}(j)}^{\mathrm{g l o b}}\big)^{-1}\big(C_{h}R_{j}^{\mathrm{s p e c}}C_{h}^{\top}\big), $$ 其中 $R_{\text{parent}(j)}^{\text{glob}}$ 是SMPL-X层级结构中父关节的全局旋转值。最后，得到的局部旋转矩阵会被转换为轴角表示，并赋值给SMPL-X姿态参数向量 $\boldsymbol{\theta}$ 中对应的条目。 对于面部，我们通过将SMPL-X中与头部相关的关节对齐到FLAME目标上，同时对表情和小角度旋转进行正则化，来优化SMPL-X的面部参数。所有地标点均以SMPL-X头部坐标系来表示。用 $\mathbf{j}_{\bullet}^{sx}$ 表示SMPL-X关节， --- 用j $^{fl}$ 表示FLAME目标。定义 $$\Delta_{\mathrm{jaw}} = \mathbf{j}_{\mathrm{jaw}}^{\mathrm{sx}} - \mathbf{j}_{\mathrm{jaw}}^{\mathrm{fl}}, \quad \Delta_{\mathrm{eye}k} = \mathbf{j}_{\mathrm{eye}k}^{\mathrm{sx}} - \mathbf{j}_{\mathrm{eye}k}^{\mathrm{fl}} \quad (k \in \{L, R\}),$$ 令 $d_{\mathrm{sx}} = \|\mathbf{j}_{\mathrm{eye}R}^{\mathrm{sx}} - \mathbf{j}_{\mathrm{eye}L}^{\mathrm{sx}}\|_{2}$，其中 $d_{\mathrm{fl}}$ 为FLAME的双眼间距。利用轴角向量 $\mathbf{r}_{\mathrm{jaw}}, \mathbf{r}_{\mathrm{eye}L}, \mathbf{r}_{\mathrm{eye}R}, \mathbf{r}_{\mathrm{head}}$ 和表情系数 $\psi$，我们对以下表达式求最小值： $$ \begin{aligned}\mathcal{L}_{\mathrm{face}}=&\lambda_{j}\rho(\Delta_{\mathrm{jaw}})+\lambda_{e}\sum_{k\in\{L,R\}}\rho(\Delta_{\mathrm{eye}k})\\&+\lambda_{d}\left(d_{\mathrm{sx}}-d_{\mathrm{fl}}\right)^{2}\\&+\lambda_{\psi}\|\psi\|_{2}^{2}+\lambda_{p,\mathrm{jaw}}\|\mathbf{r}_{\mathrm{jaw}}\|_{2}^{2}\\&+\lambda_{p,\mathrm{eye}}\left(\|\mathbf{r}_{\mathrm{eye}L}\|_{2}^{2}+\|\mathbf{r}_{\mathrm{eye}R}\|_{2}^{2}\right),\end{aligned} $$ 其中 $\rho$ 是Huber惩罚项（权重列于表I中）。 ### C. 实现细节 我们选用一系列最先进的组件以及经实验确定的超参数来构建HySUP-V框架，相关参数汇总于表I中。 a) 组件架构：在证据质量评估（EQA）阶段，我们采用Sapiens [^27]，因其具备强大的面部和手部分割能力，这对精确的部位定位至关重要。随后，通过MUSIQ [^28] 来量化每个提取出的图像块的质量，这是一种无需参考图像的IQA指标，擅长捕捉运动模糊等感知伪影，为我们设置可靠性门限和选择锚点提供核心信号。在锚点引导的运动学融合（AKF）阶段，我们采用 [^29] 中确立的方法。按照该方法，我们以SMPLestX [^8] 作为核心骨干来构建统一的SMPL-X表示。该框架整合了高保真的部位级估计结果：来自HaMeR [^6] 的精细MANO手部姿态，以及基于FLAME的Pixel3DMM [^30] 生成的细腻面部几何结构。 我们并未采用针对各部位的固定阈值，而是通过使用 $s_t = \min_\ell q_t^\ell$：$m_t = 1[s_t \geq \text{Perc}_{10}(\{s_u\}_{u})]$ 丢弃每个序列中最低质量的10%的帧，从而形成一个共享的可靠性门限。随后，在可靠的帧集 $\mathcal{R} = \{t \mid m_t = 1\}$ 上选择锚点。 ### IV. 数据集与评估 ### A. 数据集 我们将HySUP-V应用于QIPEDC计划下整理的越南语手语（VSL）词典视频。¹ 我们处理了1,540个视频，将其转化为带有逐帧SMPL-X参数（$\beta; \{\psi_t, \theta_t, \mathbf{t}_t\}_{t=1}^T$）的完整3D运动序列。图3展示了由此生成的3D重建示例。
Table I: HySUP-V configuration: components and chosen values. Notation follows the method: quality traces $q_t^\ell$, shared gate $m_t$, anchors $t_{\text{face}}^\star$, $t_{\text{hand}}^\star$. Face-refinement loss weights from Eq. 2.
ComponentImplementation choice
Evidence Quality Assessment (EQA)
Part quality$q_l^{l} \in [0,1], \ell \in \{\text{face, hand}_L, \text{hand}_R\}$.
Sequence score$s_t = \min_{\ell} q_t^l$ (conservative across parts).
Shared gate$m_t = 1[s_t \geq \text{Perc}_{10}(\{s_u\}))$ (drop lowest 10%).
Anchor set$\mathcal{R} = \{t | m_t = 1\}$.
Face anchor$t_{face}^* = \arg\max_{t \in \mathcal{R}} q_t^{face}$.
Hand anchor$t_{hand}^* = \arg\max_{t \in \mathcal{R}} \min(q_t^{\text{hand}_L}, q_t^{\text{hand}_R})$.
Semantic segmentationSapiens [^27].
Image quality (IQA)MUSIQ [^28].
Hand model estimatorHaMeR (MANO) [^6].
Hand pose interpolationGeodesic SLERP on SO(3) [^31].
Face model estimatorFLAME-based (Pixel3DMM) [^30].
Body / fusion backboneSMPL-X-based (SMPLest-X) [^8].
Seq-level shapesMANO $\beta$ from $t_{hand}^*$; FLAME $\beta$ from $t_{face}^*$.
Face-refinement loss weights (Eq. 2)
Jaw landmarks$\lambda_j = 2 \times 10^3$.
Eye landmarks$\lambda_e = 4 \times 10^3$.
Inter-ocular distance$\lambda_d = 5 \times 10^1$.
Expression prior$\lambda_\psi = 1 \times 10^{-2}$.
Rotation priors$\lambda_{p,\text{jaw}} = 1 \times 10^{-2}, \lambda_{p,\text{eye}} = 1 \times 10^{-2}$.
### B. 主观评估 a) 设计与方案：我们邀请了四位对手语有基本了解的评分员进行主观评估，他们共评估了25个重建的越南手语视频片段。评分员采用5点李克特量表，从可理解性、手势准确性、动作自然度和面部表情四个维度对每个片段打分。 b) 结果与分析：评估结果汇总于表II中，表明我们的方法能够成功保留语义内容，其中可理解性的平均得分最高（3.94/5）。不过在其他维度上呈现出明显的性能差异：手势准确性（3.39）和自然度（3.34）的评分处于中等水平，而面部表情（3.20）则被认定为主要局限点。 根据[^32]的描述，越南手语的词汇构成可分为六种机制：(i) 直接指称，(ii) 模拟，(iii) 特征的反映与分析，(iv) 派生词，(v) 借词，(vi) 手指字母和数字。按照[^32]中所述的越南手语构成机制，对手语类型进行分析后可得知相关趋势（见表III）：手指字母和数字这类简单手动形状的重建结果接近满分。 ---
Table II: Average scores per Criterion (1–5 Likert scale)
CriterionMean $\pm$ Std
Comprehensibility3.94 $\pm$ 0.71
Hand gesture accuracy3.39 $\pm$ 0.71
Naturalness of motion3.34 $\pm$ 0.78
Facial expression3.20 $\pm$ 0.76
Overall3.47 $\pm$ 0.74
Table III: Average scores per Sign type (1–5 Likert scale)
TypeComprehensibilityHand gesture accuracyNaturalness of motionFacial expressions
(i)$3.50 \pm 0.77$$2.81 \pm 0.68$$2.75 \pm 0.80$$2.50 \pm 0.82$
(ii)$3.80 \pm 0.83$$3.60 \pm 0.88$$3.45 \pm 0.96$$2.15 \pm 1.08$
(iii)$3.67 \pm 0.77$$2.75 \pm 0.60$$3.00 \pm 0.52$$3.67 \pm 1.35$
(iv)$3.50 \pm 1.17$$2.88 \pm 1.24$$2.81 \pm 1.15$$1.94 \pm 0.27$
(v)$3.88 \pm 0.85$$2.88 \pm 0.84$$2.81 \pm 0.98$$4.06 \pm 0.94$
(vi)$5.00 \pm 0.00$$4.85 \pm 0.10$$4.75 \pm 0.26$$4.85 \pm 0.30$
该类别的得分达到4.86/5，充分体现了该方法在处理对比度高、特征明显的手势时的鲁棒性。相反，涉及更复杂或快速动作的类型，如直接指称（类型i）和派生词（类型iv），得分最低，我们认为这是由于运动模糊和遮挡等问题导致的。 ### V. 结论 我们提出了HySUP-V，这是一个面向野外视频的3D手语动作重建可靠性感知框架。HySUP-V会逐帧评估视觉证据以筛选出高保真锚点，随后将MANO（手部）和FLAME（面部）模型在运动学层面融合为统一的SMPL-X模型，并采用测地插值法和基于四元数的平滑处理技术。相比整体式基线模型，该方法能实现更高的发音器保真度和更好的时间连贯性。在越南手语视频数据上的测试结果显示，包括人类参与者的评分平均为3.47/5在内，HySUP-V均表现出优异的性能。 为了推动相关领域的发展，我们发布了VSL-3D——一个包含表达性参数和逐帧质量标签的大型公开3D越南手语序列语料库。面对极端模糊和低光照环境下的挑战，未来我们将致力于研究自适应模糊的概率建模方法，并利用语言先验知识来优化模型性能。 ## 致谢 我们感谢河内越南国立大学语言与国际研究大学（ULIS）的Sign by Sign俱乐部成员参与本次主观评估。特别感谢Nguyen Bao Ngoc、Nguyen Khanh Linh、To Dieu Linh和Tran Thi Nhat Linh的直接参与以及提出的建设性反馈。 ## 参考文献 [^1]: J. Woodward, “Sign languages and sign language families in thailand and viet nam,” in The signs of language revisited. Psychology Press, 2013, pp. 30–52. [^2]: J. B. Jepsen, G. De Clerck, S. Lutalo-Kiingi, and W. B. McGregor, Sign languages of the world: A comparative handbook. Walter de Gruyter GmbH & Co KG, 2015. [^3]: C. T. X. Mỹ, “Các yếu tố cấu thành kí hiệu trong ngôn ngữ kí hiệu của người khiếm thính việt nam,” Tạp chí Khoa học ĐHSP TPHCM, no. 37, pp. 11–14, 2012. [^4]: Z. Yu, S. Huang, Y. Cheng, and T. Birdal, “Signavatars: A large-scale 3d sign language holistic motion dataset and benchmark,” in European Conference on Computer Vision. Springer, 2024, pp. 1–19. [^5]: Y. Zhao, D. Rozumnyi, J. Song, O. Hilliges, M. Pollefeys, and M. R. Oswald, “Human from blur: Human pose tracking from blurry images,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023, pp. 14905–14915. [^6]: Y. Hasson, M. Habermann, W. Xu, C. Theobalt, M. J. Black, J. Romero, D. Tzionas et al., “Hamer: Revisiting 3d hand pose and mesh estimation,” arXiv:2312.03991, 2023. [^7]: R. A. Potamias, J. Zhang, J. Deng, and S. Zafeiriou, "Wilor: End-to-end 3d hand localization and reconstruction in-the-wild," arXiv preprint arXiv:2409.12259, 2024. [^8]: W. Yin, Z. Cai, R. Wang, A. Zeng, C. Wei, Q. Sun, H. Mei, Y. Wang, H. E. Pang, M. Zhang et al., “Smplest-x: Ultimate scaling for expressive human pose and shape estimation,” arXiv preprint arXiv:2501.09782, 2025. [^9]: Z. Cai, W. Yin, A. Zeng, C. Wei, Q. Sun, W. Yanjun, H. E. Pang, H. Mei, M. Zhang, L. Zhang et al., “Smpler-x: Scaling up expressive human pose and shape estimation,” Advances in Neural Information Processing Systems, vol. 36, pp. 11454–11468, 2023. [^10]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Trans. Graphics (TOG), 2017. [^11]: T. Li, T. Bolkart, M. J. Black, S. Romdhani, and A. Tewari, “Flame: Learning a model of facial shape and expression from 4d scans,” in SIGGRAPH Asia, 2017. [^12]: Y. Feng et al., “Deca: Learning an animatable detailed 3d face model from in-the-wild images,” ACM Trans. Graphics (TOG), 2021. [^13]: P. Filntisis, G. Retsinas, R. Danecek, V. F. Abrevaya, A. Roussos, T. Bolkart, and P. Maragos, “Smirk: 3d facial expressions through analysis-by-neural-synthesis,” in Greeks in AI Symposium 2025, 2024. [^14]: M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, “Smpl: a skinned multi-person linear model,” ACM Trans. Graph., vol. 34, no. 6, Oct. 2015. [Online]. Available: [^15]: A. Kanazawa, M. J. Black, D. W. Jacobs, and J. Malik, "End-to-end recovery of human shape and pose," in CVPR, 2018. [^16]: G. Pavlakos, V. Choutas et al., “Expressive body capture: 3d hands, face, and body from a single image,” in CVPR, 2019. [^17]: M. Kocabas, N. Athanasiou, and M. J. Black, “Vibe: Video inference for human body pose and shape estimation,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 5253–5263. [^18]: H. Choi et al., “Tcmr: Temporal convolutional mesh regression for human mesh recovery,” in ICCV, 2021. [^19]: Y. Zhang et al., “PyMAF-X: Towards well-localized 3d human mesh estimation under occlusion,” , 2021. [^20]: Y. Hasson et al., “Hamer: 3d hand mesh regression from a single rgb image,” arXiv:2306.09319, 2023. ## [^21]: G. Moon et al., “Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation,” in ECCV, 2020 --- ![Image](images/3962a3399a797c3ebdb64b95bc7f7d7d9017732c4bab13f36abd7eb8fbe6ce8b.jpg)
(a) Sign "hello"
![Image](images/e70eb8c399a8c1d682c51003ad86b5cd6cb0caf370e2feee9b000dd04d8fa94e.jpg) ![Image](images/a75fb87d12852bb0db6f034c54101e7131fe29b0391b5c6fcca6782981fec200.jpg)
(b) Sign "run"
![Image](images/8d8412e430baf81425013b0a49f88e9a3269dfe104f07161c0eb74046211d042.jpg)
(c) Sign "1"
Figure 3: Examples of 3D video reconstruction from 2D Vietnamese Sign Language videos. Each subfigure shows input frames (top row) and reconstructed 3D avatars (bottom row).
[^22]: R. Daněcek, T. Bolkart, and M. J. Black, “Emoca: Emotion driven monocular face capture and animation,” in CVPR, 2022. [^23]: D. Li et al., “Word-level deep sign language recognition from video: A new large-scale dataset and methods,” in WACV, 2020. [^24]: H. R. Vaezi Joze and O. Koller, “MS-ASL: A large-scale data set and benchmark for understanding american sign language,” BMVC, 2019. [^25]: O. Koller, J. Forster, and H. Ney, “Continuous sign language recognition: Towards large vocabulary statistical recognition systems,” CVIU, 2015. [^26]: A. Duarte et al., “How2sign: A large-scale multimodal dataset for continuous ASL,” in CVPR, 2021. [^27]: R. Khirodkar, T. Bagautdinov, J. Martinez, S. Zhaoen, A. James, P. Selednik, S. Anderson, and S. Saito, “Sapiens: Foundation for human vision models,” in European Conference on Computer Vision. Springer, 2024, pp. 206–228. [^28]: J. Ke, Q. Wang, Y. Wang, P. Milanfar, and F. Yang, “Musiq: “多尺度图像质量变换器”，载于《IEEE/CVF国际计算机视觉会议论文集》，2021年，第5148–5157页。 [^29]: L. Thuong, T. Le, M. Dang, S. Ha, and H. Le, “Hysup: Seam-aware hand-body fusion for accurate whole-body 3-d reconstruction from a single image,” 08 2025, pp. 1–5. [^30]: S. Giebenhain, T. Kirschstein, M. Rünz, L. Agapito, and M. Nießner, “Pixel3dmm: Versatile screen-space priors for single-image 3d face reconstruction,” arXiv preprint arXiv:2505.00615, 2025. [^31]: K. Shoemake, “Animating rotation with quaternion curves,” in Proceedings of the 12th annual conference on Computer graphics and interactive techniques, 1985, pp. 245–254. [^32] L. T. T. Uyên著，《越南聋人符号形成的几种方式》，《越南教育科学杂志》，2020年9月刊，收稿日期2020年6月4日；修订日期2020年6月5日；录用日期2020年9月15日。[在线]可获取：