# DexAvatar：基于手部和身体姿态先验的3D手语重建

Kaustubh Kundu $^{1}$, Hrishav Bakul Barua $^{1,2}$, Lucy Robertson-Bell $^{1}$, Zhixi Cai $^{1}$, Kalin Stefanov $^{1}$

 $^{1}$莫纳什大学

 $^{2}$TCS研究院

 $^{2}$TCS研究院

{kaustubh.kundu, hrishav.barua, lucy.robertson-bell, zhixi.cai, kalin.stefanov}@monash.edu

![Image](images/2cc23744bf813bb901814341992467ab8b3aedce507b6df30b2247ee4d6e6b51.jpg)

<div style="text-align: center;">Figure 1. DexAvatar recovers bio-mechanically accurate 3D hand and body poses from monocular sign language videos.</div>

## 摘要

手语生成领域的发展趋势是以数据驱动的生成方法为主，这类方法需要大量的精确2D和3D人体姿态数据才能达到可接受的生成质量。然而目前，大多数手语数据集都是基于视频的，且仅限于自动重建的2D人体姿态（即关键点），缺乏准确的3D信息。此外，现有的从手语视频中自动估计3D人体姿态的最先进方法容易受到自遮挡、噪声和运动模糊效应的影响，导致重建质量较差。针对这一问题，我们提出了DexAvatar这一新型框架，它能够在学习到的3D手部及身体先验的指导下，从自然场景中的单目手语视频中重建符合生物力学原理的精细手部关节活动及身体运动。在SGNify动作捕捉数据集上，DexAvatar取得了优异的性能——该数据集是此类任务唯一的基准测试集；与现有最先进方法相比，其在身体和手部姿态估计方面的性能提升了35.11%。本研究的官方网站为：<https://github.com/kaustesseract/DexAvatar>。

### 1. 引言

全球约有4.66亿聋人或听力障碍者，手语是他们主要的交流方式 [^40]。手语属于时空语言，通过视觉-手势模态来传递意义，具体表现为手动手势活动与非手动元素（如面部和身体）的结合。与口语类似，手语也遵循语言规则 [^5]，但缺乏标准化的书面形式——例如，美国手语并非英语口语的可视化呈现。

现有的手语数据集 [^15] [^24] [^27] [^33] [^47] [^52] 提供了视频和2D关键点数据，对手语生成领域的发展做出了重要贡献 [^4] [^50] [^51]。然而，2D表现形式无法捕捉手语的全部空间复杂性。深度信息和手-身体接触对于传递意义至关重要，但不同的3D手部构型可能会投影出相同的2D关键点。因此，迫切需要包含准确3D信息的数据集来支持逼真的空间手语生成。近期，全身参数化模型（如SMPL-X [^43]）取得了进展，这类模型能够实现富有表现力的全身网格恢复，可从视频中同时估计3D身体姿态、手部姿态及面部表情。

---

尽管已经取得了显著进展，但针对手语视频的3D手部姿态估计仍然颇具挑战性。与日常场景相比，手语中的手部动作更为复杂精细。主要难点在于快速而复杂的手部关节运动[^7]、导致自遮挡现象的频繁的手部间及手部与身体间的交互[^41]，以及快速手势动作产生的运动模糊。这些因素阻碍了在众多视频帧中准确重建手部姿态，而现有的全身及仅手部网格恢复方法也难以从手语视频中估算出可靠的姿态。

目前全身网格恢复的方法可分为两类：基于回归的方法和基于优化的方法。回归方法能直接预测网格参数，效率较高[^9] [^35] [^36] [^53]，但通常是在通用数据上训练的，往往无法捕捉手语特有的手部关节运动特征。优化方法则利用先验知识和多目标函数对参数化模型进行拟合，计算量更大，但能够纳入针对手语的约束条件，从而在出现自遮挡时仍能生成准确且稳定的手部姿态。因此，我们提出了DexAvatar——一种优化框架，它结合了基于手语的双手和身体先验知识，可从单目视频中重建3D手语虚拟形象。

现有研究的一个关键局限在于[^6] [^43]，其先验知识是在通用数据集上训练的，无法捕捉手语交流的独特特征。在手语中，语义表达高度依赖于精确的手部形状和朝向，但目前尚无公开可用的精准3D手部数据。为解决这一问题，我们收集了一套动作捕捉手语数据集，用以捕捉精细的手指关节运动，并用于训练我们提出的手部先验模型SignHPoser。所提出的身体先验模型SignBPoser则是利用[^62]中发布的3D数据子集进行训练，这些数据源自How2Sign [^14]数据集。预训练好的身体和手部先验模型可应用于任何基于回归或优化的全身网格恢复方法，以处理手语视频。我们的主要贡献如下：

- 我们提出了两种面向手语的姿态先验模型：用于手部的SignHPoser和用于身体的SignBPoser，它们被训练为能够学习紧凑的潜空间，既保留语音学上有意义的变化特征，又能避免出现解剖学上不合理的姿态。

- 我们将这些先验模型整合到DexAvatar中，这是一个能从单目视频重建3D手语虚拟形象的优化流程。DexAvatar将这些先验模型作为可微正则化项，结合时间一致性约束和接触感知项，从而在上半身或单手手语视频中，即便存在自遮挡和噪声较多的2D关键点，也能稳定地估算手部姿态。

- 大量实验表明，与全身及仅手部网格恢复的先进基准方法相比，DexAvatar始终能实现更低的重建误差。

### 2. 相关工作

我们能够与他人互动的基础要素之一就是对身体姿态的识别。同样，对于智能机器而言，准确理解身体姿态对于与人类交互至关重要。

二维人体姿态估计。关于二维关键点估计的研究，已从早期的基于决策树和随机森林的模型 [^49] [^55] [^56] 发展到近期的深度学习方法 [^13] [^22] [^28] [^58]。近期，三维关节估计方法 [^19] [^37] [^54] [^66] 在克服二维方法固有的深度歧义方面展现出潜力。不过，这些方法预测的是一组稀疏的骨骼关键点，限制了其表达能力。

三维人体姿态重建。诸如SMPL-X [^43]、MANO [^46] 和 FLAME [^34] 等具有强表现力的三维人体模型，为三维人体网格估计研究提供了可能。在全息三维网格恢复方面，以往的研究利用了多任务学习 [^35]、混合先验 [^53] 以及注意力机制 [^9] [^36]。针对手部特定恢复任务，相关方法会加入用于手部定位和边界框优化的辅助组件 [^45] [^64]，或整合基于优化的精细化处理和时序滤波 [^12] [^44] 以提升稳定性和准确性。尽管这些方法在表现力强的手语重建领域潜力巨大，但它们属于通用方法，无法应对长时间的自遮挡情况，难以强制实现逼真的手-手及手-身体接触，也无法捕捉手语视频中的精细手指关节运动。

手语的三维虚拟人重建。SG-Nify [^20] 推出了首批专为从手语视频中恢复全身网格而设计的流程之一，该流程加入了用于约束三维手部姿态以消除歧义的语义先验。它基于SMPLify-X [^43] 构建，可从图像中估计SMPL-X [^43] 参数。不过，该方法对ViTPose [^59] 和MediaPipe [^38] 这类现成二维关键点检测器生成的伪真值的依赖，限制了其准确性。此外，该方法在应对严重的自遮挡、复杂的手-手及手-身体交互、运动模糊和频繁裁剪等问题时也存在困难——这些均是手语重建中固有的挑战。

OSX [^36] 提出了UBody流程，用于后续的上半身重建任务，包括手语、手势和表情生成。虽然OSX在通用数据集上表现出色，但在处理细微关节运动时常常有所欠缺，且在手语视频中生成的手部姿态也不够逼真。

Neural Sign Actors [^6] 和SignAvatars [^62] 均以OSX作为初始化基础。前者利用OSX来初始化优化流程所需的姿态和形状参数，并加入了基于AMASS [^39] 和ARCTIC [^16] 数据集得出的主成分分析空间的网格先验。后者则将OSX与ACR [^61] 和PARE [^32] 相结合，并使用伪真值二维关键-

---

点 [^38] [^58] 作为SMPLify-X [^43] 框架的输入。

EVA [^23]利用了多种来源作为伪真实数据，包括相机参数的初始估计、来自现成工具的SMPL-X参数[^9]、2D关键点[^44]以及3D手部参数[^9] [^60]。尽管这些方法在去噪和生成合理动作方面效果显著，但现有的流程在手语重建领域仍存在关键局限。它们依赖通用姿态检测器和并非针对手语 articulations 设计的身体先验知识，从而导致域偏移、深度模糊以及过度正则化问题。此外，这些方法是在日常人类动作数据上训练的，无法捕捉手语所蕴含的语言和文化细微差别。

### 3. 方法

我们提出了DexAvatar，这是一种从单目手语视频中重建3D全身姿态和网格的方法。在手语中，语义是通过手势、面部表情以及上半身动作在3D空间中的协同运用来传达的。为了联合表示这些模态，我们采用了SMPL-X [^43]参数化模型。DexAvatar与SMPLify-X [^43]类似，是一种基于优化的方法，它利用来自现成工具的伪真实数据，包括初始相机参数、SMPL-X参数、2D关键点以及3D手部参数[^9] [^28] [^44]。由于现成的工具并非专为手语设计，可能无法捕捉精细的手部articulations和上半身表情，因此我们引入了专门的先验：用于手部的SignHPoser和用于身体的SignBPoser。

#### 3.1. preliminaries

SMPLify-X是一种基于SMPL-X的常用优化方法，能够从单目图像中重建3D身体、手部姿态及面部表情（详见补充材料第1节）。该重建过程通过最小化以下关于$\beta$、$\psi$和$\theta$的目标函数来实现：

 $$ \mathcal{L}=\mathcal{L}_{\mathrm{j o i n t}}+\lambda_{\zeta}\mathcal{L}_{\zeta}+\lambda_{\mathrm{p e n}}\mathcal{L}_{\mathrm{p e n}}. $$

定义在公式(2)中的$\mathcal{L}_{\text{joint}}$旨在最小化检测到的2D关键点$\mathcal{K}$与通过$P(\mathcal{D})$投影到图像平面上的对应3D关键点$P(\cdot)$之间的误差。$\mathcal{J}$代表3D关节集合，而$P(\cdot)$则将世界坐标系下的3D关节$\mathcal{D}_i \in \mathbb{R}^3$投影为2D图像坐标。项$\mathcal{K}_i$代表对应的2D关键点，它可能来源于伪标注或真实标注；$\omega_i$表示$\mathcal{K}_i$的置信度，$\gamma_i$是针对关节$\mathcal{D}_i$预先设定的权重，$\psi$则代表一种鲁棒的German-McClure损失函数[^18]，用于避免噪声监督信号带来的干扰。目标函数表述如下：

 $$ \mathcal{L}_{\mathrm{j o i n t}}=\frac{1}{\left|\mathcal{J}\right|}\sum_{i\in\mathcal{J}}\gamma_{i}\omega_{i}\psi\left(P\left(\mathcal{D}_{i}\right)-\mathcal{K}_{i}\right). $$

定义在公式(3)中的$\mathcal{L}_\zeta$是对VPoser可学习身体姿态嵌入$\zeta \in \mathbb{R}^d$的零均值高斯先验，其负对数先验会对每个潜在维度产生$\ell_2$惩罚。此处，$i \in \{1, \ldots, d\}$用于索引潜在维度，$\sigma_i^2$表示对角高斯先验下第i个维度的方差。该损失项会以$\lambda_\zeta$的权重被加入总目标函数中。

 $$ \mathcal{L}_{\zeta}=\sum_{i=1}^{d}\frac{\zeta_{i}^{2}}{\sigma_{i}^{2}},\qquad\mathrm{w i t h}\;\sigma_{i}^{2}=1\;\forall i. $$

$\mathcal{L}_{\mathrm{pen}}$在公式(4)中有所定义，它通过首先利用包围盒层次结构检测出会发生碰撞的面对C，然后对每对面的双向侵入深度进行惩罚，从而防止自身碰撞$(f_s, f_t)$。对于任意一个面f而言，$\mathcal{V}(f)$表示其顶点集，$\Psi_f(v)$表示到该面的二次曲面有符号距离（内部为负值），因此$\max(0, -\Psi_f(v))$用于衡量顶点穿透的深度。该损失函数会将$f_s$在$f_t$区域内各顶点的这些深度值求和，反之亦然；也可选择通过$|\mathcal{C}|$进行归一化处理，最后将该损失乘以权重$\lambda_{\mathrm{pen}}$后加入总目标函数中。

 $$ \begin{align*}\mathcal{L}_{\mathrm{pen}}=\frac{1}{|\mathcal{C}|}\sum_{(f_{s},f_{t})\in\mathcal{C}}\Big[\sum_{v\in\mathcal{V}(f_{s})}(\max(0,-\Psi_{f_{t}}(v)))^{2}\\+\sum_{v\in\mathcal{V}(f_{t})}(\max(0,-\Psi_{f_{s}}(v)))^{2}\Big].\end{align*} $$

#### 3.2. 数据预处理

##### 3.2.1. 人体数据

我们采用了SignAvatars提供的3D人体数据[^62]，这些数据源自How2Sign数据集[^14]。由于这些数据属于伪真实标签，其中可能包含残留噪声以及运动恢复过程中的偏差。若不加额外防护措施就直接用此类数据训练SignBPoser，可能会导致性能下降。因此，我们借助人体关节的既定生物力学约束来过滤掉不合理的姿态[^21] [^31]，如图3所示。由于手语中的主要动作仅涉及部分人体关节，即肩部、肘部/前臂以及手腕，我们在预处理阶段重点处理这些关节。针对这些关节，我们根据生理自由度以及手语者所处的空间[^8] [^57]来界定合理的运动范围——所谓手语者空间是指以躯干为中心的3D区域，手语正是在该区域内产生和被感知的（详情见补充材料第2节）。具体而言，我们会剔除那些关节角度超出规定运动范围的帧，比如抬得过高、过度内收或完全伸展的手臂，这些都与现实中的手语动作不符。

---

![Image](images/af73b2186581fc6008bf68d5cbb02229bdb0b51e7830b9c8d24fb30365a3ad79.jpg)

<div style="text-align: center;">Figure 2. Overview of the DexAvatar pipeline. Given a set of input frames, we first run SMPLerX [^9] and HaMeR [^44] to obtain initial body and hand pose estimates. We then refine these estimates by fitting to a 2D joint, using Sapiens [^28] for body keypoints and HaMeR for hand keypoints by minimizing the reprojection error ( $\mathcal{L}_{\text{joint}}$) to the detected joints  $\mathcal{K}_i$. To generate plausible hand and body articulations, we constrain poses to learned manifolds, where SignBPoser maps a body latent  $\zeta$ to  $\theta_b$, and SignHPoser maps independent left and right latents  $\epsilon^\ell$ and  $\epsilon^r$ to  $\theta_h$. Finally, bio-mechanical constraints enforce physically plausible articulation, producing accurate 3D signing avatars.</div>

##### 3.2.2. 手部数据

数据采集。为了训练我们的手部姿态先验模型SignHPoser，我们采集了手语动作捕捉数据。我们采用了Vicon设备[^2]，它由9台高分辨率摄像头组成，经过合理布置以确保能完整覆盖手语者的动作。此外，我们还使用了Manus手套[^1]来追踪手指关节的活动情况。我们邀请了8名手语者提供手指拼写数据：其中6人精通澳大利亚手语（Auslan），2人熟练掌握美国手语（ASL）。每位参与者都按字母顺序拼写出精心挑选的93个单词。原始的动作捕捉数据通过Rokoko插件在Blender中被重新映射到SMPL-X骨骼上。为了保留整体的手部动作并实现逼真的上半身运动，我们引入了逆向运动学约束，使手臂能够跟随手套数据驱动的手腕轨迹运动。最终生成的动画被烘焙到SMPL-X骨骼中（重映射的详细过程见补充材料第3节）。

手部数据预处理。动作捕捉数据容易受到传感器读取误差和跟踪错误的影响而产生噪声，进而导致不合理的手部姿态。为解决这一问题，我们参照图4所示的手部生物力学约束来对数据集进行校正。我们借鉴成熟的手部生物力学理论[^10]，为每个手部关节设定约束条件。这些关节约束用3个欧拉角来描述，分别对应关节的弯曲、张开和扭转程度。由于MANO模型使用的关节旋转坐标与理论约束存在差异，我们遵循以往的研究方法[^65]来调整坐标轴。

#### 3.3. 人体与手部姿态先验

VPoser [^43]是一种在人体运动捕捉数据集上预先训练好的模型，这些数据集包括三个公开可用的人体运动捕捉数据集：CMU [^11]、Human3.6M的训练集 [^26]以及PosePrior数据集 [^3]。在以往的研究中，VPoser被用作先验知识，用以将人体姿态参数约束在合理的人体运动范围内。VPoser在从自然场景视频中重建全身网格方面表现出色。然而我们认为，使用这类通用型先验进行手语生成时，可能会产生超出手语者动作空间的运动 [^8] [^57]。因此，我们基于预处理后的手语数据集训练了SignBPoser和SignHPoser。这两种先验均采用变分自编码器（VAE）[^30]架构。该架构通过在潜空间中对各变量施加向各向同性高斯分布靠拢的正则化约束，从而能够学习出手语手势和人体姿态的紧凑潜表示，进而支持逼真的姿态合成以及下游任务中的高效优化。训练损失函数如下：

 $$ \begin{aligned}\mathcal{L}&=c_{1}\mathcal{L}_{\mathrm{KL}}+c_{2}\mathcal{L}_{\mathrm{recon}}+c_{3}\mathcal{L}_{\mathrm{mesh}}+c_{4}\mathcal{L}_{\mathrm{orth}}\\&\quad+c_{5}\mathcal{L}_{\mathrm{reg}}+c_{6}\mathcal{L}_{\mathrm{biomech}},\end{aligned} $$

其中 $c_{1}$、$c_{2}$、$c_{3}$、$c_{4}$、$c_{5}$和$c_{6}$为损失权重，对于SignBPoser而言，这些权重经实验设定为0.001、0.999、0.999、0.01、0.0001和1.5；对于SignHPoser而言，则分别为0.0001、0.999、0.999、0.01、0.0001和1.5。

公式(6)中定义的 $\mathcal{L}_{\mathrm{KL}}$ 用于对潜码 $\mathbf{Z} \in \mathbb{R}^{33}$ 施加向标准正态分布靠拢的正则化约束。编码器后验为 $q(\mathbf{Z} \mid \mathbf{R})$，其中 $R \in \mathbb{R}^{3 \times 3}$ 是每个关节的输入旋转矩阵，$\mathcal{N}(0, I)$ 表示标准正态分布，

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{K L}}=\mathrm{K L}(q(\mathbf{Z}\mid\mathbf{R})\parallel\mathcal{N}(0,I)).}\end{array} $$

公式(7)中定义的 $\mathcal{L}_{\mathrm{recon}}$ 用于衡量输入轴角向量 $\ell_{2}$ 与其重构结果 $\alpha$ 之间的平方 $\hat{\alpha}$ 误差，

 $$ \mathcal{L}_{\mathrm{r e c o n}}=\|\alpha-\hat{\alpha}\|_{2}^{2}. $$

公式(8)中定义的 $\mathcal{L}_{\mathrm{mesh}}$ 用于强制保证SMPL-X层输出的预测网格 $\hat{M}$ 与参考网格M之间在顶点层面上的保真度，

---

![Image](images/87d85f8144729881a3ef02055c43bdbb1bd5aa464b8d24a1cb50c4b684022f19.jpg)

<div style="text-align: center;">Figure 3. Bio-mechanical body filter. For body data from [^14], we enforce joint range of motion and signer space constraints on shoulders, elbows/forearm, and wrists. Frames that violate these envelopes are rejected, and only plausible body poses are retained for training.</div>

该保真度通过逐顶点的平方 $\ell_{2}$ 误差来衡量，

 $$ \mathcal{L}_{\mathrm{m e s h}}=\|M-\hat{M}\|_{2}^{2}. $$

公式(9)中定义的 $\mathcal{L}_{\mathrm{orth}}$ 通过强制旋转矩阵满足正交性和行列式为1的条件来约束旋转的有效性，其中 $\hat{R} \in \mathbb{R}^{3 \times 3}$ 表示每个关节的输出旋转矩阵，I为 $3 \times 3$ 单位矩阵，

 $$ \mathcal{L}_{\mathrm{o r t h}}=\|\hat{R}\hat{R}^{\top}-I\|_{2}^{2}. $$

公式(10)中定义的 $\mathcal{L}_{\mathrm{reg}}$ 通过惩罚可训练参数 $\ell_2$ 的 $\phi$ 范数来防止模型过拟合，

 $$ \begin{array}{r}{\mathcal{L}_{\mathrm{r e g}}=\|\phi\|_{2}^{2}.}\end{array} $$

$\mathcal{L}_{\mathrm{biomech}}$在公式(11)中有所定义，用于约束每个关节的解剖学极限。对于关节j而言，$\overline{\theta}_{j,\mathrm{min}}$和$\overline{\theta}_{j,\mathrm{max}}$分别表示其角度下限和上限。当$\boldsymbol{\theta}_{j}$处于$\left[\overline{\theta}_{j,\mathrm{min}},\overline{\theta}_{j,\mathrm{max}}\right]$范围内时，惩罚项为零；一旦超出该范围，惩罚项会呈二次方增长。其中的max运算为逐元素计算。我们将这一约束应用于SignBPoser模型的$J = 6$个身体关节，以及SignHPoser模型的$J = 15$个手部关节。

 $$ \mathcal{L}_{\mathrm{b i o m e c h}}=\sum_{j=1}^{J}\left\|\max\left\{\boldsymbol{\theta}_{j}-\overline{\boldsymbol{\theta}}_{j,\max},\overline{\boldsymbol{\theta}}_{j,\min}-\boldsymbol{\theta}_{j},\mathbf{0}\right\}\right\|_{2}^{2}. $$

#### 3.4. 优化

以可靠的SMPL-X估计结果作为初始值，能够提升从视频中重建虚拟形象的效果。因此我们进行初始化：

![Image](images/b39ad6c96201c7e72b4ac7d8ea68e5cb730e934a4ba3c7512f5545e68c6a810f.jpg)

<div style="text-align: center;">Figure 4. Bio-mechanical hand rectifier. For raw mocap hand data, we correct implausible joint configurations by enforcing per-joint limits on bending, splaying, and twisting (15 hand joints). The rectifier outputs corrected hand geometry for training.</div>

如图2所示，DexAvatar优化过程利用了现成的SMPL-X参数、2D关键点以及相机估计结果 [^9] [^28] [^60]。不过，这类检测器在处理手语数据时往往表现不佳，仍需进一步改进。因此，DexAvatar的优化目标遵循公式(1)，保留了SMPLify-X中的关节损失项和穿透惩罚项，同时将通用的VPoser先验替换为适用于身体的SignBPoser，并为手部添加了SignH-Poser先验。此外，我们针对手语动态特点，引入了针对手部和身体的时间一致性约束以及生物力学惩罚项。为了提升稳定性，我们还限制了下肢关节的活动范围，并针对单手手势关闭非主导臂的相关计算。该优化过程旨在最小化以下目标函数：

 $$ \begin{aligned}\mathcal{L}=\mathcal{L}_{joint}+\lambda_{1}\mathcal{L}_{bprior}+\lambda_{2}\mathcal{L}_{hprior}+\lambda_{3}\mathcal{L}_{pen}\\+\lambda_{4}\mathcal{L}_{temp}+\lambda_{5}\mathcal{L}_{bbiomech}+\lambda_{6}\mathcal{L}_{hbiomech}.\end{aligned} $$

$\mathcal{L}_{joint}$采用了公式(2)中的表述方式，利用Sapiens提供的身体2D关键点[^28]以及HaMeR提供的手部2D关键点[^44]。由于手语表达中下肢活动极少甚至没有活动，我们在公式(2)中将所有下肢关节对应的$\omega_{i} = 0$设为特定值，从而将其排除在优化范围之外。此外，我们利用[^20]中的手语分类器来区分单手手势和双手手势。对于单手手势，我们的手部决策器（见图2）会通过为公式(2)中的$\omega_{i} = 0$赋值的方式，禁用对非主导臂（肩部、肘部和腕部）以及非主导手的优化。这一策略可避免不必要的更新，确保优化仅聚焦于需要精细调整的身体活动部位。

 $\mathcal{L}_{bprior}$（用于身体），在公式（13）中定义，整合了 SignBPoser 来正则化不可行的身体姿态。由于 SignBPoser 是在手语数据上训练的，它提供了从低维 $\zeta$ 到身体姿态的轴角表示 $\theta_b$ 的紧凑映射。为了更好地优化低维嵌入，将来自 SMPLerX $\hat{\theta}_b$ 的估计身体姿态 [^9] 作为监督信号，与添加的正则化项 $\zeta$ 协调使用，类似于

---

公式(3)中的权重设为$\lambda_{\bar{\zeta}}$。身体先验损失项的公式如下：

 $$ \mathcal{L}_{b p r i o r}=\psi\left(\theta_{b}-\hat{\theta}_{b}\right)+\lambda_{\bar{\zeta}}\mathcal{L}_{\bar{\zeta}}. $$

$\mathcal{L}_{\mathrm{hprior}}$（用于手部），在公式（14）中定义，整合了 SignHPoser 来正则化不可行的手部姿态。我们遵循与公式（13）相同的公式。我们将来自 HaMeR $\hat{\theta}_{h}$ 的左右手姿态 [^44] 与 $\epsilon$（每只手的低维表示，见公式（3））一起作为监督信号。

 $$ \mathcal{L}_{h p r i o r}=\psi\left(\theta_{h}-\hat{\theta}_{h}\right)+\lambda_{\epsilon^{l}}\mathcal{L}_{\epsilon^{l}}+\lambda_{\epsilon^{r}}\mathcal{L}_{\epsilon^{r}}. $$

$\mathcal{L}_{\mathrm{temp}}$用于保证帧间的时间一致性，它会纳入上一帧的姿态参数$\boldsymbol{\theta}_{b}^{\mathrm{pre}}$。我们通过惩罚对应关节的运动差异来强制实现帧间的平滑过渡。

 $$ \mathcal{L}_{\mathrm{t e m p}}=\psi\left(\theta_{b}-\theta_{b}^{\mathrm{p r e}}\right). $$

$\mathcal{L}_{\mathrm{bbiomech}}$和$\mathcal{L}_{\mathrm{bbiomech}}$在优化过程中为身体[^8] [^57]和手部[^10]引入生物力学损失约束作为额外监督，相关的损失项保持不变，仍遵循公式(11)。

### 4. 实验

数据集。我们在SGNify所使用的动作捕捉数据集上评估DexAvatar[^20]。该数据集包含57个德语手语词汇。按照该数据集的标准评估流程，我们选取原始视频中每个手语词汇的中间部分进行评估，仅针对这些中间帧计算定量结果（总计2,872帧）。

评估指标。遵循先前的研究SGNify [^20]和Neural Sign Actors [^6]，我们使用平均顶点间误差（TR-V2V）来评估DexAvatar的性能，计算范围限定在骨盆以上的顶点。我们报告了三个区域的结果：上半身（不包括面部）、左手和右手。为了独立评估SignBPoser和SignHPoser，我们基于恢复的关节和网格计算了MPJPE和MPVPE。

实现细节。DexAvatar是基于PyTorch [^25]实现的，并采用LBFGS [^42]进行优化。所有实验均在配备24GB GPU内存和64GB CPU内存的NVIDIA RTX 4090上完成。SignBPoser和SignHPoser是基于编码器-解码器结构的VAE构建的，每个模型包含3个线性层，嵌入维度为512。训练过程中，我们采用Adam优化器 [^29]，学习率设为$1e^{-3}$。

<div style="text-align: center;">Table 1. Quantitative results. We compare DexAvatar with the current state-of-the-art methods on TR-V2V error (mm). We report results in three regions, i.e., UBody(-F): Upper Body excluding the face, LHand: Left Hand, and RHand: Right Hand. EVA $^{*}$ denotes our modification of EVA [^23] to accommodate one-handed signs.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>UBody (-F) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>LHand $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RHand $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>FrankMoCap [^48]</td><td style='text-align: center; word-wrap: break-word;'>78.07</td><td style='text-align: center; word-wrap: break-word;'>20.47</td><td style='text-align: center; word-wrap: break-word;'>19.62</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PIXIE [^17]</td><td style='text-align: center; word-wrap: break-word;'>60.11</td><td style='text-align: center; word-wrap: break-word;'>25.02</td><td style='text-align: center; word-wrap: break-word;'>22.42</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>PyMAF-X [^63]</td><td style='text-align: center; word-wrap: break-word;'>68.61</td><td style='text-align: center; word-wrap: break-word;'>21.46</td><td style='text-align: center; word-wrap: break-word;'>19.19</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SMPLify-SL [^20]</td><td style='text-align: center; word-wrap: break-word;'>56.07</td><td style='text-align: center; word-wrap: break-word;'>22.23</td><td style='text-align: center; word-wrap: break-word;'>18.83</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>SGNify [^20]</td><td style='text-align: center; word-wrap: break-word;'>55.63</td><td style='text-align: center; word-wrap: break-word;'>19.22</td><td style='text-align: center; word-wrap: break-word;'>17.50</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OSX [^36]</td><td style='text-align: center; word-wrap: break-word;'>47.32</td><td style='text-align: center; word-wrap: break-word;'>18.34</td><td style='text-align: center; word-wrap: break-word;'>18.12</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Neural Sign Actors [^6]</td><td style='text-align: center; word-wrap: break-word;'>46.42</td><td style='text-align: center; word-wrap: break-word;'>16.17</td><td style='text-align: center; word-wrap: break-word;'>15.23</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EVA $^{*}$</td><td style='text-align: center; word-wrap: break-word;'>40.38</td><td style='text-align: center; word-wrap: break-word;'>13.73</td><td style='text-align: center; word-wrap: break-word;'>13.68</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DexAvatar (Ours)</td><td style='text-align: center; word-wrap: break-word;'>30.13</td><td style='text-align: center; word-wrap: break-word;'>13.53</td><td style='text-align: center; word-wrap: break-word;'>13.08</td></tr></table>

<div style="text-align: center;">Table 2. We conduct an ablation study to understand the effectiveness of SignBPoser within DexAvatar. We conduct experiments with three different variants. BP $_{u}$: trained on unfiltered data, BP $_{r}$: trained on bio-mechanically filtered data, BP $_{f+bio}$: trained on filtered data and with body bio-mechanical loss. We evaluate over four vertex subsets: FBody: Full Body (10,475 vertices), UBody: Upper Body (vertices above the pelvis), UBody (-H): Upper Body without head (above-pelvis without the head).</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>FBody $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>UBody $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>UBody (-H) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>UBody (-F) $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BP $_{u}$</td><td style='text-align: center; word-wrap: break-word;'>43.18</td><td style='text-align: center; word-wrap: break-word;'>29.95</td><td style='text-align: center; word-wrap: break-word;'>44.72</td><td style='text-align: center; word-wrap: break-word;'>34.06</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BP $_{f}$</td><td style='text-align: center; word-wrap: break-word;'>42.32</td><td style='text-align: center; word-wrap: break-word;'>26.78</td><td style='text-align: center; word-wrap: break-word;'>41.35</td><td style='text-align: center; word-wrap: break-word;'>30.28</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>BP $_{f+bio}$</td><td style='text-align: center; word-wrap: break-word;'>42.38</td><td style='text-align: center; word-wrap: break-word;'>26.93</td><td style='text-align: center; word-wrap: break-word;'>41.88</td><td style='text-align: center; word-wrap: break-word;'>30.44</td></tr></table>

### 5. 实验结果

#### 5.1. 定量结果

表1对比了DexAvatar与SGNify数据集上的最先进基线模型。DexAvatar在所有区域均取得了最佳性能，优于FrankMocap [^48]、PyMAF-X [^63]、PIXIE [^17]、SMPLify-SL [^20]、SGNify [^20]、OSX [^36]以及Neural Sign Actors [^6]。由于该数据集包含单手和双手手势，我们对EVA [^23]进行了修改以支持单手手势，并将其记为EVA*。DexAvatar在左手和右手上的表现分别比Neural Sign Actors高出16.32%和14.11%，在上半身区域的性能提升更是达到了35.11%。

SignBPoser的有效性。表2总结了DexAvatar中身体先验模型SignBPoser的消融实验结果。我们对三种变体进行了超参数搜索（详情见补充材料第4节），并基于最佳配置报告结果：在未过滤数据上训练的$BP_{u}$，以及在生物力学约束下训练的$BP_{f}$。

---

<div style="text-align: center;">Table 3. Ablation study of SignHPoser within DexAvatar.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Method</td><td style='text-align: center; word-wrap: break-word;'>UBody (-F) $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>LHand $\downarrow$</td><td style='text-align: center; word-wrap: break-word;'>RHand $\downarrow$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\text{HP}_{u}$</td><td style='text-align: center; word-wrap: break-word;'>31.34</td><td style='text-align: center; word-wrap: break-word;'>14.19</td><td style='text-align: center; word-wrap: break-word;'>13.92</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\text{HP}_{f}$</td><td style='text-align: center; word-wrap: break-word;'>30.17</td><td style='text-align: center; word-wrap: break-word;'>13.55</td><td style='text-align: center; word-wrap: break-word;'>13.06</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>$\text{HP}_{f+bio}$</td><td style='text-align: center; word-wrap: break-word;'>30.13</td><td style='text-align: center; word-wrap: break-word;'>13.53</td><td style='text-align: center; word-wrap: break-word;'>13.08</td></tr></table>

过滤后的数据，以及基于过滤数据并用生物力学损失训练的BP $_{f+bio}$。表2的前两行展示了BP $_{u}$和BP $_{f}$的结果。在所有指标上，BP $_{f}$的表现始终优于BP $_{u}$，其相对误差降低幅度分别为2.0%（FBody）、10.6%（UBody）、7.5%（UBody (-H)）以及11.1%（UBody (-F)）。这证明了我们采用生物力学约束进行数据预处理的有效性。在BP $_{f+bio}$中使用基于过滤数据且带有生物力学损失的预训练模型时，性能会出现轻微下降（+0.14% FBody、+0.56% UBody、+1.28% UBody (-H)、+0.53% UBody (-F)），这表明优化过程中存在轻度过正则化现象。最后，在保留BP $_{f}$的同时，于优化阶段加入生物力学损失（表2中未列出），在所有子集上均取得了最佳结果：与BP $_{f}$相比，相对误差降低幅度分别为0.17%（FBody）、0.37%（UBody）、0.05%（UBody (-H)）以及0.33%（UBody (-F)）。

SignHPoser的有效性。我们使用针对身体先验表现最佳的配置（即BP_f以及优化过程中基于身体的生物力学损失）来评估手部先验SignHPoser。表3总结了消融实验结果。我们对三种手部先验变体进行了超参数搜索（详见补充材料第4节），并基于在未经校正的手部数据上训练的HP_u、在生物力学校正后的数据上训练的HP_f，以及在校正后的数据上结合手部生物力学损失训练的HP_f+bio，报告其最佳配置下的结果。表3的前两行展示了HP_u和HP_f变体的结果。可以看出，HP_f在所有指标上的表现均优于HP_u：上半身的相对误差降低了3.7%，左手降低了4.5%，右手降低了6.2%。这证明了对手部数据应用基于生物力学约束的校正过程的重要性。在HP_f+bio中，为过滤后的先验添加生物力学正则化项后，其精度相比HP_f有所提升，上半身精度提高了0.13%，左手精度提高了0.15%；不过右手性能略有下降（0.2%）。这表明引入生物力学约束能在拟合过程中提供有效的物理正则化作用。关于SignHPoser与Vposer的消融实验详情，请参阅补充材料第5节。

#### 5.2. 定性结果

图5展示了DexAvatar在SGNify [^20] 动作捕捉数据集上的定性结果，并与现有基线方法进行了对比。我们的方法能够始终从单目视频中重建出符合生物力学规律的3D手语虚拟人模型。DexAvatar能够保留精细的手部关节活动和手指朝向信息，而这些内容在基线方法的重建结果中往往缺失或存在扭曲。对于“Sonne”手势，PIXIE [^17]、OSX [^36] 和EVA*等方法生成的虚拟人模型与真实值偏差明显，而DexAvatar则能保持高度一致的对齐效果。“BesuchenEinmischen”手势包含复杂的手身同步互动序列。包括PIXIE [^17]、PyMAF-X [^63]、SGNify [^20]、OSX [^36] 和EVA* [^23] 在内的竞争方法常常会出现手腕对齐错误或肢体朝向不自然的问题，而DexAvatar则在所学手部及身体先验的指导下保持了结构一致性。对于“Muell”手势，PyMAF-X和EVA*的表现尤其差，其他方法在手腕和手指朝向的处理上也存在困难；相比之下，DexAvatar的结果最接近真实值。总体而言，这些结果证明DexAvatar能生成稳定且连贯的重建结果，有效捕捉全局身体姿态和细微的手指动态，所生成的虚拟人模型在解剖学上合理且与视频内容对齐良好。我们还检查了评估数据集，发现真实值中存在一些不合理的手部姿势（详情见补充材料第6节）。关于输入帧中的运动模糊、噪声和自遮挡情况的额外评估结果，请参阅补充材料第7节。

### 6. 结论

我们提出了DexAvatar，这是一种能从单目视频中生成参与手语交流的人类的3D虚拟人模型的方法。定量和定性结果均表明，相较于以往的研究，该方法有显著提升，这得益于我们所设计的手语相关先验以及能生成逼真重建结果的优化流程。这些发现凸显了针对手语重建设计领域特定先验的重要性。未来的工作将扩大训练数据的规模，并进一步强化先验，以覆盖更广泛的手语者和手语风格。

## 致谢

本研究部分得到了澳大利亚政府通过澳大利亚研究理事会颁发的“发现计划早期职业研究人员奖”（项目编号：DE230100049）的支持。本文所表达的观点仅代表作者个人立场，未必反映澳大利亚政府或澳大利亚研究理事会的观点。我们同时感谢莫纳什大学和国家计算基础设施中心为本研究提供的高性能计算设施。

---

<div style="text-align: center;">Figure 5. Qualitative results. We compare 3D holistic human mesh reconstruction methods on SGNify [^20] evaluation dataset. DexAvatar produces significantly better SL reconstructions with plausible body and hand poses.</div>

![Image](images/b7952cc69a9250f3f4d9ef6e92922a3d810e9df5f6905773307ed897b8eefd3e.jpg)

---

## 参考文献

[^1]: Metagloves pro, 2025. 4

[^2]: Devices, 2025. 4

[^3]: Ijaz Akhter and Michael J Black. Pose-conditioned joint angle limits for 3d human pose reconstruction. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1446–1455, 2015. 4

[^4]: Rotem Shalev Arkushin, Amit Moryossef, and Ohad Fried. Ham2pose: Animating sign language notation into pose sequences. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21046–21056, 2023. 1

[^5]: DF Armstrong. Gesture and the Nature of Language. Cambridge University Press, 1995. 1

[^6]: Vasileios Baltatzis, Rolandos Alexandros Potamias, Evangelos Ververas, Guanxiong Sun, Jiankang Deng, and Stefanos Zafeiriou. Neural sign actors: A diffusion model for 3d sign language production from text. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 1985–1995, 2024. 2, 6

[^7]: Sara Bilal, Rini Akmeliawati, Momoh Jimoh El Salami, and Amir A Shafie. Vision-based hand posture detection and recognition for sign language—a study. In 2011 4th International Conference on Mechatronics (ICOM), pages 1–6. IEEE, 2011. 2

[^8]: Chiara Branchini, Lara Mantovan, et al. A Grammar of Italian Sign Language (LIS). Edizioni Ca'Foscari, 2020. 3, 4, 6

[^9]: Zhongang Cai, Wanqi Yin, Ailing Zeng, Chen Wei, Qingping Sun, Wang Yanjun, Hui En Pang, Haiyi Mei, Mingyuan Zhang, Lei Zhang, et al. Smpler-x: Scaling up expressive human pose and shape estimation. Advances in Neural Information Processing Systems, 36:11454–11468, 2023. 2, 3, 4, 5

[^10]: Fai Chen Chen, Silvia Appendino, Alessandro Battezzato, Alain Favetto, Mehdi Mousavi, and Francesco Pescarmona. Constraint study for a hand exoskeleton: human hand kinematics and dynamics. Journal of Robotics, 2013(1):910961, 2013. 4, 6

[^11]: CMU Graphics Lab. Carnegie mellon university graphics lab motion capture database, 2003. Accessed: YYYY-MM-DD.4

[^12]: Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, and Fernando D De la Torre. Hamba: Single-view 3d hand reconstruction with graph-guided bi-scanning mamba. Advances in Neural Information Processing Systems, 37:2127–2160, 2024. 2

[^13]: Alexey Dosovitskiy. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020. 2

[^14]: Amanda Duarte, Shruti Palaskar, Lucas Ventura, Deepti Ghadiyaram, Kenneth DeHaan, Florian Metze, Jordi Torres, and Xavier Giro-i Nieto. How2sign: a large-scale multimodal dataset for continuous american sign language. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 2735–2744, 2021. 2, 3, 5

[^15]: Sergio Escalera, Xavier Baró, Jordi Gonzalez, Miguel A Bautista, Meysam Madadi, Miguel Reyes, Víctor Ponce-López, Hugo J Escalante, Jamie Shotton, and Isabelle Guyon. Chalearn looking at people challenge 2014: Dataset and results. In Computer Vision-ECCV 2014 Workshops: Zurich, Switzerland, September 6-7 and 12, 2014, Proceedings, Part I 13, pages 459–473. Springer, 2015.

[^16]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12943–12954, 2023. 2

[^17]: Yao Feng, Vasileios Choutas, Timo Bolkart, Dimitrios Tzionas, and Michael J Black. Collaborative regression of expressive bodies using moderation. In 2021 International Conference on 3D Vision (3DV), pages 792–804. IEEE, 2021. 6, 7

[^18]: JA Fessler. Statistical methods for tomographic image reconstruction. University of Michigan, GE CRD, 2000. 3

[^19]: Lin Geng Foo, Tianjiao Li, Hossein Rahmani, Qiuhong Ke, and Jun Liu. Unified pose sequence modeling. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13019–13030, 2023. 2

[^20]: Maria-Paola Forte, Peter Kulits, Chun-Hao P Huang, Vasileios Choutas, Dimitrios Tzionas, Katherine J Kuchenbecker, and Michael J Black. Reconstructing signing avatars from video using linguistic priors. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12791–12801, 2023. 2, 5, 6, 7, 8

[^21]: Joseph Hamill and Kathleen M Knutzen. Biomechanical basis of human movement. Lippincott Williams & Wilkins, 2006. 3

[^22]: Yanbin Hao, Zi-Niu Liu, Hao Zhang, Bin Zhu, Jingjing Chen, Yu-Gang Jiang, and Chong-Wah Ngo. Person-level action recognition in complex events via tsd-tsm networks. In Proceedings of the 28th ACM International Conference on Multimedia, pages 4699–4702, 2020. 2

[^23]: Hezhen Hu, Zhiwen Fan, Tianhao Wu, Yihan Xi, Seoyoung Lee, Georgios Pavlakos, Zhangyang Wang, et al. Expressive gaussian human avatars from monocular rgb video. Advances in Neural Information Processing Systems, 37:5646–5660, 2024. 3, 6, 7

[^24]: Jie Huang, Wengang Zhou, Houqiang Li, and Weiping Li. Attention-based 3d-cnns for large-vocabulary sign language recognition. IEEE Transactions on Circuits and Systems for Video Technology, 29(9):2822–2832, 2018. 1

[^25]: Sagar Imambi, Kolla Bhanu Prakash, and GR Kanagachidambaresan. Pytorch. In Programming with TensorFlow: solution for edge computing applications, pages 87–104. Springer, 2021. 6

[^26]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE transactions on pattern analysis and machine intelligence, 36(7):1325–1339, 2013. 4

## [^27]: Tomasz Kapuscinski, Mariusz Oszust, Marian Wysocki, and Dawid Warchol. Recognition of hand gestures observed by

---

深度相机。《国际先进机器人系统杂志》，12(4):36，2015年。1

[^28]: Rawal Khirodkar, Timur Bagautdinov, Julieta Martinez, Su Zhaoen, Austin James, Peter Selednik, Stuart Anderson, and Shunsuke Saito. Sapiens: Foundation for human vision models. arXiv preprint arXiv:2408.12569, 2024. 2, 3, 4, 5

[^29]: Diederik Kinga, Jimmy Ba Adam, et al. A method for stochastic optimization. In International conference on learning representations (ICLR). California:, 2015. 6

[^30]: Diederik P Kingma, Max Welling, et al. Auto-encoding variational bayes, 2013. 4

[^31]: Duane Knudson. Fundamentals of biomechanics. Springer, 2007. 3

[^32]: Muhammed Kocabas, Chun-Hao P Huang, Otmar Hilliges, and Michael J Black. Pare: Part attention regressor for 3d human body estimation. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11127–11137, 2021. 2

[^33]: Dongxu Li, Cristian Rodriguez, Xin Yu, and Hongdong Li. Word-level deep sign language recognition from video: A new large-scale dataset and methods comparison. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 1459–1469, 2020. 1

[^34]: Tianye Li, Timo Bolkart, Michael J Black, Hao Li, and Javier Romero. Learning a model of facial shape and expression from 4d scans. ACM Trans. Graph., 36(6):194–1, 2017. 2

[^35]: Yiheng Li, Ruibing Hou, Hong Chang, Shiguang Shan, and Xilin Chen. Unipose: A unified multimodal framework for human pose comprehension, generation and editing. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 27805–27815, 2025. 2

[^36]: Jing Lin, Ailing Zeng, Haoqian Wang, Lei Zhang, and Yu Li. One-stage 3d whole-body mesh recovery with component aware transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21159–21168, 2023. 2, 6, 7

[^37]: Jiajie Liu, Mengyuan Liu, Hong Liu, and Wenhao Li. Tcpformer: Learning temporal correlation with implicit pose proxy for 3d human pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 5478–5486, 2025. 2

[^38]: Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Guang Yong, Juhyun Lee, et al. Mediapipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172, 2019. 2, 3

[^39]: Naureen Mahmood, Nima Ghorbani, Nikolaus F Troje, Gerard Pons-Moll, and Michael J Black. Amass: Archive of motion capture as surface shapes. In Proceedings of the IEEE/CVF international conference on computer vision, pages 5442–5451, 2019. 2

[^40]: website main. World Health Organization, 2019. 1

[^41]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, pages 548–564. Springer, 2020. 2

[^42]: Philipp Moritz, Robert Nishihara, and Michael Jordan. A linearly-convergent stochastic l-bfgs algorithm. In Artificial intelligence and statistics, pages 249–258. PMLR, 2016. 6

[^43]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3d hands, face, and body from a single image. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10975–10985, 2019. 1, 2, 3, 4

[^44]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 2, 3, 4, 5, 6

[^45]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12242–12254, 2025. 2

[^46]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. 2

[^47]: Franco Ronchetti, Facundo Manuel Quiroga, César Estrebou, Laura Lanzarini, and Alejandro Rosete. Lsa64: an argentinian sign language dataset. arXiv preprint arXiv:2310.17429, 2023. 1

[^48]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: A monocular 3d whole-body pose estimation system via regression and integration. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1749–1759, 2021. 6

[^49]: Benjamin Sapp, Alexander Toshev, and Ben Taskar. Cascaded models for articulated pose estimation. In Computer Vision–ECCV 2010: 11th European Conference on Computer Vision, Heraklion, Crete, Greece, September 5-11, 2010, Proceedings, Part II 11, pages 406–420. Springer, 2010. 2

[^50]: Ben Saunders, Necati Cihan Camgoz, and Richard Bowden. Progressive transformers for end-to-end sign language production. In European Conference on Computer Vision, pages 687–705. Springer, 2020. 1

[^51]: Ben Saunders, Necati Cihan Camgoz, and Richard Bowden. Mixed signals: Sign language production via a mixture of motion primitives. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1919–1929, 2021. 1

[^52]: Ozge Mercanoglu Sincan and Hacer Yalim Keles. Autsl: A large scale multi-modal turkish sign language dataset and baseline methods. IEEE access, 8:181340–181355, 2020.

[^53]: Qingping Sun, Yanjun Wang, Ailing Zeng, Wanqi Yin, Chen Wei, Wenjia Wang, Haiyi Mei, Chi-Sing Leung, Ziwei Liu, Lei Yang, et al. Aios: All-in-one-stage expressive human pose and shape estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1834–1843, 2024. 2

## [^54]: Zhenhua Tang, Zhaofan Qiu, Yanbin Hao, Richang Hong, and Ting Yao. 3d human pose estimation with spatiotemporal criss-cross attention. In Proceedings of the

---

IEEE/CVF计算机视觉与模式识别会议，第4790–4799页，2023年。2

[^55]: Fang Wang and Yi Li. Beyond physical connections: Tree models in human pose estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 596–603, 2013. 2

[^56]: Yang Wang and Greg Mori. Multiple tree models for occlusion and spatial constraints in human pose estimation. In Computer Vision–ECCV 2008: 10th European Conference on Computer Vision, Marseille, France, October 12-18, 2008, Proceedings, Part III 10, pages 710–724. Springer, 2008. 2

[^57]: Sherman Wilcox and Rocío Martínez. The conceptualization of space: Places in signed language discourse. Frontiers in Psychology, 11:1406, 2020. 3, 4, 6

[^58]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. Advances in Neural Information Processing Systems, 35:38571–38584, 2022. 2, 3

[^59]: Yufei Xu, Jing Zhang, Qiming Zhang, and Dacheng Tao. Vitpose: Simple vision transformer baselines for human pose estimation. Advances in neural information processing systems, 35:38571–38584, 2022. 2

[^60]: Zhendong Yang, Ailing Zeng, Chun Yuan, and Yu Li. Effective whole-body pose estimation with two-stages distillation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 4210–4220, 2023. 3, 5

[^61]: Zhengdi Yu, Shaoli Huang, Chen Fang, Toby P Breckon, and Jue Wang. Acr: Attention collaboration-based regressor for arbitrary two-hand reconstruction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12955–12964, 2023. 2

[^62]: Zhengdi Yu, Shaoli Huang, Yongkang Cheng, and Tolga Birdal. Signavatars: A large-scale 3d sign language holistic motion dataset and benchmark. In European Conference on Computer Vision, pages 1–19. Springer, 2024. 2, 3

[^63]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, and Yebin Liu. Pymaf-x: Towards well-aligned full-body model regression from monocular images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 45(10):12287–12303, 2023. 6, 7

[^64]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. Hawor: World-space hand motion reconstruction from egocentric videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 1805–1815, 2025. 2

[^65]: Yufei Zhang, Jeffrey O Kephart, and Qiang Ji. Weakly-supervised 3d hand reconstruction with knowledge prior and uncertainty guidance. In European Conference on Computer Vision, pages 106–125. Springer, 2024. 4

[^66]: Wentao Zhu, Xiaoxuan Ma, Zhaoyang Liu, Libin Liu, Wayne Wu, and Yizhou Wang. Motionbert: A unified perspective on learning human motion representations. In Proceedings of the IEEE/CVF international conference on computer vision, pages 15085–15099, 2023. 2