# UST-Hand：一种用于3D自监督手部姿态估计的不确定性感知时空点云交互网络 韩天浩 $^{1}$、张浩阳 $^{5,6}$、谢亮 $^{5,6}$、常浩辰 $^{3}$、高坤 $^{4}$、程远 $^{1}$、任鹏飞 $^{2,*}$、尹二伟 $^{1,5,6*}$ $^{1}$上海交通大学计算机科学与技术学院， $^{2}$北京邮电大学，$^{3}$中山大学， $^{4}$北京大学，$^{5}$军事科学院国防创新研究院 $^{6}$天津人工智能创新中心 ; ; ## 摘要 手动标注精确的3D手部姿态极其耗时且费力。现有的自监督手部姿态估计方法利用输入图像与渲染输出之间的差异，或多视图一致性约束作为驱动网络优化、逐步提升姿态精度的动力。然而，这些方法极易受噪声伪标签的影响，且忽视了充分利用细粒度空间相关性的重要性，这削弱了模型训练的稳定性。为解决这些问题，我们提出了UST-Hand——一种自监督学习框架，该框架能够估计手部姿态的不确定性分布，并构建概率点云特征空间，从而实现复杂的时空关系建模。UST-Hand采用条件归一化流模型来捕捉手部姿态分布并采样多种假设，以便在噪声伪标签监督下实现更稳健的学习，同时提升稳定性。这些多假设被映射到统一的概率3D点云空间中，用于进行多视图和时间特征交互，全面探索手部运动模式和细粒度空间相关性。在三个具有挑战性的数据集上的大量实验表明，UST-Hand取得了最先进的性能，在平均顶点位置误差（MPVPE）指标上比现有自监督方法高出多达37.8%。 ### 1. 引言 从图像中重建3D手部是众多人机交互应用中的基础任务，例如虚拟和增强现实（AR/VR）、动作与手势识别 [^5]，以及机器人操控 [^1] [^13] [^58]。近年来，已经出现了各种基于深度的方法 [^29] [^44] [^45] [^48] 和基于RGB的方法 [^7] [^18] [^41] [^42] [^49] [^50] [^57] [^67] 用于3D手部姿态估计。然而，这些方法的发展主要依赖于带有精确3D标注的大规模数据集，而获取这类数据集通常成本高昂且耗时费力。这种标注瓶颈严重限制了模型的可扩展性，也阻碍了它们在各类真实场景中的应用。 为了减少对昂贵的3D标注数据的依赖，近期研究开始探索自监督学习范式。例如，开创性的方法S $^{2}$Hand [^12]尝试利用现成的2D关节检测器生成的含噪伪标签来指导手部重建，通过输入图像与渲染结果之间的差异来驱动网络优化。基于这一范式，HaMuCo [^68]引入了跨视角特征交互以及2D视觉空间内的协同学习机制，从而逐步提升估计精度。 然而，来自2D姿态估计器的伪标签本身含有大量噪声，若不加区分地将其用于监督，会导致网络训练不稳定。此外，现有方法未能充分利用细粒度的空间相关性与时间动态特性，因而无法充分捕捉复杂的3D空间关系与手部运动。为解决噪声问题，我们旨在保留单视角估计中固有的不确定性。通过构建一个能够捕捉复杂时空关系的连续共享3D空间，我们可以利用多视角与时间线索来有效消除姿态歧义。与现有的确定性方法相比，这种策略能更有效地保留3D信息，避免受噪声干扰的2D伪标签带来的影响。 --- 这些标签能够促进不同姿态假设在统一概率特征空间内的稳健交互。 为此，我们提出了UST-Hand——一种面向同步且校准的多视角视频序列的3D手部姿态估计的不确定性感知时空点云交互网络。与以往直接使用确定性伪标签的方法不同，UST-Hand能够有效估计不确定性分布，并构建概率点云空间以全面建模手部运动。具体而言，UST-Hand采用条件归一化流来建模手部关节的分布，并为每个视角生成多种假设样本。这种概率化表述明确保留了不确定性信息，使网络能够学习到更稳健的表征，同时通过防止噪声视觉证据主导学习过程来显著提升训练稳定性。随后，UST-Hand将这些多视角2D假设映射到统一的概率3D点云空间中，以实现多视角与时间特征融合。此外，我们设计了时空点变换器（STPT）作为动态交互模块，用以全面捕捉复杂3D手部结构与连续运动轨迹中固有的细粒度空间相关性与时间动态特性。它利用邻域交互与迭代优化来逐步提升手部姿态估计效果。通过整合这种不确定性感知的时空消歧线索，UST-Hand能够实现高质量的3D手部重建，即便在伪标签噪声极大的情况下仍表现出卓越的鲁棒性。 我们在三个具有挑战性的多视角手部姿态估计数据集——HanCo [^70]、DexYCB [^6]和OakInk [^62]上进行的实验表明，UST-Hand在平均顶点位置误差（MPVPE）指标上比现有自监督方法高出多达37.8%。值得注意的是，即便在高度噪声的伪标签监督下，我们的方法仍能实现全面的性能提升。更令人印象深刻的是，即使利用最先进的监督式模型生成的伪标签，该方法仍能获得显著更高的估计精度。总之，我们的贡献如下： - 我们提出了UST-Hand，这是一种自监督学习框架，它利用条件归一化流来建模手部姿态的不确定性分布，并采样出多样化的假设。这使得在含噪声的伪标签监督下仍能实现稳健的学习，同时显著提升了训练稳定性。 - 我们引入了一种用于多视角和时间交互的统一概率性3D点云特征空间，并设计了时空点变换器（STPT）。该变换器借助邻域交互和迭代优化机制，能够全面挖掘细粒度的空间相关性和手部运动模式。 - 在三个具有挑战性的基准测试上的大量实验表明，与现有的自监督方法相比，UST-Hand取得了最先进的性能。 ### 2. 相关工作 有限监督下的3D手部姿态估计。虽然借助大规模数据集，全监督的3D手部姿态估计技术已经取得显著进展[^6] [^19] [^25] [^26] [^33] [^39] [^60] [^62] [^69] [^70]，但获取精确的3D标注数据仍然成本高昂。因此，近期的研究方向已转向有限监督范式[^4] [^8] [^10] [^12] [^46] [^47] [^51] [^55] [^56] [^59] [^61] [^65] [^68]，利用合成数据[^10] [^59] [^61]、深度正则化器[^4]或生物力学约束[^55]。 值得注意的是，像S²Hand[^12]和HaMuCo[^68]这样的自监督方法会利用现成检测器生成的2D伪标签，其中后者还引入了多视角一致性机制。然而，这些确定性方法极易受到固有伪标签噪声的影响，且未能充分利用细粒度的时空相关性。UST-Hand通过建模姿态不确定性分布并建立概率性3D点云空间以实现稳健的时空交互，解决了这些关键瓶颈。 多假设姿态估计。由于姿态估计中的2D到3D映射过程存在固有的歧义性，一些研究采用了生成多个假设的策略[2, 3, 9, 14, 17, 22, 31, 32, 34-38, 40, 53, 54, 64]。早期的方法依赖于随机采样[^53]、多个回归头[^2]或变分自编码器[^34] [^64]。 近年来，归一化流已成为学习复杂且模糊的姿态分布的有力工具[^9] [^14] [^17] [^35]。尽管Ge等人的方法[^22]是在离散阶段对估计分布进行细化，但我们的方法独特地采用条件归一化流来采样出多样化的特定视角假设。随后，我们将这些假设映射到统一的概率性点云空间中，即便在含噪声的伪标签监督下，也能实现稳定且有效的时空歧义消除。 点云处理。作为一种紧凑的空间表示方法，点云能够保留三维空间结构，同时避免冗余存储。Qi等人率先将深度学习应用于点云处理，提出了PointNet [^43]，为后续的局部卷积算子的发展铺平了道路。最近，Point Transformer [^66]利用向量注意力机制来处理局部邻域点，而Point Cloud Transformer [^24]则提出了一种邻域嵌入策略。 在三维手部姿态估计领域，基于点的网络已被用于逐点回归 [^20] [^21]、规范对齐 [^11] [^15]以及多视角视锥相交（例如POEM [^63]）。与这些确定性表示不同，我们的工作明确构建了一个概率性的三维点云空间。此外，我们设计了时空点变换器（STPT），它能够迭代地整合分布不确定性，从而全面捕捉细粒度的空间相关性和时间动态。 --- ![Image](images/79b287b777476474098b4ce1d9a6eccadb192337a1eb7425153936f58c2ad8f9.jpg)
Figure 1. Overview of the UST-Hand framework. The reconstruction consists of two stages: (1) generating confidence-aware 2D features and sampling multi-view hypotheses via conditional normalizing flow (NF) to model uncertainty, and (2) lifting them into a unified probabilistic 3D point cloud space to explore spatiotemporal correlations via a Spatiotemporal Point Transformer (STPT).
细粒度的空间相关性和时间动态。 ### 3. 方法 UST-Hand是一种自监督框架，它通过显式建模不确定性分布并利用噪声伪标签监督下的时空相关性，来实现准确且鲁棒的三维手部姿态估计。UST-Hand的概览如图1所示。为了有效分离二维检测中固有的噪声与三维提升过程，我们的框架分为两个协同工作的阶段：概率性二维多假设生成和三维点云时空交互。假设有一组经过校准的多视角图像序列 $\mathcal{I} = \{I_{v,t}\}_{v=1,t=1}^{V,T}$，它们来自T帧中的V个视角，UST-Hand的目标是重建三维手部关节 $\mathcal{J}^{\mathrm{3D}} \in \mathbb{R}^{k \times 3}$ 和顶点 $\mathcal{V}^{\mathrm{3D}} \in \mathbb{R}^{m \times 3}$，分别对应 $k = 21$ 和 $m = 778$。监督信号完全依赖于现成的手部姿态检测器生成的二维伪标签 $\mathcal{J}_{\mathrm{pse}}^{\mathrm{2D}} \in \mathbb{R}^{k \times 2}$，因此我们的不确定性感知公式化表述对于防止确定性坍塌并确保模型训练过程中的稳定收敛至关重要。 #### 3.1. 基于热图的手部关节估计 每个步骤中都对应编码阶段产生的分层特征。将分辨率恢复至原始输入尺寸的1/8后，一个 $1 \times 1$ 卷积层会将多尺度特征图 $\mathbf{F}_{\mathrm{ms}}$ 转换为二维概率热图。输出的热图 $\mathbf{H}$ 编码了每个关节的空间概率分布 $\mathbf{p}_i \in \mathcal{J}_{\mathrm{hm}}^{\mathrm{2D}}$。我们通过以下方式计算关节位置及对应的置信度： 为了从多视角输入中提取全面的视觉表征，我们采用了基于残差结构的预训练卷积神经网络（CNN）骨干网。分层特征学习通过堆叠的残差块实现，从而产生多级特征图 $\mathcal{F} = \{\mathbf{F}_i\}_{i=1}^4$。每个残差块会逐步将空间维度减半，同时增加通道维度，以捕捉抽象的语义信息。我们采用级联上采样模块以自下而上的方式将深层特征恢复为更高的空间分辨率，并将其融合。 $$ \mathbf{p}_{i}=\sum_{h_{u}}\sum_{h_{v}}(h_{u},h_{v})\cdot\tilde{\mathbf{H}}_{i}(h_{u},h_{v}), $$ $$ conf_{i}=\max(\mathbf{H}_{i}), $$ 其中 $h_u, h_v$ 表示 $\mathbf{H}_i$ 的水平和垂直坐标，$\tilde{\mathbf{H}}$ 是归一化的热图，确保所有值之和为1。关节置信度 $\mathbf{c} = \{\text{conf}_i\}_{i=1}^k$ 作为衡量伪标签质量的关键指标，用于指导后续的逐关节特征融合、多视角三角测量以及训练损失加权。 #### 3.2. 基于置信度的特征交互 为了减轻噪声伪标签带来的负面影响，我们设计了一种基于置信度的机制，能够自适应地将可靠性信息融入跨视图特征交互中。我们首先通过两个互补的组件来构建多视图联合特征：（1）从高分辨率特征图$\mathbf{G}_{\text{pose}} \in \mathbb{R}^{V \times k \times D_p}$中提取的空间感知联合特征$\mathbf{F}_4$，该特征借助SAIGB [^67]为所有视图提供结构引导；（2）通过对$\mathbf{G}_{\text{jaf}} \in \mathbb{R}^{V \times k \times D_a}$和$\mathcal{J}_{\text{hm}}^{2\text{D}}$进行双线性插值（BLI）得到的联合对齐局部特征$\mathbf{F}_{\text{ms}}$。最终，通过特征拼接形成初始图： $$ {\bf G}_{\mathrm{i n i t}}=\left[{\bf G}_{\mathrm{p o s e}}\parallel{\bf G}_{\mathrm{j a f}}\right]\in\mathbb{R}^{V\times k\times D},\quad D=D_{p}+D_{a}. $$ 为了显式地引入不确定性感知能力，我们提出了一种基于置信度的自注意力（CASA）机制。 --- 具体来说，我们通过将初始图与联合置信度拼接起来得到$\tilde{\mathbf{G}} = [\mathbf{G}_{\text{init}} \parallel \mathbf{c}]$，随后计算自注意力如下： $$ \mathbf{Q}=W_{q}\tilde{\mathbf{G}},\quad\mathbf{K}=W_{k}\tilde{\mathbf{G}},\quad\mathbf{V}=W_{v}\tilde{\mathbf{G}}, $$ $$ Attn=softmax\left(\frac{\mathbf{Q}\mathbf{K}^{\top}}{\sqrt{d}}\right)\mathbf{V}. $$ 通过将置信度嵌入到Q/K/V中，与低质量伪标签相关的标记会自然产生较小的查询/键数值以及较低的相互亲和力，从而抑制它们的影响。经过交替的自适应GCN层和CASA层处理后，$\tilde{G}$会演化为一个鲁棒的跨视图交互图$\tilde{G}'$。最后，通过MLP得到融合特征$F_{fuse}$，作为全面的二维视觉表征。 #### 3.3. 基于不确定性的多假设生成 与以往依赖确定性伪标签的方法不同，UST-Hand显式地对手部姿态的不确定性分布进行建模，以生成多样化的假设。我们采用条件归一化流模型RealNVP [^16]，它学习潜变量先验$\mathbf{z} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$与二维关节位置$\mathbf{x}$之间的双射映射，该映射以跨视图特征$\mathbf{F}_{\text{fuse}}$为条件： $$ \mathbf{x}=f_{\theta}(\mathbf{z};\mathbf{F}_{\mathrm{f u s e}}),\quad\mathbf{z}=f_{\theta}^{-1}(\mathbf{x};\mathbf{F}_{\mathrm{f u s e}}), $$ 其中$f_{\theta}$表示由$\theta$参数化的可逆变换。条件分布为： $$ \hat{p}(\mathbf{x}|\mathbf{F}_{\mathrm{f u s e}})=p(\mathbf{z})\left|\operatorname*{d e t}\frac{\partial f_{\theta}(\mathbf{z},\mathbf{F}_{\mathrm{f u s e}})}{\partial\mathbf{z}}\right|^{-1}. $$ 训练期间，我们利用逆变换$f_{\theta}^{-1}$将伪标签映射到潜空间，并最大化对数似然$\log \hat{p}(\mathbf{x}_{\text{pse}}|\mathbf{F}_{\text{fuse}})$。推理时，我们从先验分布中采样M个实例$\mathbf{z}_r$，并从均值中选取一个关键实例$\mathbf{z}_0$，通过$M + 1$生成$\{\mathbf{x}_0; \mathbf{x}_r\}$个假设$f_{\theta}$。从概念上讲，归一化流并非采用传统的几何约束（如RANSAC），而是为每个视图预测一个平滑且连续的可靠性分布。这种概率化表述确保了部分被遮挡的视图虽权重降低但仍能发挥作用，同时不可靠的信号会被有效抑制。这显著避免了噪声证据主导后续的基于注意力的聚合过程，从而大幅提升了训练稳定性。 #### 3.4. 统一的概率化三维点云空间 为了便于进行全面的时空推理，我们构建了一个统一的概率性三维点云空间，用以聚合多视角信息。我们对采样得到的多假设关键点$\{\mathbf{x}_0; \mathbf{x}_r\}$执行置信度加权的直接线性变换（DLT）三角测量，从而生成世界坐标系下的三维点云$\mathcal{P} = \{P_A; P_Q\}$。其中，锚点云$P_A$源自随机样本$\mathbf{x}_r$，其被固定下来以保留分布不确定性；而查询点云$P_Q$则源自众数$\mathbf{x}_0$，作为细化目标，能够动态聚合来自$P_A$的信息。 为了将视觉上下文嵌入到这一几何空间中，我们利用二维空间正弦位置编码来增强多尺度特征图$\mathbf{F}_{\text{ms}}$，进而提升多视角感知能力： $$ \mathbf{F}_{\mathrm{m s}}=\mathbf{F}_{\mathrm{m s}}+\mathbf{F}_{\mathrm{P E}}. $$ 我们利用相机参数将每个三维点投影到所有视角的图像坐标$(u_p, v_p)$上，并通过BLI提取视觉特征$\{\mathbf{F}_i\}_{i=1}^V$。这些多视角特征会通过瓶颈网络融合，生成逐点特征$\mathbf{F}_p$。由此便构建出了一个同时表征几何信息与视觉线索的统一概率性三维点云空间，从而实现有效的时空交互。 #### 3.5. 用于迭代细化的时空点变换器 我们将锚点云表示为$P_{\mathrm{A}} = (\mathbf{C}_{\mathrm{A}}, \mathbf{F}_{\mathrm{A}})$，查询点云表示为$P_{\mathrm{Q}} = (\mathbf{C}_{\mathrm{Q}}, \mathbf{F}_{\mathrm{Q}})$，其中$\mathbf{C}$和$\mathbf{F}$分别表示坐标与特征。为了全面探索细粒度的空间相关性与时间运动模式，我们设计了STPT，通过双阶段注意力机制对$P_{\mathrm{Q}}$进行迭代细化。 时空自注意力机制。我们的双阶段注意力机制处理形状为$(B \times T, J, D)$的查询序列，其中B、T和J分别代表批量大小、时间窗口大小以及关节数量。我们首先通过邻域感知的空间注意力来建模帧内几何关系。对于每个查询点i，我们会检索其k个最近邻并计算： $$ \mathbf{F}_{\mathrm{Q}}^{s}=\mathrm{S p a t i a l A t t n}(\mathbf{C}_{\mathrm{Q},i}-\mathbf{C}_{\mathrm{Q},j}), $$ 其中，相对位置编码$\delta_s = \theta(\mathbf{C}_{Q,i} - \mathbf{C}_{Q,j})$编码了点i与其邻域j之间的几何上下文，从而捕捉局部结构依赖关系。 在空间注意力之后，特征会被重塑为$(B, T, J, D)$以便于进行时间建模。我们注入可学习的逐帧位置嵌入，并沿时间轴对每个手部关节应用时间自注意力，以此捕捉时间序列中的手部运动模式： $$ \mathbf{F}_{\mathrm{Q}}^{s t}=\mathrm{T e m p o r a l A t t n}(\mathbf{F}_{\mathrm{Q}}^{s}). $$ 交叉注意力与迭代位置细化。我们建立具有时间感知能力的查询特征$\mathbf{F}_{Q}^{st}$与锚点云$P_{A}$之间的跨集合对应关系，以便 --- 利用分布不确定性： $$ \begin{array}{r}{\tilde{\mathbf{F}}_{\mathrm{Q},i}=\mathrm{C r o s s A t t n}(\mathbf{F}_{\mathrm{Q},i}^{s t},\{\mathbf{F}_{\mathrm{A},j}\}_{j\in\mathcal{X}_{i}}),}\end{array} $$ 其中，CrossAttn表示带有位置编码$\delta = \theta(\mathbf{C}_{Q,i} - \mathbf{C}_{A,j})$的交叉注意力操作，作用于k个最近邻$\mathcal{X}_i$上。细化过程可表述为： $$ \tilde{\mathbf{C}}_{\mathbf{Q},i}=\mathbf{C}_{\mathbf{Q},i}+\mathrm{F F N}(\tilde{\mathbf{F}}_{\mathbf{Q},i}). $$ 经过K次细化迭代，STPT通过整合空间邻域信息、时间运动线索以及锚点云中的分布不确定性，逐步提升姿态估计精度。 参数化输出。完成K次迭代优化后，我们便能得到最终的查询表示$\tilde{\mathbf{F}}_Q$以及优化后的坐标$\tilde{\mathbf{C}}_Q$。我们利用MANO模型[^52]，根据优化后的关节位置生成显式的3D手部网格$\mathcal{V}^{3D}$，从而得到最终的姿态估计结果。 #### 3.6. 损失函数 在训练阶段，我们严格采用离线检测器预测的2D关节位置作为伪标签。 我们采用自定义的均方误差（MSE）损失函数来约束预测热图$\mathcal{H}_{\text{pred}}$，公式如下： $$ \mathcal{L}_{\mathrm{h m a p}}=\frac{1}{k}\sum_{i=1}^{k}(\mathcal{H}_{\mathrm{p r e d},i}-\mathcal{H}_{\mathrm{p s e},i})^{2}, $$ 其中，伪标签热图$\mathcal{H}_{\mathrm{pse},i}$是通过$\mathcal{J}_{\mathrm{pse},i}^{\mathrm{2D}}$经二维高斯函数变换得到的，相关参数为$\sigma = 2$。 我们进一步对从预测热图中解码出的2D关节位置进行约束，公式如下： $$ \mathcal{L}_{\mathrm{h m2d}}=\frac{1}{k}\sum_{i=1}^{k}\left(\mathcal{J}_{\mathrm{h m},i}^{\mathrm{2D}}-\mathcal{J}_{\mathrm{p s e},i}^{\mathrm{2D}}\right)^{2}. $$ 我们利用负对数似然损失来控制多假设采样的不确定性分布： $$ \mathcal{L}_{n l l}=-\log\hat{p}(\mathbf{x}|\mathbf{F}_{\mathrm{f u s e}}). $$ 对于优化后的查询点$\mathcal{J}_{\text{query}}^{\text{3D}}$和最终手部关节$\mathcal{J}_{\text{mano}}^{3\text{D}}$，我们将它们投影到每个视角的像素空间，得到对应的2D位置$\mathcal{J}_{\text{query}}^{\text{2D}}$和$\mathcal{J}_{\text{mano}}^{\text{2D}}$。随后，我们利用2D伪标签通过$L_2$距离损失对其进行约束： $$ \begin{aligned}\mathcal{L}_{proj2d}=\frac{1}{N}\sum_{j=1}^{N}\Bigg(&\frac{1}{k}\sum_{i=1}^{k}\mathbf{conf}_{i}\left\|\mathcal{J}_{query,i}^{2\mathrm{D}}-\mathcal{J}_{pse,i}^{2\mathrm{D}}\right\|_{2}^{2}\Bigg)\\+\frac{1}{k}\sum_{i=1}^{k}\mathbf{conf}_{i}&\left\|\mathcal{J}_{mano,i}^{2\mathrm{D}}-\mathcal{J}_{pse,i}^{2\mathrm{D}}\right\|_{2}^{2}.\end{aligned} $$ 最终的损失函数可表示为： $$ \mathcal{L}=\lambda_{0}\mathcal{L}_{\mathrm{h m a p}}+\lambda_{1}\mathcal{L}_{\mathrm{h m2d}}+\lambda_{2}\mathcal{L}_{n l l}+\lambda_{3}\mathcal{L}_{\mathrm{p r o j2d}}, $$ 其中$\lambda_{0},\lambda_{1},\lambda_{2},\lambda_{3}$是用于平衡各损失项权重的超参数。具体而言，我们设定$\lambda_{0}=0.001,\lambda_{1}=10,\lambda_{2}=0.1$、$\lambda_{3}=10$。 ### 4. 实验 #### 4.1. 数据集与评估指标 HanCo。HanCo数据集[^70]由8台同步摄像机以5Hz的频率采集多视角手部图像序列，为无监督学习提供了重要的时空一致性数据支持。该数据集包含107,538个时间实例，共计860,304张RGB图像。 DexYCB-MV。DexYCB数据集[^6]记录了来自8个视角的手-物体交互图像。我们采用官方的'S0'划分方式，仅保留右手相关的样本。通过将每个时间实例下的同步多视角图像聚合，我们构建了DexYCB-MV数据集，其中包含25,387个训练样本、1,412个验证样本以及4,951个测试多视角样本。 OakInk-MV。OakInk数据集[^62]包含来自4摄像机设置的23万张图像。按照官方的'SP2'协议，我们通过同步所有视角的图像来构建OakInk-MV数据集。对于涉及两只手的图像序列（约占25%），我们对手部单独进行处理。该数据集共包含58,692个多视角训练样本和19,909个测试样本。 评估指标。我们采用平均关节位置误差（MPJPE）和平均顶点位置误差（MPVPE），以及它们的Procrustes对齐变体（PAJ/PA-V）[^23]来评估模型性能。我们还报告了5毫米和15毫米阈值下的F分数[^12]，以及在0到50毫米范围内均匀分布的100个阈值下正确关键点百分比（PCK）的曲线下面积（AUC）。 #### 4.2. 实现细节 该实现基于PyTorch，在两块24G NVIDIA RTX 4090 GPU上运行。训练共进行30个epoch，批量大小为8。模型参数通过Adam算法优化，初始学习率为$3 \times 10^{-4}$，在第20个epoch时学习率降低十倍。在所有多视角实验设置中，ResNet34 [^27]均作为骨干网络，其参数初始化自ImageNet预训练权重。对于时序处理，我们构建长度为5、步长为1的滑动窗口，该窗口以视频序列中的每一帧为中心。对于缺乏足够上下文信息的帧（位于序列边界处），我们通过复制最近的可用帧来进行复制填充。在应用时序自注意力机制之前，时序轴和批次轴会被合并；而在注意力计算过程中，它们又会重新分离，从而有效建模手部运动动态。训练期间，我们采用常规的数据增强手段。 ---
Table 1. Quantitative results on three multi-view datasets, HanCo, DexYCB-MV, OakInk-MV. The AUC-V and AUC-J are computed on MPVPE and MPJPE respectively, with the thresholds setting to 0-50 mm for all three datasets.
MethodsHand verticesHand joints
MPVPE $\downarrow$PA-V $\downarrow$AUC-V $\uparrow$F@5 $\uparrow$F@15 $\uparrow$MPJPE $\downarrow$PA-J $\downarrow$AUC-J $\uparrow$
HanCo\n(8 views)1UST-Hand5.824.130.8840.7490.9995.193.500.897
2HaMuCo [^68]9.355.380.8130.5810.9748.734.770.826
3Wilor [^42]12.705.490.7460.4320.93711.805.950.765
4UST-Hand w/o hmap.6.424.330.8720.7160.9985.803.690.884
5UST-Hand w/o proj.6.144.250.8770.7160.9985.643.800.887
6UST-Hand w/o STPT.6.054.230.8790.7120.9985.533.660.890
DexYCB-MV\n(8 views)7UST-Hand8.164.810.8370.6090.9827.845.310.843
8HaMuCo [^68]9.545.320.8100.5390.9639.255.710.816
9Wilor [^42]10.835.880.7870.5240.93610.526.080.793
10UST-Hand w/o hmap.8.945.430.8250.5540.9738.765.900.825
11UST-Hand w/o proj.8.705.150.8260.5740.9798.405.590.832
12UST-Hand w/o STPT.8.785.170.8250.5710.9768.465.690.831
OakInk-MV\n(4 views)13UST-Hand10.025.720.8000.5110.9828.705.580.827
14HaMuCo [^68]13.047.120.7510.4330.93712.036.900.770
15Wilor [^42]15.667.370.7070.4290.88715.087.490.718
16UST-Hand w/o hmap.11.756.180.7780.4870.97710.085.990.803
17UST-Hand w/o proj.10.415.770.7930.5010.9819.085.690.820
18UST-Hand w/o STPT.10.775.860.7890.4900.9809.015.740.818
数据增强包括随机中心偏移（范围在$\pm5\%$内）、缩放（$\pm6\%$）、颜色抖动（$\pm30\%$）以及旋转（$\pm10^{\circ}$）。为确保时间上的一致性，同一视频序列内的所有帧会接受相同的增强处理。 #### 4.3. 定量评估 如表1所示，我们的UST-Hand方法（第1、7、13行）在相同的多视角设置下，于全部三个数据集上均取得了最先进的性能。与先前最先进的自监督方法HaMuCo [^68]（第2、8、14行）相比，UST-Hand在HanCo数据集上将MPVPE降低了37.8%（从9.35mm降至5.82mm），在DexYCB-MV数据集上降低了14.5%（从9.54mm降至8.16mm），在OakInk-MV数据集上则降低了23.2%（从13.04mm降至10.02mm）。在MPJPE及其他评估指标上也能观察到类似的显著提升，AUC-V分别提高了16.2%、3.3%和6.5%。据我们所知，HaMuCo是另一种利用多视角数据进行自监督手部姿态估计的方法。 我们进一步将其与Wilor [^42]（第3、9、15行）进行比较，这是一种用于生成伪标签的最先进的离线单目手部姿态检测器。选择Wilor有两个主要原因：首先，其出色的遮挡处理能力使其成为性能评估的严格基准；其次，作为一种能够生成3D手部网格的高级方法，它为评估3D重建质量提供了直接且有意义的参考。实验结果表明，我们的方法在3D姿态估计方面显著优于Wilor，这证明了我们的网络架构和训练策略的有效性。 #### 4.4. 消融研究 为了验证各组件的贡献，我们在全部三个数据集上开展了全面的消融研究，结果呈现在表1的第4–6行、第10–12行以及第16–18行。更多细节请参阅补充材料。 热图模块。我们在第一阶段生成的热图为2D视觉特征交互提供了重要的坐标先验，同时还能产生反映伪标签可靠性的关节置信度分数。这些置信度分数在整个网络中指导特征交互、代数三角测量以及损失加权过程。若移除热图（第4、10、16行）并将所有置信度设为1，则在三个数据集上MPVPE分别增加了10.3%、9.6%和17.3%，这一结果证实了基于置信度加权的初始化对于处理含噪伪标签至关重要。 投影融合模块。该组件通过将检索到的二维特征融合到三维视觉感知中，从而将三维概率点云与二维视觉观测连接起来。若移除该模块（第5、11、17行），仅简单拼接二维特征，会导致MPVPE分别下降5.5%、6.6%和3.9%，这凸显了为精准的姿态优化而明确建立几何-视觉对应关系的重要性。 STPT模块。作为我们第二阶段的关键组件， STPT在点云上执行信息交互 ---
Table 2. Quantitative results (mm) on the HanCo dataset.
ViewMethodMPJPE $\downarrow$PA-J $\downarrow$
2HaMuCo10.145.92
UST-Hand_t17.184.84
4HaMuCo9.605.53
UST-Hand_t16.013.93
6HaMuCo8.925.11
UST-Hand_t15.673.67
8HaMuCo8.734.77
UST-Hand_t15.383.55
Table 3. Multi-view inference results under the supervision of 2D pseudo-labels of varying quality on the HanCo dataset.
MethodMPJPE $\downarrow$PA-J $\downarrow$
Self-Supervised (OpenPose Pseudo-labels):
EpipolarTrans [^28]11.29.0
LT-Algebraic [^30]10.37.8
LT-Volumetric [^30]10.68.0
HaMuCo [^68]8.85.3
UST-Hand7.55.0
Self-Supervised (Wilor Pseudo-labels ):
EpipolarTrans [^28]9.37.9
LT-Algebraic [^30]8.55.7
LT-Volumetric [^30]8.45.8
HaMuCo [^68]8.74.6
UST-Hand5.23.5
Fully-Supervised (2D Ground-truth)
EpipolarTrans [^28]6.24.2
LT-Algebraic [^30]5.53.6
LT-Volumetric [^30]5.83.6
HaMuCo [^68]6.03.2
UST-Hand3.72.4
以通过探索多视角和多帧间的复杂时空关系来持续优化手部姿态特征。若没有STPT（第6、12、18行），直接根据查询特征估计MANO参数会导致MPVPE分别增加4.0%、7.6%和7.5%。这证明了通过时空交互在统一空间中显式推理手部姿态的重要性。 稀疏视图鲁棒性。为了评估在摄像头配置有限情况下的性能，我们在HanCo数据集上，使用Wilor伪标签，将HaMuCo与我们提出的单帧变体（UST-Hand_t1）在不同视图密度下进行比较。如表2所示，UST-Hand_t1在每种视图配置下均能达到最先进的精度。值得注意的是，即便不依赖时间线索，我们的方法 ![Image](images/9471902ba0369fbb666de05fe81782fe7f59084c03540e751c1cf9dac2f7bb2c.jpg) ![Image](images/bfadeaccc2a534841fa7d124e5c14b66e6c85c103f46e3b813b1e717a552c6fd.jpg)
Figure 2. The relationship between confidence and joints error.
![Image](images/efb9437c2e41743ba8e22fe987bc2fd1a2e37aa66072ed44e10e709a7bd10ddd.jpg)
(a) HanCo
![Image](images/b4624c421d55d07da2bc8483fea30e72b1f422cdf147d0e70e014a38f16d6458.jpg)
(b) DexYCB-MV
Figure 3. Average 2D pixel error under different view settings.
![Image](images/a86fd5a1b3bb5fbb6c00e8de6b0f6d7ed0806d99736f192f2ce2e44fbdd7be3e.jpg)
Figure 4. visualization of 2D joint predictions (overlaid on the images) among the ground-truth (GT), offline hand pose detectors (Wilor and OpenPose), the compared method HaMuCo, and UST-Hand on the HanCo dataset. Regions with significant prediction errors are highlighted with red circles.
在标准8视图设置下也显著优于HaMuCo，且在高度稀疏的场景中仍保持明显优势（在2、4、6和8视图下，MPJPE分别改善了2.96、3.59、3.25和3.35毫米）。虽然视图数量越少会不可避免地增加几何歧义性，但我们基于不确定性的建模能够有效避免确定性崩溃，展现出在多种多视图设置下的卓越鲁棒性和泛化能力。 #### 4.5. 对伪标签质量的鲁棒性 为了评估在不同伪标签质量下的鲁棒性，我们在HanCo数据集上针对三种监督设置开展了实验，如表3所示。我们将其与EpipolarTrans [^28]、可学习三角测量（LT）[^30]以及HaMuCo [^68]进行了比较，其中EpipolarTrans和LT是从全监督多视图人体姿态估计适配到自监督场景的。 --- ![Image](images/606b2eaa51a3329f722d3d684e4b934dbb9bef78cf851b86a514be1ede771a8a.jpg)
Figure 5. The 3D mesh visualization (overlaid in the images) between ground-truth, Wilor, and UST-Hand on (a) HanCo, (b) DexYCB-MV, and (c) OakInk-MV datasets. The regions with significant prediction errors have been circled in red.
与HaMuCo这类容易过拟合于伪标签噪声的确定性方法不同，我们基于不确定性的建模能够有效去除二维伪标签中的噪声。即便使用缺乏手部模型约束且误差较大的低质量OpenPose检测结果，UST-Hand仍能达到7.5毫米的MPJPE，性能比HaMuCo高出14.8%。值得注意的是，即便在依托质量优异且抗遮挡能力强的Wilor的基础上，UST-Hand仍能取得5.3毫米的MPJPE，性能比HaMuCo高出26.4%。在采用真实二维监督以探索性能上限时，UST-Hand的MPJPE和PA-MPJPE分别达到3.7毫米和2.4毫米，性能比HaMuCo高出38.3%。在所有设置下，UST-Hand均表现出最佳性能，证明了其对噪声监督的固有鲁棒性以及有效利用高质量线索的能力。 #### 4.6. 定性结果 图2展示了UST-Hand在HanCo数据集上训练和测试期间选定手部关键点的置信度可视化结果。可以观察到预测的置信度分数与姿态估计误差之间存在显著的负相关关系。这表明UST-Hand能够有效学习有意义的关键点置信度，从而准确反映预测质量。 图3对比了不同视角数量下的平均2D像素误差。其中，Wilor提供了用于自监督训练的含噪伪标签，随着视角变化会呈现出自然的误差波动。曲线表明，在所有设置下UST-Hand的误差始终低于Wilor基线。相比之下，HaMuCo在稀疏视角下性能严重下降，仅在密集视角下才能接近Wilor的水平。这说明HaMuCo容易对含噪监督信息过拟合，而UST-Hand则克服了这一局限，展现出卓越的鲁棒性。 图4展示了HanCo数据集上2D手部关键点预测的定性对比结果。在离线手部姿态检测器中，OpenPose生成的2D关键点极易受遮挡和图像截断影响，从而产生大量噪声。虽然Wilor显著提升了遮挡情况下的鲁棒性并生成更合理的手部姿态，但仍有较大误差存在。相比之下，我们的方法通过有效利用几何校正，展现了更优的遮挡处理能力。UST-Hand不仅优于这两种离线检测器及HaMuCo，其生成的2D关键点预测结果也与真实值最为一致。 此外，图5展示了来自3种不同视角的3D手部网格可视化结果。对比结果直观地显示出我们的方法提升了3D手部重建的精度。更多定性结果详见补充材料。 ### 5. 结论 本研究提出了UST-Hand，这是一种基于同步多视角视频序列的3D手部姿态估计自监督框架，可有效免除昂贵的3D标注需求。为解决含噪伪标签导致的训练不稳定性问题，UST-Hand采用条件归一化流来显式建模姿态不确定性。多样化的2D假设会被映射到统一的概率3D点云空间中，再由时空点变换器（STPT）迭代优化姿态。在三个具有挑战性的基准测试上的大量实验表明，该方法达到了最先进的性能。我们高效的模型支持实时多视角及单目推理，在不同相机密度和伪标签质量条件下均保持显著优势。最终，这种考虑不确定性的概率范式，为含噪监督下的通用关节物体重建提供了极具前景的解决方案。 --- 致谢：本研究部分得到了国家自然科学基金项目（批准号62332019）、国家重点研发计划（2023YFF1203900、2023YFF1203903）以及国家自然科学基金项目（批准号62406039）的支持。 ## 参考文献 [^1]: Huidong Bai, Prasanth Sasikumar, Jing Yang, and Mark Billinghurst. A user study on mixed reality remote collaboration with eye gaze and hand gesture sharing. In Proceedings of the 2020 CHI conference on human factors in computing systems, pages 1–13, 2020. 1 [^2]: Benjamin Biggs, David Novotny, Sebastien Ehrhardt, Hanbyul Joo, Ben Graham, and Andrea Vedaldi. 3d multi-bodies: Fitting sets of plausible 3d human models to ambiguous image data. Advances in neural information processing systems, 33:20496–20507, 2020. 2 [^3]: Lennart Bramlage, Michelle Karg, and Cristóbal Curio. Plausible uncertainties for human pose regression. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 15133–15142, 2023. 2 [^4]: Yujun Cai, Liuhao Ge, Jianfei Cai, and Junsong Yuan. Weakly-supervised 3d hand pose estimation from monocular rgb images. In Proceedings of the European conference on computer vision (ECCV), pages 666–682, 2018. 2 [^5]: Haochen Chang, Pengfei Ren, Haoyang Zhang, Liang Xie, Hongbo Chen, and Erwei Yin. Hierarchical-aware orthogonal disentanglement framework for fine-grained skeleton-based action recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 11252–11261, 2025. 1 [^6]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9044–9053, 2021. 2, 5 [^7]: Geng Chen, Xufeng Jian, Yuchen Chen, Pengfei Ren, Jingyu Wang, Haifeng Sun, Qi Qi, Jing Wang, and Jianxin Liao. A 3-net: Calibration-free multi-view 3d hand reconstruction for enhanced musical instrument learning. In Proceedings of the Thirty-Fourth International Joint Conference on Artificial Intelligence, pages 10054–10062, 2025. 1 [^8]: Liangjian Chen, Shih-Yao Lin, Yusheng Xie, Yen-Yu Lin, and Xiaohui Xie. Temporal-aware self-supervised learning for 3d hand pose and mesh estimation in videos. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 1050–1059, 2021. 2 [^9]: Rongyu Chen, Linlin Yang, and Angela Yao. Mhentropy: Entropy meets multiple hypotheses for pose and shape recovery. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14840–14849, 2023. 2 [^10]: Xingyu Chen, Yufeng Liu, Yajiao Dong, Xiong Zhang, Chongyang Ma, Yanmin Xiong, Yuan Zhang, and Xiaoyan Guo. Mobrecon: Mobile-friendly hand mesh reconstruction 基于单目图像的3D手部姿态估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第20544–20554页，2022年。2 [^11]: Yujin Chen, Zhigang Tu, Liuhao Ge, Dejun Zhang, Ruizhi Chen, and Junsong Yuan. So-handnet: Self-organizing network for 3d hand pose estimation with semi-supervised learning. In Proceedings of the IEEE/CVF international conference on computer vision, pages 6961–6970, 2019. 2 [^12]: Yujin Chen, Zhigang Tu, Di Kang, Linchao Bao, Ying Zhang, Xuefei Zhe, Ruizhi Chen, and Junsong Yuan. Model-based 3d hand reconstruction via self-supervised learning. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10451–10460, 2021. 1, 2, 5 [^13]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20577–20586, 2022. [^14]: Vandad Davoodnia, Saeed Ghorbani, Marc-André Carbonneau, Alexandre Messier, and Ali Etemad. Upose3d: Uncertainty-aware 3d human pose estimation with cross-view and temporal cues. In European Conference on Computer Vision, pages 19–38. Springer, 2024. 2 [^15]: Xiaoming Deng, Yuying Zhu, Yinda Zhang, Zhaopeng Cui, Ping Tan, Wentian Qu, Cuixia Ma, and Hongan Wang. Weakly supervised learning for single depth-based hand shape recovery. IEEE Transactions on Image Processing, 30:532–545, 2020. 2 [^16]: Laurent Dinh, Jascha Sohl-Dickstein, and Samy Bengio. Density estimation using real nvp. arXiv preprint arXiv:1605.08803, 2016. 4 [^17]: Sai Kumar Dwivedi, Cordelia Schmid, Hongwei Yi, Michael J Black, and Dimitrios Tzionas. Poco: 3d pose and shape estimation with confidence. In 2024 International Conference on 3D Vision (3DV), pages 85–95. IEEE, 2024. 2 [^18]: Kaixin Fan, Pengfei Ren, Jingyu Wang, Haifeng Sun, Qi Qi, Zirui Zhuang, and Jianxin Liao. Pose-guided temporal enhancement for robust low-resolution hand reconstruction. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 22627–22637, 2025. 1 [^19]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018. 2 [^20]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand pointnet: 3d hand pose estimation using point sets. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8417–8426, 2018. 2 ## [^21]: Liuhao Ge, Zhou Ren, and Junsong Yuan. Point-to-point regression pointnet for 3d hand pose estimation. In Proceedings of the European conference on computer vision (ECCV), pages 475–491, 2018. 2 --- [^22]: Yuting Ge, Chi Xu, and Li Cheng. A coarse-to-fine multi-hypothesis method for ambiguous hand pose estimation. IEEE Transactions on Image Processing, 2025. 2 [^23]: John C Gower. Generalized procrustes analysis. Psychometrika, 40(1):33–51, 1975. 5 [^24]: Meng-Hao Guo, Jun-Xiong Cai, Zheng-Ning Liu, Tai-Jiang Mu, Ralph R Martin, and Shi-Min Hu. Pct: Point cloud transformer. Computational visual media, 7(2):187–199, 2021. 2 [^25]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. 2 [^26]: Shreyas Hampali, Sayan Deb Sarkar, and Vincent Lepetit. Ho-3d_v3: Improving the accuracy of hand-object annotations of the ho-3d dataset. arXiv preprint arXiv:2107.00887, 2021. 2 [^27]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. 5 [^28]: Yihui He, Rui Yan, Katerina Fragkiadaki, and Shoou-I Yu. Epipolar transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 7779–7788, 2020. 7 [^29]: Weiting Huang, Pengfei Ren, Jingyu Wang, Qi Qi, and Haifeng Sun. Awr: Adaptive weighting regression for 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence, pages 11061–11068, 2020. 1 [^30]: Karim Iskakov, Egor Burkov, Victor Lempitsky, and Yury Malkov. Learnable triangulation of human pose. In Proceedings of the IEEE/CVF international conference on computer vision, pages 7718–7727, 2019. 7 [^31]: Nikos Kolotouros, Georgios Pavlakos, Dinesh Jayaraman, and Kostas Daniilidis. Probabilistic modeling for human mesh recovery. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11605–11614, 2021. 2 [^32]: Jogendra Nath Kundu, Siddharth Seth, Pradyumna YM, Varun Jampani, Anirban Chakraborty, and R Venkatesh Babu. Uncertainty-aware adaptation for self-supervised 3d human pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 20448–20459, 2022. 2 [^33]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF international conference on computer vision, pages 10138–10148, 2021. 2 [^34]: Chen Li and Gim Hee Lee. Generating multiple hypotheses for 3d human pose estimation with mixture density network. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9887–9895, 2019. 2 [^35]: Jiefeng Li, Siyuan Bian, Ailing Zeng, Can Wang, Bo Pang, Wentao Liu, and Cewu Lu. Human pose regression with residual log-likelihood estimation. In Proceedings of the 载于IEEE/CVF国际计算机视觉会议论文集，第11025–11034页，2021年。2 [^36]: Mengcheng Li, Hongwen Zhang, Yuxiang Zhang, Ruizhi Shao, Tao Yu, and Yebin Liu. Hhmr: Holistic hand mesh recovery by enhancing the multimodal controllability of graph diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 645–654, 2024. [^37]: Wenhao Li, Hong Liu, Hao Tang, Pichao Wang, and Luc Van Gool. Mhformer: Multi-hypothesis transformer for 3d human pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 13147–13156, 2022. [^38]: Xiaoxuan Ma, Jiajun Su, Yuan Xu, Wentao Zhu, Chunyu Wang, and Yizhou Wang. Vmarker-pro: Probabilistic 3d human mesh estimation from virtual markers. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025. 2 [^39]: Yeonguk Oh, JoonKyu Park, Jaeha Kim, Gyeongsik Moon, and Kyoung Mu Lee. Recovering 3d hand mesh sequence from a single blurry image: A new dataset and temporal unfolding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 554–563, 2023. 2 [^40]: Tuomas Oikarinen, Daniel Hannah, and Sohrob Kazerounian. Graphmdn: Leveraging graph structure and deep learning to solve inverse problems. In 2021 International Joint Conference on Neural Networks (IJCNN), pages 1–9. IEEE, 2021. 2 [^41]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 1 [^42]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 12242–12254, 2025. 1, 6 [^43]: Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 652–660, 2017. 2 [^44]: Pengfei Ren, Haifeng Sun, Qi Qi, Jingyu Wang, and Weiting Huang. Srn: Stacked regression network for real-time 3d hand pose estimation. In BMVC, 2019. 1 [^45]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Qi Qi, Jingyu Wang, and Jianxin Liao. Pose-guided hierarchical graph reasoning for 3-d hand pose estimation from a single depth image. IEEE Transactions on Cybernetics, 53(1):315–328, 2021. 1 [^46]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Qi Qi, Jingyu Wang, and Jianxin Liao. A dual-branch self-boosting framework for self-supervised 3d hand pose estimation. IEEE Transactions on Image Processing, 31:5052–5066, 2022. 2 ### [^47]: Pengfei Ren, Haifeng Sun, Jiachang Hao, Jingyu Wang, Qi Qi, and Jianxin Liao. Mining multi-view information: a --- 一种用于基于深度的3D手部姿态和网格估计的强大自监督框架。载于IEEE/CVF计算机视觉与模式识别会议论文集，第20555–20565页，2022年。2 [^48]: Pengfei Ren, Yuchen Chen, Jiachang Hao, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Two heads are better than one: Image-point cloud network for depth-based 3d hand pose estimation. In Proceedings of the AAAI conference on artificial intelligence, pages 2163–2171, 2023. 1 [^49]: Pengfei Ren, Chao Wen, Xiaozheng Zheng, Zhou Xue, Haifeng Sun, Qi Qi, Jingyu Wang, and Jianxin Liao. Decoupled iterative refinement framework for interacting hands reconstruction from a single rgb image. In Proceedings of the IEEE/CVF international conference on computer vision, pages 8014–8025, 2023. 1 [^50]: Pengfei Ren, Jingyu Wang, Haifeng Sun, Qi Qi, Xingyu Liu, Menghao Zhang, Lei Zhang, Jing Wang, and Jianxin Liao. Prior-aware dynamic temporal modeling framework for sequential 3d hand pose estimation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 6476–6487, 2025. 1 [^51]: Pengfei Ren, Jingyu Wang, Haifeng Sun, Qi Qi, Jing Wang, and Jianxin Liao. Rule meets learning: Confidence-aware multi-view fusion for self-supervised 3d hand pose estimation. In Proceedings of the 33rd ACM International Conference on Multimedia, pages 1646–1655, 2025. 2 [^52]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610, 2022. 5 [^53]: Akash Sengupta, Ignas Budvytis, and Roberto Cipolla. Hierarchical kinematic probability distributions for 3d human shape and pose estimation from images in the wild. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11219–11229, 2021. 2 [^54]: Saurabh Sharma, Pavan Teja Varigonda, Prashast Bindal, Abhishek Sharma, and Arjun Jain. Monocular 3d human pose estimation by generation and ordinal ranking. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2325–2334, 2019. 2 [^55]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3d hand pose estimation via biomechanical constraints. In European conference on computer vision, pages 211–228. Springer, 2020. 2 [^56]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-supervised 3d hand pose estimation from monocular rgb via contrastive learning. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11230–11239, 2021. 2 [^57]: Haifeng Sun, Xiaozheng Zheng, Pengfei Ren, Jingyu Wang, Qi Qi, and Jianxin Liao. Smr: Spatial-guided model-based regression for 3d hand pose and mesh reconstruction. IEEE Transactions on Circuits and Systems for Video Technology, 34(1):299–314, 2023. 1 [^58]: Omid Taheri, Vasileios Choutas, Michael J Black, and Dimitrios Tzionas. Goal: Generating 4d whole-body motion for hand-object grasping. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13263–13273, 2022. 1 [^59]: Chengde Wan, Thomas Probst, Luc Van Gool, and Angela Yao. Self-supervised 3d hand pose estimation through training by fitting. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 10853–10862, 2019. 2 [^60]: Xinyi Wang, Pengfei Ren, Haoyang Zhang, Xin Sheng, Da Li, Liang Xie, Yue Gao, and Erwei Yin. Vihand: Enhancing 3d hand pose estimation with visual-inertial benchmark. In Proceedings of the 33rd ACM International Conference on Multimedia, pages 12753–12760, 2025. 2 [^61]: Linlin Yang, Shicheng Chen, and Angela Yao. Semihand: Semi-supervised hand pose estimation with consistency. In Proceedings of the IEEE/CVF international conference on computer vision, pages 11364–11373, 2021. 2 [^62]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 20953–20962, 2022. 2, 5 [^63]: Lixin Yang, Jian Xu, Licheng Zhong, Xinyu Zhan, Zhicheng Wang, Kejian Wu, and Cewu Lu. Poem: reconstructing hand in a point embedded multi-view stereo. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21108–21117, 2023. 2 [^64]: Qi Ye and Tae-Kyun Kim. Occlusion-aware hand pose estimation using hierarchical mixture density network. In Proceedings of the European conference on computer vision (ECCV), pages 801–817, 2018. 2 [^65]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular rgb image. In Proceedings of the IEEE/CVF international conference on computer vision, pages 2354–2364, 2019. 2 [^66]: Hengshuang Zhao, Li Jiang, Jiaya Jia, Philip HS Torr, and Vladlen Koltun. Point transformer. In Proceedings of the IEEE/CVF international conference on computer vision, pages 16259–16268, 2021. 2 [^67]: Xiaozheng Zheng, Pengfei Ren, Haifeng Sun, Jingyu Wang, Qi Qi, and Jianxin Liao. Sar: Spatial-aware regression for 3d hand pose and mesh reconstruction from a monocular rgb image. In 2021 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pages 99–108. IEEE, 2021. 1, 3 [^68]: Xiaozheng Zheng, Chao Wen, Zhou Xue, Pengfei Ren, and Jingyu Wang. Hamuco: Hand pose estimation via multiview collaborative self-supervised learning. In Proceedings of the IEEE/CVF international conference on computer vision, pages 20763–20773, 2023. 1, 2, 6, 7 [^69]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF international conference on computer vision, pages 813–822, 2019. 2 #### [^70]: Christian Zimmermann, Max Argus, and Thomas Brox. Contrastive representation learning for hand shape estimation. In DAGM German Conference on Pattern Recognition, pages 250–264. Springer, 2021. 2, 5 --- #### UST-Hand：一种用于3D自监督手部姿态估计的、具备不确定性感知能力的时空点云交互网络 补充材料 #### 6. 视频演示 我们在附带的视频中提供了序列可视化结果，以展示我们方法的性能。 #### 7. 额外的消融研究 为了进一步验证我们的方法，我们对置信度感知特征交互模块以及时空点变换器（STPT）中的各个组件进行了细粒度的消融研究。如表4所示，在置信度感知特征交互模块中，移除自适应GCN或CASA机制会导致性能下降，这表明结构拓扑建模和置信度感知特征聚合都有助于实现稳健的跨视图特征交互。对于STPT模块而言，时间注意力的影响最为显著，这凸显了利用时间一致性进行基于视频的手部姿态估计的重要性。这些结果证实，每个组件在实现精准的姿态优化中都发挥着不可或缺的作用。
Table 4. Additional Ablation Study of UST-Hand on DexYCB-MV dataset. We report the MPVPE (mm), PA-V (mm), MPJPE (mm), PA-J (mm).
MethodMPVPEPA-VMPJPEPA-J
UST-Hand8.164.817.845.31
w/o GCN8.224.837.905.41
w/o CASA8.284.877.955.43
w/o SpatialAttn8.465.028.185.58
w/o TemporalAttn8.555.098.205.64
w/o CrossAttn8.504.998.155.59
#### 8. 模型分析 不同的时间长度。我们研究了UST-Hand在视频序列中采用不同时间长度时的性能表现。HanCo数据集上的结果见表5的第t1至t7行。我们发现使用5帧时性能最佳。将时间长度从1帧增加到5帧，能使模型捕捉到手部运动模式并减少逐帧抖动现象。不过，扩展到7帧时性能略有下降，这表明过长的时间窗口可能会带来优化方面的挑战。我们选用5帧的时间长度，以在建模能力和计算效率之间取得平衡。
Table 5. Performance of UST-Hand on varying temporal length, the number of STPT blocks and cameras in the multi-view setting. The best results are highlighted in bold.
ExpMPVPEPA-VMPJPEPA-J
HanCot15.944.155.383.55
t35.914.105.273.53
t55.824.135.193.50
t75.874.075.253.51
b16.014.195.453.62
b25.954.175.403.55
b35.884.135.343.51
b45.824.135.193.50
DexYCBc210.907.0610.487.12
c49.636.029.336.19
c68.415.168.175.61
c88.164.817.845.31
不同数量的STPT模块。我们评估了UST-Hand在改变STPT模块数量时的性能表现。HanCo数据集上的结果见表5的第b1至b4行。结果表明，堆叠更多的STPT模块能持续提升性能。这验证了通过多个模块进行的迭代优化，能够使模型通过反复整合时空信息和分布不确定性来逐步修正姿态误差。我们最终模型中采用了4个STPT模块以实现最优性能。 不同数量的摄像头。我们在多视角设置下评估了UST-Hand在不同摄像头数量下的表现。DexYCB数据集上的结果见表5的第c2至c8行，其中“c2”表示使用两个摄像头。结果表明，UST-Hand能够有效融合来自不同视角的互补特征，随着摄像头数量的增加，整体性能也得以提升。 #### 9. 更多定性结果 我们提供了涵盖全部三个评估数据集的全面定性结果，以进一步验证我们方法的优越性。具体而言，图6至图8将我们的方法与SOTA方法HaMuCo进行了对比，两种模型均利用Wilor生成的2D关键点进行自监督学习。此外，图9至图11明确展示了UST-Hand在应对高度多样化的手部姿态和复杂的摄像头视角配置时，仍能保持严格的多视角几何一致性的强大鲁棒性。 --- ![Image](images/386238200eb1a07b96ac6a5d9a0ecf1f50dc60fd310a57f7b7fb5189df5d2116.jpg)
Figure 6. 2D joints prediction and 3D mesh prediction between ground-truth, Wilor, HaMuCo, and ours on HanCo dataset.
![Image](images/c63d3169c95e5aca8bb597782ecb688e59802767a4712ff0b65908ed574cb27e.jpg)
Figure 7. 2D joints prediction and 3D mesh prediction between ground-truth, Wilor, HaMuCo, and ours on DexYCB-MV dataset.
![Image](images/6bcb9b8783a7996b3cc55d391d7324d651104b1a9aa64edeb0a290b1d95da3f1.jpg)
Figure 8. 2D joints prediction and 3D mesh prediction between ground-truth, Wilor, HaMuCo, and ours on OakInk-MV dataset.
--- ![Image](images/3915abcd042fe041317cb16346a3f90fcf2a6400ff874349d662c8a6fa4ca2df.jpg)
Figure 9. Qualitative results of each view on HanCo dataset.
![Image](images/168773811de3044f71f4fef8e5895d8399df515c0842c4dee56107e178f7f1e2.jpg)
Figure 10. Qualitative results of each view on DexYCB-MV dataset.
![Image](images/97a5101b9842d2465ba72807fcbfabb1f50b0067f77033e07fbccdf88b23284b.jpg)
Figure 11. Qualitative results of each view on OakInk-MV dataset.