检查更新
打开
# 基于场景流的深度图像手部重建深度网络
Adnan Anwer $^{1}$、Jameel Malik $^{1}$、Khawar Khurshid $^{2}$、Ahmed Elhayek $^{3}$、Ramy Battrawy $^{4}$、Didier Stricker $^{4,5}$、Syed Sarib Naveed $^{2}$ 以及 Muhammad Usman Safder $^{2}$
精准的3D手部重建一直是计算机视觉领域极具挑战性的问题，其有着广泛的应用场景。现有方法主要聚焦于单帧手部重建，因而忽略了对于稳定手部追踪至关重要的时序信息。本文提出了一种从连续多视角深度图像中进行3D手部重建的新流程，名为HandFlowNet。该方法将多视角深度图像转换为单个点云，通过估算手部网格顶点的场景流来推导连续帧之间的时序信息。场景流估算器会建立连续深度帧中点集之间的一一对应关系。随后，这种场景流会被用作偏移量，作用于上一帧中初步估算出的手部网格顶点，从而确定当前帧的手部网格顶点。这些顶点会进一步经由图卷积网络进行优化，该网络会结合当前帧预测的局部与全局特征。大量实验表明，HandFlowNet在DexYCB和HO3D等公开真实手部基准测试中均取得了业界领先的性能。
三维空间中的手部重建是众多应用中的关键组成部分，包括虚拟现实和增强现实环境——在这些场景中，手部与虚拟物体之间无缝且无抖动的交互至关重要。其他应用场景还包括人机交互、手语生成、用户身份识别、游戏、手势识别以及动作捕捉 $^{1-6}$。尽管该领域已取得显著进展，但实现精准且时序稳定的三维手部重建仍是计算机视觉界面临的巨大挑战。
近期的研究在基于静态图像的三维手部重建方面取得了显著进展 $^{7-10}$。然而，实时精准估算时序稳定的手部形状与姿态仍面临诸多难题。这些挑战源于多种因素：手部网格表示本身具有极高的维度、不同个体的手部形状与姿态差异极大、自然运动过程中会出现严重遮挡现象，以及深度数据采集过程中存在的固有噪声。在视频序列中，这些问题会更加突出，因为此时时序一致性对于生成平滑且逼真的手部动作至关重要。
现有的大多数方法主要侧重于从单个帧中重建手部模型$^{11-14}$。然而，要实现连续帧之间手部运动的平滑重建，时间信息至关重要。一些研究$^{15-21}$已在给定序列中引入时间数据，以提高手部重建的精确度。例如，$^{16}$提出了一种应用于二维骨骼序列的时空图结构，该结构随后通过图卷积网络处理，从而从预测的二维姿态序列中估算三维姿态。$^{17}$则提出了一种自监督神经网络，该网络将光流特征与估算出的二维关节热图相结合，以确定手部的三维形状和姿态。尽管这些方法利用了时间信息，但它们往往无法捕捉到实现一致且精确的手部重建所必需的细微运动线索。
与以往的方法不同，我们的手部形状和姿态重建方法基于两个关键观察结果。首先，估算手部网格顶点的三维运动所提供的信息在几何和运动方面比二维光流或基于关节的时间特征融合要丰富得多。虽然基于关节的方法能够有效捕捉高层次的运动模式，
---
但它们通常会牺牲对精确且一致的手部重建至关重要的细微空间细节。我们的方法估算手部点的三维运动——即场景流——能够捕捉连续帧之间的精确点级位移。这种显式的运动建模对手部重建尤为重要，因为手部网格的微小而复杂的运动会显著影响形状和姿态估算的准确性。受基于激光雷达的场景流技术进展的启发$^{22-24}$，我们采用场景流来解决单帧重建中的时间不一致性和误差问题。通过追踪手部顶点和关节的三维运动，我们的方法相比静态或基于关节的方法能够取得更精确、更连贯的结果。
其次，深度序列的点云表示更适合我们的任务。虽然这种表示方式规避了体素化或二维投影带来的限制，但它并非我们研究的主要重点。实际上，我们利用点云表示来高效处理三维空间信息，从而补充我们的基于场景流的方法。受$^{25}$的研究以及BiPointFlow-Net框架$^{26}$的启发，我们采用了点集表示方法，使网络能够高效处理深度图中包含的2.5D信息。
据我们所知，我们提出了首个基于场景流的手部重建流程——HandFlowNet，它能够根据连续的多视角深度帧生成精确的三维手部形状和姿态（概述见图1）。我们的方法利用场景流来显式建模手部顶点和关节的三维运动，从而实现时间上一致且精确的手部重建。通过将基于Transformer的手部形状估算器与基于图卷积的细化网络相结合，HandFlowNet有效解决了时间不一致性和噪声深度数据的问题。这种场景流估算与多视角点云处理的创新结合，为三维手部重建研究开辟了新方向。
对于初始帧，一种基于Transformer的新型神经手形估计器能够从相应的输入多视角点云中预测出精确的手部网格和姿态。随后，我们的方法利用神经场景流估计器来估算连续帧之间手部点的三维运动。该估计器将连续的两组多视角点云作为输入，并在这两组点云之间建立一一对应的映射关系，从而计算出密集的场景流。密集场景流指的是输入点云中所有点的三维运动向量，而稀疏场景流则描述了手部关节和网格顶点的三维运动。通过应用k近邻算法，即可从密集场景流中推导出稀疏场景流（“稀疏场景流估计”）。
为了估算当前帧的手形，会将稀疏场景流叠加到上一帧的手形上。不过，为减轻场景流估计网络可能导致的误差累积问题，我们引入了基于图卷积的细化网络。该细化网络利用从当前帧点云中计算出的全局与局部特征，生成更为精确、精细的手形（“方法概述”）。
总而言之，我们提出了一种基于手部三维场景流的、从连续多视角深度帧重建三维手部的新方法。本文的主要贡献如下：
- 一种新颖的手部场景流估计（SFE）方法，能够同时且精确地分别估算出一帧到另一帧之间手部关节和手部网格顶点的密集与稀疏三维运动（“手部场景流”）。
- 一种利用多视角深度图生成的多视角点云进行三维手部姿态和形状估计（HSE）的新型基于Transformer的神经网络（“参考形状估计”）。
- 一种基于图卷积的手形细化网络（RM），它利用点云中的全局与局部特征来进一步提升手部姿态和网格估计的精确度（“手形细化”）。
• 我们在两个具有挑战性的真实手部基准数据集（DexYCB $^{27}$ 和 HO3D $^{28}$）上进行了大量实验，结果表明HandFlowNet的性能优于或可与现有方法相媲美（“手部形状估计评估”和“手部姿态估计评估”）。
## 相关工作
从深度图像和点云中估算手部姿态和形状是计算机视觉领域的一个重要问题，它影响着各类应用场景。多年来，人们探索了众多方法来应对这一挑战，同时也研究出了基于点云的场景流估计相关方法。
## 基于深度学习的点云处理
在点云处理领域，PointNet $^{29}$ 和 PointNet++ $^{30}$ 架构的问世带来了重大进展，为该领域带来了突破性的提升。其中，PointNet++ $^{30}$ 通过在全新的集合抽象层中引入球查询技术和分层聚类方法，显著增强了几何结构的保留能力。这一改进使得点云数据中蕴含的底层几何信息能够得到更好的保留。
Transformer架构的出现催生了大量用于三维点云处理任务的改进模型。值得注意的是，$^{31}$提出了Point Transformer，它利用基于向量注意力的特征聚合方法来处理点的局部邻域，从而实现更有效的特征提取。类似地，他们通过应用拉普拉斯矩阵进行特征增强，用Point Cloud Transformer取得了相当的性能。我们提出的网络架构整合了这些成果，采用了由连续的Set Abstraction层$^{30}$和Point Transformer模块$^{31}$组成的特征提取器。
---
Fig. 1. HandFlowNet architecture. Given an estimated hand shape $H_{t}$ and a pair of consecutive point sets $(PC_{t}, PC_{t+1})$, the Hand Scene Flow Estimator (SFE) module generates scene flow $(SF_{M})$ of hand mesh vertices and joints. For the first frame, $H_{t}$ is extracted from $PC_{t}$ through the reference hand shape estimator (HSE) module. For subsequent frames, the hand shape of the previous frame is fed back into SFE for tracking purposes. $SF_{M}$ is added to $H_{t}$ to obtain an initial estimate of hand shape for the next frame. To compensate for error propagation due to scene flow uncertainty in subsequent frames, $H_{t} + SF_{M}$ is refined by the hand refinement module (RM) using the local and global features $(LF_{t+1}$ and $GF_{t+1}$, respectively) extracted from $PC_{t+1}$.
## 基于点集的场景流估计
三维场景流估计的概念最初由${}^{33}$定义为一个对应问题，旨在确定场景中表面上点的三维运动矢量场。该领域的早期研究主要利用RGB ${}^{34-43}$和RGB-D ${}^{44-49}$立体图像对，从二维光流估计中推导三维运动矢量。最近，该领域的研究范围扩展到了基于单目RGB图像的场景流估计${}^{50-54}$，展现了这种方法的灵活性。
随着深度相机的日益普及以及点云处理算法的重大突破$^{29-32,55}$，直接从头到尾从点云对$^{23,56,57}$中估计三维场景流已成为一种趋势。FlowNet3D $^{58}$率先采用这种方法，引入了基于PointNet $^{29}$的流嵌入层来解决点集之间的对应问题。随后，HPLFlownet $^{59}$通过引入多尺度学习和双边卷积$^{60,61}$进一步完善了这一方法。PointPWCNet $^{62}$则在金字塔型网络架构中采用了由粗到精的估计策略，取得了进一步的显著改进。
---
Bi-PointFlowNet $^{22}$提出了一种创新方法，采用双向流嵌入层来同时学习前向和反向流，大幅提升了场景流估计的精度。在我们的研究中，我们使用经过微调的Bi-PointFlowNet作为现成的场景流估计器来进行实验验证。
## 基于深度图像的手部重建
手部形状重建方法可根据输入类型大致分为两类：基于二维深度图像的技术$^{63-75}$和基于三维数据的方法$^{11,76-79}$。由于二维深度图像本身缺乏三维几何信息，这类技术会受到透视畸变的影响$^{9}$。因此，利用体素或点云的基于三维数据的方法更适合用于精确的手部形状和姿态估计任务。
在基于三维数据的方法中，体素类方法9,78,79采用三维卷积神经网络，虽然效果显著，但计算成本较高。相比之下，点云处理网络30,31在保持相当甚至更优精度的同时，显著提升了计算效率。25,80提出了基于PointNet29的网络，利用逐点概率分布直接回归手部关节位置，为这种方法奠定了基础。SHPR-Net 81通过引入辅助语义分割模块对该方法进行了改进，而Point-to-pose方法则通过残差排列层83进一步提升了性能。
近期的研究成果包括HandFoldingNet ${}^{84}$，它引入了多尺度特征引导的折叠机制用于三维手部姿态估计；还有HandOccNet ${}^{85}$，它通过特征注入变换器（FIT）和自增强变换器（SET）模块，将非遮挡区域的特征传递到遮挡区域，从而改善形状估计效果。HFL-Net ${}^{86}$通过融合从遮挡物体中提取的特征来增强手部形状重建能力，而DiffHand ${}^{87}$则开创了基于扩散的框架，并采用新颖的跨模态解码器来精准建模顶点连接关系。
锚点至关节回归网络（A2J）$^{88}$利用基于二维CNN的局部回归器来学习全局-局部空间上下文，以提升手部关节估计精度。自适应加权回归（AWR）$^{89}$结合密集表示中的像素数据来估计手部关节坐标，有效发挥了检测与回归方法的优势。$^{90}$专门针对姿态估计任务引入了虚拟视图选择与融合模块。图像-点云网络（IPNet）$^{75}$结合了二维CNN进行高效初始估计，并在点云域中通过迭代优化来更好地利用三维几何信息。
图卷积神经网络（GCNN）$^{91-96}$最近在手部姿态和形状估计的精细化方面展现出显著优势。我们提出的HandFlowNet也采用了基于GCNN的细化模块，以提高手部重建的精度。
## 利用时序信息进行手部重建
视频序列中固有的时序信息已被成功应用于各类手部相关任务，包括姿态估计$^{28,97,98}$、形状估计$^{99}$、手势识别$^{15,100-103}$以及手部跟踪$^{97,104}$，这些任务通常以RGB图像序列作为输入数据。自监督与半监督网络$^{18,105,106}$经常利用循环一致性损失作为时序引导，以提升训练效率。
该领域的突出贡献包括Cai等人$^{16}$的研究，他们提出了时空图卷积神经网络，以同时利用手部姿态估计中的几何与时序一致性。Wen等人$^{15}$引入了专为利用帧间时序一致性而设计的分层时序变换器。Chen等人$^{17}$采用了时序循环一致性学习技术$^{107}$，将其应用于二维光流，以实现视频序列中手部姿态的估计。
H2ONet $^{108}$ 通过利用多帧中未被遮挡的信息并进行手指级遮挡感知特征融合，显著提升了三维手部网格重建的质量。Zhang等人$^{109}$提出了金字塔式网格对齐反馈（PyMAF）方法，用于生成时序上对齐良好的网格。VIBE $^{19}$采用基于自注意力机制的对抗网络，无需依赖自然场景中的三维真实标签，即可从视频中生成符合运动学规律的三维姿态和形状估计结果。TCMR $^{21}$通过智能特征整合架构有效融合过去与未来帧的特征，从而增强时序一致性。Deformer $^{20}$则借助动态融合Transformer来学习专为处理遮挡问题而设计的空间-时间特征，进而提升重建精度。
与上述方法不同，我们的方法利用从时序连续的点云中估算出的三维场景流作为时间指示器，直接同时预测三维手部形状和姿态，且无需使用整段视频序列。据我们所知，这是首次尝试将三维场景流作为时间信息，用于同步估计手部形状和姿态。
## 多视角手部重建
多视角手部特征的融合属于具有挑战性的多视图立体匹配（MVS）问题。一些方法通过从每个视角提取二维特征，随后在特征空间中对它们进行合并来解决这一难题${}^{110-114}$。另一些方法则利用三维卷积神经网络或点云处理网络，直接从点云中提取三维特征。
POEM $^{119}$是一种先进的网络，它通过精巧的特征聚合与结构感知的顶点查询机制，在三维空间中融合二维特征。$^{120}$实现了一种自监督方式下的跨视角融合方法，用于多视角特征聚合。HaMuCo $^{121}$通过跨视角交互网络整合了单视角估计器。SiMA-Hand $^{122}$通过在图像、关节和顶点层面进行特征融合，即“单视点到多视角适配”技术，提升了遮挡区域的重建精度。
---
MLP Hand $^{123}$采用多视角特征注入网络，针对手部的每根骨骼进行三轴建模重建，从而实现了出色的实时性能。
与这些复杂的融合方法不同，我们的HandFlowNet采用了一种更为简单却高效的方法：利用相机标定矩阵直接将点云合并到全局参考框架中，既简化了重建过程，又保持了较高的精度。
## 方法概述
图1a展示了我们提出的3D手部重建方法。给定一对时间上连续的深度图像帧，我们的目标是准确估计第二帧的3D手部形状和姿态$H_{t+1} \in \mathbb{R}^{3 \times (V+J)}$，其中$V = 778$表示MANO $^{124}$手部网格顶点，而$J = 21$则表示MANO手部关节。输入的深度图像$D_t$和$D_{t+1}$会被转换为3D点集$PC_t, PC_{t+1} \in \mathbb{R}^{3 \times N}$，此处N代表每个点集中的3D点数量（详见“深度图像的点集表示”部分）。手部场景流估计器（SFE）会计算手部的场景流$SF_M$，它代表了从$PC_t$到$PC_{t+1}$期间手部网格顶点和关节的3D运动（详见“手部场景流”部分）。
对于图像序列中的初始帧，会利用基于神经变换器网络的参考手部形状估计器（HSE）来估算参考手部形状和姿态$H_{t}$（详见“参考形状估计”部分）。后续输入点集$H_{t+1}$所对应的手部形状和姿态$PC_{t+1}$，是通过将手部场景流$SF_{M}$叠加到参考手部形状$H_{t}$上得到的，具体如公式(1)所示：
$$ H_{t+1}=H_{t}+S F_{M} $$
需要注意的是，参考手部形状估计器仅用于生成给定图像序列中第一帧的手部形状和姿态。在后续帧的跟踪过程中，$H_{t+1}$会通过多路复用器递归地反馈给场景流估计器的输入端。为了减轻场景流估计器固有的误差累积问题，利用公式1估算出的手部形状和姿态还会进一步经由手部优化模块（RM）进行细化处理（详见“手部形状优化”部分）。在该模块中，利用神经变换器网络从输入点集$PC_{t+1}$中提取的局部和全局特征（详见“特征提取器”部分），会与基于手部形状和姿态估计结果的场景流相拼接。这种拼接后的表征会形成输入图，再经由GCNN处理，最终得到细化的手部形状和姿态（详见“基于GCNN的形状优化”部分）。
## 所提出的HandFlowNet方法
本节将详细介绍所提出的HandFlowNet流程的架构和方法。该方法有效利用了连续帧中手部点的3D运动所蕴含的时间信息，也就是所谓的场景流。本研究首次利用手部网格顶点和关节的场景流来精准重建3D手部形状和姿态，从而为手部运动建模提供了全新的视角。
深度图像转换为单视图和多视图点集表示的过程在“深度图像的点集表示”一节中进行了讨论。所提出手部网格场景流估计器的详细架构则在“手部场景流”一节中阐述。“手部形状优化”一节介绍了手部优化模块，该模块整合了基于变换器和图卷积的深度网络，以提升手部姿态和形状的预测精度。最后，在“参考形状估计”一节中，介绍了基于神经变换器的参考手部形状估计器，它有助于实现稳健的形状重建。
## 深度图像的点集表示
输入的深度图像$D_t$和$D_{t+1}$会利用相机内参，分别转换为对应每个相机视角的点集表示$PC_t$和$PC_{t+1}$。随后，利用相机外参将所有视角的点集合并，从而构建统一的多视角点集。深度图像$D_t$到其点集表示$PC_t$的转换过程分为五个步骤，如图2所示。
首先，将原始深度图像与手部掩码相乘，以抑制所有不属于手部区域的像素。其次，利用相机内参将手部区域中的非零像素投影到3D相机坐标中。由于手部掩码存在误差，手部点集中会出现离群点，如图2中右上角和左下角的图像所示（用橙色标示）。第三步，使用基于密度的聚类算法DBSCAN $^{125}$来去除这些离群点。点集会根据两个约束条件被划分为不同的簇：(i) 同一簇内任意两点之间的最大距离不超过5毫米；(ii) 每个簇至少包含5个点。保留最大的簇，较小的簇则被丢弃。第四步，利用相机的外参将点集从相机3D坐标转换到世界3D坐标。最后，在第五步中，将所有单视角点集拼接起来，从而得到每一帧的统一多视角点集，因为各个单独的点集早已被转换到世界3D坐标中。
最终得到的多视角点集（如图2所示）的点数会根据手部姿态和遮挡程度的不同而有所差异。在大多数情况下，点数足够多；为确保一致性，会从每个点集中随机抽取4096个点。在极少数点集点数不足4096的情况中，会随机选取现有点集中的点并进行复制，以达到该数值，从而保证统一性。对于DexYCB数据集而言，点数少于1024的多视角点集会被丢弃，因为这类数据表明对应帧中手部不可见。
---
Fig. 2. Multi-view point sets. The input depth image is first refined by applying a hand mask and subsequently transformed into camera 3D coordinates utilizing the camera's intrinsic parameters. The resulting point set inherently contains outliers (illustrated in orange), which are removed through the DBSCAN clustering algorithm $^{125}$. Subsequently, the point set is projected from camera 3D coordinates to world 3D coordinates using the camera's extrinsic parameters. Once the point sets for all views are obtained, they are concatenated to construct a comprehensive multi-view point set representation.
## 手部场景流
如前所述，我们的核心思路是利用点集之间的场景流信息，将序列中的时间信息隐含地纳入手部形状估计过程中。DexYCB和HO3D数据集并未提供场景流的真实值，因此我们利用前后两帧之间手部网格顶点的运动，生成手部网格顶点的稀疏场景流。在接下来的小节中，我们将介绍为DexYCB数据集序列标注密集与稀疏场景流的方法，以及用于场景流估计的深度网络架构。
我们的场景流估计器包含三个主要阶段。首先，如“场景流标注”部分所述，我们生成场景流的真实值标注。这一过程始于计算手部网格顶点处的稀疏场景流，该结果源自连续帧间这些顶点3D位置的差异。随后，通过k近邻（k-NN）方法将这些稀疏标注传播到整个可见的手部表面，从而为点云中的所有点生成密集的场景流。接下来，如“密集场景流估计”部分所述，我们训练一个深度神经网络，直接从成对的点集中估计密集场景流。最后，为了追踪手部网格和关节，如“稀疏场景流估计”部分所述，我们利用k近邻（k-NN）方法从密集预测结果中提取关键位置处的稀疏场景流。
深度神经网络与后续的k-NN算法共同构成了手部场景流估计器（SFE），如图1a所示。
## 场景流标注
为了获取给定点集之间的场景流真值，需要建立三维点之间精确的点对点对应关系。一旦确定这些对应关系，任意三维点P的场景流真值$SF_P$就被定义为该点在上一帧中的位置$\mathbf{P}_t$到当前帧中的位置$\mathbf{P}_{t+1}$的向量，具体如公式(2)所示。
$$ \mathrm{SF}_{\mathrm{P}}=\mathrm{P}_{\mathrm{t}+1}-\mathrm{P}_{\mathrm{t}} $$
DexYCB数据集提供了全面的三维手部形状标注，从而能够推导出手部网格顶点的稀疏场景流，记为$SF_M$（如图4a所示）。这种稀疏场景流$SF_M$由手部网格顶点处的场景流向量组成，可通过公式(3)获得：
$$ SF_{M}=H_{t+1}-H_{t} $$
其中，$H_t$和$H_{t+1}$代表DexYCB数据集提供的连续两帧中已知的三维手部形状标注。其背后的假设是：代表刚体（即手部）的局部区域（或一组三维点）内的场景流保持相对一致性。基于这一基本假设，就能从已知的$SF_D$标注中有效推导出密集场景流标注$PC_t$（如图4b所示），这类标注包含点集$SF_M$中所有三维点位置的场景流向量。
当手部网格顶点和关节$H_t$被叠加到点集$PC_t$上时，就会形成一个混合点集，其中包含来自$H_t$和$PC_t$的点。在这个整合后的点集中，$SF_M$所在位置的场景流$H_t$已经是已知的，而场景流$SF_D$则尚未确定。在这种混合点集场景下，可以通过应用k近邻（k-NN）算法，利用邻近点的已知场景流$SF_D$来可靠地估计未知的场景流$SF_M$。因此，场景流$SF_{D_i}$为
---
Fig. 3. Dense scene flow annotations. $SF_{D}$ of point set $PC_{t}$ with no scene flow annotations can be estimated by averaging the sparse scene flow annotations $SF_{M}$ of the k-nearest vertices of each point of $PC_{t}$ in hand mesh $H_{t}$. This figure is best viewed in color.
Fig. 4. Scene flow annotations for DexYCB $^{27}$. (a,b) Depict sparse $(SF_{M})$ and dense $(SF_{D})$ scene flow annotations, respectively. Here, the color signifies normalized scene flow magnitude with blue as lowest and green as highest value. (c,d) Represent the point set $PC_{t+1}$ (blue) overlaid on $PC_{t} + SF_{D}$ (red). This figure is best viewed in color.
$i_{th}$中的$PC_{t}$点的场景流，是其属于$H_{t}$的k个最近邻顶点的场景流向量的平均值，具体如公式(4)所示：
$$ SF_{D_{i}}=\frac{1}{k}\sum_{j=1}^{k}SF_{M_{j}} $$
其中，$SF_{M_j}$代表属于$j^{th}$的$H_t$邻居点的场景流向量，如图3所示。通过将点集$SF_{D}$与变换后的点集$PC_{t+1}$进行叠加，可以系统地验证所估计的$PC_t + SF_D$的质量。最终的叠加可视化结果如图4c、d所示。在这些可视化图像中，蓝色代表$PC_{t+1}$，红色代表$PC_t + SF_D$。这两个点集之间表现出的高度对齐性，有力证明了通过所提出方法得到的密集场景流标注$SF_D$的质量和准确性。
## 密集场景流估计
给定输入点集$PC_{t}$和$PC_{t+1}$，即可估计出与$SF_{D}$中每个三维点对应的三维运动向量（即密集场景流$PC_{t}$）。场景流估计是一个被广泛研究的研究领域，已有众多专为基于点云的场景流估计设计的最先进的深度学习架构，它们能够实现极高的准确率$^{22,23,126}$。
---
本研究采用了现成的密集场景流估计器Bi-PointFlowNet $^{22}$。选择该架构主要基于两个重要原因：(i) 它在具有挑战性的真实世界KITTI基准测试 $^{127}$ 中表现优异；(ii) 它展现出更强的跨数据集泛化能力，这从直接在KITTI评估中使用在合成FlyingThings3D数据集 $^{128}$ 上训练的模型而无需微调或归一化流程便可看出。Bi-PointFlowNet架构在类似金字塔的结构框架内采用了一种复杂的由粗到精的场景流估计方法，其设计灵感来源于开创性的PointPWCNet $^{62}$。感兴趣的读者可在补充材料中找到该网络的更多架构细节。最初在FlyingThings3D上训练的BiPointFlowNet在我们的手部数据集上表现欠佳，这是因为训练域与目标域之间存在固有的尺度差异。为解决这一局限，我们通过系统的输入缩放以及随后在密集场景流标注数据上的微调（详见“场景流标注”部分），将网络架构适配于手部特定应用。“消融研究”和“手部场景流估计评估”分别对该缩放方法和微调流程进行了详尽分析。
当输入点集经过 Bi-PointFlowNet 处理时，网络生成估计的稠密场景流向量 $SF_{D}$，其位置对应于点集 $PC_{t}$ 中每个三维点的精确位置。一个代表性的 $SF_{D}$ 估计示例类似于 Fig. 4b 所示的可视化，从而清晰地展示估计的流场。
## 稀疏场景流估计
由于本研究的主要目标是利用场景流来追踪3D手部形状与姿态，因此准确估计手部网格顶点和关节的稀疏场景流 $SF_{M}$ 至关重要（如图4a所示）。图1b展示了从先前计算的密集场景流 $SF_{M}$ 中估计稀疏场景流 $SF_{D}$ 的方法流程。当手部网格顶点和关节 $H_{t}$ 叠加在输入点集 $PC_{t}$ 上时，便形成了一个异质的混合点集，其中包含来自 $H_{t}$ 和 $PC_{t}$ 的点。在这个整合后的点集中，对应于 $SF_{D}$ 的位置处的场景流 $PC_{t}$ 是已知的，而对应于 $SF_{M}$ 的位置处的场景流 $H_{t}$ 则尚不确定。
对于这种混合点集配置，可以通过应用k近邻（k-NN）算法，利用相邻点的已知场景流 $SF_{M}$ 来系统估计未知的场景流 $SF_{D}$。具体而言，$SF_{M_{i}}$ 中某个 $i_{th}$ 点的场景流向量 $H_{t}$ 被计算为属于 $SF_{D_{j}}$ 的该 $i_{th}$ 点的k个最近邻点的密集场景流向量 $PC_{t}$ 的算术平均值，如公式(5)所示：
$$ SF_{M_{i}}=\frac{1}{k}\sum_{j=1}^{k}SF_{D_{j}} $$
这种从密集到稀疏、反之亦然的场景流估计双向方法构建了一个稳健的框架，能够利用两种表示模式的互补优势来实现精准的手部追踪。
## 手部形状优化
所提出的基于GCNN的优化模块通过双分支架构来解决初始手部形状和姿态估计中的不准确性问题，该架构能够充分利用从输入点云中提取的全局上下文信息和局部几何特征。该模块采用两条并行处理路径：一条用于形状优化，另一条用于姿态优化。每个分支都将粗略的初始估计结果与全局上下文特征及局部几何描述符相结合，随后利用图卷积神经网络（GCNN）来影响手部解剖结构的固有拓扑关系，从而预测精确的顶点级和关节级修正量。这种架构设计既保证了全局结构的一致性，又保留了精细的局部几何细节，进而能够实现准确且符合解剖学规律的手部重建。
后续帧中的手部形状和姿态$H_{t+1}$可以通过利用公式(3)，由估计出的参考手部形状$H_t$以及手部的稀疏场景流$SF_M$来计算得出。然而，对$SF_M$的估计误差可能会在连续帧的手部跟踪过程中传播并呈指数级放大。出于这一关键原因，最初估计出的手部形状和姿态（即$H_{t+1} = H_t + SF_M$）需要基于从点集$PC_{t+1}$中提取的判别性特征来进行优化。所提出的优化模块（RM）采用两阶段处理流程：首先从点集$PC_{t+1}$中提取全面的局部和全局特征，随后利用这些多尺度特征通过GCNN来估算最终优化后的手部形状和姿态$H_{t+1}$，从而提升其精确度。
## 特征提取器
给定输入点集以及基于场景流的手部形状和姿态估计结果，特征提取器的主要目标是提取互补的局部特征$LF_{t+1}$和全局特征$GF_{t+1}$。该框架采用了两种专门的特征提取器：一种用于捕捉整体上下文信息的全局特征提取器，另一种用于保留精细几何细节的局部特征提取器。这些特征提取器的设计借鉴了成熟的PointNet++$^{30}$和Point Transformer$^{31}$架构，结合了集合抽象层（SAL）和点变换层（PTL）的优势。
集合抽象层（SAL）：这一专用层通过系统的三步流程从输入点集中学习分层特征。首先，将输入点集下采样为更紧凑的表示形式。
---
| Sr. | Name | $N_{out}$ | $N_{s}$ | $F_{in}$ | MLP | $F_{out}$ |
| 1 | SAL-1 | 512 | 4 | 3 | 128, 128, 246 | 256 |
| 2 | SAL-2 | 512 | 4 | 256+3 | 256, 256, 512 | 512 |
| 3 | SAL-3 | 256 | 4 | 512+3 | 512, 512, 1024 | 1024 |
| 4 | SAL-4 | 1 | 4 | 1024+3 | 1024, 2048, 4096 | 4096 |
| 5 | SAL-5 | 778 | 4 | 3 | 32, 64, 128, 256, 512, 1024 | 1024 |
Table 1. Feature extractor—SAL hyper-parameters.
| Sr. | Name | $M_{\text{dim}}$ | $F_{\text{dim}}$ | $N_{s}$ |
| 1 | PTL-1 | 64 | 64 | 4 |
| 2 | PTL-2 | 128 | 128 | 4 |
| 3 | PTL-3 | 256 | 256 | 4 |
Table 2. Feature extractor—PTL hyper-parameters.
采用迭代式最远点采样（FPS）$^{129}$算法，以确保最大的空间覆盖范围。其次，执行分组操作：利用k近邻（k-NN）算法，从原始输入点集中收集下采样点集中每个点的局部邻居。最后，将共享的PointNET $^{29}$架构应用于每个构建好的组，以估计下采样点集中各点对应的输出层次特征。为求详尽，该层的完整架构细节已在补充材料中给出。点变换层（PTL）：该层对集合抽象层提取的特征应用向量注意力机制。这一基于变换器的层的核心目的在于，根据3D点特征在局部邻域内的相对空间布局，自适应地增强其贡献，从而捕捉点云数据中的长距离依赖关系。为求完整，该层的详细架构说明也已在补充材料中阐述。
全局特征提取：全局特征提取组件（见图1c）由四个集合抽象层（SAL）和三个点变换层（PTL）构成。这些互补层所选用的具体超参数已在表1和表2中详细记录。
SAL-1、SAL-2和SAL-3生成的是未经聚合的单点特征，而SAL-4则专门返回最终的聚合全局特征向量，该向量涵盖了输入点云的整体几何属性。
局部特征提取：如图1d所示，局部特征提取组件通过专门的集合抽象层（SAL-5）来实现，其超参数列于表1中。与其他SAL层相比，SAL-5具有一个显著特点：它特意省略了最远点采样（FPS）$^{129}$操作。SAL-5并非通过FPS生成子采样点集，而是直接利用基于场景流的手部形状和姿态估计结果（即$H_{t} + SF_{M}$）作为查询点，并系统计算这些具有解剖学意义的点附近的特征。通过这种双特征提取方式，既能有效捕获全局上下文信息，又能获取局部几何细节，从而为后续的手部形状优化过程提供全面的特征表示。全局特征提供了对整个手部的结构理解，而局部特征则保留了进行精确关节建模所需的精细细节。
## 基于GCNN的形状优化
形状优化模块的核心是GCNN。初始手部形状估计是通过结合$H_{t}$和$SF_{M}$得到的。然而，由于$H_{t+1}$和$H_{t}$的预测误差，这种对$SF_{M}$的估计本身存在不确定性。GCNN的主要目标就是解决这些不确定性问题，并通过对齐校正消除细微差异。
图卷积神经网络$^{91-93}$在解决精细化问题方面展现出了显著的有效性，尤其是在3D形状和姿态估计领域。我们提出的GCNN架构以基于场景流的手部形状和姿态估计结果（即$H_t + SF_M$）作为输入，同时结合从特征提取器中获取的全局和局部特征。该架构最终输出经过精细化处理后的手部形状和姿态，记为$H_{t+1}$。所提出的图卷积神经网络（GCNN）的架构（见图1e）受到了$^{94}$和$^{95}$研究的启发。GCNN层的公式化描述遵循$^{96}$提出的方法，具体如公式6所示：
$$ \mathbf{G}_{\mathbf{\widetilde{H}}}=\mathrm{F}(\mathbf{\hat{A}}\mathbf{G}_{\mathbf{H}}\mathbf{W}), $$
其中，$\mathbf{G}_{\mathrm{H}}$代表输入的手部形状或姿态图，$\mathbf{G}_{\mathrm{H}}^{\sim}$表示输出的精细化手部形状或姿态图，$\mathrm{F}(\cdot)$为激活函数，W对应可学习的权重矩阵，而$\hat{\mathbf{A}}$则是行归一化的图邻接矩阵。
---
Fig. 5. Kinematic joint adjacency template. Illustration of the 21-joint hand skeleton topology employed in the pose refinement GCNN branch. Edges represent kinematic adjacency relationships as defined by the anatomical joint hierarchy, which forms the structural basis for the adjacency matrix $\hat{A}$ utilized in the pose refinement network.
| Layer | Input dim | Output dim | Operation |
| Input | 3 + 1024 (global) + 1024 (local) | 2051 | Concatenation |
| GraphLinear | 2051 | 1024 | Linear |
| GraphResBlock 1 | 1024 | 512 | Residual GCN |
| GraphResBlock 2~5 | 512 | 512 | Residual GCN ( $4 \times$) |
| GraphResBlock 6 | 512 | 64 | Residual GCN |
| GraphResBlock 7 | 64 | 32 | Residual GCN |
| GroupNorm + ReLU | 32 | 32 | Normalization + activation |
| GraphLinear | 32 | 3 | Linear (regress coordinates) |
Table 3. GCNN architecture for shape and pose refinement. Both branches employ identical layer architectures, differing solely in their respective adjacency matrices: the shape branch utilizes the MANO mesh adjacency, while the pose branch employs the kinematic joint adjacency (illustrated in Fig. 5). Each node receives input comprising concatenated 3D coordinates, a 1024-dimensional global feature, and a 1024-dimensional local feature.
为了分别精细化手部形状和手部姿态，我们采用了两个独立的GCNN。在手部形状精细化过程中，邻接矩阵源自标准的MANO网格$^{124}$；而在手部姿态精细化中，邻接矩阵则基于图5所示的骨骼定义构建。输入图是以手部顶点和关节的3D位置作为图节点构成的，全局和局部特征会被附加到输入图的每个节点上，随后这些节点被送入相应GCNN的第一个图卷积层。
所提出的架构在两个GCNN中均包含五个图卷积层。前四层的输出节点特征维度为512，而最后一层则生成精细化的手部形状和姿态$H_{t+1}$。这种多层设计确保了手部网格的逐步精细化，从而得到精确且逼真的手部形状和姿态估计结果。每个GCNN分支处理的节点特定特征向量是通过将3D空间坐标与全局及局部特征表示拼接而成的。具体而言，每个节点接收到的输入向量维度为2051，其中包括3D坐标（3D）、全局上下文特征（1024D）以及局部几何特征（1024D）。形状精细化分支基于MANO网格拓扑生成的邻接矩阵进行操作，而姿态精细化分支则利用运动学骨骼邻接矩阵（详见图5）。为确保数值稳定性和收敛性，这两种邻接矩阵均按照公式(6)进行行归一化处理。两个分支的完整架构规格详见表3。值得注意的是，这两个分支采用独立的参数集，以便针对各自的任务进行专门学习。这种双分支设计借鉴了Litany等人$^{94}$和Kolotouros等人$^{95}$提出的架构框架。
## 参考形状估计
为了在整个序列中追踪3D手部形状和姿态，需要为第一帧确定参考或初始的手部形状和姿态。这一初始手部形状是通过参考手部形状估计器（HSE）来估算的，该估计器由全局特征提取器（参见“特征提取器”部分）和一个三层多层感知机（MLP）组成。首先，如图1c所示，利用全局特征提取器从输入点集中提取全局特征向量；随后，该全局特征向量被用于回归出手部形状和姿态。
---
通过MLP实现。该MLP由三个全连接层组成，每层均采用ReLU激活函数和批量归一化（BN）$^{130}$。这些架构选择的重要性在消融研究中得到了验证（见表4）。
## HandFlowNet的训练
生成多视角点集后（参见“深度图像的点集表示”部分），便开始对HandFlowNet进行顺序训练。首先分别训练参考手形估计器和场景流估计器；随后对整个HandFlowNet流程进行端到端的微调。训练过程使用单块NVIDIA RTX 3090 GPU，优化器采用Adam优化器$^{131}$。
## 参考手形估计器（HSE）的训练
参考手形估计器使用DexYCB数据集提供的手形和姿态标注信息训练100个周期$^{27}$。批量大小设为96，初始学习率设定为0.01，每经过10个周期学习率就会按0.314的比例逐步降低。损失函数定义为均方误差与平均绝对误差的加权组合，公式如式(7)所示：
$$ L=\frac{1}{\mathrm{N}}\sum_{i=1}^{N}\left[\left(\hat{p}_{i}-p_{i}\right)^{2}+\left|\hat{p}_{i}-p_{i}\right|\right] $$
其中$p_i$和$\hat{p}_i$分别表示$i^{th}$中$H_t$ 3D点的真实位置和预测位置。
训练前，输入点集$(PC_t)$以及对应的真实标注$\text{hand\_shape}$和姿态标注$(H_t)$会先进行均值归一化处理：从每个点中减去输入点集$(\overline{PC}_t)$的均值。为了进一步归一化尺度，$PC_t$和$H_t$中的所有点都会乘以10，以确保数值落在$[-1, +1]$范围内。这种归一化方式如式8所示：
$$ p_{i}:=(p_{i}-\overline{PC}_{t})\times10 $$
其中$p_{i}$表示$PC_{t}$或$H_{t}$中的任意3D点位置。
## 手部网格场景流估计器（SFE）的训练
场景流估计器以Bi-PointFlowNet$^{22}$为基础初始化，该模型已在FlyingThings3D数据集上预训练完成$^{128}$。为了适配DexYCB数据集，需对其进行20个周期的微调，学习率设为0.001，批量大小为20。“场景流标注”部分描述的方法生成的密集场景流标注被用作监督信号。所采用的损失函数遵循$^{22}$中定义的均方误差公式。
## HandFlowNet的训练
训练完整的HandFlowNet架构时，参考手形估计器、场景流估计器和全局特征提取器的权重保持不变，仅对局部特征提取器和图卷积神经网络进行优化。HandFlowNet训练30个周期，初始学习率为0.001，批量大小为96。所使用的损失函数与式(7)中的一致。
为确保特征表示的一致性，输入点集$(PC_t, PC_{t+1})$以及目标手形和姿态标注$(H_{t+1})$会按照前述方式归一化。具体来说，先减去第二个点集$(PC_{t+1})$的均值，再将所有数值缩放至$[-1, +1]$范围内，如式(9)所示：
$$ p_{i}:=(p_{i}-\overline{PC}_{t+1})\times10 $$
其中，$p_{i}$ 表示在 $PC_{t}$、$PC_{t+1}$ 或 $H_{t+1}$ 中的任意三维点。
| Sr. | BN | Act. | Layers | $GF_{{t}}$ Size | MPVPE (mm) |
| 1 | No | ReLU | 3 | 1024 | 33.25 |
| 2 | Yes | ReLU | 2 | 1024 | 10.91 |
| 3 | Yes | ReLU | 3 | 1024 | 10.52 |
| 4 | Yes | ReLU | 4 | 1024 | 10.57 |
| 5 | Yes | ReLU | 5 | 1024 | 10.79 |
| 6 | Yes | Leaky ReLU | 3 | 1024 | 10.65 |
| 7 | Yes | ReLU | 3 | 2048 | 10.40 |
| 8 | Yes | ReLU | 3 | 4096 | 9.76 |
| 9 | Yes | ReLU | 3 | 8192 | 12.40 |
Table 4. Ablation study on the architecture of HSE.
---
对于HO3D数据集，我们在基于DexYCB预训练的模型上再进行五个周期的微调，以适应该数据集的特性。
## 实验
我们在源自DexYCB数据集$^{27}$和HO3D数据集的多视角点集上对所提出的方法进行了定性和定量评估（详见“深度图像的点集表示”部分）。此外，我们还开展了一系列消融研究，以验证该方法中关键设计选择的有效性。
## 数据集与评估指标
DexYCB数据集：DexYCB是一个真实场景下的手部数据集，包含从八个不同视角采集的100个RGB-D序列。它提供了标注好的手部掩码，以及以MANO表示形式呈现的姿态和形状参数$^{132}$。手部形状和姿态标注($H_t$)是通过Manoph $^{133}$获取的。按照$^{119}$的方法，仅使用包含右手的序列。此外，我们将受试者S0的验证集和测试集合并为一个单独的验证集。在我们的多视角点集表示中（详见“深度图像的点集表示”部分），DexYCB数据集的训练集、验证集和测试集分别包含25,387个、1,412个和4,951个样本。
HO3D数据集：我们采用HO3D数据集的第3版，该数据集包含从不同视角采集的多个RGB-D序列。与DexYCB类似，该数据集也包含标注好的手部掩码以及用MANO参数表示的手部姿态/形状信息$^{132}$。手部形状和姿态标注($H_t$)是通过Manoph $^{133}$提取的。按照$^{119}$的方法，我们使用从五个视角采集的序列，并遵循其训练/测试集划分策略。
在多视角点集表示中（详见“深度图像的点集表示”部分），HO3D数据集的训练集和测试集分别包含9,087个和2,706个样本。与POEM $^{119}$一致，测试集也被用作验证集，解读结果时需留意这一点。使用HO3D测试集进行验证是为了能够直接与最先进的方法进行公平比较，从而确保文献中的基准测试具有一致性。为了增加训练样本的多样性，我们采用了数据增强技术，即施加三维旋转。具体而言，点云会沿着横滚角和俯仰角进行旋转，旋转角度从{0, 90, 180, 270}度中选择，从而使训练样本数量增加16倍。
评估指标：场景流估计的评估采用3D端点误差（EPE3D，单位：毫米），它计算了密集场景流$SF_{D}$和稀疏手部场景流$SF_{M}$中预测场景流向量与真实场景流向量之间的平均欧几里得距离。对于手部形状估计，采用平均顶点位置误差（MPVPE，单位：毫米）来衡量，即预测3D手部网格顶点与真实顶点之间的平均欧几里得距离。同样，对于手部姿态估计，采用平均关节位置误差（MPJPE，单位：毫米），它计算预测手部关节与真实手部关节之间的平均欧几里得距离。
此外，这些指标的根坐标相关版本——MPVPE-RR（毫米）和MPJPE-RR（毫米）——是通过在计算MPVPE和MPJPE之前，分别从预测的手部形状/姿态以及真实值中减去根部位置（手掌中心）来得出的。
为了评估时间一致性，文中报告了加速度误差Accel-RR（毫米/秒 $^2$）$^{19}$。该指标用于量化预测的根坐标相关3D手部关节加速度与真实值之间的差异，从而反映运动预测的平滑程度。
## 消融实验
通过在多视角DexYcb数据集的10%子集（即仅包含subject-01）上训练HandFlowNet的各个模块，验证了该网络的设计选择，具体训练方法如“HandFlowNet训练”一节所述。这些研究仅聚焦于手部形状恢复任务，因此采用MPVPE（毫米）指标来评估方法性能。
参考手部形状估计器（HSE）：参考手部形状估计器采用表4中列出的多种超参数配置的3层MLP进行训练。当MLP包含批量归一化和Leaky ReLU激活函数时，可取得最佳性能。增加网络深度并不会带来显著提升，因此最终采用的MLP结构为三层全连接层，并配备批量归一化和Leaky ReLU。确定MLP参数后，研究人员针对全局特征提取器开展了实验，测试了不同的全局特征向量维度（1024、2048、4096和8192）。如表4所示，维度为4096的全局特征向量能够给出最佳的MPVPE（毫米）结果。
手部网格场景流估计器（SFE）：场景流估计器以在FlyingThings3D数据集上预训练的Bi-PointFlowNet作为骨干网络，并在多视角验证集上进行评估。密集场景流（$SF_{D}$）的EPE3D（毫米）数值会受到输入点集规模的影响。为解决这一问题，引入了缩放因子（S）并应用于输入点集，经实验确定的最优值为$S = 15$。由于场景流估计器是利用k-NN算法从密集场景流（$SF_{M}$）中提取手部的稀疏场景流（$SF_{D}$），因此$SF_{M}$的EPE3D（毫米）数值会受到k值选择的影响。根据表5中的消融实验结果，按照k-NN算法的拐点法则，选定最优k值为15。
细化模块（RM）：通过三项实验评估了细化模块中全局特征向量与局部特征向量的有效性：(i)仅使用全局特征；(ii)仅使用局部特征；(iii)同时运用全局特征和局部特征。如表6所示，同时引入全局特征向量和局部特征向量时能够观察到显著的性能提升。此外，使用参考手部形状估计器中采用的预训练全局特征提取器，而非从头开始训练新的提取器，能够获得更优的性能。因此，全局特征提取器的权重会在参考手部形状估计器和细化模块之间共享。
---
| k | $SF_{{M}}$ EPE3D (mm) | k | $SF_{{M}}$ EPE3D (mm) | k | $SF_{{M}}$ EPE3D (mm) |
| 1 | 4.33 | 17 | 4.14 | 40 | 4.05 |
| 3 | 4.27 | 19 | 4.13 | 45 | 4.04 |
| 5 | 4.24 | 21 | 4.12 | 50 | 4.03 |
| 7 | 4.22 | 23 | 4.11 | 55 | 4.02 |
| 9 | 4.20 | 25 | 4.10 | 60 | 4.01 |
| 11 | 4.18 | 27 | 4.09 | 65 | 4.00 |
| 13 | 4.17 | 30 | 4.08 | 70 | 3.99 |
| 15 | 4.15 | 35 | 4.07 | 75 | 3.98 |
Table 5. Ablation study on SFE for k with S = 15.
| Sr. | Features | MPVPE (mm) |
| 1 | $GF_{t}$ only | 10.97 |
| 2 | $LF_{t}$ only | 10.75 |
| 3 | $GF_{t}$ only with shared GFE | 10.75 |
| 4 | Both $GF_{t}$ and $LF_{t}$ with shared GFE | 10.50 |
Table 6. Ablation study on RM. Both global and local features play a crucial role in refinement. Identical weights of the global feature extractor (GFE) are utilized for both $PC_{t}$ and $PC_{t+1}$. Significant values are in bold.
Fig. 6. Ablation study. We assess the role of scene flow by conducting an experiment without it. The initial hand estimate $(H_{t})$ is predicted using the hand shape estimator (HSE). Local $(LFt + 1)$ and global $(GF_{t+1})$ features are extracted by the feature extraction (FE) module, and the final hand shape $H_{t+1}$ is predicted using the refinement module (RM).
Table 7. Ablation study showing the significance of scene flow estimation on the DexYcb dataset.
在细化模块的消融实验中，全局特征向量的维度被固定为1024。
场景流的重要性：通过消融实验来评估场景流的关键作用。在该实验中，移除场景流模块后，模型仅由特征提取模块和精炼模块组成，如图6所示。在“无场景流”的设置下，省略场景流估计模块，并重新训练模型以直接从当前帧的输入点集预测手部形状和姿态。其目标是基于点集$H_{t+1}$以及参考手部形状估计器提供的初始手部形状和姿态$PC_{t+1}$来预测手部形状和姿态$H_t$。场景流并非直接用于增强手部重建，而是通过提供连续帧之间的显式3D运动信息，来作为追踪随时间变化的手部形状和姿态的机制。这种时间信息在跨帧传递手部形状和姿态、修正单帧预测中的误差以及保持重建一致性方面发挥着至关重要的作用。与所提出的HandFlowNet（图1a）相比，表7中的结果凸显了场景流作为时间信息的重要性。此外，表7中Accel-RR的结果也显示出将场景流整合到流程中后，在时间稳定性方面取得的显著提升。
---
| Model weights | $SF_{{D}}$ EPE3D (mm) | $SF_{{M}}$ EPE3D (mm) |
| Pre-trained | 4.51 | 4.62 |
| Fine-tuned | 2.39 | 3.04 |
| Improvement | 47% | 34.20% |
Table 8. Effectiveness of fine-tuning SFE on DexYCB. Significant values are in bold.
Fig. 7. Scene flow error diagram. It shows the point-wise EPE3D (mm) according to the color map. Significant improvement can be observed in $SF_{M}$ after fine-tuning without causing any performance degradation in $SF_{D}$ estimation. This figure is best viewed in color.
## 手部场景流估计的评估
本小节在DexYCB数据集上评估场景流估计器的性能。手部形状重建的准确性依赖于手部场景流的估计，因此对于所提出的方法而言，鲁棒且准确的场景流估计至关重要。为了提升性能，我们采用迁移学习技术，利用多视图训练子集对已在FlyingThings3D数据集上预训练的场景流估计器进行微调（详见“HandFlowNet训练”部分）。
在FlyingThings3D上预训练的Bi-PointFlowNet最初在手部数据集上的表现并不理想，由于不同域之间的尺度差异，其EPE3D值达到了512.78毫米。通过按15倍因子进行系统性的输入缩放（详见“消融实验”部分），域自适应处理后EPE3D值降至4.51毫米。随后，基于我们的密集场景流标注数据（详见“场景流标注”部分）进行微调，进一步提升了性能，使EPE3D值降至2.39毫米。
表8展示了在多视图验证子集上，预训练场景流估计器与微调后场景流估计器之间的定量对比结果。结果表明，微调后场景流估计器的EPE3D（毫米）对于$SF_{D}$和$SF_{M}$分别改善了47%和34.20%，提升幅度十分显著。
图7通过彩色图展示了估计的密集场景流$SF_{D}$与稀疏手部场景流$SF_{M}$的逐点EPE3D（毫米）值。误差超过10毫米的点以红色标记，其余误差则按照颜色标尺着色。图7中的定性结果显示，密集场景流$SF_{D}$的估计既稳健又准确，因为大多数点的误差范围都落在0–2毫米之间。这一观察结果与表8中报告的2.39毫米的整体定性平均EPE3D（毫米）值相符。这种准确性在预料之中，因为密集场景流的真实标注并非来自实际测量，而是根据稀疏场景流真实标注估算得出的（详见“场景流标注”部分）。图7进一步显示，稀疏手部场景流$SF_{M}$的估计变异性更大，手指附近观察到的误差也更为明显。这种现象源于遮挡、深度测量不精确以及掩码标注错误。因此，尽管整体定性平均EPE3D（毫米）值达到3.04毫米，但指尖附近的场景流误差仍可能超过10毫米。这些误差可能导致HandFlowNet对手部姿态和形状的估计出现偏差。关于此问题的详细讨论见于“手部形状估计评估”一节，其中指出细化模块能有效补偿此类误差。图7中的定性结果还表明，经过微调后，稀疏手部场景流$SF_{M}$的估计性能有了显著提升。
## 手部形状估计评估
我们在DexYCB和HO3D数据集上对HandFlowNet流程进行3D手部形状估计任务的评估。模型的训练遵循“HandFlowNet训练”中概述的方法。所提方法与现有最先进（SoTA）方法的定量对比结果展示于
---
| Sr. | Method | Input data | Multiview | Temporal | MPVPE $\downarrow$ | MPJPE $\downarrow$ | MPVPE-RR $\downarrow$ | MPJPE-RR $\downarrow$ | Accel-RR $\downarrow$ |
| 1 | MobRecon $^{{99}}$ | RGB | - | - | 13.05 | 14.20 | 13.10 | 14.20 | - |
| 2 | HFL Net $^{{86}}$ | RGB | - | - | - | 12.56 | - | - | - |
| 3 | HandOccNet $^{{85}}$ | RGB | - | Yes | 13.09 | 14.04 | - | - | - |
| 4 | H2ONet $^{{108}}$ | RGB | - | Yes | 12.70 | 13.70 | - | - | - |
| 5 | VIBE $^{{19}}$ | RGB | - | Yes | - | 16.95 | - | 16.95 | 36.40 |
| 6 | Deformer $^{{20}}$ | RGB | - | Yes | - | - | - | 13.64 | 31.70 |
| 7 | TCMR $^{{21}}$ | RGB | - | Yes | - | 16.03 | - | 16.03 | 34.30 |
| 8 | PyMAF-X $^{{109}}$ | RGB | - | Yes | - | - | - | 38.10 | 17.10 |
| 9 | POEM $^{{119}}$ | RGB | Yes | - | 6.13 | 6.06 | 7.21 | 7.30 | - |
| 10 | SiMA-Hand $^{{122}}$ | RGB | Yes | - | 12.78 | 13.25 | - | - | - |
| 11 | DiffHand $^{{87}}$ | RGB+D | - | - | 12.1 | - | - | - | - |
| 12 | A2J $^{{10}}$ | D | - | - | - | 23.93 | - | - | - |
| 13 | IPNet $^{{75}}$ | D+Point | - | - | - | 8.03 | - | - | - |
| 14 | HandFlowNet (ours) | Point | Yes | Yes | 9.45 | 9.67 | 8.61 | 8.80 | 7.25 |
Table 9. Quantitative comparison on DexYCB Dataset (best results are in bold while second best are italics).
| Sr. | Method | Input data | Multiview | Temporal | MPVPE $\downarrow$ | MPJPE $\downarrow$ | MPVPE-RR $\downarrow$ | MPJPE-RR $\downarrow$ | Accel-RR $\downarrow$ |
| 1 | THOR-Net $^{{11}}$ | RGB | - | - | 23.70 | 25.60 | - | - | - |
| 2 | METRO $^{{14}}$ | RGB | - | - | - | - | - | 38.70 | 17.40 |
| 3 | PyMAF-X $^{{109}}$ | RGB | - | Yes | - | - | - | 29.60 | 9.30 |
| 4 | HandOccNet $^{{85}}$ | RGB | - | Yes | - | - | - | 24.9 | - |
| 5 | POEM $^{{119}}$ | RGB | Yes | - | 17.20 | 17.28 | 21.45 | 21.94 | - |
| 6 | MLP Hand $^{{123}}$ | RGB | Yes | - | 18.69 | 18.70 | 23.28 | 23.76 | - |
| 7 | ShapeGraFormer $^{{134}}$ | D | - | - | 19.40 | 19.90 | - | - | - |
| 8 | HandFlowNet (ours) | Point | Yes | Yes | 13.79 | 14.41 | 12.73 | 13.35 | 9.65 |
Table 10. Quantitative comparison on HO3D Dataset (best results are in bold, while second best are italics).
表9和表10中。平均顶点位置误差（MPVPE（毫米））数值表明，HandFlowNet方法在DexYCB和HO3D基准测试上的手部形状估计性能具有竞争力。
图12展示了DexYCB数据集上MPVPE的统计分布。在测试集上，MPVPE的标准差为6.18毫米，方差为38.21毫米。
图8展示了参考手部形状估计器与HandFlowNet对DexYCB中选取的五帧图像重建出的手部形状质量。第一列展示了输入点集$(PC_t$（蓝色）和$PC_{t+1}$（绿色）。第二列和第三列分别可视化了密集场景流$(SF_D)$与稀疏手部场景流$(SF_M)$的场景流向量，颜色根据提供的彩色图表示场景流向量的大小。
第四列和第五列显示了参考手部形状估计器的输出：第五列中以红色呈现预测的手部形状，第四列则将参考手部形状估计器的输出叠加在真实形状之上。同样，第九列中以绿色展示HandFlowNet预测的手部形状，第八列则将HandFlowNet的输出叠加在真实形状之上。第六列和第七列证明了场景流估计器在未使用细化模块的情况下估计手部形状（$H_{t+1}$）的有效性。第七列以蓝色显示基于场景流的手部形状（$H_{t+1} = H_t + SF_M$），第八列则将该估计结果叠加在真实形状之上。
由于初始手部形状和场景流是通过深度神经网络估计得出的，因此它们仍容易出错。不过，HandFlowNet流程能够有效减轻来自参考手部形状估计器（HSE）和场景流估计器（SFE）的这些误差，从而生成精确的手部形状。图8a中的样本便体现了这一能力。图8a(b)和8a(d)展示了这样的情况：HSE重建的初始手部形状的偏差会被传入细化模块（RM）的输入端。尽管存在这些偏差，RM仍能成功纠正错误，输出精确的结果。图8a(c)和8a(e)则展示了另一种情况：由于HSE导致的初始手部形状偏差（红色），再加上SFE误差产生的额外变形和伪影（蓝色）。尤其是图8a(e)，它反映了手部运动显著的情况，这一点从较大的场景流矢量大小中便可看出。即便面对如此具有挑战性的场景，HandFlowNet流程仍能高精度地预测手部形状和姿态。最终输出结果表明，RM有效消除了这些误差，从而生成平滑的手部形状。此外，图8a(a)展示了一个初始手部形状准确，但仍存在SFE带来的平移误差和伪影的案例。RM同样成功解决了这些问题。
---
(a) Qualitative results of 3D Hand Shape Estimation Task on DexYcb dataset. First column shows input point sets. Second and third columns show predicted $SF_{D}$ and $SF_{M}$ where the color represents magnitude of the scene flow vectors as per given color-map. Fifth column shows $H_{t}$ (red) predicted by HSE. Seventh column shows $H_{t+1}$ (blue) estimated directly from $SF_{M}$ without the RM. Ninth column shows the final $H_{t+1}$ (green) predicted by HandFlowNet after the RM. Fourth, Sixth and Eighth columns show the overlay of predicted shapes with respective ground truth (grey). This figure is best viewed in color.
(b) Qualitative results on 3D Hand Shape Estimation Task on HO3D dataset. First column shows input point sets. Third column shows $H_{t+1}$ (blue) estimated directly from $SF_{M}$ without the RM. Fifth column shows the final $H_{t+1}$ (green) predicted by HandFlowNet after the RM. Second and Fourth columns show the overlay of predicted shapes with respective ground truth (grey).
Fig. 8. Qualitative results of 3D hand shape estimation task.
图8a中展示的定性性能结果证明了所提方法的鲁棒性。该方法并非直接优化手部重建过程，而是利用场景流来通过跨帧追踪手部形状和姿态以确保时间一致性。稀疏场景流能够估算手部网格顶点和关节的三维运动，进而通过时间传播来修正单帧预测中的误差。例如，如图8a(d)所示，细化模块通过将场景流与当前帧的特征相结合，纠正了小指位置等不准确性。即便在HSE和SFE均引入误差的挑战性场景中——如图8a(d)所示，细化模块也展现出了其鲁棒性，能够有效处理这些不准确性。同样，图9也说明了我们的方法在3D手部姿态估计方面的有效性。
---
Fig. 9. Qualitative results of 3D hand pose estimation task on DexYcb dataset. First column shows input point sets. Second and third columns show predicted $SF_{D}$ and $SF_{M}$ where the color represents magnitude of the scene flow vectors as per given color-map. Fifth column shows $H_{t}$ (red) predicted by HSE. Seventh column shows $H_{t+1}$ (blue) estimated directly from $SF_{M}$ without the RM. Ninth column shows the final $H_{t+1}$ (green) predicted by HandFlowNet after the RM. Fourth, Sixth and Eighth columns show the overlay of predicted shapes with respective ground truth (grey). This figure is best viewed in color.
如图9所示，我们的HandFlowNet能够准确估计各种手部姿态和交互情况下的关节位置。第(a)至(e)行代表了不同的输入场景，展现了模型处理多样化手部配置的能力。例如，在像第(c)行这种手指部分可见、以及第(e)行这种关节结构更复杂的挑战性案例中，与未经细化的结果（蓝色）相比，细化模块显著改善了最终的关节预测结果（绿色），使其更接近真实值。场景流可视化图像（第2-3列中的$SF_{D}$和$SF_{M}$）则展示了我们的方法如何有效捕捉能够指导精确姿态估计的运动模式。
结果表明，HandFlowNet流程利用估算的场景流和细化网络生成了精确的手部形状。图8b进一步展示了该方法在HO3D数据集的样本帧上所表现出的类似定性性能。
## 手部姿态估计评估
在本小节中，我们在DexYCB和HO3D数据集上对HandFlowNet方法进行3D手部姿态估计任务的评估。模型的训练遵循“HandFlowNet训练”中概述的方法。表9和表10展示了所提方法与现有最先进（SoTA）方法对比的定量结果。平均关节位置误差（MPJPE (mm)）数值表明，HandFlowNet方法相较于SoTA技术取得了具有竞争力的性能。
图10b展示了在不同误差阈值下样本的占比情况，并与基于深度的方法——即IPNet $^{75}$和$^{10}$进行了对比。我们的方法在几乎所有阈值下都取得了最低的MPJPE值。此外，图10a描述了各个手指关节的误差分布情况，相关内容在“讨论”部分有更详细的分析。
此外，图12展示了DexYCB数据集上MPJPE的统计分布。在测试集上，MPJPE的标准差为6.24毫米，方差为38.93平方毫米 $^{2}$。
图8a展示了DexYcb数据集上参考手形估计器和HandFlowNet对样本帧所估计的3D手部姿态。第一列显示了输入的点集。第二列和第三列分别用矢量表示法展示了估计的密集场景流（$SF_{D}$）和稀疏手部场景流（$SF_{M}$）。第四列和第五列则呈现了参考手形估计器的估计结果。第五列中，参考手形估计器预测的手部姿态以红色显示，第四列则将估计结果叠加在真实值之上。同样，第九列中HandFlowNet预测的手部姿态以绿色显示，第八列则将HandFlowNet的输出叠加在真实值上。第六列和第七列突出了场景流估计器在未使用细化模块时估计手部姿态的效果。第七列中，基于场景流的手部姿态（$H_{t+1} = H_t + SF_M$）以蓝色显示，第八列则将真实值叠加在此估计结果上。图8a所示的定性结果表明，所提出的方法通过利用手部关节场景流估计，能够有效恢复精确的3D手部姿态。
---
(a)
(b)
Fig. 10. (a) Joint-wise error distribution on DexYcb dataset. (b) Distribution of samples across error thresholds on the DexYCB dataset.
| Module | Inference time (ms) | Parameters (M) |
| Hand shape estimator (HSE) | 5 | 37 |
| Scene flow estimator (SFE) | 19 | 8 |
| Refinement module (RFM) | 15 | 19 |
| HandFlowNet (Total) | 39 | 64 |
Table 11. Runtime performance (batch size 1) and parameter count for each module of HandFlowNet.
EPE3D_D EPE3D_M MPJPE (mm) MPVPE (mm) Number of Points (%)
(a)
(b)
Fig. 11. Error distribution on DexYcb dataset across different ranges of (a) hand movement (b) input point cloud occlusion ratios.
## 运行时间与模型参数
所提出的HandFlowNet在NVIDIA RTX 3090 GPU上以批量大小1运行时，单次前向传播仅需39毫秒。这种高效性使其能够实现实时部署，帧率可达每秒25帧（FPS）。该模型架构包含6400万个参数，其中HSE、SFE和RFM分别包含3700万、800万和1900万个参数；在表11（图11）指定的相同硬件上，它们每帧（批量大小1）的推理时间分别为5毫秒、19毫秒和15毫秒。
## 讨论
表9和表10中呈现的定量结果，结合图8、图9和图10b中展示的定性发现，均证明了HandFlowNet——这一新型基于场景流的手部跟踪方法——具有极具竞争力的性能。
HandFlowNet利用估计的初始手形和密集场景流来预测后续帧中的3D手部姿态。因此，整个系统的精度取决于这两者的精确度。
---
(a)
(b)
Fig. 12. Statistical distribution (histogram), standard deviation and variance of errors on DexYcb dataset (a) MPJPE (b) MPVPE.
估计组件。我们提出了一种生成场景流标注的综合策略，旨在优化专门针对手部动态的场景流估计方法。如表8所示，这种针对特定领域的优化对于取得具有竞争力的性能至关重要。表9和表10中报告的结果基于参考估计器给出的初始手部形状估计值。通过集成更复杂的手部形状估计网络或引入手部校准帧，还能进一步提升性能。不过我们承认，当手部形状或场景流估计器产生的初始误差较大时，尤其是存在严重遮挡或手部运动剧烈的情况下，我们基于GCNN的细化模块的效果会受到限制。为解决这一局限，未来的工作可以研究多阶段GCNN细化策略，以增强对误差传播的抵抗力，进一步提高跟踪精度。
虽然VIBE $^{19}$和TCMR $^{21}$等视频级和循环模型通过循环或Transformer架构运用复杂的时间先验，但它们通常依赖为全局运动模式优化的参数化模型。相比之下，我们的基于场景流的方法提供了直接且密集的时间对应关系，因此特别适合捕捉手部动态所特有的细粒度、高度关节化的运动，而无需依赖参数化模型的约束。未来的研究可以探索将密集对应关系与循环时间建模相结合，以进一步提升性能。
我们进行了全面分析，以评估快速运动对场景流估计器和HandFlowNet的影响，如图10a所示。该分析将样本分为三个平均点位移区间：< 30毫米、30–60毫米、> 60毫米），这些区间对应连续帧之间的位移。主y轴显示了每个区间内的EPE3D_D、EPE3D_M、MPJPE和MPVPE误差指标，次y轴则显示了每个区间内测试样本的百分比。场景流估计器的误差（EPE3D_D、EPE3D_M）随位移大小的增加而呈上升趋势，尤其是在快速运动（>>60毫米）情况下更为明显。值得注意的是，HandFlowNet的误差（MPJPE、MPVPE）在前两个区间内保持稳定，这表明基于GCNN的细化模块有效缓解了误差传播问题。不过对于快速运动而言，误差会随着场景流估计误差的增加而相应增大。
为了系统分析遮挡的影响，我们研究了四个遮挡比例区间内的性能表现：< 20%、20–40%、40–60%、> 80%，如图10b所示。遮挡比例指的是手部网格真实顶点中，在20毫米范围内没有相邻输入点云点的顶点所占的百分比。场景流估计器和HandFlowNet的性能均随遮挡百分比的增加而下降，这凸显了不完整观测所带来的根本性挑战。
我们通过分析各关节位置处的平均误差（EPE3D_M、MPJPE），进一步评估了不同手部组件上的误差分布。如图7中的定性结果所示，指尖附近的性能下降最为明显。这种下降很可能是由于指尖处的遮挡造成的——深度相机难以捕捉细微结构，加之指尖区域的几何复杂度本身较高。
总体而言，这些分析（图10和图7）表明，在快速运动或严重遮挡的帧中，场景流估计器的性能会受到根本性限制，进而制约了HandFlowNet的整体精度。
正如“密集场景流估计”一节所讨论的，HandFlowNet选择基于点云的网络来进行密集场景流估计，是因为该流程采用了多视图融合策略——这种策略利用相机投影矩阵在点云层面进行操作。虽然Bi-PointFlowNet是一个有效的基础模型，但通过整合RAFT-3D $^{47}$ 或 FlowStep3D $^{56}$ 等先进的场景流模型，仍有很大的改进空间。未来的研究可以探索这些替代方案，以提升HandFlowNet在快速运动和严重遮挡等挑战性条件下的鲁棒性与性能。
当前的场景流估计网络还可以通过将几何或运动学信息融入模型架构，进一步适配手部特定任务。此外，细化模块采用金字塔架构进行特征聚合，以及多阶段GCNN细化策略，或许能进一步提升其效果。
---
为了与POEM $^{119}$ 等最先进的方法保持一致并实现公平比较，我们仅使用了右手样本。不过，只需加入左右手检测器，就能轻松将HandFlowNet扩展到双手应用场景。对于左手样本，可在处理前通过双轴镜像操作将其转换为右手表示，处理后再将输出结果镜像还原，即可恢复原始形态。
需要注意的是，“深度图像的点集表示”一节中提到的基于DBSCAN的伪影去除步骤，在严重遮挡条件下可能存在漏洞，可能会将有效的手部区域与异常点一同移除。输入点集质量的下降凸显出需要更稳健的预处理方法，以便在挑战性条件下更好地保留关键的手部结构。
最后，我们在单视图点集上评估了所提出的流程，在DexYCB数据集上得到的MPVPE和MPJPE值分别为15.55毫米和15.84毫米。与表9中的多视图情况相比，这种性能局限源于严重的遮挡现象、单视图条件下3D点云的几何不一致性，以及基于DBSCAN的预处理方法的局限性。鉴于本研究主要面向多视图场景，通过更适配的算法和增强的数据融合策略，将基于场景流的技术拓展到单视图环境，将是未来研究的一个有前景的方向。
## 结论与未来工作
在这项研究中，我们提出了一种新颖的HandFlowNet方法，该方法能够通过有效利用图像序列中固有的场景流信息，从点云数据重建三维手形和姿态。所提出的架构采用了神经变换器和图卷积网络。我们利用手部数据集中的现有手形标注，开发了一种生成密集与稀疏手部场景流标注的新方法。实验结果表明，可以从连续的两帧图像中准确估计手部场景流。所估计的场景流与后续帧中提取的特征，能够在图神经网络中被有效处理，从而生成下一帧中精确的手部形状。在DexYCB基准测试上取得的结果证实，所提出的方法在三维手部姿态和形状重建方面树立了全新的最佳水平。
尽管我们的方法展现了具有竞争力的性能，但仍存在若干挑战。如前所述，HandFlowNet的准确性会受到手部快速运动及严重遮挡的影响，尤其是在单视图场景下，不完整的观测数据以及激进的噪声去除算法可能会损害输入数据的质量。指尖区域的性能下降最为明显，这很可能是由于传感器在捕捉细微结构时的固有局限，以及这些解剖学复杂区域中遮挡现象的普遍性所致。
虽然图神经网络能够天然地捕捉手形的结构特性，但将参数化手部模型显式集成到该流程中，可作为未来值得探索的方向。此类改进或许有助于生成更稳定、更精细的手部形状和姿态。此外，开发多帧场景流估计网络，不仅能进一步提升手部场景流估计的准确性，还能提高重建出的手部形状和姿态的精确度。
未来的研究将致力于整合先进的场景流模型、引入几何或运动学先验，并通过金字塔和多阶段架构来优化细化模块。开发稳健的预处理方法来更好地应对遮挡和异常值问题，同时针对单视图场景设计自适应算法，这些都是颇具前景的研究方向。此外，将密集对应关系与基于循环或变换器的时间建模相结合，有望进一步精准捕捉手部细微且高度关节化的动态变化。
## 数据可用性
本研究中使用的数据集，即DexYCB数据集和HO3D数据集，均可通过各自平台公开获取。DexYCB数据集可在查看，而HO3D数据集则可通过访问。为确保研究结果的可复现性并助力未来研究，论文被接收后，实现代码将在GitHub上公开发布。
收稿日期：2025年4月23日；录用日期：2025年8月19日
在线发表日期：2025年9月24日
## 参考文献
1. Fan, Z.等人. Arctic：一个用于灵巧双手-物体操控的数据集。载于2023年IEEE/CVF计算机视觉与模式识别会议（CVPR）。第12943–12954页。 (2023)。
2. Rastgoo, R.、Kiani, K.、Escalera, S.和Sabokrou, M.：手语生成：综述。载于2021年IEEE/CVF计算机视觉与模式识别会议研讨会（CVPRW）。第3446–3456页。（2021年）。
[^3]: Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C. & Hays, J. Contactpose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision (ECCV) (2020).
[^4]: Zhou, Y. et al. Monocular real-time hand shape and motion capture using multi-modal data. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020).
5. Chen, X.、Wang, B.和Shum, H.-Y.：手部虚拟形象：基于单目视频的自由姿态手部动画与渲染。载于2023年IEEE/CVF计算机视觉与模式识别会议（CVPR）。第8683–8693页。（2023年）。
---
6. Malik, J.等人：Deepairsig：基于端到端深度学习的空中签名验证。IEEE Access第8卷，第195832–195843页。（2020年）。
7. Karunratanakul, K.、Prokudin, S.、Hilliges, O.和Tang, S.：Harp：基于单目视频的个性化手部重建。载于2023年IEEE/CVF计算机视觉与模式识别会议（CVPR）。第12802–12813页。（2023年）。
[^8]: Wang, C., Zhu, F. & Wen, S. Memahand: Exploiting mesh-mono interaction for single image two-hand reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023).
[^9]: Moon, G., Yong Chang, J. & Mu Lee, K. V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2018).
[^10]: Jiang, C. et al. A2j-transformer: Anchor-to-joint transformer network for 3D interacting hand pose estimation from a single rgb image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023).
11. Aboukhadra, A. T.、Malik, J.、Elhayek, A.、Robertini, N.和Stricker, D.：Thor-net：基于Graformer的端到端真实双手与物体重建，并采用自监督机制。载于2023年IEEE/CVF计算机视觉应用冬季会议（WACV）。第1001–1010页。（2023年）。
[^12]: Chen, Z., Hasson, Y., Schmid, C. & Laptev, I. Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In European Conference on Computer Vision (ECCV) (2022).
[^13]: Tse, T. H. E., Kim, K. I., Leonardis, A. & Chang, H. J. Collaborative learning for hand and object reconstruction with attention-guided graph convolution. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2022).
[^14]: Lin, K., Wang, L. & Liu, Z. End-to-end human pose and mesh reconstruction with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2021).
[^15]: Wen, Y. et al. Hierarchical temporal transformer for 3d hand pose estimation and action recognition from egocentric rgb videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023).
[^16]: Cai, Y. et al. Exploiting spatial-temporal relationships for 3d pose estimation via graph convolutional networks. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2019).
[^17]: Chen, L., Lin, S.-Y., Xie, Y., Lin, Y.-Y. & Xie, X. Temporal-aware self-supervised learning for 3d hand pose and mesh estimation in videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2021).
18. Tu, Z.等人：通过自监督学习实现视频中一致的3D手部重建。IEEE Trans. Pattern Anal. Mach. Intell.第45卷，第9469–9485页。（2023年）。
19. Kocabas, M.、Athanasiou, N.和Black, M. J.：Vibe：用于人体姿态与形状估计的视频推理。载于2020年IEEE/CVF计算机视觉与模式识别会议（CVPR）。第5252–5262页。（2020年）。
20. Fu, Q.、Liu, X.、Xu, R.、Niebles, J. C.和Kitani, K. M.：Deformer：用于鲁棒手部姿态估计的动态融合Transformer。载于2023年IEEE/CVF国际计算机视觉会议（ICCV）。第23543–23554页。（2023年）。
21. Choi, H.、Moon, G.、Chang, J. Y.和Lee, K. M.：超越静态特征，从视频中实现时间上一致的3D人体姿态与形状重建。载于2021年IEEE/CVF计算机视觉与模式识别会议（CVPR）。第1964–1973页。（2021年）。
[^22]: Cheng, W. & Ko, J. H. Bi-pointflownet: Bidirectional learning for point cloud based scene flow estimation. In European Conference on Computer Vision (ECCV) (2022).
[^23]: Wang, G. et al. What matters for 3D scene flow network. In European Conference on Computer Vision (ECCV) (2022).
[^24]: Li, R., Lin, G., He, T., Liu, F. & Shen, C. Hcrf-flow: Scene flow from point clouds with continuous high-order crfs and position-aware flow embedding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2021).
[^25]: Ge, L., Ren, Z. & Yuan, J. Point-to-point regression pointnet for 3D hand pose estimation. In European Conference on Computer Vision (ECCV) (2018).
[^26]: Cheng, W. & Ko, J. H. Bi-pointflownet: Bidirectional learning for point cloud based scene flow estimation. In European Conference on Computer Vision (ECCV) (2022).
[^27]: Chao, Y.-W. et al. Dexycb: A benchmark for capturing hand grasping of objects (2021). arXiv:2104.04631.
[^28]: Hampali, S., Rad, M., Oberweger, M. & Lepetit, V. Honnotate: A method for 3D annotation of hand and object poses (2020). arXiv:1907.01481.
[^29]: Qi, C. R., Su, H., Mo, K. & Guibas, L. J. Pointnet: Deep learning on point sets for 3D classification and segmentation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2017).
[^30]: Qi, C. R., Yi, L., Su, H. & Guibas, L. J. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In Conference on Neural Information Processing Systems (NeurIPS) (2017).
[^31]: Zhao, H., Jiang, L., Jia, J., Torr, P. H. & Koltun, V. Point transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2021).
[^32]: Guo, M.-H. et al. Pct: Point cloud transformer. Comput. Visual Med. 7, 187–199 (2021).
33. Vedula, S.、Rander, P.、Collins, R.和Kanade, T.：三维场景流。IEEE Trans. Pattern Anal. Mach. Intell.第27卷，第475–480页。（2005年）。
34. Huguet, F.和Devernay, F.：一种基于变分方法的立体序列场景流估计。Proc. IEEE/CVF Int. Conf. Comput. Vis. (ICCV) （2007年）。
35. Valgaerts, L.等人：基于立体序列的运动、结构与几何联合估计。Eur. Conf. Comput. Vis. (ECCV) （2010年）。
36. Pons, J.-P.、Keriven, R.和Faugeras, O.：基于全局图像匹配评分的多视角立体重建与场景流估计。Int. J. Comput. Vis. (IJCV)第72卷，第179–193页。（2007年）。
37. Wedel, A.等人：从稀疏或密集立体数据中提取高效的密集场景流。Eur. Conf. Comput. Vis. (ECCV) （2008年）。
38. Čech, J.、Sanchez-Riera, J.和Horaud, R.：通过扩展对应点种子来估计场景流。Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR) （2011年）。
39. Menze, M.和Geiger, A.：用于自动驾驶车辆的对象场景流。Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR) （2015年）。
40. Mayer, N.等人。一个用于训练卷积网络以估计视差、光流和场景流的大型数据集。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集 （2016年）。
41. Vogel, C.、Schindler, K.和Roth, S。分段刚性场景流。载于IEEE/CVF国际计算机视觉会议（ICCV）论文集 （2013年）。
43. Ma, W.-C.、Wang, S.、Hu, R.、Xiong, Y.和Urtasun, R。深度刚性实例场景流。载于2019年IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第3609–3617页 （2019年）。
44. Hadfield, S.和Bowden, R。Kinecting the dots：基于粒子的深度传感器场景流。载于2011年国际计算机视觉会议论文集，第2290–2295页 （2011年）。
---
45. Herbst, E.、Ren, X.和Fox, D。RGB-D流：利用颜色和深度进行密集的3D运动估计。载于2013年IEEE国际机器人与自动化会议论文集，第2276–2282页 （2013年）。
46. Jaimez, M.、Souiai, M.、Gonzalez-Jimenez, J.和Cremers, D。一种用于实时密集RGB-D场景流的原始-对偶框架。载于2015年IEEE国际机器人与自动化会议（ICRA）论文集，第98–104页 （2015年）。
[^47]: Teed, Z. & Deng, J. Raft-3d: Scene flow using rigid-motion embeddings. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2021).
[^48]: Liu, H. et al. Camliflow: Bidirectional camera-lidar fusion for joint optical flow and scene flow estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2022).
[^49]: Peng, C. et al. Delflow: Dense efficient learning of scene flow for large-scale point clouds. arXiv preprint arXiv:2308.04383 (2023).
50. Hur, J.和Roth, S。自监督单目场景流估计。载于2020年IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第7394–7403页 （2020年）。
51. Hur, J.和Roth, S。自监督多帧单目场景流。载于2021年IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第2683–2693页 （2021年）。
52. Yang, G.和Ramanan, D。通过光学扩展将光流升级为3D场景流。载于2020年IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第1331–1340页 （2020年）。
53. Yang, G.和Ramanan, D。从两帧图像中学习分割刚性运动。载于2021年IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第1266–1275页 （2021年）。
[^54]: Wang, G., Tian, X., Ding, R. & Wang, H. Unsupervised learning of 3D scene flow from monocular camera. In IEEE International Conference on Robotics and Automation (ICRA) (2021).
[^55]: Wu, W., Qi, Z. & Fuxin, L. Pointconv: Deep convolutional networks on 3D point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
[^56]: Kittenplon, Y., Eldar, Y. C. & Raviv, D. Flowstep3d: Model unrolling for self-supervised scene flow estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2021).
[^57]: Puy, G., Boulch, A. & Marlet, R. Flot: Scene flow on point clouds guided by optimal transport. In European Conference on Computer Vision (ECCV) (2020).
[^58]: Liu, X., Qi, C. R. & Guibas, L. J. Flownet3d: Learning scene flow in 3D point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
[^59]: Gu, X., Wang, Y., Wu, C., Lee, Y. J. & Wang, P. Hplflownet: Hierarchical permutohedral lattice flownet for scene flow estimation on large-scale point clouds. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
[^60]: Su, H. et al. Splatnet: Sparse lattice networks for point cloud processing. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2018).
[^61]: Jampani, V., Kiefel, M. & Gehler, P. V. Learning sparse high dimensional filters: Image filtering, dense crfs and bilateral neural networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2016).
[^62]: Wu, W., Wang, Z., Li, Z., Liu, W. & Fuxin, L. Pointpwc-net: A coarse-to-fine network for supervised and self-supervised scene flow estimation on 3d point clouds. arXiv preprint arXiv:1911.12408 (2019).
[^63]: Sridhar, S. et al. Real-time joint tracking of a hand manipulating an object from rgb-d input. In European Conference on Computer Vision (ECCV) (2016).
[^64]: Guo, H. et al. Region ensemble network: Improving convolutional network for hand pose estimation. In IEEE International Conference on Image Processing (ICIP) (2017).
[^65]: Mueller, F. et al. Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2017).
[^66]: Sinha, A., Unmesh, A., Huang, Q. & Ramani, K. Surfnet: Generating 3D shape surfaces using deep residual networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2017).
[^67]: Yuan, S. et al. Depth-based 3D hand pose estimation: From current achievements to future goals. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2018).
68. Wang, G.、Chen, X.、Guo, H.和Zhang, C。区域集成网络：迈向深度3D手部姿态估计的良好实践。《视觉通信与图像表示杂志》第55卷，第404–414页 （2018年）。
[^69]: Malik, J. et al. Deephps: End-to-end estimation of 3D hand pose and shape by learning from synthetic depth. In International Conference on 3D Vision (3DV) (2018).
[^70]: Malik, J., Elhayek, A., Nunnari, F. & Stricker, D. Simple and effective deep hand shape and pose regression from a single depth image. Comput. Graph. 85, 85–91 (2019).
[^71]: Malik, J., Elhayek, A. & Stricker, D. Whsp-net: A weakly-supervised approach for 3D hand shape and pose recovery from a single depth image. Sensors 19, 3784 (2019).
72. Mueller, F.等人。利用单个深度相机实时重建两只交互手部的姿态与形状。《ACM图形学交易》（ToG）第38卷，第1–13页 （2019年）。
[^73]: Boukhayma, A., Bem, R. D. & Torr, P. H. 3D hand shape and pose from images in the wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
74. Deng, X.等人。基于单深度图的手部形状恢复的弱监督学习。《IEEE图像处理汇刊》第30卷，第532–545页 （2021年）。
[^75]: Ren, P. et al. Two heads are better than one: Image-point cloud network for depth-based 3d hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence (2023).
[^76]: Ge, L., Liang, H., Yuan, J. & Thalmann, D. 3D convolutional neural networks for efficient and robust hand pose estimation from single depth images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2017).
[^77]: Moon, G., Chang, J. Y. & Lee, K. M. V2v-posenet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2018).
[^78]: Malik, J. et al. Handvoxnet: Deep voxel-based network for 3D hand shape and pose estimation from a single depth map. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020).
[^79]: Malik, J. et al. Handvoxnet++: 3D hand shape and pose estimation using voxel-based neural networks. IEEE Trans. Pattern Anal. Mach. Intell. (TPAMI) 44, 8962–8974 (2021).
[^80]: Ge, L., Cai, Y., Weng, J. & Yuan, J. Hand pointnet: 3D hand pose estimation using point sets. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2018).
[^81]: Chen, X., Wang, G., Zhang, C., Kim, T.-K. & Ji, X. Shpr-net: Deep semantic hand pose regression from point clouds. IEEE Access 6, 43425–43439 (2018).
[^82]: Li, S. & Lee, D. Point-to-pose voting based hand pose estimation using residual permutation equivariant layer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
[^83]: Ravanbakhsh, S., Schneider, J. & Poczos, B. Deep learning with sets and point clouds. arXiv preprint arXiv:1611.04500 (2016).
[^84]: Cheng, W., Park, J. H. & Ko, J. H. Handfoldingnet: A 3D hand pose estimation network using multiscale-feature guided folding of a 2D hand skeleton. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2021).
## [^85]: Park, J., Oh, Y., Moon, G., Choi, H. & Lee, K. M. Handoccnet: Occlusion-robust 3D hand mesh estimation network. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2022)
---
[^86]: Lin, Z., Ding, C., Yao, H., Kuang, Z. & Huang, S. Harmonious feature learning for interactive hand-object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023).
[^87]: Li, L., Zhuo, L., Zhang, B., Bo, L. & Chen, C. Diffhand: End-to-end hand mesh reconstruction via diffusion models. arXiv preprint arXiv:2305.13705 (2023).
[^88]: Xiong, F. et al. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2019).
90. Cheng, J.等人。用于3D手部姿态估计的高效虚拟视图选择。载于AAAI人工智能会议论文集 （2022年）。
[^89]: Huang, W., Ren, P., Wang, J., Qi, Q. & Sun, H. AWR: Adaptive weighting regression for 3D hand pose estimation. In Proceedings of the AAAI Conference on Artificial Intelligence (2020).
[^91]: Kolotouros, N., Pavlakos, G. & Daniilidis, K. Convolutional mesh regression for single-image human shape reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
[^92]: Ranjan, A., Bolkart, T., Sanyal, S. & Black, M. J. Generating 3D faces using convolutional mesh autoencoders. In European Conference on Computer Vision (ECCV) (2018).
[^93]: Cheng, S., Tzimiropoulos, G., Shen, J. & Pantic, M. Faster, better and more detailed: 3D face reconstruction with graph convolutional networks. In Asian Conference on Computer Vision (ACCV) (2020).
[^94]: Litany, O., Bronstein, A., Bronstein, M. & Makadia, A. Deformable shape completion with graph convolutional autoencoders. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2018).
[^95]: Kolotouros, N., Pavlakos, G. & Daniilidis, K. Convolutional mesh regression for single-image human shape reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
[^96]: Kipf, T. N. & Welling, M. Semi-supervised classification with graph convolutional networks. Proceedings of the International Conference on Learning Representations (ICLR) (2017).
[^97]: Mueller, F. et al. Generated hands for real-time 3D hand tracking from monocular rgb. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2018).
98. Hasson, Y.、Varol, G.、Schmid, C.和Laptev, I。面向从RGB视频中进行无约束的手部-物体联合重建。载于2021年3D视觉国际会议（3DV）论文集，第659–668页 （2021年）。
[^99]: Chen, X. et al. Mobrecon: Mobile-friendly hand mesh reconstruction from monocular image. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2022).
[^100]: Tekin, B., Bogo, F. & Pollefeys, M. H+ o: Unified egocentric recognition of 3D hand-object poses and interactions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
101. Yang, S.、Liu, J.、Lu, S.、Er, M. H.和Kot, A. C。结合手势识别与3D手部姿态估计的协同学习及多阶特征分析。载于欧洲计算机视觉会议（ECCV）论文集 （2020年）。
102. Wang, J.等人。RGB2hands：从单目RGB视频中实时追踪3D手部交互。载于《ACM图形学交易》（ToG）第39卷，第1–16页 （2020年）。
[^103]: Kwon, T., Tekin, B., Stühmer, J., Bogo, F. & Pollefeys, M. H2O: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2021).
104. Han, S.等人。Megatrack：用于虚拟现实的单色自中心关节手追踪技术。《ACM图形学汇刊》（ToG）第39卷，第87–91页。（2020年）。
105. Liu, S.、Jiang, H.、Xu, J.、Liu, S.和Wang, X.。基于时间的半监督3D手-物体姿态估计及交互研究。收录于2021年IEEE/CVF计算机视觉与模式识别会议（CVPR），第14682–14692页。。2021.01445（2021年）。
[^106]: Baek, S., Kim, K. I. & Kim, T.-K. Weakly-supervised domain adaptation via GAN and mesh model for estimating 3D hand poses interacting objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020).
[^107]: Dwibedi, D., Aytar, Y., Tompson, J., Sermanet, P. & Zisserman, A. Temporal cycle-consistency learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
[^108]: Xu, H., Wang, T., Tang, X. & Fu, C.-W. H2onet: Hand-occlusion-and-orientation-aware network for real-time 3D hand mesh reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023).
109. Zhang, H.等人。Pymaf-x：从单目图像中实现精准对齐的全身体模型回归。《IEEE模式分析与机器智能汇刊》第45卷，第12287–12303页。（2023年）。
[^110]: He, Y., Yan, R., Fragkiadaki, K. & Yu, S.-I. Epipolar transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020).
[^111]: Han, S. et al. Umetrack: Unified multi-view end-to-end hand tracking for VR. In ACM Special Interest Group on Computer Graphics (SIGGRAPH) (2022).
[^112]: Remelli, E., Han, S., Honari, S., Fua, P. & Wang, R. Lightweight multi-view 3D pose estimation through camera-disentangled representation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020).
[^113]: Zhang, J., Cai, Y., Yan, S., Feng, J. et al. Direct multi-view multi-person 3D pose estimation. In Conference on Neural Information Processing Systems (NeurIPS) (2021).
[^114]: Liu, Y., Wang, T., Zhang, X. & Sun, J. Petr: Position embedding transformation for multi-view 3D object detection. In European Conference on Computer Vision (ECCV) (2022).
[^115]: Ji, M., Gall, J., Zheng, H., Liu, Y. & Fang, L. Surfacenet: An end-to-end 3D neural network for multiview stereopsis. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2017).
[^116]: Kar, A., Häne, C. & Malik, J. Learning a multi-view stereo machine. In Conference on Neural Information Processing Systems (NeurIPS) (2017).
[^117]: Yao, Y., Luo, Z., Li, S., Fang, T. & Quan, L. Mvsnet: Depth inference for unstructured multi-view stereo. In European Conference on Computer Vision (ECCV) (2018).
[^118]: Chen, R., Han, S., Xu, J. & Su, H. Point-based multi-view stereo network. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) (2019).
[^119]: Yang, L. et al. Poem: Reconstructing hand in a point embedded multi-view stereo. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023).
120. Ren, P.等人。挖掘多视角信息：一种强大的基于深度的3D手姿态与网格估计自监督框架。收录于2022年IEEE/CVF计算机视觉与模式识别会议（CVPR），第20523–20533页。（2022年）。
121. Zheng, X.、Wen, C.、Xue, Z.、Ren, P.和Wang, J.。Hamuco：通过多视角协作自监督学习实现手部姿态估计。收录于2023年IEEE/CVF国际计算机视觉会议（ICCV），第20706–20716页。（2023年）。
122. Wang, Y.、Xu, H.、Heng, P. A.和Fu, C.-W.。Sima-hand：通过单视图到多视图的适配技术提升3D手网格重建效果。收录于人工智能顶级会议AAAI论文集。（2024年）。
123. Yang, J.等人. Mlphand：基于MLP建模的实时多视角3D手部网格重建. arXiv预印本arXiv:2406.16137 (2024).
## [^124]: Romero, J., Tzionas, D. & Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. In ACM Special Interest Group on Computer Graphics (SIGGRAPH) (2017)
---
[^125]: Schubert, E., Sander, J., Ester, M., Kriegel, H. P. & Xu, X. Dbscan revisited, revisited: Why and how you should (still) use dbscan. ACM Trans. Database Syst. (TODS) 42, 1–21 (2017).
[^126]: Fu, J., Xiang, Z., Qiao, C. & Bai, T. Pt-flownet: Scene flow estimation on point clouds with point transformer. IEEE Robot. Autom. Lett. 8, 2566–2573 (2023).
[^127]: Menze, M., Heipke, C. & Geiger, A. Object scene flow. ISPRS J. Photogram. Remote Sens. 140, 60–76 (2018).
[^128]: Mayer, N. et al. A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2016).
[^129]: Eldar, Y., Lindenbaum, M., Porat, M. & Zeevi, Y. Y. The farthest point strategy for progressive image sampling. IEEE Trans. Image Process. 6, 1305–1315 (1997).
[^130]: Ioffe, S. & Szegedy, C. Batch normalization: Accelerating deep network training by reducing internal covariate shift. In Proceedings of the International Conference on Machine Learning (ICML) (2015).
[^131]: Kingma, D. P. & Ba, J. Adam: A method for stochastic optimization. In Proceedings of the International Conference on Learning Representations (ICLR) (2015).
[^132]: Romero, J., Tzionas, D. & Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610 (2022).
[^133]: Hasson, Y. et al. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019).
134. Aboukhadra, A. T.、Malik, J.、Robertini, N.、Elhayek, A.和Stricker, D.。Shapegraformer：基于Graformer网络的单深度图手-物体重建技术。arXiv预印本arXiv:2310.11811 （2023年）。
## 作者贡献
M.A.A.和J.N.M.构思了本研究，设计了研究方法，验证了研究结果，进行了正式分析并整理了数据。K.K.参与了概念化、研究方法设计、验证及正式分析工作；他还负责文稿审阅与编辑、项目监督以及项目管理与经费申请工作。A.E.和R.B.参与了研究方法设计、实验实施、验证、正式分析、调研以及文稿审阅与编辑工作。D.S.提供了研究概念与资源支持，负责文稿审阅与编辑，并参与了项目监督、管理与经费申请工作。S.S.N.和M.U.S.参与了研究方法设计、实验实施、验证、正式分析、调研、初稿撰写以及文稿审阅与编辑工作。
## 经费来源
本研究部分由德国联邦教育与研究部在COPPER项目（01IW24009）下资助，部分由欧盟“地平线欧洲”计划资助，授予编号101092889，项目名称为SHARESPACE。
## 声明
## 利益冲突
作者声明不存在利益冲突。
## 附加信息
相关材料请求与 correspondence 事宜应联系K.K.。
转载与授权相关信息可查看。
出版商声明：Springer Nature对于已发表地图中的管辖权主张及机构隶属关系保持中立。
开放获取：本文依据知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议发布。该协议允许在任何媒介或格式下进行非商业用途的使用、分享、分发和复制，前提是您需适当注明原作者及来源，提供知识共享许可协议的链接，并说明是否对授权材料进行了修改。根据此许可，您无权分享源自本文或其部分的改编材料。除非在相关材料的致谢行中另有说明，本文中所用的图片或其他第三方材料均包含在文章的知识共享许可范围内。若某材料未被纳入文章的知识共享许可范围，且您的预期用途不符合法律法规规定或超出了许可范围，则须直接获得版权所有者的许可。如需查看该许可副本，请访问 。
© 作者们 2025