# 从野外点云序列中跟踪和重建手部物体交互 陈嘉怡 $^{1,2,*}$、严米 $^{1,*}$、张佳兆 $^{1}$、徐银珍 $^{1,2}$、李晓龙 $^{3}$、翁一佳 $^{4}$、易立 $^{5}$、宋书然 $^{6}$、王赫 $^{1†}$ ^1 北京大学 ^2 北京通用人工智能研究院 ^3 弗吉尼亚理工大学 ^4 斯坦福大学 ^5 清华大学 ^6 哥伦比亚大学 wang}@pku.edu.cn.{zhngjizh.hai {jiayichen, dorisyan, xuyinzhen.hi, hewang}@pku.edu.cn, {zhngjizh, halfsummer11, ericyi0124}@gmail.com, , ## 摘要 在这项工作中，我们解决了在给定第0帧初始姿态的情况下，从野外深度点云序列中联合跟踪手部物体姿态并重建其形状这一具有挑战性的任务。我们首次提出了一种基于点云的手部关节跟踪网络HandTrackNet，用于估计帧间手部关节运动。我们的HandTrackNet提出了一种新颖的手部姿态规范化模块来简化跟踪任务，从而实现准确且鲁棒的手部关节跟踪。随后，我们的流程通过将预测出的手部关节转换为基于模板的参数化手部模型MANO来重建完整的手部。对于物体跟踪，我们设计了一个简单却高效的模块：该模块从第一帧估计物体的有向距离场（SDF），并进行基于优化的跟踪。最后，采用联合优化步骤来进行手部与物体的联合推理，从而消除遮挡引起的歧义并进一步细化手部姿态。训练过程中，整个流程仅使用合成数据，这些数据具有丰富的多样性，且经过深度模拟处理以便于泛化。由于整个流程考虑了泛化差距，因此可直接应用于真实的野外数据。我们在无需任何微调的情况下，于两个真实的手部物体交互数据集HO3D和DexYCB上评估了我们的方法。实验表明，所提出的方法显著优于以往基于深度的手部与物体姿态估计及跟踪方法，且帧率可达9 FPS。我们已在上发布了代码。 ## 引言 手部物体交互（HOI）在我们的日常生活中无处不在，是人类与复杂现实场景互动的主要方式。作为感知人类物体交互的主要手段，三维环境下的人类物体交互的姿态跟踪与重建是至关重要的研究课题，能够支撑广泛的应用，包括 ![Image](images/7522185e1b617151d857dbc38880c3674766bdcb4b85d1998efb4ee13902739f.jpg)
Figure 1: (a) We generate a large-scale hand-object interaction dataset, named SimGrasp, using simulated structure light based depth sensor. (b) Trained only on SimGrasp, our methods can be directly transferred to the challenging real world datasets, i.e. HO3D and DexYCB, to track and reconstruct hand object interaction without any finetuning.
人机交互、人机协作、增强现实以及从人类演示中学习。 在深度学习的强大推动下，近年来在单帧场景下感知手部与物体的基于学习的方法取得了诸多进展，例如从单张RGB图像（Xiong等人，2019年）和点云（Ge等人，2018年；Cheng、Park和Ko，2021年）中估计3D手部姿态，实例级与类别级的6D物体姿态估计（Wang等人，2019年），以及针对手部物体交互的手部与物体联合姿态估计（Doosti等人，2020年；Tekin、Bogo和Pollefeys，2019年）与重建（Hasson等人，2019年；Zhang等人，2021a）。 尽管许多应用场景都需要时间上连贯的估计结果，因此更倾向于采用跟踪而非单帧估计方式，但基于学习的方法在手部物体姿态跟踪领域仍属探索不足的区域。原因之一是缺乏大规模标注视频数据，目前仅有少数小规模的手物交互视频数据集，例如DexYCB（Chao等人，2021年）和HO3D（Hampali等人，2020a年），它们所涵盖的变异范围极为有限。 --- 显然，构建大规模、完全标注的3D手物交互视频数据集将是合理的一步。然而，此举成本极高，尤其是3D标注环节。 在本研究中，我们提出了一种全新的框架来解决这一极具挑战性的任务：无需在训练阶段使用任何真实数据，即可从野外采集的深度点云序列中同时跟踪姿态并重建手部与物体的模型。我们的设定如下：给定包含分割后的手部与物体、以及初始手部姿态和物体姿态的深度点云序列，系统需在线恢复手物形状并跟踪其姿态。我们选择点云而非图像作为输入，是因为点云包含了手部与物体的度量级3D几何信息，能够让我们获取完整的3D手部与物体姿态及形状，且歧义性更低。 要实现这一宏伟目标，面临诸多重大挑战。最大的挑战源于泛化能力：1）跟踪网络需能很好地适应手物交互中巨大的空间与时间变异；2）由于没有真实训练数据，存在Sim2Real差距。此外，在手物交互过程中，严重的相互遮挡与自遮挡会导致大量歧义，进而大幅提升问题的不适定性，给学习过程带来进一步挑战。 为解决数据问题，我们提出了一种模拟流程来合成多样化的手物交互场景，并为其形状与姿态生成免费的标注数据。为缩小Sim2Real差距，我们利用DDS（Planche和Singh，2021年）提出的结构光深度传感器模拟器来生成带有真实传感器噪声的模拟深度数据。 我们首次提出基于纯模拟数据训练的、用于跟踪帧间手部关节运动的点云手部姿态跟踪网络HandTrackNet。HandTrackNet基于PointNet++（Qi等人，2017年）构建，能够根据上一帧的预测结果估算关节位置。借助时间连续性，它从最新预测中提取手部全局姿态，并用其对手部点云进行规范化处理，从而大幅简化回归任务。训练过程中，它能学习跟踪随机的帧间关节运动，因此不会过度拟合于任何特定时间轨迹。 为了跟踪新物体，我们采用DeepSDF（Park等人，2019年）利用类别形状先验，在第一帧就重建出未见过的物体的完整几何模型，随后仅需通过基于深度到SDF转换的优化即可跟踪其姿态。实验表明，这种简单的方法就能取得良好效果，还能泛化到形状相似的新物体类别，例如在瓶子上训练后，可用于盒子或罐子的测试。与以往大多数只能跟踪已知物体的研究（Liu等人，2021年）相比，我们在实现泛化方面已经迈出了重要一步。 最后，为了消除手部与物体交互中的歧义和复杂性，我们采用基于优化的方法来推断手与物体之间的空间关系。我们将追踪到的手部关节位置转换为MANO（Romero、Tzionas和Black 2017a）手部表示，并基于HOI先验构建多个能量函数，从而得到更符合物理规律的手部与物体姿态。 大量实验表明，我们的方法在从未见过的真实世界手部与物体交互数据集HO3D和Dex YCB上效果显著。仅利用模拟数据训练出的该方法，在手部与物体姿态追踪任务上的表现均优于以往的方法，且展现出良好的追踪鲁棒性和强大的泛化能力。 总而言之，我们的贡献主要体现在三个方面：（1）我们提出了一种在线手部与物体姿态追踪及重建系统，它能接收复杂手部-物体交互场景下的点云序列输入，可很好地泛化到从未见过的真实世界数据集，且运行帧率可达9 FPS。（2）我们提出了首个基于点云的手部姿态追踪网络HandTrackNet，以及一种新颖的手部规范化模块，二者结合后的性能优于以往的手部姿态追踪或单帧估计方法。（3）我们合成了一个大规模、多样化的手部-物体交互模拟数据集，该数据集包含逼真的深度传感器噪声，因此能够实现直接的Sim2Real泛化。一旦论文被录用，我们将公开相关数据及代码。 ## 相关工作 ## 3D手部姿态估计与追踪 现有的3D手部姿态估计研究要么采用2D-3D范式，要么直接使用3D输入。在2D-3D范式中，针对基于深度的方法，它们要么预测手部关节的2D热图（Guo等人，2017年），要么回归3D关节位置（Guo等人，2017年；Zhang和Zhang，2019年）。近期的研究（Xiong等人，2019年；Cheng等人，2022年）探索了有效的锚点到关节的回归方法。基于RGB的方法则依赖3D手部形状先验来提升2D热图的效果（Zimmermann和Brox，2017年；Spurr等人，2018年），或者预测MANO手部模型的参数（Kulon等人，2020年；Romero、Tzionas和Black，2017a）以及手部UV贴图（Chen等人，2021年）。除了这种范式外，深度图像也可被转换为3D空间数据，包括体素（Ge等人，2017年）、点云（Ge等人，2018年；Cheng、Park和Ko，2021年）或T-SDF体积（Ge等人，2017年）。在本研究中，我们顺应最新趋势，使用点云作为输入，并在3D空间中回归关节位置。 早期的手部姿态追踪研究采用手工设计的特征以及基于深度图像的后续优化方法（Oikonomidis、Kyriazis和Argyros，2011a），这些方法会利用关节运动先验。当存在物体时，通常会造成具有挑战性的遮挡问题（Mueller等人，2017年）。我们的方法专门设计了应对这种遮挡的机制。 ## 物体姿态估计与追踪 从历史上看，物体姿态估计的研究主要集中在实例级设定下（Xiang等人，2018年；He等人，2021年），这类研究仅处理已知的物体实例。（Wang等人，2019年）将其拓展到了类别级设定，即可以对已知类别中的新实例估计其姿态。近期的研究通过利用形状合成（Chen等人，2020年）、姿态一致性（Lin等人，2021年）以及几何上稳定的区域（Huang等人，2021年）来改进类别级姿态估计。 --- 除了单帧姿态估计外，近期的研究还聚焦于时序跟踪。实例级物体跟踪方法包括优化（Tjaden等人，2019年）、滤波（Deng等人，2019年），以及直接回归帧间姿态变化（Wen等人，2020年）。在类别级物体跟踪方面，近期研究能够提取类别级关键点（Wang等人，2020年），且无需在测试时使用已知的CAD模型；随后通过位姿图优化来细化基于关键点配准得到的粗略姿态（Wen和Bekris，2021年），还有研究从规范化点云中学习帧间姿态变化（Weng等人，2021年）。我们的方法则进一步超越了类别级姿态估计，能够处理来自已见类别和未见类别的全新物体实例。 ## 手与物体的交互 手与物体交互的关节姿态估计及重建因其在虚拟现实、增强现实、远程操控和模仿学习领域的广泛应用而备受关注（Garcia-Hernando、Johns和Kim，2020年）。为推动这一领域的研究，已经开发出多个数据集（Garcia-Hernando等人，2018年；Hasson等人，2019年；Hampali等人，2020b,a；Chao等人，2021年）。许多研究专注于单帧姿态估计（Tekin、Bogo和Pollefeys，2019年；Hasson等人，2020年；Doosti等人，2020年；Cao等人，2021年），利用交互信息通过特征融合模块进行联合预测（Liu等人，2021年），或借助手-物体接触模型（Grady等人，2021年；Yang等人，2021年）来约束姿态。我们同样采用穿透项和吸引力项来显式建模手与物体的交互。 关节追踪也是研究热点。早期研究利用多视角输入来弥补交互过程中的遮挡问题（Oikonomidis、Kyriazis和Argyros，2011b）。近期研究探索了单视角跟踪（Tsoli和Argyros，2018年；Hasson等人，2021年），通过利用物理接触约束来重建合理的姿态。虽然大多数方法需要已知的物体模型或形状模板，但Zhang等人（2021a）的方法能够处理未知物体。在跟踪过程中，他们将物体在规范坐标系下的深度观测数据融合起来，逐步重建物体模型，不过这种方法仅局限于可见表面。我们的方法同样能处理未知物体，而且能从第一帧就开始重建完整的物体。 ## 方法 ## 概述 符号说明 本文使用以下符号：右下标$(\cdot)_{t}$表示时间步t处的量；左下标$C(\cdot)$、$H(\cdot)$、$O(\cdot)$分别表示相机坐标系、规范手坐标系（全局平移为零且旋转为单位矩阵）以及规范物体坐标系中的变量。 问题设定 给定分割后的手部和物体点云实时流$\{C\mathbf{P}^{hand}, C\mathbf{P}^{obj}\}_{t}$，以及初始手部关节位置$C\mathcal{J}_{init}$和物体姿态$\{\mathbf{R}_{init}^{obj}, \mathbf{T}_{init}^{obj}\}$，我们的目标是在线恢复规范物体形状$O\mathcal{M}^{obj}$及其姿态$\{\mathbf{R}_{t}^{obj}, \mathbf{T}_{t}^{obj}\}$，同时得到手部关节位置$C\mathcal{J}_{t}$以及手部重建结果，包括规范手形状$H\mathcal{M}_{t}^{hand}$和全局手部姿态。 ![Image](images/03c9c3c8b0d1c7d38fe62c4ecddaa0566cb26cf3d0752e756ca8e340df513cf0.jpg)
Figure 2: The full pipeline. At frame 0, We initialize the object shape $\mathcal{O} \mathcal{M}^{obj}$ represented in signed distance function (SDF) and the hand shape code $\beta$ for the parametric model MANO, as shown in the dotted line. In the following tracking phase, at each frame t, we first separately estimate the object pose $\{\mathbf{R}_t^{obj}, \mathbf{T}_t^{obj}\}$ and hand pose $\{\mathbf{R}_t^{hand}, \mathbf{T}_t^{hand}, \theta_t\}$, and further refine the hand pose by taking hand-object interaction into consideration.
$\{\mathbf{R}_t^{hand}, \mathbf{T}_t^{hand}\}$，针对后续所有帧t实时进行处理。需要注意的是，被跟踪的物体实例可以是全新的，但它必须来自物体重建模型的训练类别，或是几何特征与训练类别相似的类别。对于手部而言，本文仅关注右手，但我们的方法也适用于左手。 流水线概述。完整的流水线如图2所示。在进行跟踪之前，我们需要一个初始化阶段来估计物体的形状$\mathcal{O}^{obj}$（用SDF表示）以及基于模板的参数化手部模型MANO的手部形状编码$\beta$，这些数据均来自第一帧。 接着，在物体姿态跟踪方面，我们只需执行基于深度到SDF转换的优化过程（Zhang等人，2021b）。对于手部跟踪与重建，我们结合了神经网络回归与优化方法：在每一帧t，我们首先利用基于点云的神经网络HandTrackNet，根据$\mathcal{J}_t$来更新手部关节位置$\mathcal{J}_{t-1}$；随后，为了恢复手部的完整几何结构，我们借助IKNet将$\mathcal{J}_t$转换为MANO手部模型$C\mathcal{M}_t^{hand}$；最后，我们依据手物交互先验来优化手部姿态，从而得到更符合物理规律的交互结果。 ## 手部关节位置跟踪 在本节中，我们将介绍用于跟踪手部关节位置的基于点云的神经网络HandTrackNet。在手物交互过程中，许多手部关节会被严重遮挡，这使得关节位置回归变得极具挑战性且存在歧义。因此，我们设计了HandTrackNet，利用上一帧预测得到的手部关节位置$\mathcal{I}_{t-1}$，这一特点使本研究区别于以往所有单帧手部姿态估计方法（Cheng、Park和Ko，2021；Ge等人，2018），后者直接根据当前观测数据$\mathcal{I}_t$来回归$\mathbf{P}_t^{hand}$。我们以两种方式利用$\mathcal{I}_{t-1}$：首先，$\mathcal{I}_{t-1}$能提供手部的粗略全局姿态，这 --- ![Image](images/ae3600cfe06deef8aec0d6348df2496ec5ff865833f2ea3e3cc7a31c58d8c982.jpg)
Figure 3: The architecture of HandTrackNet. HandTrackNet takes input the hand points $\mathbf{P}_t$ from the current frame t and the estimated hand joints $\mathcal{I}_{t-1}$ from the last frame, and performs global pose canonicalization to both of them. Then it leverages PointNet++ to extract features from canonicalized hand points $\mathbf{P}_t'$ and uses each joint $\mathcal{J}_{t}^{coarse'}$ to query and pass features, followed by an MLP to regress and update joint positions.
可用于对输入的手部点云$\mathbf{P}_t$进行规范化处理，从而降低学习复杂度并提升模型对不同手部全局姿态的泛化能力；其次，网络仅需回归用于更新$\mathcal{I}_{t-1}$的微小变化量，这缩小了神经网络的输出空间，进而简化了回归过程。HandTrackNet的整体架构如图3所示。 手部姿态规范化。正如Hand PointNet（Ge等人，2018）所指出的，手部全局方向的巨大差异会给3D手部姿态估计带来显著的复杂性与挑战。为降低这种视觉复杂性，Ge等人（2018）提出了一种点云规范化方法，即利用有向包围盒（OBB）来规范化手部点云的方向，该包围盒的x、y、z轴由输入点的PCA方向近似得出。作为预处理步骤，这种方向规范化方法被后续的单手部姿态估计研究广泛采用，例如P2P（Ge、Ren和Yuan，2018）以及HandFoldingNet（Cheng、Park和Ko，2021），这些方法均显示出一致的性能提升效果。 然而，在手物交互场景中，输入的手部点云可能会被严重遮挡而变得非常不完整，导致PCA在估计手部方向时效果不佳，进而削弱了方向规范化的作用。为解决这一问题，我们提出了一种简单却新颖的方法：根据关节位置$\mathcal{J}_{t-1}$来估计相机坐标系与手部坐标系之间的6D变换，再利用该变换进行规范化处理。 我们基于一个常见的假设（Yuan等人，2017年）来进行3D手部姿态拟合——腕关节以及5个掌指关节（即手指骨与手骨相接的部位）会一起运动，因此它们之间的相对位置是固定的。我们将这组关节记为B，它们的空间位置记为$\mathcal{J}^B = \{\mathcal{J}^j \mid j \in B\}$。我们还可以进一步定义一个函数CanonPose（简称CP），用于求解实现标准化所需的刚体变换： $$ \begin{array}{r}{C P(\boldsymbol{\beta},\mathbf{\nabla}_{C}\mathcal{J}^{B})\triangleq\arg\min_{\mathbf{R},\mathbf{T}}\lVert_{H}\mathcal{J}_{M}^{B}(\boldsymbol{\beta})-\mathbf{R}^{-1}(_{C}\mathcal{J}^{B}-\mathbf{T})\rVert^{2}}\end{array} $$ 其中，$_{H}\mathcal{J}_{M}(\boldsymbol{\beta})$表示基于模板的参数化手部模型MANO的关节位置，此时平移量为零且旋转矩阵为单位矩阵。需要注意的是，$_{H}\mathcal{J}_{M}^{B}$与姿态向量$\boldsymbol{\theta}$无关，因为手指的弯曲不会影响B的位置。形状编码$\boldsymbol{\beta}$在第0帧时被初始化。这个argmin函数可以通过SVD解析求解。 最终我们得到$\mathbf{R}_t^B, \mathbf{T}_t^B = \text{CanonPose}(\boldsymbol{\beta}, \, C\mathcal{J}_{t-1}^B)$，并用它来对手部点云$\mathbf{P}_t' = (\mathbf{R}_t^B)^{-1}(\mathbf{P}_t - \mathbf{T}_t^B)$进行标准化处理。由于具有时间连续性，$\mathbf{P}_t'$仅存在微小的旋转和平移，这不仅简化了网络输入，还缩小了回归输出的范围，从而降低了回归学习的难度。 网络架构。在将$\mathbf{P}_t$标准化为$\mathbf{P}_t'$之后，一种简单的方案是使用PointNet++直接回归手部关节位置$\mathcal{J}_t'$。然而，在严重的自身遮挡和相互遮挡情况下，不可见关节的位置仍可能存在歧义。为了缓解这一问题并确保关节不会偏离过远，我们提出利用上一帧估计出的关节位置来提供粗略估计值$\mathcal{J}_t^{coarse}' = (\mathbf{R}_t^B)^{-1}(\mathcal{J}_{t-1} + \bar{\mathbf{P}}_t - \bar{\mathbf{P}}_{t-1} - \mathbf{T}_t^B)$；具体来说，就是将$\mathbf{P}_t$与$\mathbf{P}_{t-1}$之间的中心偏移量加到$\mathcal{J}_{t-1}$上，再将其转换到标准化坐标系中。现在，为了获得$\mathcal{J}_t'$，网络只需回归每个关节的微小移动量，并将其加到$\mathcal{J}_t^{coarse\prime}$上即可。 我们的网络首先使用PointNet++提取$\mathbf{P}_t^{\prime}$中每个点的特征。接着，对于$\mathcal{J}_{t}^{coarse}$中的每个手部关节，我们在$\mathbf{P}_t$中找到其k个最近邻点，并通过基于PointNet的结构聚合这些邻近点的特征，以编码$\mathcal{J}_{t}^{coarse}$的局部信息。为了进一步扩大感受野并编码每个关节的全局信息，我们添加了一个重排层，通过拼接相邻关节的特征来实现关节间的信息交流，这一设计灵感来源于HandFoldingNet（Cheng、Park和Ko，2021年）。我们的重排模块与他们有所不同：他们仅在同一根手指内的关节间进行交流，而我们还会与相邻手指的关节交流。这种设计能够提供更全面的手部全局信息，避免不同手指的关节产生混淆，具体可参见我们的补充材料。上述两个步骤——KNN查询和重排——会被重复N次（我们在论文中设定N=2，并在补充材料中探讨了不同的N值），以提升网络的表达能力。最后，我们利用每个手部关节的特征来回归相对移动量$\mathcal{J}_t^{\prime} - \mathcal{J}_{t}^{coarse}$，再利用标准化的逆变换将$\mathcal{J}_t^{\prime}$转换回相机坐标系。 训练策略。为了训练HandTrackNet，我们使用单帧数据，并通过添加高斯噪声来随机扰动真实的手部姿态（我们设定标准差为2厘米）。我们的训练损失函数设计为$\mathcal{L} = \lambda_{joints} \|\mathcal{J}_{gt} - \mathcal{J}_{pred}\|_{1} + \lambda_{rot} \|\mathbf{R}_{gt} - \mathbf{R}_{pred}\|_{1} + \lambda_{trans}\|\mathbf{T}_{gt} - \mathbf{T}_{pred}\|_{1}$，其中$\mathbf{R}_{pred}$、$\mathbf{T}_{pred} = \text{CanonPose}(\beta, c_{\mathcal{J}_{pred}}^{B})$用于监督学习，以确保测试时下一帧能实现良好的标准化处理。我们设定$\lambda_{joints} = 10$和$\lambda_{rot} = \lambda_{trans} = 1$。 ## MANO手部重建 在手部与物体的交互过程中，手部的运动链始终保持不变，只有关节状态可能会发生变化。 --- 虽然我们的HandTrackNet算法已经考虑了时间连续性，但并不能保证手部关节的结构始终不变，这可能会导致一些伪影，比如不合理的关节位置和不一致的骨骼长度。此外，如果没有手部形状信息，仅凭关节位置不足以研究手部与物体之间的交互。因此，我们提出在每一帧都重建手部形状$C \mathcal{M}_{t}^{hand}$。 参数化手部模型。我们采用MANO（Romero、Tzionas和Black于2017年提出）这一常用的基于模板的参数化模型作为手部模型。它将形状向量$\boldsymbol{\beta} \in \mathbb{R}^{10}$和姿态向量$\boldsymbol{\theta} \in \mathbb{R}^{45}$映射为网格$H \mathcal{M}^{hand}$以及对应的关节位置$H \mathcal{J}$。具体而言，$\boldsymbol{\beta}$是学习得到的形状PCA基的系数，而$\boldsymbol{\theta}$则表示15个关节以轴角表示法描述的旋转信息。更多细节可参见Romero、Tzionas和Black于2017年发表的文献。 形状编码初始化。由于无论关节角度$\theta$如何变化，骨骼长度（即两个相邻关节之间的距离）都保持不变，因此我们可以通过最小化误差来优化形状编码$\beta$。 $$ E(\boldsymbol{\beta})=\|l(_{C}\mathcal{J}_{p r e d})-l(_{H}\mathcal{J}_{M A N O}(\mathbf{0},\boldsymbol{\beta}))\|_{1} $$ 其中，$l(\mathcal{J}) \in \mathbb{R}^{15}$表示关节$\mathcal{J}$处15根手指骨骼的长度，$c\mathcal{J}_{pred}$则是HandTrackNet的预测结果。需要注意的是，为了简单和一致性起见，我们仅在第0帧估计形状编码$\beta$；关于更新$\beta$的讨论详见补充材料。 逆向运动学网络（IKNet）。为了获取关节角度$\theta_t$，我们设计了一个简单的多层感知机，它以关节位置$\mathcal{T}_t'$为输入，输出关节角度$\theta_t$，该网络确实能够完成逆向运动学的任务。这种网络不仅运算速度极快，而且性能优异，非常适合作为后续手部-物体推理任务的初始值，其效果优于$\theta_{t-1}$。 我们的方法与Zhou等人2020年的研究不同之处在于：我们采用了与Hand-TrackNet相同的标准化方法，以确保模型的泛化能力（相关实验见补充材料）。具体来说，我们先求解全局手部姿态$\mathbf{R}_t^{hand}$、$\mathbf{T}_t^{hand} = \text{CanonPose}(\beta, c_{\mathcal{J}^{pred}}^{hand})$，再将关节位置$\mathcal{J}_t' = (\mathbf{R}_t^{hand})^{-1}(\mathcal{J}_t - \mathbf{T}_t^{hand})$标准化，将其作为多层感知机的直接输入。最终，我们就能重建手部形状$c_{\mathcal{M}_t^{hand}} = \mathbf{R}_t^{hand}_H \mathcal{M}_{MANO}(\theta_t, \beta) + \mathbf{T}_t^{hand}$。 ## 物体重建与姿态跟踪 与Zhang等人2021年采用融合方法来重建新物体、且在某些区域持续被遮挡时可能无法恢复完整几何结构、进而导致后续手部-物体推理失败的研究不同，我们利用类别形状先验在第一帧就恢复完整的物体形状。具体而言，我们提出先根据第一帧数据估计物体的有符号距离函数（SDF），然后通过最小化基于深度到SDF一致性（Zhang等人2021年提出）的能量函数来优化姿态。SDF（Park等人2019年提出）是一种隐式三维表示方法，它将空间坐标x映射到其到最近表面的有符号距离s，即$SDF(\mathbf{x}) = s : \mathbf{x} \in \mathbb{R}^3$、$s \in \mathbb{R}$。 __形状初始化。__ 我们使用ShapeNet（Chang等人，2015年）中的合成物体来训练DeepSDF模型（Park等人，2019年）。测试时，在第0帧中，给定物体的真实部分点云后，我们首先利用给定的初始物体姿态对该点云进行规范化处理，然后通过最小化深度点的SDF值的均方误差来优化DeepSDF的形状编码。遵循Park等人（2019年）的方法，我们还会对形状编码施加L2正则化，以减轻噪声较大的真实点云所带来的影响。 物体姿态优化。在第t帧中，给定$C\mathbf{P}_t^{obj}$以及重建物体形状$\psi : \mathbb{R}^3 \to \mathbb{R}$的有符号距离场$O\mathcal{M}^{obj}$，我们会对$\{\mathbf{R}_t^{obj}, \mathbf{T}_t^{obj}\}$进行优化以使其最小化 $$ E(\mathbf{R}_{t}^{obj},\mathbf{T}_{t}^{obj})=\sum_{\mathbf{x}\in c\mathbf{P}_{t}}\left|\psi[(\mathbf{R}_{t}^{obj})^{-1}(\mathbf{x}-\mathbf{T}_{t}^{obj})]\right| $$ 关于优化器的选择，我们通过实验发现基于梯度的优化器（如Adam和LM）收敛速度较慢。因此，我们采用了一种近期提出的基于随机优化的无梯度优化方法（Zhang等人，2021b）。借助其高度并行的框架优势，我们的方法能够在PyTorch环境下以29 FPS的帧率高效收敛到较好的局部最优解。更多关于不同优化器对比的详情请参阅我们的补充材料。 形状更新。在实验中我们发现，我们的方法已经能够很好地泛化到新类别的物体上，例如在瓶子上训练后在盒子和罐子上进行测试。为了进一步缩小跨类别的形状差异并提升泛化能力，我们还将该方法与那些基于融合的方法相结合，以便在跟踪过程中进一步更新物体形状。更多详情请参阅我们的补充材料。 ## 手-物体优化 如众多相关研究所述（Hasson等人，2019年、2021年），单独估计手和物体的姿态往往会导致不现实的手-物体交互效果。基于他们的研究，我们采用能量项来通过逐帧优化来细化手姿态$\{\theta, \mathbf{R}^{hand}, \mathbf{T}^{hand}\}$。 在此我们重点探讨利用物体来辅助手姿态估计，因为手属于自由度较高的关节物体，那些不可见手指的姿态极具模糊性，HandTrackNet难以准确估计，但借助与物体的物理约束就能对其进行细化。相比之下，物体姿态的自由度和模糊性要小得多，对手的依赖程度也更低。在我们的实验中发现（详见补充材料），若同时优化手姿态和物体姿态，物体姿态的误差甚至会增大。下文我们将简要介绍这一阶段所使用的能量项。 穿透与吸引能量。如Hasson等人（2019年）所提出的，用于物理约束的两种常用能量项是惩罚手-物体穿透现象，以及促进特定手部区域与物体的接触。然而，与以往仅关注静态接触状态下的手-物体交互的研究（Hasson等人，2019年；Cao等人，2021年）不同，对于一般性的手-物体交互而言， --- 我们还必须考虑手和物体未接触的情况。我们提出了一种简单的策略，根据穿透能量的大小来决定是否使用吸引能量。详情请参阅我们的补充材料。 关节位置能量项。为了保证关节位置的准确性，我们引入一项能量项来惩罚$\mathbf{R}^{hand}_H \mathcal{J}_{MANO}(\boldsymbol{\theta}) + \mathbf{T}^{hand}_C$与$C \mathcal{J}_{pred}$之间的L2距离。由于HandTrackNet预测的不可见关节位置可能存在歧义且误差较大，因此该能量项仅适用于可见关节。关节i的可见性是通过判断$\mathcal{J}_i^{pred}$到$\mathbf{P}^{hand}_C$的距离是否大于阈值$\lambda$来确定的（在我们所有的实验中该阈值均为$\lambda = 2\mathrm{cm}$）。 轮廓能量项。为了确保预测结果与观测结果的一致性，我们将重建的手部形状投影到图像平面，并加入轮廓损失项来惩罚那些位于手部及物体轮廓之外的点。 ## 通过深度模拟生成训练数据 为了缩小合成深度数据与真实深度数据之间的域差异，我们重新实现了基于结构光的深度传感器模拟器DDS（Planche和Singh于2021年提出），用于合成深度图像，从而使模拟的点云能够包含真实的噪声和伪影。这种深度模拟技术结合我们完全进行域随机化的手-物交互合成方法，能够实现直接的Sim2Real迁移，让我们能够在真实场景中测试HandTrackNet模型。 为了避免为训练HandTrackNet使用昂贵的真实世界标注数据，我们提出了一种用于手-物交互的大规模点云数据集合成方法，并将其命名为SimGrasp数据集。我们的目标是生成多样化的手-物交互的真实点云序列，这些序列涵盖随机的物体形状、手部形状、抓取姿势以及运动轨迹。我们在补充材料中介绍了数据生成方法的细节。最终，SimGrasp数据集包含666种不同的物体实例和100种手部形状，共形成1810个视频，每个视频包含100帧。 ## 实验 ## 数据集与评估指标 为了评估我们的方法在真实场景数据上的性能，我们使用了两个常用的真实世界手-物交互数据集：HO3D（Hampali等人于2020年发表）和DexYCB（Chao等人于2021年发表）。这两个数据集中的手部、物体实例以及运动轨迹在训练阶段均未出现过。HO3D数据集是一个广泛使用的RGB-D视频数据集，而DexYCB数据集更具挑战性，因为其多样性更高且运动更快。为了与以往的方法进行公平比较，我们仅在SimGrasp数据集上训练所有模型，然后直接在HO3D和DexYCB数据集上进行测试。关于这三个数据集的更多细节，请参阅我们的补充材料。 我们采用以下指标来评估结果：1) MPJPE：我们使用平均关节位置误差来评估手部姿态；2) 穿透深度（PD）：参照Yang等人于2021年的研究，我们报告手部与物体之间的最大穿透深度，以衡量重建后的手部与物体的物理合理性；3) 分离距离（DD）：参照Yang等人于2021年的研究，我们报告
HO3DDexYCB
MPJPEPD, DDMPJPEPD, DD
Forth4.04-4.19-
HandFoldingNet2.93-3.78-
A2J4.03-3.52-
VirtualView2.73-3.05-
HandTrackNet2.11-2.75-
w/o hand-obj opt.2.341.4, 1.52.991.8, 1.8
w/ hand-obj opt.2.061.1, 1.22.691.5, 1.4
Table 1: Hand pose tracking. The last three lines are ours. All the methods are trained on SimGrasp and directly tested on real world dataset. '-' denotes the method doesn't reconstruct the hand shape thus can't be evaluated for those metrics. All metrics are reported in cm.
当真实手部与物体接触时，5个手指区域内手部顶点到最近物体顶点的平均距离；4) 5°5cm、10°10cm：我们遵循Weng等人于2021年的方法，报告物体姿态的5°5cm准确率，即旋转误差小于5°且平移误差小于5cm的姿态预测所占的百分比。10°10cm的定义类似；5) 倒角距离（CD）：为了衡量跟踪过程中物体几何形状的误差，我们报告经过调整后的倒角距离$CD(C\mathcal{M}_{pred}^{obj}, C\mathcal{M}_{gt}^{obj})$，其中$CD(\mathcal{M}_1, \mathcal{M}_2) = \frac{1}{|\mathcal{M}_1|} \sum_{\mathbf{x} \in \mathcal{M}_1} \min_{\mathbf{y} \in \mathcal{M}_2} \|\mathbf{x} - \mathbf{y}\|_2 + \frac{1}{|\mathcal{M}_2|} \sum_{\mathbf{y} \in \mathcal{M}_2} \min_{\mathbf{x} \in \mathcal{M}_1} \|\mathbf{x} - \mathbf{y}\|_2$。 ## 手部姿态跟踪与重建结果 在表1中，我们将我们的方法与最先进的单帧点云基方法HandFoldingNet（Cheng、Park和Ko，2021年）、基于深度的方法VirtualView（Cheng等人，2022年）以及A2J（Xiong等人，2019年）进行了比较，还包括基于优化的跟踪方法Forth（Oikonomidis、Kyriazis和Argyros，2011a年）。所有方法均在我们的SimGrasp上训练，并在未经微调的情况下在真实数据集上测试。我们的方法在真实世界数据集上展现出令人鼓舞的结果，这证明了其泛化能力和对域差异的鲁棒性。 除了预测手部关节位置外，我们的方法还能重建手部网格。我们发现，尽管使用逆运动学网络将关节位置转换为MANO手部网格后，关节误差确实有所增加，但随后的手部物体优化模块降低了这一误差，在两个真实数据集上取得了所有方法中最佳的性能。对于穿透深度和不连续距离而言，优化也带来了改善，在这两个真实数据集上分别减少了约3毫米。除了定量结果外，我们重建结果的视觉质量也有所提升（详见补充材料）。 ## 物体姿态跟踪与重建 由于野外序列中的物体网格未知，基于实例级的物体姿态跟踪方法并不适用于此场景。因此，我们选择了最先进的基于点云的类别级物体姿态跟踪方法CAPTRA（Weng等人，2021年）进行对比。然而，类别级方法也会遇到测试物体类别与训练数据无重叠的情况，这对现有方法的泛化能力提出了新的挑战。 ---
HO3DDexYCB
bottleboxbottlebowl $^{\dagger}$boxcan $^{\dagger}$
5°5cm(%)15.767.316.923.523.622.2
10°10cm(%)48.591.942.354.146.555.0
CD(cm)2.842.223.974.973.834.93
5°5cm(%)43.754.538.533.331.235.7
10°10cm(%)68.984.664.158.452.059.0
CD(cm)2.061.742.464.712.822.32
Table 2: Object pose tracking. The first three lines are the result of CAPTRA and the last three are ours. ‘†’ denotes that the object category has symmetry and its rotation is evaluated by the error of symmetric axis direction.
我们采用了CAPTRA方法（Weng等人，2021年）进行对比实验。然而，类别级方法也会面临测试对象类别与训练数据毫无重叠的情况，这对现有方法的泛化能力提出了新的挑战。 在我们的实验中，我们使用SimGrasp中最相似的类别来训练CAPTRA及我们的方法以进行评估。需要注意的是，由于CAPTRA不重建物体，我们利用其姿态将我们的重建结果从$\mathcal{O}\mathcal{M}^{obj}$变换为$\mathcal{C}\mathcal{M}^{obj}$来进行评估。更多细节见补充材料。 结果如表2所示。我们可以看到，尽管CAPTRA在SimGrasp上取得了令人印象深刻的结果，但在大多数情况下它无法很好地泛化。对于HO3D数据集，CAPTRA在盒子的物体姿态方面表现尚可，但其Chamfer距离误差比我们的方法更大，且在瓶子这类与训练物体（即汽车）类别差异较大的物体上表现不佳。对于DexYCB数据集，快速运动导致的点云失真扩大了数据分布差异，使得CAPTRA性能较差。相比之下，我们的方法在所有设置下都能很好地泛化。 ## 消融研究 我们首先验证了基于立体视觉的深度模拟。通过将模拟深度替换为理想深度，我们生成了用于训练的纯净合成数据集。图3显示，在三个数据集上性能均大幅下降，这表明我们的模拟传感器显著缩小了Sim2Real差距。 接着，我们检验了规范化模块。如果我们直接移除该模块或用预处理方法OBB替代它，性能会大幅下降，尤其是在真实数据集上，这说明规范化模块极大地提升了泛化能力。
MPJPE(cm)SimGraspHO3DDexYCB
w/o stereo depth simulation2.532.493.68
w/o canonicalization1.304.7310.9
use OBB for canon.2.834.954.00
w/o $\mathcal{J}_{t-1}$0.932.462.95
w/o rearrange intra-fingers1.162.692.82
HandTrackNet0.842.112.75
Table 3: Ablation study on HandTrackNet.
![Image](images/24a22695b513d222aee673eceb45030ed675d09262d030e2fc2680b4c3a0121a.jpg)
Figure 4: Robust analysis. We show the mean joint error along time on HO3D dataset with different initialization noise of $J_{init}$.
特征提取模块显著提升了模型的泛化能力。 我们还通过用PointNet++的瓶颈特征所预测的粗略估计值来替换$\mathcal{J}_{t-1}$，从而展示了最后一帧关节位置$\mathcal{J}^{coarse'}$的重要性。我们观察到性能下降主要源于遮挡情况下的时间一致性问题。最后，我们测试了HandFoldingNet中使用的重排模块，该模块不会在不同手指间传递关节特征。由于缺乏相邻手指的信息，网络在跟踪过程中很容易被不同手指上的关节所干扰。一些典型的失败案例可在我们的补充材料中看到。 ## 鲁棒性与速度 鲁棒性。我们在HO3D数据集上分析了我们的方法对含噪输入$\mathcal{J}_{init}$的鲁棒性。初始关节位置误差是从高斯分布中随机采样的。我们在图4中展示了标准差从10毫米到30毫米时的结果。可以看出，我们的方法对带有合理噪声的初始状态具有鲁棒性，且能长时间将关节误差维持在较低水平。 跟踪速度。我们的完整流程在PyTorch框架下运行，无需任何C++或CUDA加速技巧，即可在RTX 2080 Ti GPU上达到9帧/秒的速度。其中HandTrackNet和物体跟踪模块分别能达到26帧/秒和29帧/秒，且可并行处理。IKNet的速度可达50帧/秒，最终的手部-物体优化环节则能达到19帧/秒。初始化物体和手部形状需要1.15秒。 ## 结论 在本文中，我们提出了一种具备强大泛化能力的手部-物体跟踪与重建系统。通过大量实验验证，我们的方法在真实世界数据集上展现了最先进的性能。未来，我们希望通过CUDA加速来提升系统速度，并进一步将整个流程转化为端到端的形式。 ## 致谢 本研究部分得到了国家重点研发计划（2022ZD0114900）和北京市科学技术委员会（Z221100003422004）的支持。 --- ## 参考文献 Cao, Z.; Radosavovic, I.; Kanazawa, A.; and Malik, J. 2021. 野外手部-物体交互的重建。载于ICCV会议论文集。 Chang, A. X.; Funkhouser, T.; Guibas, L.; Hanrahan, P.; Huang, Q.; Li, Z.; Savarese, S.; Savva, M.; Song, S.; Su, H.; 等. 2015. ShapeNet：一个信息丰富的3D模型库。arXiv预印本arXiv:1512.03012。 Chao, Y.-W.; Yang, W.; Xiang, Y.; Molchanov, P.; Handa, A.; Tremblay, J.; Narang, Y. S.; Van Wyk, K.; Iqbal, U.; Birchfield, S.; 等. 2021. DexYCB：用于捕捉物体抓取动作的基准测试。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9044–9053页。 Chen, D.; Li, J.; Wang, Z.; and Xu, K. 2020. 学习用于类别级6D物体姿态与尺寸估计的规范形状空间。载于IEEE计算机视觉与模式识别会议论文集，第11973–11982页。 Chen, P.; Chen, Y.; Yang, D.; Wu, F.; Li, Q.; Xia, Q.; and Tan, Y. 2021. I2UV-HandNet：用于精确且高保真3D手部网格建模的图像到UV预测网络。载于IEEE/CVF国际计算机视觉会议论文集，第12929–12938页。 Cheng, J.; Wan, Y.; Zuo, D.; Ma, C.; Gu, J.; Tan, P.; Wang, H.; Deng, X.; and Zhang, Y. 2022. 用于3D手部姿态估计的高效虚拟视图选择。arXiv预印本arXiv:2203.15458。 程W.、朴J. H.和高J. H. 2021年。HandFoldingNet：一种利用多尺度特征引导二维手部骨骼折叠的3D手部姿态估计网络。载于IEEE/CVF国际计算机视觉会议论文集，第11260–11269页。 邓X.、穆萨维安A.、向Y.、夏F.、布雷特尔T.和福克斯D. 2019年。PoseRBPF：一种用于6D物体姿态跟踪的拉奥-布莱克韦尔化粒子滤波器。载于《机器人学：科学与系统》会议论文集。 杜斯蒂B.、纳哈S.、米尔巴格里M.和克兰德尔D. J. 2020年。HOPE-Net：一种基于图模型的手部-物体姿态估计方法。2020年IEEE/CVF计算机视觉与模式识别会议（CVPR），第6607–6616页。 加西亚-埃尔南多G.、约翰斯E.和金T.-K. 2020年。基于物理的灵巧操控：利用估计的手部姿态与残差强化学习实现。2020年IEEE/RSJ智能机器人与系统国际会议（IROS），第9561–9568页。 加西亚-埃尔南多G.、袁S.、白S.和金T.-K. 2018年。第一人称手部动作基准测试：包含RGB-D视频与3D手部姿态标注。载于CVPR会议论文集。 葛L.、蔡Y.、翁J.和袁J. 2018年。Hand PointNet：基于点集的3D手部姿态估计方法。载于IEEE计算机视觉与模式识别会议论文集，第8417–8426页。 葛L.、梁H.、袁J.和塔尔曼D. 2017年。用于从单张深度图像高效鲁棒地估计手部姿态的3D卷积神经网络。载于IEEE计算机视觉与模式识别会议论文集，第1991–2000页。 葛L.、任Z.和袁J. 2018年。用于3D手部姿态估计的点对点回归PointNet。载于欧洲计算机视觉会议（ECCV）论文集，第475–491页。 格雷迪P.、唐C.、特威格C. D.、沃M.、布拉姆巴特S.和肯普C. C. 2021年。ContactOpt：通过优化接触面来改善抓取效果。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1471–1481页。 郭H.、王G.、陈X.、张C.、乔F.和杨H. 2017年。区域集成网络：改进卷积网络以实现手部姿态估计。载于2017年IEEE国际图像处理会议（ICIP）论文集，第4512–4516页。IEEE出版。 汉帕利S.、拉德M.、奥伯韦格M.和勒佩蒂V. 2020a。Honnotate：一种用于手部与物体姿态的3D标注方法。载于CVPR会议论文集。 汉帕利S.、拉德M.、奥伯韦格M.和勒佩蒂V. 2020b。Honnotate：一种用于手部与物体姿态的3D标注方法。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3196–3206页。 哈松Y.、特金B.、博戈F.、拉普捷夫I.、波莱费斯M.和施密德C. 2020年。利用时间上的光度一致性实现稀疏监督下的手部-物体重建。载于CVPR会议论文集。 哈松Y.、瓦罗尔G.、拉普捷夫I.和施密德C. 2021年。面向从RGB视频中实现无约束的手部-物体联合重建。载于arXiv预印本arXiv:2108.07044。 哈松Y.、瓦罗尔G.、齐奥纳斯D.、卡列瓦蒂赫I.、布莱克M. J.、拉普捷夫I.和施密德C. 2019年。学习手部与被操纵物体的联合重建方法。载于CVPR会议论文集。 何Y.、黄H.、范H.、陈Q.和孙J. 2021年。FFB6D：一种用于6D姿态估计的全流双向融合网络。2021年IEEE/CVF计算机视觉与模式识别会议（CVPR），第3002–3012页。 黄J.、石Y.、徐X.、张Y.和徐K. 2021年。StablePose：从几何稳定区域学习6D物体姿态。2021年IEEE/CVF计算机视觉与模式识别会议（CVPR），第15217–15226页。 库隆D.、古勒R. A.、科基诺斯I.、布朗斯坦M. M.和扎费里欧S. 2020年。弱监督下的野外网格卷积手部重建。载于IEEE/CVF计算机视觉与模式识别会议论文集，第4990–5000页。 林J.、魏Z.、李Z.、徐S.、贾K.和李Y. 2021年。DualPoseNet：利用双姿态网络及姿态一致性精细化学习实现类别级6D物体姿态与尺寸估计。2021年IEEE/CVF国际计算机视觉会议（ICCV），第3540–3549页。 刘S.、江H.、徐J.、刘S.和王X. 2021年。基于半监督的3D手-物体姿态估计及时间交互建模。载于IEEE/CVF计算机视觉与模式识别会议论文集，第14687–14697页。 穆勒F.、梅塔D.、索特尼琴科O.、斯里达尔S.、卡萨斯D.和特奥鲍尔特C. 2017年。基于 Egocentric RGB-D 传感器的遮挡环境下实时手部跟踪。载于IEEE国际计算机视觉会议论文集，第1154–1163页。 --- 奥伊科诺米迪斯I.、基里亚西斯N.和阿尔吉罗斯A. A. 2011a。利用Kinect实现基于模型的高效3D手部关节跟踪。载于BmVC，第1卷，第3页。 奥伊科诺米迪斯I.、基里亚西斯N.和阿尔吉罗斯A. A. 2011b。通过建模遮挡与物理约束实现手部与物体交互的全自由度跟踪。2011年国际计算机视觉会议，第2088–2095页。 朴J. J.、弗洛伦斯P.、斯特劳布J.、纽科姆R.和洛夫格罗夫S. 2019年。DeepSDF：学习用于形状表示的连续有符号距离函数。载于IEEE/CVF计算机视觉与模式识别会议论文集，第165–174页。 普兰切B.和辛格R. V. 2021年。基于物理的可微深度传感器仿真。载于IEEE/CVF国际计算机视觉会议论文集，第14387–14397页。 齐C. R.、易L.、苏H.和吉巴斯L. J. 2017年。PointNet++：在度量空间中对点集进行深度层次特征学习。神经信息处理系统进展，第30卷。 罗梅罗J.、齐奥纳斯D.和布莱克M. J. 2017a。具身手部：手部与身体的联合建模与捕捉。ACM图形学交易（ToG），第36卷第6期：1–17页。 罗梅罗J.、齐奥纳斯D.和布莱克M. J. 2017b。具身手部：手部与身体的联合建模与捕捉。ACM图形学交易（SIGGRAPH Asia会议论文集），第36卷第6期。 斯珀尔A.、宋J.、朴S.和希利格斯O. 2018年。跨模态深度变分手部姿态估计。载于IEEE计算机视觉与模式识别会议论文集，第89–98页。 特金B.、博戈F.和波莱费斯M. 2019年。H+O：统一的以自我为中心的3D手-物体姿态与交互识别。载于CVPR。 特亚登H.、施瓦内克U.、舍默E.和克雷默斯D. 2019年。基于区域的高斯-牛顿方法实现实时单目多物体跟踪。IEEE模式分析与机器智能交易，第41卷：1797–1812页。 佐利A.和阿尔吉罗斯A. A. 2018年。手部与可变形物体交互的联合3D跟踪。载于ECCV。 王C.、Martín-Martín R.、徐D.、吕J.、卢C.、Fei-Fei L.、Savarese S.和朱Y. 2020。6-PACK：基于锚点关键点的类别级6D姿态跟踪器。载于2020年IEEE国际机器人与自动化会议（ICRA），第10059–10066页。 王H.、Sridhar S.、黄J.、Valentin J.、宋S.和Guibas L. J. 2019。用于类别级6D物体姿态与尺寸估计的标准化物体坐标空间。载于IEEE计算机视觉与模式识别会议论文集，第2642–2651页。 温B.和Bekris K. E. 2021。BundleTrack：无需实例或类别级3D模型即可对新型物体进行6D姿态跟踪。载于IEEE/RSJ智能机器人与系统国际会议。 温B.、Mitash C.、任B.和Bekris K. E. 2020。se(3)-TrackNet：通过在合成域中校准图像残差来实现数据驱动的6D姿态跟踪。IEEE/RSJ智能机器人与系统国际会议。 翁Y.、王H.、周Q.、秦Y.、段Y.、范Q.、陈B.、苏H.和Guibas L. J. 2021。Captra：从点云中实现刚体和铰接物体的类别级姿态跟踪。载于IEEE/CVF国际计算机视觉会议论文集，第13209–13218页。 向Y.、Schmidt T.、Narayanan V.和Fox D. 2018。PoseCNN：一种用于在杂乱场景中估计6D物体姿态的卷积神经网络。载于机器人：科学与系统会议（RSS）。 杨L.、詹X.、李K.、徐W.、李J.和卢C. 2021。CPF：学习接触势场以建模手-物体交互。载于ICCV。 熊F.、张B.、肖Y.、曹Z.、余T.、周J. T.和袁J. 2019。A2j：用于从单张深度图像估计3D关节姿态的锚点-关节回归网络。载于IEEE/CVF国际计算机视觉会议论文集，第793–802页。 袁S.、叶Q.、Stenger B.、Jain S.和Kim T.-K. 2017。Bighand2.2m基准测试：手部姿态数据集及最新技术分析。载于IEEE计算机视觉与模式识别会议论文集，第4866–4874页。 张H.、周Y.、田Y.、雍J.-H.和徐F. 2021a。基于单张深度视图的手-物体交互实时重建。ACM图形学汇刊（TOG），40(3)：1–12。 张J.、朱C.、郑L.和徐K. 2021b。ROSEFusion：在快速相机运动下实现在线密集重建的随机优化方法。ACM图形学汇刊（TOG），40(4)：1–17。 张X.和张F. 2019。像素级回归：通过空间形式表示和可微解码器实现3D手部姿态估计。arXiv预印本arXiv:1905.02085。 周Y.、Habermann M.、徐W.、Habibie I.、Theobalt C.和徐F. 2020。利用多模态数据进行单目实时手部形状与动作捕捉。载于IEEE/CVF计算机视觉与模式识别会议论文集，第5346–5355页。 Zimmermann C.和Brox T. 2017。学习从单张RGB图像估计3D手部姿态。载于IEEE国际计算机视觉会议论文集，第4903–4911页。