# 诗歌：基于多视图立体中嵌入点的手部网格重建 杨立新 $^{1,2}$、徐健 $^{3}$、钟立成 $^{1}$、詹欣宇 $^{1}$、王志成 $^{3}$、吴克建 $^{3}$、陆泽武 $^{1,2\dagger}$ $^{1}$上海交通大学 $^{2}$上海人工智能研究院 $^{3}$Nreal {siriusyang, zlicheng, kelvin34501, lucewu}@sjtu.edu.cn {jianxu, kejian}@nreal.ai ## 摘要 让神经网络能够捕捉具备3D几何感知能力的特征，在基于多视图的视觉任务中至关重要。以往的方法通常将多视图立体中的3D信息编码到2D特征中。相比之下，我们提出了一种名为POEM的新方法，它直接对多视图立体中嵌入的3D点进行操作，以实现其中的手部网格重建。点是3D信息的自然形式，也是融合不同视图特征的理想媒介，因为其在不同视图上有不同的投影。因此，我们的方法基于一个简单却有效的思路：复杂的3D手部网格可以由一组3D点来表示，这些点满足：1）嵌入在多视图立体中；2）携带来自多视图图像的特征；3）环绕着手部。为了充分发挥点的作用，我们设计了两种操作：基于点的特征融合和跨集合点注意力机制。在三个具有挑战性的多视图数据集上的评估表明，POEM在手部网格重建方面优于现有最先进的方法。相关代码和模型已在github.com/lixiny/POEM上开源供研究使用。 ### 1. 引言 手部网格重建在增强现实与混合现实领域扮演着核心角色，因为它不仅能为游戏用户带来逼真的体验，还能支持游戏之外涉及遥操作、通信、教育和健身等应用。针对单目 3D 手部网格重建，人们已做出了许多重要努力 [^1] [^5] [^7] [^9] [^31] [^32]。然而，它仍然难以产生适用的结果，主要原因有以下三点。(1) 深度歧义。在单目相机系统中恢复绝对位置是一个病态（ill-posed）问题。因此，以往的方法 [^9] [^31] [^54] 仅恢复相对于手腕的手部顶点（即 root-relative）。(2) 未知视角。手部 2D ![Image](images/3fd8611de459f6b14de95b91ed576764456e218881b9f7925beb209f9a113b04.jpg)
Figure 1. Intersection area of N cameras' frustum spaces. The gray dots represent the point cloud P aggregated from N frustums. Our method: POEM, standing for the point embedded multi-view stereo, focuses on the dark area scatted with gray dots.
投影的形状高度依赖于相机的透视模型（即相机内参矩阵）。然而，基于单目的方法通常采用弱透视投影 [^1] [^27]，其精度不足以恢复手部的 3D 结构。(3) 遮挡。手部与其交互物体之间的遮挡也对重建的精度构成了挑战 [^32]。这些问题限制了基于单目的方法的实际应用，而在实际应用中，与周围环境进行交互需要手部表面绝对且准确的位置。 我们的论文因此聚焦于从多视角图像中重建手部模型。其动机主要源于两个方面：首先，利用多视角图像间的几何一致性可以缓解上述问题；其次，日益成熟的多视角手-物体跟踪系统[^2] [^4] [^49] [^55]以及VR头显设备，催生了对实时多视角手部重建的迫切需求与直接应用场景。多视角3D姿态估计的常见做法是采用两阶段设计：首先在各视角下估算骨骼的2D关键点，随后通过多种2D转3D映射方法将其反投影到3D空间，例如代数三角测量[^17] [^18] [^39]、图像结构模型（PSM）[^33] [^38]、3D CNN[^18] [^43]。 --- 平面扫描[^26]等方法。然而，这些两阶段方法无法重建同时包含骨骼与表面的可动画手部网格。直到最近，才提出了一种单阶段多视角网格回归模型[^45]。 如何有效融合不同图像中的特征，是多视角场景中的关键问题。据此，以往的方法可分为三类：（1）在2D域中融合。利用显式的极线变换[^17] [^38]将特征直接在2D域中融合，或通过隐式表示将相机变换（即相机内参与外参矩阵）编码进2D特征，例如特征变换层（FTL）[^14] [^39]以及3D位置嵌入（RayConv）[^45]；（2）在3D域中融合。通过PSM[^33] [^38]或3D CNN[^18] [^43]在3D体素空间中融合特征；（3）通过3D-2D投影融合。先将3D关键点的初始估计值投影到各2D平面上，再在这些2D位置附近融合多视角特征[^45]。 第一类融合模式属于全局性融合，因为它不加区分地融合了不同视角下的所有特征，从而忽略了我们所关注的手部模型的内部结构。相反，第三类融合模式属于局部性融合，但仅依靠2D关键点周围的特征难以捕捉全局视角下一致的几何特征。此外，3D关键点的初始估计值可能不够精确，导致融合过程不稳定。第二类融合模式不在我们考虑范围内，因为它计算开销较大且容易产生量化误差。 基于上述讨论，我们的目标是寻找一种特征表示方式以及类型1和类型3之间的融合模式，以便从整体和局部两个层面融合多视图中的特征，并探索一种用于稳健且精确的手部网格重建的框架。我们的方法被称为POEM，即“点嵌入多视图立体”的缩写。我们的灵感来源于基点集（BPS）[^34]，其核心思想简单却有效：一个复杂的3D形状可以由一组固定的点（BPS）来表征，这些点能够包裹住该形状。如果我们把不同相机视锥空间的交集视为一个点云，而手部顶点视为另一个点云，那么交集空间就是手部顶点的基点集（见图1）。一旦我们将多视图图像特征分配到交集空间中的点云上，不同视图间图像特征的融合就转化为来自不同相机视锥的点特征的融合。这种表示方式具有双重优势：(i) 手部被包裹在一个密集的点云（集合）中，该点云携带了从不同视图采集的密集图像特征，相比类型3中的局部融合模式，这种方式更具整体性和鲁棒性；(ii) 对于手表面的每个顶点而言，它会与局部邻域内的基点（即k个最近邻点）发生交互，这比类型1中的整体融合模式更具选择性。 图2展示了我们模型的架构。POEM包含两个阶段。在第一阶段（第3.2节），POEM以多视图图像为输入，预测每个视图中手部骨骼的2D关键点；随后，通过代数三角测量模块恢复3D关键点。在第二阶段，POEM在由点嵌入的空间中融合不同视图的特征，并在该空间中预测手部网格（第3.3节）。手部顶点上的点特征会通过跨集注意力机制与嵌入点的特征反复交互，更新后的顶点特征会被POEM进一步用于预测顶点的精确定位（第3.3.3节）。 我们在三个存在物体遮挡情况下的手部网格重建多视图数据集上开展了大量实验，分别是HO3D [^12]、DexYCB [^4]和OakInk [^49]。借助所提出的融合模式和注意力机制，POEM在这三个数据集上均取得了最先进的性能。 我们的贡献主要体现为三个方面： - 我们从全新的视角研究了多视图姿态与形状重建问题，即目标点集（即网格顶点）与基点集（即相机视锥空间中的点云）之间的交互作用。 • 基于此，我们提出了一种端到端学习框架：POEM，通过点嵌入多视图立体技术从多视图图像中重建手部网格。为了促进两组点集之间的交互，POEM引入了两种新操作：基于点的特征融合策略和跨集点注意力机制。 • 我们开展了大量实验来验证POEM架构的有效性。作为面向网格重建的回归模型，POEM相比以往的最先进方法取得了显著的性能提升。 ### 2. 相关工作 多视角特征处理。在多视角立体匹配（MVS）重建和姿态估计中，以统一的方式表示来自不同相机系统的观测数据，并相应地融合多视角特征，是一个常见难题。本文献综述旨在解决这一关键挑战。从这个角度来看，以往的方法——其中相机变换（外部参数）通常有不同的编码方式——可以被视为不同类型的位置嵌入（PE）。例如，基于极线变换的方法[^17]可归类为线形位置嵌入，因为一台相机中的像素会被编码为另一台相机中的极线。此外，还有点形位置嵌入，比如[^14]和[^39]中的FTL、[^45]中的RayConv，以及PETR中的3D位置编码器[^29]，它们会将相机外部参数直接应用于点状特征（FTL）或进行相关叠加。 --- 相机光线向量按通道映射到特征中（即RayConv和PETR）。这两种点形式的PE仅使用二维格式的点状特征，因为二维卷积或基于图像的自注意力机制无法捕捉三维结构，因此它们属于隐式表示。相比之下，三维CNN和点云网络能够保留三维结构。SurfaceNet [^19]和LSM [^20]通过构建代价体积来关联不同视角下的特征，并依赖三维CNN进行体素级重建。为了克服最终体素输出的缺陷，MVSNet [^51]选择预测深度图而非体素，这类方法被归类为体素形式的PE。最后，显式点形式的PE直接使用多视图场景中的一组三维点：例如PointMVS [^6]会将预测的深度图反投影为点云，再通过投影与提取操作聚合不同视角的特征，我们的方法也属于这一类型。在我们的任务中，保留手部顶点点的拓扑结构至关重要，但PointMVS不加区分地处理所有点，这会带来挑战。而我们的方法POEM将共视图场景表示为用于特征聚合的无结构点云，并采用结构感知的顶点查询来初始化和更新手部顶点。POEM的结构化顶点通过交叉注意力机制与无结构的视锥点交互，从而有效消除物体遮挡并精准重建手部网格。 单目手部重建。单目手部重建是一个长期研究的课题。一系列研究[^1]、[^16]、[^23]、[^54]基于具有可微蒙皮函数的可变形手部网格，例如MANO[^40]。然而，回归非欧几里得旋转的困难阻碍了这些方法的性能。近年来，已有一些研究开始探索手部表面的直接重建。由于顶点天然位于三维欧几里得空间中，[^7]、[^9]、[^22]、[^24]利用MANO的网格结构结合基于图的卷积网络（GCN）。此外，体素[^31]、UV位置图[^5]以及有符号距离函数[^8]、[^21]也是可行的选择。最近，Transformer[^27]、[^28]被用于将手部表面的特征通过自注意力机制进行融合。在本研究中，我们沿用了Transformer直接进行网格重建的思路，提出将手部网格建模为多视角立体中的点集。 点云处理。Qi等人[^35]提出了PointNet，这是首个利用点云数据排列不变性结构的深度模型。此后不久，又提出了PointNet++[^36]。PointNet++引入了球查询和分层分组机制，使模型能够基于点云的局部结构进行推理。随后有一系列研究[^25] [^42] [^48]试图在点云上定义局部卷积算子以提取局部信息。最近，Transformer在点云数据上的应用取得了成功。Zhao等人提出了Point Transformer[^53]，它采用向量注意力机制在局部邻域内执行注意力计算。Guo等人提出了Point Cloud Transformer[^10]，该模型借鉴了点云上的拉普拉斯矩阵来融合点云中的长距离关系。我们的方法沿用了Point Transformer的设计思路，但通过跨集向量注意力有选择地将不同摄像头拍摄的点融合到手部顶点上。 ### 3. 方法 #### 3.1. 问题表述 本文的总体目标是建模多视角观测下手部骨骼与表面的联合分布。给定位置与朝向各不相同的N个摄像头，我们首先在共享的三维世界空间中定义手部骨骼与表面的三维坐标：$\mathcal{W}$。相应地，通过应用外部变换即可获取它们在每个摄像头帧内的坐标。设$\mathbf{X} \in \mathbb{R}^{21 \times 3}$表示手部骨骼上的三维关键点，$\mathbf{V} \in \mathbb{R}^{778 \times 3}$表示手部表面网格上的三维顶点；给定来自总共N个视角的图像集$\mathcal{I} = \{\mathbf{I}_v\}_{v=1}^N$，所提出的模型会预测一个分布$P(\mathbf{X}, \mathbf{V}|\mathcal{I})$。然而，直接建模这一联合分布较为困难且性能欠佳（详见实验部分4.2-B节）。因此，基于链式法则，我们将联合分布分解如下： $$ P(\mathbf{X},\mathbf{V}|\mathbf{\mathcal{I}})=P_{\omega}(\mathbf{V}|\mathbf{X},\mathbf{\mathcal{I}})P_{\phi}(\mathbf{X}|\mathbf{\mathcal{I}}). $$ 该等式描述了POEM的架构（如图2所示），它包含两个阶段。训练过程就是在训练数据上拟合可学习参数$\phi$、$\omega$；也就是说，对于每一个输入$\mathcal{I}$，模型都会使其在该输入对应的真实值$\widehat{\mathbf{X}}$、$\widehat{\mathbf{V}}$处的概率最大化。我们将这两个阶段：$P_{\phi}$和$P_{\omega}$分别表示为两个神经网络：$f_{\phi}(\mathcal{I})$和$f_{\omega}(\mathbf{X}, \mathcal{I})$。拟合目标设定为标准的$l1$损失： $$ \mathcal{L}=\left|\widehat{\mathbf{V}}-f_{\omega}(\mathbf{X},\mathcal{I})\right|+\left|\widehat{\mathbf{X}}-f_{\phi}(\mathcal{I})\right|. $$ 在概述了问题分解与学习目标之后，接下来我们详细讨论网络设计的细节。 ##### 3.2. 多视角图像中的关键点 POEM的第一阶段是在多视角（m.v.）图像$\mathcal{I}$的条件下预测三维关键点X。为实现这一点，我们首先估算每个视角下x的二维位置$\mathbf{I}_i$，然后通过代数三角测量将其映射到三维空间。为了提升二维关键点对遮挡情况的鲁棒性，我们利用二维概率热图[^47]和软argmax操作[^41]来确定x的二维位置。在第一阶段中，我们假设每个视角预测出的二维关键点对X的贡献是相互独立的。因此我们可以应用直接线性变换（DLT，[15, p.312]）来进行快速三角测量。具体而言，POEM的第一阶段$f_\phi(\mathcal{I})$ --- ![Image](images/8993027d2b67007f250130c09fc18e6c5a35222c3a58bc6f9f62f50861fec51d.jpg)
(a) Stage 1: $\mathbf{X} = f_{\phi}(\mathcal{I})$
(b) Stage 2: $\mathbf{V} = f_{\omega}(\mathbf{X}, \mathcal{I})$
Figure 2. POEM's architecture contains two stages: (a) hand's keypoints prediction conditioned on multi-view images, and (b) hand's vertices prediction conditioned on the predicted keypoints and multi-view images features.
可以表示为： $$ \begin{array}{r}{f_{\phi}:\mathbf{X}=\mathrm{D L T}(\mathbf{h}_{1\sim N},\mathbf{K}_{1\sim N},\mathbf{T}_{1\sim N}),}\end{array} $$ $$ \begin{array}{r}{\mathrm{w h e r e~}\mathbf{h}_{i}={s o f t-a r g m a x}\;(\mathcal{F}_{\phi}(\mathbf{I}_{i})),}\end{array} $$ 其中，$\mathcal{F}_{\phi}$ 是一个骨干网络，其权重为 $\phi$；$\mathbf{K}_{i}$、$\mathbf{T}_{i}$ 分别是第 i 个摄像头的相机内参矩阵和外参矩阵。 ###### 3.3. 基于关键点和多视图图像的顶点 在前一阶段，我们构建了一个能够从多视图图像中稳健地提取手部关键点 X 的模型。然而，仅有关键点 X 在两方面不足以满足我们的任务需求：(1) 关键点并不位于手表面，因此难以反映手的形状；(2) 关键点是独立地从骨干模型中提取的，缺乏来自不同视角的融合信息；基于第 (2) 点，这些关键点可能不够精确。 鉴于上述不足，在第二阶段中，我们希望手部顶点的潜在嵌入 V 能够在输出结果 V 生成之前，与所有视角下的特征充分交互。我们首先回顾一下问题背景：每张图像观测到的都是摄像头前方的一个视锥空间。如图 1 所示，N 个摄像头共有的视图反映了 N 个视锥空间的交集区域，而我们感兴趣的手部就位于该区域内。 为了使网络能够在视锥空间上运作，我们将其离散化为一个三维网格。网格中的每个单元格存储一个点的三维坐标。借助相机外参，我们可以将来自总共 N 个摄像头视锥的所有点转换到共享的世界空间 $\mathcal{W}$ 中（详见第 3.3.1 节）。因此，手部被由 N 个视锥聚合而成的点云 $\mathbf{P}$ 所包围。现在让我们重新审视 $\mathbf{V}$ 的形式：如果我们把 $\mathbf{V}$ 的 778 个顶点视为 $\mathcal{W}$ 中的另一组点云，那么第二阶段的目标就变成了促进这两组点云之间的交互——一组来自 N 个摄像头视锥，另一组来自手表面。 将摄像头视锥和手部顶点表示为点云具有两大优势：(1) 点云对点的排列顺序不敏感，它只取决于点之间的相对距离。因此，如果来自不同摄像头视锥的点在空间上相近，它们就能很容易地与 V 中的点融合；(2) 点云是一组以坐标为自然位置编码的三维点，这非常适合于自注意力机制和交叉注意力机制。基于这些优势，我们设计了一种跨集点云Transformer来融合点云中的特征（见第 3.3.3 节）。 最后一个问题是：如何将特征嵌入到点云 P 和 V 中，因为目前它们只是一组三维坐标。我们在第 3.3.2 节中研究了两种方法：首先介绍位置嵌入聚合，随后是一种更强大的投影聚合。 #### 3.3.1 将点嵌入到摄像头视锥空间 为了将每个摄像头视锥关联到共享的世界空间 $\mathcal{W}$ 中，我们提出先沿视锥内的摄像头光线方向嵌入离散点，再将这些嵌入点转换到 $\mathcal{W}$ 中。一条摄像头光线可以用三维向量 $\boldsymbol{r} = (u, v, d)$ 来表示，其中 u、v 是图像平面上的像素坐标，d 是深度值。相应地，所有的摄像头光线向量构成了一个大小为 $W \times H \times D$ 的网格，其中 W、H 分别是图像的宽度和高度，D 是离散深度值的数量。最后，给定相机内参矩阵 $\mathbf{K}$ 和外参矩阵 $\mathbf{T}$（从摄像头到 $\mathcal{W}$），我们可以通过以下步骤将每个摄像头网格中的点转换到 $\mathcal{W}$ 中：首先利用光线向量 $\boldsymbol{r}$ 反向投影到摄像头空间中的三维点。 --- ![Image](images/bcdc3ad71d187682bd70716cb161d39fd70bcd1916f9d4fcac36e2b1f92981f2.jpg) ![Image](images/8803d3ffe00904a442de468aca3d193e8cd4f810674d222b17165714cc6747bc.jpg)
Figure 3. Illustration of the (a) position embedded aggregation and (b) projective aggregation for embedding image features into point cloud.
Figure 4. Architecture of G: bottleneck embedded dot-product module for fusing features from different views.
![Image](images/88aa37a0bebd3ce67c588cf2d73e576a32a299f89f982adae39ca773161c61db.jpg)
Figure 5. Vector attention: in each decoder layer, the $\mathcal{VC}$'s position will be updated by the attention between $\mathcal{VC}$ and $\mathcal{VC}$'s k nearest neighbors in $\mathcal{PC}$. Accordingly, $\mathcal{VC}$'s k nearest neighbors will be updated based on refined position of $\mathcal{VC}$.
接着，利用T将这一点转换为W。在汇总了来自所有N个摄像机的点之后，我们便得到了大小为$M = N \times W \times H \times D$的最终点云P，它代表了手部V周围的大范围点集。 然而，只有空间上靠近 $\mathbf{V}$ 的点才是相关的。理想情况下，我们希望相关点的数量 ( S) 大于手部顶点的数量 ( $S > 778$)，同时仍远小于 M ( $S \ll M$)。为此，我们需要确定表面顶点 $\mathbf{V}$ 的初始位置，其依据是预测得到的骨架关节 $\mathbf{X}$。虽然 MANO 的公式提供了从 $\mathbf{V}$ 到 $\mathbf{X}$ 的预训练映射，但将 $\mathbf{X}$ 映射到 $\mathbf{V}$ 并非易事。实现这种逆映射的一种基本方法是学习一个神经网络 $f_m: \mathbf{X} \mapsto \mathbf{V}$。然而，我们发现初始的 $\mathbf{V} = f_m(\mathbf{X})$ 可能会显著偏离 $\mathbf{X}$，从而导致训练不稳定。因此，我们不学习 $\mathbf{V}$ 的绝对位置，而是选择将 $\mathbf{V}$ 学习为腕部（根）关节 $\mathbf{X}_w$ 的偏移量，如下所示：$\mathbf{V} = \mathbf{X}_w + f_m(\mathbf{X})$，其中 $\mathbf{X}_w$ 是世界坐标系中的腕关节。一旦获得 $\mathbf{V}$，我们就可以通过对 $\mathbf{P}$ 的球查询 [^36] 操作来检索其相关点。这些相关点位于 $\mathbf{V}$ 的某个半径范围内，并且是 $\mathbf{P}$ 的子集。我们将其称为 $\mathbf{P}$。 在本节中，我们分别探讨将图像特征嵌入到相机视锥体点（P/$\bar{P}$，见3.3.2-A节）以及手部表面点（V，见3.3.2-B节）的方法。 #### 3.3.2 将特征嵌入到点中 ### A. 将特征嵌入到相机视锥体点（P）中 位置嵌入聚合。回顾3.3.1节的内容，我们使用3D点的网格来表示相机视锥体内的相机光线向量。这个网格$\mathbf{M}_{3d}$是一个形状为$(W, H, D, 3)$的张量。与此同时，从主干模型中提取的图像特征$\mathbf{F}_{2d}$是一个形状为$(C, H, W)$的张量，其中C代表通道数。将$\mathbf{F}_{2d}$中的特征分配给$\mathbf{M}_{3d}$中点的一种基本设计，就是将$\mathbf{M}_{3d}$的位置信息嵌入到$\mathbf{F}_{2d}$中，如图3(a)所示。具体来说，我们首先将$\mathbf{F}_{2d}$重塑为$\mathbf{F}_{2d}^{\prime}$：$(W, H, D, \frac{C}{D})$，其中最后一个维度（大小为$\frac{C}{D}$）用于存储$\mathbf{F}_{2d}$中与3D位置相关的分量。然后，我们将$\mathbf{M}_{3d}$的位置编码与$\mathbf{F}_{2d}^{\prime}$相加，得到位置嵌入特征：$\mathbf{F}_{3d}$。 $$ \mathbf{F}_{3d}=f_{\mathrm{M}}(\mathbf{M}_{3d})+\mathbf{F}_{2d}^{\prime}, $$ 其中 $f_{\mathrm{M}}$ 是一系列正弦波和MLP函数，用于获取 $M_{3d}$ 的位置编码。$F_{3d}$ 的空间排列与 $M_{3d}$ 完全相同。$F_{3d}$ 中的每个单元格存储的是与 $M_{3d}$ 中相同位置的点相对应的特征。因此，将图像特征嵌入到视锥点中的核心思路就是将 $M_{3d}$ 中的每个点与其在 $F_{3d}$ 中对应的特征关联起来。随后，在应用球查询之后，$\bar{P}$ 会收集来自不同视角的、具有不同图像特征的点，从而实现有效的特征聚合。这种方法与之前的方法类似，例如 PETR [^29]（称为“3D位置编码器”）和 MVP [^45]（称为“射线卷积”），它们也采用了类似的特征嵌入策略。 尽管上述设计看似合理，但它存在两个缺点。首先，我们选择了 $\bar{P}$ 而非 $\mathbf{P}$，这导致 $\mathbf{F}_{3d}$ 中只有一小部分特征单元被分配给点云 $\bar{P}$。其次，由于 $\bar{P}$ 中的每个点仅携带来自一个相机视锥的特征，因此 $\bar{P}$ 中的特征在不同视角下缺乏一致性。 投影聚合。为克服上述缺陷并实现更有效的特征聚合，我们提出融合来自不同视角的 $\bar{\mathbf{P}}$ 中点的特征。如图 3(b) 所示，其核心思路是收集特定点在 $\bar{\mathbf{P}}$ 中经 2D 投影后于 N 个视角下采样得到的特征，再将这 N 个特征进行合并—— --- 将依赖采样的特征整合为该点的单一几何感知特征。我们将此操作称为投影聚合。为了在$\mathbf{F}_{3d}$的投影位置采样特征，我们采用双线性插值法。为了融合来自不同相机视角的特征，我们对原始的非局部网络[^46]进行了改进，嵌入了瓶颈式点积设计。如图4所示，我们选择某一相机的特征作为参考，其余的$N-1$则作为源特征。起初，所有N个采样特征都会通过嵌入投影（一个MLP函数）进行下采样。随后，源特征与参考特征通过点积操作完全混合，再通过另一个嵌入投影上采样。最后，混合后的特征会与参考特征相加，得到最终的融合特征。正式来说，投影聚合可以表述为： $$ \mathbf{F}=\mathcal{G}(\mathbf{f}_{1},...,\mathbf{f}_{N}),{\mathrm{~w h e r e~}}\mathbf{f}_{i}=\mathbf{F}_{3d}\big(\pi(\mathbf{\bar{P}})\big)_{i} $$ 其中 $\mathbf{F}_{3d}(\cdot)_{i}$ 表示对第i个 $\mathbf{F}_{3d}$ 进行的双线性插值，$\pi$ 表示相机投影，$\mathcal{G}$ 则表示嵌入瓶颈的点积模块。 与位置嵌入聚合产生的特征相比，投影聚合生成的特征具有几何感知能力。例如，来自不同相机视锥的两个点如果空间上相近，它们融合后的特征也会相似；反之，即使两个点在同一图像平面上很接近，但如果它们在空间上相距较远，融合后的特征也会存在显著差异。 ### B. 将特征嵌入手部表面点（V） 与 $\tilde{\mathbf{P}}$ 的特性类似，我们通过投影聚合来提取 $\mathbf{V}$ 的多视角图像特征。此外，由于我们在Transformer中将 $\mathbf{V}$ 用作词元，因此为 $\mathbf{V}$ 提供位置编码至关重要。借鉴几种基于视觉的Transformer的做法，比如Keypoint Transformer [^13]、Mesh Transformer [^27] 和 MVP [^45]，我们使用一组可学习参数：$\mathbf{S} \in \mathbb{R}^{N_V \times Z}$ 作为 $\mathbf{V}$ 的位置编码，其中顶点数量为 $N_V = 778$，编码维度为 $Z = 256$。我们探索了三种构建 $\mathbf{S}$ 的不同策略。 (1) $\mathbf{J} - \mathbf{emb}$（$S^J$）。与 Keypoint Transformer [^13] 类似，$S^J$ 被初始化为关节级嵌入向量：$\mathbf{J} \in \mathbb{R}^{N_V \times Z}$。因此，$S^J = \mathbf{J}$。 (2) G-emb（S^G）。与 Mesh Transformer [^27] 类似，S^G 被初始化为输入相关的全局图像特征：$\mathbf{G} \in \mathbb{R}^{Z}$ 与顶点特定位置：$\mathbf{V}_i^\dagger$（第 i 个顶点的位置）的拼接（⊕），这些特征是从零姿态且均值形状的MANO手部模板（†）中提取的。因此，$\mathbf{S}_i = \mathbf{G} \oplus \mathbf{V}_i^\dagger$。此处，$\mathbf{G}$ 是来自 N 个视角的图像骨干网络最后一层的 N 个特征的平均值（公式 (3) 中的 $\mathcal{F}\phi$）。 (3) G&J-emb（S $^+$）。与 MVP [^45] 类似，S $^+$ 被初始化为全局图像特征 G 与关节级嵌入向量 J 之和，即 S $^+$ $_i$ = G + J $_i$。我们通过实验发现 J-emb 能取得最佳性能（详见第 4.2-G 节）。因此，V 的特征由两项组成：(1) 通过投影聚合得到的特征 F（通过将公式 (5) 中的 $\overline{P}$ 替换为 V 得到）；(2) 作为 V 的位置编码的 S $^J$。遵循 [^13]、[^27]、[^45] 采用的惯例，我们将这种经过位置编码的特征称为 V 的查询向量（记为 Q）。形式上，我们有 Q = F + S $^J$。 #### 3.3.3 跨集合点变换器 给定两个点云： • $\mathcal{PC} = (\bar{\mathbf{P}}, \mathbf{F})$，表示由多视角图像聚合得到的视锥点位置 $\bar{\mathbf{P}}$ 及其特征 $\mathbf{F}$； • $\mathcal{V}\mathcal{C} = (\mathbf{V}, \mathbf{Q})$，表示手部顶点位置 V 及其特征 Q， 我们希望通过一个集合运算符逐步提取集合间的关系并更新 VC 的预测结果。注意力机制 [^44] 是完成这一任务的非常自然且强大的选择。受近期自注意力点变换器 [^53] 成功的启发，我们构建了跨集合点变换器，以有效捕捉不同点云之间的相关点特征。 我们的Transformer仅包含一个解码器，该解码器内有多个解码层。如图2-(b)所示，每个解码层由三个顺序模块组成：用于$\mathcal{VC}$中执行逐点交互的自注意力模块；用于从$\mathcal{VC}$到$\mathcal{PC}$执行点对集合交互的向量交叉注意力模块；以及用于根据$\mathcal{VC}$的位置(V)回归偏移量的前馈网络。这个偏移量将被用来优化上一层输入的$\mathbf{V}$。当Transformer到达最终输出阶段时，基于第二阶段的可学习权重，$\mathcal{VC}$的位置也会达到收敛状态。每个解码层的递归形式为：$\mathcal{V}\mathcal{C}_l = \mathcal{D}_l(\mathcal{PC}, \mathcal{V}\mathcal{C}_{l-1})$，其中$\mathcal{D}_l$表示第l个解码层。$\mathcal{VC}$与$\mathcal{PC}$之间的点注意力即为向量注意力[^52] [^53]，这种注意力会在每个查询点的局部邻域（即最近的k个邻居）中应用（见图5）。我们将每个$\mathcal{D}_l$中的这三个模块表述如下： $$ \begin{aligned}\mathbf{Q}^{\star}&=self-attention(\mathbf{Q}),\\\widetilde{\mathbf{Q}}_{i}&=\sum_{\mathbf{F}_{j}\in\mathcal{X}_{i}}\operatorname{SM}\big(\gamma(\alpha(\mathbf{Q}_{i}^{\star})-\beta(\mathbf{F}_{j}))+\delta\big)\odot(\psi(\mathbf{F}_{j})+\delta),\\\widetilde{\mathbf{V}}_{i}&=\mathbf{V}_{i}+\operatorname{FFN}(\widetilde{\mathbf{Q}}_{i}),\end{aligned} $$ 其中$\mathcal{X}_i$是$\mathcal{PC}$的子集，它收集了第i个手部顶点的最近k个邻居中的点：$\mathbf{V}_i$。$\delta$是点云的位置编码，$\boldsymbol{\delta} = \theta(\mathbf{V}_i - \tilde{\mathbf{P}}_j)$。$\alpha, \beta, \gamma, \psi, \theta$是可学习的函数（如MLP），$\odot$表示哈达玛积运算，FFN是前馈网络，SM是softmax运算。通过汇总所有的$\tilde{\mathbf{V}}_i$和$\tilde{\mathbf{Q}}_i$，我们就能得到当前解码层$\mathcal{V}\mathbf{C}_l$的输出$\mathcal{D}_l$。 ---
MethodsHand verticesHand keypoints
MPVPE $\downarrow$RR-V $\downarrow$PA-V $\downarrow$AUC-V $\uparrow$MPJPE $\downarrow$RR-J $\downarrow$PA-J $\downarrow$AUC-J $\uparrow$
DexYCB-MV1oursPOEM6.137.214.000.706.067.303.930.68
2AMVP [^45]9.7712.188.140.536.239.474.260.69
3PE-Mesh-TR7.418.674.700.647.498.874.760.64
4FTL-Mesh-TR8.759.805.750.598.669.815.510.59
8CPOEM w/o pt.7.638.945.480.637.208.584.890.65
9DPOEM w/o Proj.6.577.694.420.686.547.824.370.67
10FMulti-view Fit.7.338.715.290.657.228.775.190.65
HO3D-MV11oursPOEM17.221.459.970.6617.2821.949.600.63
12AMVP [^45]20.9527.0810.040.5918.7224.9010.440.60
13PE-Mesh-TR23.4929.1911.310.5523.9430.2311.670.54
14FTL-Mesh-TR24.1533.5310.560.5324.6634.7410.760.52
15CPOEM w/o pt.19.2624.3212.450.6218.2023.8010.560.63
16DPOEM w/o proj.18.8322.2610.830.6318.4822.7310.390.63
17EPOEM w/o $\Delta v$19.3424.2711.180.6219.4225.0010.710.60
OakInk-MV18oursPOEM (S $^{J}$)6.207.634.210.706.017.464.000.69
19AMVP [^45]9.6911.757.740.537.329.994.970.64
20PE-Mesh-TR8.349.675.750.608.189.595.420.61
21FTL-Mesh-TR9.2810.886.610.568.8910.666.010.58
22DPOEM w/o proj6.427.824.500.696.257.844.280.68
23EPOEM w/o $\Delta v$6.568.044.630.696.327.994.320.67
24GS $^{+}$ as pos-enc.6.237.634.300.706.057.654.090.69
25S $^{G}$ as pos-enc.6.257.654.330.706.057.664.100.69
Table 1. Quantitative results (mm) of evaluations A to F. The AUC are computed on the evaluation metrics of MPVPE and MPJPE. The thresholds of AUC vary from datasets. i.e. 0-20 mm for DexYCB-MV and OakInk-MV, and 0-50 mm for HO3D-MV.
### 4. 实验与结果 #### 4.1. 数据集 DexYCB。它包含582K张手部抓取物体的图像[^4]。这些图像来自8个摄像头的观测。为了构建多视角任务所用的划分模式，我们遵循其官方的“S0”划分方式来确定训练/验证/测试集，并筛选出左手的图像。对于每个帧ID，我们从总共8个摄像头中收集8张图像。这8张图像及其标注共同构成一个多视角(m.v.)帧。我们将采用这种多视角划分的DexYCB称为DexYCB-MV。总体而言，DexYCB-MV在训练集中包含25,387个m.v.帧（即203,096个单目帧），验证集中有1,412个m.v.帧，测试集中有4,951个m.v.帧。 HO3D。HO3D（版本3）[^12]包含103,462张捕捉手-物交互的图像，这些图像最多来自5个摄像头。同一序列但不同摄像头的帧可能分散在不同的划分集中。为了让HO3D支持多视角任务，我们仅选取具有完整5个摄像头观测的序列，并据此构建HO3D-MV。共有7个满足多视角要求的HO3D序列。我们选取编号为‘ABF1’、‘BB1’、‘GSF1’、‘MDF1’和‘SiBF1’的序列作为训练集，剩下的‘GPMF1’和‘SB1’作为测试集。总体而言，训练集中有9,087个m.v.帧（即45,435个单目帧），测试集中有2,706个m.v.帧。 OakInk。OakInk-Image [^49]是一个新的手部操纵物体数据集。它包含来自4个摄像头观测的230K张图像。我们遵循官方的“SP2”——物体划分模式来构建OakInk-MV。OakInk-MV中的每个m.v.帧都包含来自4个摄像头的图像。OakInk中将近四分之一的序列涉及两个人传递物体（图像中捕捉到两只手）。对于这类序列，我们分别对每只手进行训练和测试。OakInk-MV在训练集中有58,692个m.v.帧（即234,768个单目帧），测试集中有19,909个m.v.帧。 #### 4.2. 评估 我们报告了MPJPE和MPVPE（单位：毫米）的数值，它们分别代表每个关键点（关节）和每个顶点位置的误差。值得注意的是，由于MANO模型提供了从V到X的预训练映射关系，因此所报告的关键点X实际上是第二阶段最终生成的顶点V的副产品。此外，我们还考察了在根坐标相对（RR）系统下以及Procrustes分析（PA）条件下的MPVPE数值。另外，我们通过计算百分比曲线下的面积（AUC）来评估在不同阈值范围内正确关键点的比例，该指标能够反映模型在定位关键点方面的判别能力。 A. POEM与SOTA方法的对比。POEM专注于在多视角RGB观测下的单手重建任务。我们发现MVP [^45]与我们提出的模型高度相关，该方法利用视觉Transformer直接回归适用于皮肤绑定人体模型（SMPL [^30]和MANO [^40]）的网格参数。MVP还采用了另一个模块来— --- 关联不同人的关键点。在我们的实验中，仅将POEM与MVP在单人体重建方面进行比较。除了MVP外，我们还模拟了几种用于多视角手部网格重建的SOTA方法。进行模拟的目的在于将单目手部重建领域的SOTA架构与多视角设置中采用的最先进融合算法相结合。基于这一思路，我们首先借鉴自动驾驶领域中3D检测方面的先进模型，因为该领域对多视角环境下的神经网络运算已有深入研究。近期的方法PETR [^29]会将相机视锥体的3D位置嵌入（PE）编码进2D图像特征中，随后将这些带有位置信息的特征与可学习的物体查询（对应我们模型中的Q）相融合，最后通过DETR [^3]解码器将这些物体查询转换为物体的3D位置。在单目手部网格重建方面，Mesh Transformer [^27]是一种代表性方法，它采用基于图像的自注意力Transformer来直接回归手部网格上的所有顶点。因此，为了模拟多视角手部网格重建，我们利用PETR的特征-位置编码器来处理多视角图像特征，并采用类似DETR的视觉Transformer来回归手部网格上的3D顶点（其设计思路源自[^27]）。我们将这种方法称为“PE-Mesh-TR”。同样，我们也模拟了“FTL-Mesh-TR”，该方法利用特征变换层（FTL）[^39]来融合多视角特征，并采用适配网格的DETR解码器进行网格回归。我们的POEM在所有评价指标上均优于这些方法。 B. POEM的两阶段设计。回顾第3.1节中的问题描述：公式(1)，MVP、PE-Mesh-TR和FTL-Mesh-TR方法可表示为$P(\mathbf{X}, \mathbf{V}|\mathcal{I})$，这些方法在输出阶段直接从模型中回归手部顶点和关键点。相比之下，我们的方法被明确设计为两阶段模型。它们的对比结果分别显示在行1与2-4、11与12-14以及18与19-21中。 C. 不含嵌入点的POEM。我们还模拟了不带嵌入点设计的POEM两阶段版本，命名为“POEM w/o pt”。我们依次串联POEM中的第一阶段（用于预测X）、特征-位置编码器以及类似PE-Mesh-TR中的Transformer解码器。但实验结果显示其性能较差，这一对比见于行1与8以及11与15。 D. 没有投影聚合的POEM。我们在第3.3.2节中研究了两种特征到点的嵌入方法的性能。“无投影的POEM”表示位置嵌入聚合的结果。对比第1行与第9行、第11行与第16行以及第18行与第22行可以发现，后续的投影聚合是有效的。 E. 没有渐进式VC更新的POEM。我们仅保留解码层中最后一个前馈神经网络（FFN），移除其余所有FFN。因此最终的V属于单步预测结果（“无$\Delta V$的POEM”）。对比结果见第11行与第17行、第18行与第23行，可见移除渐进式VC更新会导致性能下降。 F. POEM与多视角网格拟合对比。多视角姿态估计是数据集获取手部真实标注[^11] [^37]的常见做法。例如，HOnnotate [^11]会整合多个上游视觉任务得到的视觉线索来自动生成手部模型。采用类似的方法，我们也将3D手部网格（MANO）拟合到多视角的2D预测结果上。我们的拟合目标有三个：1）2D手部关键点；2）轮廓；3）手部解剖约束[^50]；2D关键点和轮廓的伪真实标注来自预训练模型[^7]。第1行与第10行的对比结果反映了最终性能：POEM在自动标注方面优于耗时较长的基于拟合的方法。 G. POEM：V的位置编码。我们探索了三种构建V的位置编码（pos-enc）的不同策略，即S^J、S^G和S^+，具体描述见第3.3.2-B节。第18行与第24行、第25行的对比结果显示，关节级嵌入（S^J）最适合我们的模型。 H. 解码器、摄像头与k个最近邻。我们进一步测试了改变解码器数量、摄像头数量和k个最近邻数量时POEM的性能，并对POEM的重建结果进行了定性评估。更多细节请参阅附录。 ### 5. 讨论 局限性。首先，POEM无法区分不同手部的关键点，因此它仅支持单手重建。其次，为了充分发挥其优势，投影聚合要求各摄像头之间存在明显的空间差异；否则它会退化为对相邻坐标的2D特征的聚合。 结论。本文提出的POEM利用点表示来解决多视角手部重建问题。POEM通过两项创新设计——基于点的特征融合和跨集点注意力——直接对点进行操作。在三个数据集上的实验验证了这些设计的有效性。尽管本研究针对的是手部重建，但POEM带来的优势也为通用的多视角物体重建开辟了道路，这我们将作为未来的研究方向。 致谢。本研究得到了国家重点研发计划（编号2021ZD0110704）、上海市重大科技项目（2021SHZDZX0102）、上海人工智能研究院以及上海市科学技术委员会的资助（）。感谢徐安然、李杰峰和李凯琳提供的帮助、讨论与反馈。 --- ## 参考文献 [^1]: Adnane Boukhayma, Rodrigo de Bem, and Philip HS Torr. 3d hand shape and pose from images in the wild. In Computer Vision and Pattern Recognition (CVPR), 2019. 1,3 [^2]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision (ECCV), 2020. 1 [^3]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In European Conference on Computer Vision (ECCV), 2020. 8 [^4]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. Dexycb: A benchmark for capturing hand grasping of objects. In Computer Vision and Pattern Recognition (CVPR), 2021. 1, 2, 7 [^5]: Ping Chen, Yujin Chen, Dong Yang, Fangyin Wu, Qin Li, Qingpei Xia, and Yong Tan. I2uv-handnet: Image-to-uv prediction network for accurate and high-fidelity 3d hand mesh modeling. In International Conference on Computer Vision (ICCV), 2021. 1, 3 [^6]: Rui Chen, Songfang Han, Jing Xu, and Hao Su. Point-based multi-view stereo network. In International Conference on Computer Vision (ICCV), 2019. 3 [^7]: Xingyu Chen, Yufeng Liu, Chongyang Ma, Jianlong Chang, Huayan Wang, Tian Chen, Xiaoyan Guo, Pengfei Wan, and Wen Zheng. Camera-space hand mesh recovery via semantic aggregation and adaptive 2d-1d registration. In Computer Vision and Pattern Recognition (CVPR), 2021. 1, 3, 8 [^8]: Zerui Chen, Yana Hasson, Cordelia Schmid, and Ivan Laptev. Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In European Conference on Computer Vision (ECCV), 2022. 3 [^9]: Liuhao Ge, Zhou Ren, Yuncheng Li, Zehao Xue, Yingying Wang, Jianfei Cai, and Junsong Yuan. 3d hand shape and pose estimation from a single rgb image. In Computer Vision and Pattern Recognition (CVPR), 2019. 1,3 [^10]: Meng-Hao Guo, Jun-Xiong Cai, Zheng-Ning Liu, Tai-Jiang Mu, Ralph R Martin, and Shi-Min Hu. Pct: Point cloud transformer. Computational Visual Media, 7(2):187–199, 2021. 3 [^11]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Computer Vision and Pattern Recognition (CVPR), 2020. 8 [^12]: Shreyas Hampali, Sayan Deb Sarkar, and Vincent Lepetit. HO-3D_v3: Improving the accuracy of hand-object annotations of the ho-3d dataset. ArXiv, abs/2107.00887, 2021. 2, 7 [^13]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint Transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Computer Vision and Pattern Recognition (CVPR), 2022. 6 [^14]: Shangchen Han, Po-Chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, 蔡宇君、托马斯·霍丹、兰迪·卡贝萨斯、阮兰、穆扎费尔·阿克拜、余子豪、杰姆·凯斯金以及罗伯特·王。UmeTrack：面向虚拟现实的统一多视角端到端手部追踪技术。收录于2022年SIGGRAPH Asia会议论文集，2022年。2 [^15]: Richard Hartley and Andrew Zisserman. Multiple View Geometry in computer vision. Cambridge university press, 2003. 3 [^16]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^17]: Yihui He, Rui Yan, Katerina Fragkiadaki, and Shoou-I Yu. Epipolar transformers. In Computer Vision and Pattern Recognition (CVPR), 2020. 1, 2 [^18]: Karim Iskakov, Egor Burkov, Victor S. Lempitsky, and Yury Malkov. Learnable triangulation of human pose. In International Conference on Computer Vision (ICCV), 2019. 1, 2 [^19]: Mengqi Ji, Juergen Gall, Haitian Zheng, Yebin Liu, and Lu Fang. Surfacenet: An end-to-end 3d neural network for multiview stereopsis. In International Conference on Computer Vision (ICCV), 2017. 3 [^20]: Abhishek Kar, Christian Häne, and Jitendra Malik. Learning a multi-view stereo machine. Conference on Neural Information Processing Systems (NeurIPS), 2017. 3 [^21]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. In International Conference on 3D Vision (3DV), 2020. 3 [^22]: Nikos Kolotouros, Georgios Pavlakos, and Kostas Daniilidis. Convolutional mesh regression for single-image human shape reconstruction. In Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^23]: Deying Kong, Linguang Zhang, Liangjian Chen, Haoyu Ma, Xiangyi Yan, Shanlin Sun, Xingwei Liu, Kun Han, and Xiaohui Xie. Identity-aware hand mesh estimation and personalization from rgb images. In European Conference on Computer Vision (ECCV), 2022. 3 [^24]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In Computer Vision and Pattern Recognition (CVPR), 2020. 3 [^25]: Yangyan Li, Rui Bu, Mingchao Sun, Wei Wu, Xinhan Di, and Baoquan Chen. Pointcnn: Convolution on x-transformed points. In Conference on Neural Information Processing Systems (NeurIPS), 2018. 3 [^26]: Jiahao Lin and Gim Hee Lee. Multi-view multi-person 3d pose estimation with plane sweep stereo. In Computer Vision and Pattern Recognition (CVPR), 2021. 2 ## [^27]: Kevin Lin, Lijuan Wang, and Zicheng Liu. End-to-end human pose and mesh reconstruction with transformers. In Computer Vision and Pattern Recognition (CVPR), 2021. 1, 3, 6, 8 --- [^28]: Kevin Lin, Lijuan Wang, and Zicheng Liu. Mesh graphormer. In International Conference on Computer Vision (ICCV), 2021. 3 [^29]: Ying-Hao Liu, Tiancai Wang, X. Zhang, and Jian Sun. Petr: Position embedding transformation for multi-view 3d object detection. In European Conference on Computer Vision (ECCV), 2022. 2, 5, 8 [^30]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: a skinned multiperson linear model. ACM Transactions on Graphics, 2015. 7 [^31]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation from a single RGB image. In European Conference on Computer Vision (ECCV), 2020. 1, 3 [^32]: Joo Hyun Park, Yeong Min Oh, Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. HandOccNet: Occlusion-robust 3d hand mesh estimation network. In Computer Vision and Pattern Recognition (CVPR), 2022. 1 [^33]: Georgios Pavlakos, Xiaowei Zhou, Konstantinos G. Derpanis, and Kostas Daniilidis. Harvesting multiple views for marker-less 3d human pose annotations. In Computer Vision and Pattern Recognition (CVPR), 2017. 1, 2 [^34]: Sergey Prokudin, Christoph Lassner, and Javier Romero. Efficient learning on point clouds with basis point sets. In International Conference on Computer Vision (ICCV), 2019. 2 [^35]: Charles Ruizhongtai Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3d classification and segmentation. In Computer Vision and Pattern Recognition (CVPR), 2017. 3 [^36]: Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. In Conference on Neural Information Processing Systems (NeurIPS), 2017. 3, 5 [^37]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. DexMV: Imitation learning for dexterous manipulation from human videos. In European Conference on Computer Vision (ECCV), 2022. 8 [^38]: Haibo Qiu, Chunyu Wang, Jingdong Wang, Naiyan Wang, and Wenjun Zeng. Cross view fusion for 3d human pose estimation. In International Conference on Computer Vision (ICCV), 2019. 1,2 [^39]: Edoardo Remelli, Shangchen Han, Sina Honari, P. Fua, and Robert Y. Wang. Lightweight multi-view 3d pose estimation through camera-disentangled representation. In Computer Vision and Pattern Recognition (CVPR), 2020. 1, 2, 8 [^40]: Javier Romero, Dimitris Tzionas, and Michael J Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6), 2017. 3, 7 [^41]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In European Conference on Computer Vision (ECCV), 2018. 3 [^42]: Hugues Thomas, Charles R Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, François Goulette, and Leonidas J Guibas. Kpconv: Flexible and deformable convolution for point clouds. In International Conference on Computer Vision (ICCV), 2019. 3 [^43]: Hanyue Tu, Chunyu Wang, and Wenjun Zeng. Voxelpose: Towards multi-camera 3d human pose estimation in wild environment. In European Conference on Computer Vision (ECCV), 2020. 1, 2 [^44]: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017. 6 [^45]: Tao Wang, Jianfeng Zhang, Yujun Cai, Shuicheng Yan, and Jiashi Feng. Direct multi-view multi-person 3d pose estimation. In Conference on Neural Information Processing Systems (NeurIPS), 2021. 2, 5, 6, 7 [^46]: Xiaolong Wang, Ross Girshick, Abhinav Kumar Gupta, and Kaiming He. Non-local neural networks. In Computer Vision and Pattern Recognition (CVPR), 2018. 6 [^47]: Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convolutional pose machines. In Computer Vision and Pattern Recognition (CVPR), 2016. 3 [^48]: Wenxuan Wu, Zhongang Qi, and Li Fuxin. Pointconv: Deep convolutional networks on 3d point clouds. In Computer Vision and Pattern Recognition (CVPR), 2019. 3 [^49]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A large-scale knowledge repository for understanding hand-object interaction. In Computer Vision and Pattern Recognition (CVPR), 2022. 1, 2, 7 [^50]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In International Conference on Computer Vision (ICCV), 2021. 8 [^51]: Yao Yao, Zixin Luo, Shiwei Li, Tian Fang, and Long Quan. Mvsnet: Depth inference for unstructured multi-view stereo. In ECCV, 2018. 3 [^52]: Hengshuang Zhao, Jiaya Jia, and Vladlen Koltun. Exploring self-attention for image recognition. In Computer Vision and Pattern Recognition (CVPR), 2020. 6 [^53]: Hengshuang Zhao, Li Jiang, Jiaya Jia, Philip H. S. Torr, and Vladlen Koltun. Point Transformer. In International Conference on Computer Vision (ICCV), 2021. 3, 6 [^54]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Computer Vision and Pattern Recognition (CVPR), 2020. 1, 3 [^55]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHand: A dataset for markerless capture of hand pose and shape from single rgb images. In International Conference on Computer Vision (ICCV), 2019. 1