# 基于完整抓取分类与动力学特性的密集手-物体(HO) GraspNet数据集
Woojin Cho$^{1}$、Jihyun Lee$^{1}$、Minjae Yi$^{1}$、Minje Kim$^{1}$、Taeyun Woo$^{1}$、Donghwan Kim$^{1}$、Taewook Ha$^{1}$、Hyokeun Lee$^{3}$、Je-Hwan Ryu$^{4}$、Woontack Woo$^{1}$、Tae-Kyun Kim$^{1,2}$
韩国科学技术院（KAIST）$^{1}$、伦敦帝国理工学院$^{2}$、光云大学$^{3}$、Surromind公司$^{4}$
摘要：现有的3D手-物体交互数据集在数据量、交互场景中的数据多样性或标注质量方面存在局限。在本研究中，我们提出了一种用于手-物体交互的全新综合性训练数据集HOGraspNet。它是唯一能够捕捉完整抓取分类、提供抓取标注以及广泛同类别内变异的真实数据集。以抓取分类作为原子动作，其空间与时间上的组合能够表征物体周围的复杂手部活动。我们从YCB数据集中选取了22个刚性物体，又根据形状和尺寸分类选取了另外8个复合物体，以确保覆盖所有手部抓取形态。该数据集包含来自99名年龄在10至74岁之间的参与者的多样化手部形态数据、连续视频帧，以及带有标注的150万帧RGB-深度稀疏帧。它提供了3D手部与物体网格、3D关键点、接触图和抓取标签等标注信息。通过将手部参数化模型（MANO）和手部隐式函数（HALO）拟合到多视角RGBD帧上，即可获得精确的手部和物体3D网格，其中物体部分仅需借助动作捕捉系统即可实现。需要注意的是，HALO拟合无需任何参数调整，因此能够适配该数据集的规模，且精度可与MANO相媲美。我们在相关任务上对HOGraspNet进行了评估：抓取分类和3D手部姿态估计。结果显示，不同抓取类型和物体类别下的性能存在差异，这反映出我们的数据集所捕捉到的交互空间的潜在重要性。所提供的数据旨在用于学习通用形状先验或3D手-物体交互的基础模型。我们的数据集和代码可在获取。
关键词：手-物体交互 · 抓取分类 · 3D形状与姿态估计 · 新基准测试
## 1 引言
建模与推断3D手-物体交互的重要性日益凸显。早期的研究主要聚焦于单个物体实例[25, 65, 69, 70, 75, 77, 82, 87, 88, 90, 92, 95–97]，而近期的研究则转向多个3D物体及其复杂的交互行为[^4] [^8] [^16] [^19] [^19] [^24] [^28] [^33] [^39] [^40] [^55] [^55] [^58] [^59] [^72] [^74] [^81] [^86] [^94]。人类手部是最灵活且最重要的研究载体，相关研究还可拓展至类似的可活动、可变形类别中的人体或面部。近年来每年都会出现一些新的手-物体交互基准测试。然而，现有数据集要么在数据量上存在局限，要么……
---
30
25
20
15
10
5
Fig. 1: (left) Diverse samples in HOGraspNet (best viewed with zoom-in). HOGraspNet captures all hand-object grasp taxonomies with high-quality 3D annotations. (right) Grasp Taxonomy t-SNE. It covers well the grasp taxonomy space with intra-class variations.
数据的丰富程度、手/物体中数据变化的多样性，或是标注的质量。参见表1，其中HO3D [^28]和DexYCB [^8]分别仅包含15种和14种（共33种）抓取类别。YCB Affordance [^16]是唯一一个涵盖所有抓取类别并提供抓取标签的现有基准数据集，不过属于合成数据；ARCTIC会在RGB图像中为手部添加可见标记，而OakInk（与我们数据集最为接近）虽然受试者数量更少但物体种类更多，却并未提供抓取标签。与OakInk的更多对比结果展示在图5的t-SNE图中。
我们推出了HOGraspNet，这是一个包含手部、物体及其交互信息的抓取标注的大规模多视角RGBD训练数据集。基于现有的手部抓取分类体系 [^20]，我们对33种抓取方式中的28种进行了重新定义，合并了几何形状相似或较为罕见的姿势。我们的数据集是唯一覆盖所有抓取类别的真实数据集，包含抓取标签以及丰富的类内变异样本。我们选用了来自YCB数据集的22个刚性物体 [^5]，外加8个复合/铰接类物体。如图4所示，每个物体对应3种不同的手部抓取方式，共计90种交互场景。需要注意的是，选取30个物体就足以覆盖所有抓取类别，而抓取区域之外的纹理和形状则可以通过3D模型进行合成增强。该数据集包含了来自99名年龄在10到74岁之间的参与者的多种手部特征样本。总体而言，该数据集包含来自4个视角的150万帧RGB深度图像，配有3D网格、3D关键点、接触图和抓取标签等标注。我们分别采用手部参数化模型（MANO [^68]）和手部隐式函数（HALO [^41]）来标注手部网格。我们提出了基于手部隐式函数的新型标注流程，相较于MANO，该流程设置更简单（即超参数更少），且能实现更精准、连续的形状表示。考虑到HOGraspNet中的小型物体，我们仅使用光学标记来获取物体的6D位姿以进行动作捕捉。我们报告了抓取分类的实验结果，以及当前最先进的手部-物体3D位姿估计方法的性能。这一新数据集展现出了其全面性与应用潜力。
利用该数据集还能进一步拓展出以下可能性：1）通过改变背景或抓取区域之外的物体纹理和形状来对数据进行合成增强；
---
Table 1: Comparison of hand-object interaction datasets. Interaction info is the key criteria utilized in terms of hand-object interaction.
| Dataset | Type | #Image | #views | #obj | #subj | #Grapes in [^20] | Real Video | Marker-less hand | Dynamic interaction | Hand-obj | Grasp variation | Grasp annotation | Interaction info. |
| Odoman(CVPR10) [^34] | RGB | 154k | 1 | 3k | 20 | | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | |
| VCB-Affordance(CVPR20) [^16] | RGB | 133k | 1 | 58 | 20 | 100% | ✗ | ✓ | ✗ | ✗ | ✓ | ✓ | Grasp |
| FreiHand(ICCV18) [^97] | RGB | 37k | 8 | 2 | 32 | | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | |
| MOW(ICCV21) [^6] | RGB | 500 | 1 | ~500 | - | 82% | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | |
| DexYCB(CVPR21) [^8] | RGB | 582k | 8 | 20 | 10 | 42% | ✓ | ✓ | ✓ | | ✗ | ✗ | |
| FFHA(CVPR18) [^24] | RGB | 105k | 1 | 4 | 1 | | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ | Action |
| HO3D(CVPR20) [^28] | RGBD | 78k | 1 | 10 | 10 | 45% | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| SHOWMe(ICCVW23) [^73] | RGBD | 87k | 1 | 42 | 15 | 61% | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| ContactPose(ECCV20) [^4] | RGBD | 2.9M | 3 | 25 | 50 | | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ | Intent |
| ROO(ICCV21) [^42] | RGBD | 571k | 5 | 8 | 4 | | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ |
| ARCT(CVPR23) [^19] | RGBD | 2.1M | 9 | 10 | 4 | | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | Intent |
| OskInk(CVPR22) [^84] | RGBD | 230k | 4 | 100 | 12 | | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Ours | RGBD | 1.5M | 4 | 30 | 99 | 85% | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | Grasp |
2）为在物理模拟器中训练抓取智能体提供环境；3）扩展到非抓取动作，例如推、扔，或是用手操控非刚性物体的变形过程。我们希望这一新数据集能成为理解和建模手部-物体交互的多样化推理模型的基础，且所学到的知识能应用于人-物或人-人交互领域。
## 2 交互数据集综述
本节全面概述了现有的关于3D形状交互的数据集，即单手、手部-物体、手-手、人-物体以及人-人交互数据集。我们还简要讨论了用于评估我们数据集性能的现有手部-物体重建文献（详见第4节）。更多的综述结果可参见补充材料。
单手数据集。早期构建手部数据集的研究主要致力于采集RGB [^25] [^69] [^92] [^95] [^97]、深度 [^65] [^75] [^77] [^82] [^88] 或RGBD [^70] [^87] [^90] [^96] 图像中的单手数据，以支撑各种基于学习的手部重建方法 [^7] [^23] [^47] [^60] [^63]。这些数据集可根据三个特征进行分类：(1)所采集的手部帧是合成的 [^69] [^96] 还是真实的 [^25] [^65] [^69] [^70] [^75] [^77] [^82] [^87] [^88] [^90] [^92] [^95] [^97]；(2)手部标注是稀疏关键点 [^25] [^69] [^75] [^77] [^82] [^88] [^92] [^92] [^96] [^97] 还是网格 [^87] [^95]；(3)标注是通过基于标记的系统 [^25] [^65] [^75] [^88] 还是无标记系统 [69,70,77,82,87,90,92,95-97] 获得的。最近，各类手部数据集旨在采集手部与物体 [^3] [^4] [^8] [^16] [^17] [^19] [^24] [^28] [^33] [^59] [^73] [^74] 或其他手部 [^48] [^57] [^58] [^79] [^98] 交互的数据。由于我们的研究目标是收集能够全面捕捉手-物交互的数据集，因此下文将重点讨论现有的手-物数据集。
手-物数据集。近年来，各类手-物数据集 [^3] [^4] [^8] [^16] [^17] [^19] [^24] [^28] [^33] [^59] [^73] [^74] 相继被提出。就(1)标注方法而言，早期的大多数数据集采集的是从参数化手部模型（MANO [^68]）和模板物体模型 [^16] [^33] [^59] 渲染出的合成RGB及/或深度图像，或是采集带有标记物 [^4] [^19] [^74] 或磁传感器 [^24] 的真实图像以获取手部标注。然而，由于这些样本缺乏真实感……
---
合成模型的渲染或可见传感器的存在。因此，许多近期的数据集采用无标记系统，将MANO模型拟合到多视角设置下采集的RGB-D图像中，同时仅使用少量标记来获取物体姿态 [^8] [^28] [^73]。我们的工作也遵循这种无标记采集系统来提供基于MANO的手部标注，同时额外拟合基于隐式函数的手部模型（HALO [^41]）以提供补充的手部形状信息。关于所采集数据的(2)特征，现有数据集在数据量、物体类别或手部身份的数量，以及交互分类方面均存在局限（请参阅表1）。例如，HO3D [^28]和DexYCB [^8]（这两类是最常用的手-物数据集）仅考虑10种物体类别，分别采集了10个和20个手部身份的数据。虽然ObMan [^33]和SHOWMe [^73]采集的物体类别更为多样，但它们在手部身份数量（分别为20个和15个）和数据量（分别为154K和87K）上有限。ARCTIC [^19]和OakInk [^84]是近期提出的数据集，记录了手与物体之间的灵巧交互，包含多种运动变化。然而，它们并未涵盖每种物体的多样化抓取姿势，因为它们要求参与者根据与物体交互的意图来摆出相应姿势。我们的工作旨在收集一个在交互场景方面更为全面的训练数据集，涵盖抓取方式、物体类别、手部身份及数据量等方面。我们还注意到，大多数现有数据集并未为每个样本提供抓取类型信息，而这类信息能为所采集的手-物交互提供有用的先验知识 [^16] [^26] [^50]。我们的工作还仔细界定了33种抓取类型的分类体系，并为每个样本提供了抓取类型标注。为了与其他数据集进行比较，我们进行了全面调研，以确定Feix等人[^20]提出的33种抓取分类中包含的抓取类别数量，相关结果已在表1中报告。详细结果详见补充材料。
双手数据集。与手-物数据集类似，各类双手交互数据集也相继被提出。HIC [^79]和RGB2Hands [^80]属于最早的双手交互数据集，但与较新的数据集相比，其数据量和交互多样性较为有限。InterHand2.6M [^58]是最常用的大规模数据集，它在多视角无标记动作捕捉系统中采集双手交互数据。更近期提出的Re:InterHand [^57]则利用环境贴图和手部重新照明技术，采集图像外观和交互姿势更为多样的双手交互数据。TwoHand500K [^98]是另一类近期提出的数据集，它包含(1)使用基于标记的系统采集的真实数据，以及(2)通过从单手数据集中随机采样姿势而生成的合成数据。这些数据集为双手交互重建 [^44] [^46] [^89] 和生成 [^43] [^48] 方法的研发提供了灵感。
交互式人体数据集。此外，针对交互式手部的研究及相关数据集也涵盖了交互式人体内容。这些可归类为人与物体交互、人与人交互以及人与场景交互。(1) 人与物体交互：如表2所示，
---
Table 2: Comparison of Human-object interaction datasets.
| Dataset | Type | #image | #views | #obj | #subj | #Kinects | Label | Contact annotation | Whole body interact. | Marker-less hand | Natural scene | Scene interact. | Dynamic hand | Articulated object |
| EgoBody(ECCV22) | [^91] | RGBD | 220K | 3~5 | 15 | 36 | 3~5 | SMPL-X | ✗ | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ |
| GRAB(ECCV20) | [^74] | Mesh | 1.6M | - | 51 | 10 | - | SMPL-X | ✓ | ✗ | ✗ | ✗ | ✗ | ✓ | ✗ |
| ARCTIC(CVPR23) | [^19] | RGB | 2.1M | 9 | 10 | 9 | - | SMPL-X | ✓ | ✗ | ✗ | ✗ | ✗ | ✓ | ✓ |
| CHAIRS(ICCV23) | [^38] | RGBD | 1.7M | 4 | 81 | 46 | - | SMPL-X | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | ✓ |
| BEHAVE(CVPR22) | [^2] | RGBD | 15K | 5 | 20 | 8 | - | SMPL | ✓ | ✓ | ✗ | ✓ | ✗ | ✗ | ✗ |
| InterCap(IJCV24) | [^37] | RGBD | 67K | 6 | 10 | 10 | 6 | SMPL-X | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| PROX(ICCV19) | [^30] | RGBD | 100K | 3 | 12 | 20 | 1 | SMPL-X | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ |
| RICH(CVPR22) | [^36] | RGBD | 540K | 6~8 | 5 | 22 | 1 | SMPL-X | ✓ | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ |
已有多个数据集被发布，用于描述人机交互的各个方面。GRAB [^74] 和 ARCTIC [^19] 提供了包含3D人体网格的数据集，重点关注手与物体的交互。这三个数据集 [^2] [^37] [^38] 将交互区域扩展到了全身。以SMPL-X作为网格模板，[^2] [^19] [^37] 包含了接触监督信息，而 [^19] [^38] 则侧重于关节型物体。（2）人与人交互：PanopticStudio [^39]、MuCo3DHP [^55] 以及 MuPoTS-3D [^55] 提供了包含3D人体稀疏关键点的数据集。最近，人们对重建3D人体网格的兴趣日益浓厚 [^21] [^40] [^45] [^61] [^64] [^72] [^81] [^86] [^94]。其中大多数采用SMPL [^52] 或 SMPL-X [^62] 等参数化模型，只有部分数据集 [^61] [^64] [^81] [^81] [^86] [^94] 提供带纹理的扫描数据，这有助于呈现几何细节。
（3）人与场景交互：某些数据集 [^30] [^36] [^91] 将交互范围扩展到场景，并以SMPL-X作为网格模板。PROX [^30] 和 RICH [^36] 提供了人与场景之间的接触监督信息。尤其是RICH [^36]，其范围扩展到了室外场景，而EgoBody [^91] 则提供了动作文本标签。
手-物重建。手与物体的交互重建一直是研究热点。近期的大多数工作可分为优化方法和基于学习的方法。基于优化的方法 [^6] [^27] [^32] [^78] [^85] 通常根据接触或其他物理约束（如吸引与排斥 [^68]、摩擦力 [^85]）来拟合MANO [^35] 手部模型与模板物体模型。基于学习的方法[10–14,18,29,31,33,51,76]通过神经网络直接回归手部和物体的姿态，同时致力于探索有效的特征学习架构 [^10] [^18] [^29] [^31] [^33] [^51] [^76] 和/或形状表示方法 [^11] [^12]。在我们的研究中，我们使用最先进的方法HFL-Net [^49]，在HOGraspNet数据集上对基于RGB的重建任务进行了基准测试。
## 3 HOGraspNet
### 3.1 数据集概述
该数据集包含连续视频图像以及1,489,112帧标注好的RGB-D帧，涵盖了28种手部抓取类别。我们利用30个物体，通过合并视觉上相似的配置重新定义了抓取类别（详见补充材料）。这些图像是在4个不同的视角下拍摄的，由99名年龄在10至74岁之间的参与者完成抓取动作。除了多样的手部形状外，每个抓取类别内也收集了丰富的类内变异样本，这对于训练而言至关重要。
---
Fig. 2: Structure of HOGraspNet. It captures diverse hand-object grasping at 4 different viewpoints. Example RGB images (A) and depth images (B) are shown, while the fitted hand and object meshes are visualized in (C) and (D). (E) shows the contact map.
该数据集中的每个RGB-D帧都标注了21个关节的3D手部姿态、手部网格模型、对应的抓取类别、物体的6D姿态，以及手与物体之间的接触图。手部网格模型是通过拟合MANO [^68]和/或HALO [^41]得到的，而所有物体网格模型（3D形状和纹理）均为预先设定并提供的。在图2中，我们展示了该数据集中包含的数据类型示例。
### 3.2 物体类别与抓取分类
在与各种物体交互时，我们通常会根据物体的形状和意图采取特定的抓取姿势。为了覆盖广泛的手部姿态空间，尤其是涵盖所有的抓取分类，我们从YCB数据集[^5]中选取了22种类型的物体，另外还有8种日常物品。挑选这些物体时考虑了物体的基本形状（圆柱体、球体、圆盘、立方体）、抓取区域、物体尺寸，以及额外的铰接/复合物体等因素（见图3右侧）。参考以往关于手-物抓取分类的研究[^1] [^15] [^20] [^50] [^71]，我们为每种物体确定了三种最常见的抓取类别。各物体的抓取分类示例如图4所示。此外，在33种抓取类别中，有一些看似冗余、视觉上难以区分且几何特征相近，我们将其重新定义为28种抓取类别，其索引与[^20]中给出的索引一致。与现有的基准数据集（MOW [^6]和OakInk [^84]）相比，我们的物体集规模相对较小，但由于手部形态多样且帧数较多，我们能够覆盖更大范围的抓取空间。我们将纹理和形状方面的合成物体增强、以及背景增强列为未来的研究方向。
---
Fig.3: (left) 33 hand grasping taxonomies, (right) 30 objects used in the dataset. The object types are cylinder, sphere, disk, cuboid, or compound/articulated. They are further dividend to small/medium/large sizes, purporting to cover all grasp taxonomies.
Fig. 4: (left) Per-object taxonomy examples (right) System setup. The full list is shown in the supplementary.
### 3.3 硬件设置与数据采集
传感器。图4展示了录制工作室的设置，其中4台时间同步的RGB-D相机（Azure Kinect）被放置在指定空间周围。位于后方的相机大致处于使用者的眼睛位置，模拟固定的自我中心视角。这些相机以$1920 \times 1080$分辨率和30 FPS的帧率采集RGB图像和深度数据。对于物体姿态，设置了8台帧率为120 FPS的红外相机，每个物体上会粘贴3到5个3毫米的光学标记点。值得注意的是，为了保持手部外观的真实感，并未在手上粘贴标记点，从而尽量减少因RGB图像污染而导致使用本数据集训练的网络出现图像特征退化的可能性（参见ARCTIC [^19]）。不过，物体上的标记点仍可能对手部姿态造成限制，因此我们将标记点放置在最不可能被抓取的区域（如剪刀的刀刃处），以尽量降低这种影响。需要注意的是，所有物体均具有足够的对称性，既便于粘贴标记点又不会影响到抓取区域。通过每次录制时让LED闪烁来手动对齐起始帧，从而实现RGB-D相机与红外相机之间的时间同步。
数据采集。我们邀请了99名手部大小、形状和纹理各异的参与者进行数据采集。我们为每位参与者提供了关于各物体对应抓取类别的详细说明，要求他们用右手按照指定的抓取方式抓取每个物体，同时可自由活动……
---
Fig.5: t-SNE [^54] visualization of (left) MANO [^68] shape parameter distributions and (right) grasp feature distributions.
进行诸如平移和旋转等姿势变化。每位参与者重复该过程2到4次，每次试验记录20秒，以便充分捕捉从伸手取物、在空中自由操控物体直至将其放回原处的整个动作过程。通过这种方式，我们捕获了多样化的类内变异。
### 3.4 数据分布
为了进一步证明我们的数据集能够捕捉更全面的手部抓取情况，我们将自己的数据与HO3D [^28]、DexYCB [^8]以及OakInk [^84]进行对比，并可视化其数据分布。在图5(a)中，我们展示了这四个数据集在MANO [^54]形状参数空间中的t-SNE [^68]可视化结果。由于纳入了更多不同的手部身份（如表1所示），我们的数据集比其它数据集能捕捉到更丰富的手部形状多样性。图5(b)展示了抓取特征空间中的t-SNE可视化结果。为了提取抓取特征，我们训练了一个带有网格重建损失的手部自编码器，同时引入辅助接触点重建与抓取分类损失（更多细节见第4.2节），从而得到能够表征手部姿势和抓取配置的特征。得益于精心设计的抓取类型以及相应的数据采集流程，我们的数据集在该特征空间中同样显示出显著更高的多样性。我们希望这份数据集的全面性能够为涉及手-物交互的下游任务提供有效的先验知识。
### 3.5 MANO与物体标注
对于MANO [^68]手部及物体的标注，我们采用了受先前研究启发的自动标注与验证流程 [^8] [^28]。以下小节将介绍该流程的各个步骤，更多细节可参见补充材料。
数据预处理。我们将采集到的RGB-D帧从30FPS降采样至10FPS，以过滤掉时间上冗余的样本。我们还利用DeepLabv3 [^9]模型来生成手部与物体的分割掩码，该模型使用我们提供的数据以及每个物体少量人工标注的分割掩码进行了微调。
---
Fig. 6: MANO [^68] and object annotation pipeline (Section 3.5).
初始手部关键点估计。为了获取用于MANO拟合的初始手部关键点，我们采用了泛化能力较强的MediaPipe [^53]手部姿势估计器。我们从多视角帧中估计出2.5D手部关键点，再通过三角测量将其提升至3D关键点。不过，在手部与物体遮挡程度较高的视角下，这类关键点估计可能会存在噪声。为解决这一问题，我们提出了一种新颖的自举式流程，以提升3D关键点提升的质量。基于来自四个视角的2.5D关键点估计 $\{v p_i\}_{i=0,1,2,3}$，我们得到提升后的3D关键点 $\{\hat{J}_i\}_{i=0,1,2,3}$，其中 $\hat{J}_i \in \mathbb{R}^{21 \times 3}$ 表示排除 $v p_i$ 后，利用三个视角提升得到的3D关键点。我们假设：如果(1)投影到 $\hat{J}_i$ 上的 $v p_i$ 与(2)来自 $v p_i$ 的原始2.5D关键点估计之间的MPJPE超过阈值 $\tau$，则源自 $v p_i$ 的原始估计属于异常值。通过这种方式，我们在3D提升过程中过滤掉有噪声的2.5D关键点，从而为每个帧获得更稳健的3D关键点。每个视角的有效手部姿势以及各关节i的可见性 $v_i$（通过深度图计算得出）也会被存储起来，作为后续步骤中的伪真值（GT）数据。
初始物体姿态估计。为了获取物体的初始6D姿态，我们将光学传感器安装在每个物体预设的表面位置上。利用多个红外摄像头，通过内置软件收集各光学传感器的3D位置信息。随后，通过最小二乘拟合算法，根据标记点的位置计算出物体的3D旋转和平移参数。
多视角多帧渐进式手-物模型拟合。在此阶段，我们的目标是将MANO [^68] 手部模型与物体模板模型拟合到多视角RGB-D帧以及初始的手部和物体姿态上。为此，我们借鉴以往的研究工作[^8] [^97]，设计了一种基于优化的拟合方案。为避免陷入局部最优解，我们提出逐步拟合MANO参数，将优化过程分为三个阶段：（1）拟合全局手部变换；（2）拟合从手腕延伸出的局部手部姿态；（3）拟合完整的手部及物体姿态（详见补充材料）。
我们针对MANO姿态$\theta \in \mathbb{R}^{48}$、形状$\beta \in \mathbb{R}^{10}$参数以及物体6D姿态$\phi \in \mathbb{R}^{6}$的整体损失函数可表示为：
$$ \mathcal{L}=\lambda_{h}^{2D}\mathcal{L}_{h}^{2D}+\lambda_{o}^{3D}\mathcal{L}_{o}^{3D}+\lambda_{s e g}\mathcal{L}_{s e g}+\lambda_{d e p t h}\mathcal{L}_{d e p t h}+\lambda_{r e g}\mathcal{L}_{r e g}+\lambda_{p h y}\mathcal{L}_{p h y}. $$
$\mathcal{L}_{h}^{2D}$用于衡量伪真实值2D关节点与MANO 3D关节点投影到2D平面后的L2距离，该距离会由可见性$v_{i}$进行加权；$\mathcal{L}_{o}^{3D}$则计算3D标记点与物体模型对应顶点位置之间的L2距离；$\mathcal{L}_{seg}$和$\mathcal{L}_{depth}$分别衡量真实值与渲染得到的分割掩码、深度图之间的L1距离。
---
遵循[^97]的思路，我们还引入了正则化项$\mathcal{L}_{reg} = \|\hat{\theta}\|_2 + \|\hat{\beta}\|_2 + \|\theta_t - \theta_{t-1}\|_2 + \|\beta_t - \beta_{t-1}\|_2$：该正则化项一方面会对偏离零均值向量过大的MANO姿态和形状参数进行惩罚，另一方面会促使前后时刻的手部参数保持接近，以保证时间一致性。为了进一步使拟合得到的手部和物体网格符合物理规律，我们又引入了另一项正则化项$\mathcal{L}_{phy}$，它是穿透损失与接触损失的加权和：$\mathcal{L}_{phy} = \lambda_{pen} \mathcal{L}_{pen} + \lambda_{contact} \mathcal{L}_{contact}$。对于穿透损失$\lambda_{pen}$，我们采用了[^28]中使用的基于顶点法线投影的技术；对于接触损失$\mathcal{L}_{contact}$，我们尽量缩小手部和物体顶点间的距离，使其低于距离阈值$\tau$，以此促进物理层面的接触。在公式1中，$\{\lambda_i\}_{i=h,o,seg,depth,reg,phy}$是一组用于控制各项损失权重的标量值。关于标注流程的更多细节，请参阅补充材料。
后验证环节。我们采用自动与手动两种验证方式进一步筛选掉噪声标注。我们计算伪真实值分割掩码与渲染得到的分割掩码之间的交并比（IoU），剔除任意视角下IoU低于0.6的标注。随后，我们通过LabelOn()平台进行众包手动验证。每位众包人员会识别出那些与手部和物体网格偏差较大、或由操作失误导致的错误数据。
### 3.6 HALO标注
HALO [^41]拟合。为了进行手部形状标注，我们基于HALO [^41]进一步提供了手部隐式曲面，这是一种神经隐式表示方法，能够用3D手部关键点来参数化关节占据场[^56]。因此，将HALO拟合到我们收集的数据的一种直接方法，就是使用从多视角2D关键点估计中得到的3D手部关键点（如第3.5节所述）作为HALO模型的输入。然而我们发现，这种方法生成的隐式手部曲面合理性较差，因为这些关键点并不一定能构成合理的手部运动结构。于是，我们对提取出的关键点进行后处理，利用逆运动学算法将其映射到通过MANO学习到的手部空间中的最近关键点上[^11]。我们的HALO拟合结果如图7所示。
与MANO [^68]拟合结果的对比。由于HALO [^41]是一种以手部关键点为输入的占据函数，它在模型拟合时不需要太多超参数（除了占据阈值[^56]），而MANO拟合通常需要大量损失权重项（即公式1中的$\lambda_*$）来定义优化目标。因此，HALO在标注大规模数据集时更加便捷且易于扩展。此外，由于其分辨率无关的特性，HALO能生成比MANO更高分辨率的手部形状（见图8(a)）。不过，由于HALO是基于关键点来参数化手部形状的，它捕捉到的手部形状变化比MANO要少（见图8(b)中的红色圆圈）。如图8(c)所示，HALO的IoU分布略逊于MANO，但尽管其标注流程简单，它仍能达到相近的平均IoU结果（MANO：0.739，HALO：0.719）。
---
(a)
(b)
Fig. 7: HALO [^41] fitting results. (a) Annotated HALO hand examples. (b) Comparisons between the HALO shapes with and without applying inverse kinematics-based keypoint refinement [^11].
(a)
(b)
(c)
Fig. 8: Comparisons between HALO [^41] and MANO [^68] fitting results. (a) Hand shapes. (b) Fitting examples. (c) IoU distributions after post-verification stage.
## 4 实验结果
在本节中，我们首先介绍HOGraspNet的划分协议（第4.1节）。随后，我们将展示利用该数据集进行的抓取分类实验结果（第4.2节）以及手-物体姿态估计实验结果（第4.3节）。
### 4.1 划分协议
在评估设置中，我们基于数据集内的关键组成部分生成了五种不同的训练/测试划分：
- S0（默认）。该划分涵盖所有受试者、视角、物体和抓取类别。数据集按序列划分，每个受试者的第一个序列被选为测试集，其余序列用于训练。
S1（未见过的受试者）。数据集按受试者划分，训练集与测试集的比例为7:3。
- S2（未见过的视角）。数据集按相机视角划分，训练集与测试集的比例为3:1。
S3（未见过的物体）。数据集按物体划分。选取能代表全部28种抓取方式的7个物体作为测试集，其余23个物体用于训练。
S4（未见过的分类）。数据集按抓取分类划分。图3中的所有中间抓取类型被选为测试集，其余则用于训练。
---
Fig. 9: (left) The network architecture for grasp classification, (right) confusion matrix.
请注意，我们将通过代码发布具体的划分配置。关于每种划分下的手-物体重建基准测试结果，可参阅补充材料。
### 4.2 抓取分类
我们使用S0（第4.1节）基准测试设置，在HOGraspNet上评估抓取分类性能。对于分类网络，我们对现有的卷积网格自编码器（CoMA [^67]）进行了修改，使其将带有每个顶点接触值的手部网格作为额外的顶点特征输入。自编码器的瓶颈特征被送入基于MLP的分类器，以预测抓取类型。在训练模型时，我们采用L1损失（$L_{vert}$）来学习顶点重建，同时采用两种交叉熵损失来学习抓取分类（$L_{tax}$）和接触分类（[^27]）（$L_{contact}$）；其中接触值[^0] [^1]的范围被划分为10个区间。我们的整体网络架构如图9所示。值得注意的是，为了获取更丰富的抓取特征，我们在分类任务中使用了辅助重建损失，这些特征也被用于第3.4节中的t-SNE可视化。我们的模型在接触图重建方面的F1分数达到0.95，在分类准确性方面达到0.88。这一实验验证表明，无需将物体作为输入，仅利用带有接触图的手部网格就能界定我们的抓取分类体系，这说明我们的抓取标注在各类样本上具有良好的泛化性。
### 4.3 手-物姿态估计
在本节中，我们将展示使用S0划分在HOGraspNet上进行手-物姿态估计的基准测试结果。我们以HFL-Net [^49]作为基线，因为它是当前在手-物重建领域最先进的网络。HFL-Net通过注意力模块从输入图像中同时估计手部网格和物体的6D姿态（更多细节请参考[^49]和第2节）。
在图10中，我们展示了各类抓取下的手部姿态估计结果，以PA-MPJPE为评价指标（左图）。基线模型在所有抓取类型上都取得了较高的准确性，平均PA-MPJPE值为5.67毫米，这一结果与在其他常用手-物数据集上的最先进手部姿态估计结果相当[^22] [^66] [^83] [^93]。这进一步验证了我们的手部标注质量良好，能够为下游任务的有效学习提供支持。
---
Fig. 10: Hand pose estimation results in PA-MPJPE (mm) (left) per grasp class and (right) object class.
Table 3: 6D object pose estimation results in ADD-0.1D per object class using HOGraspNet.
| ADD-0.1D | | ADD-0.1D |
| 1: cracker_box | 88.79 | 16: golf_ball | 46.27 |
| 2: potted_meat_can | 59.47 | 17: credit_card | 34.06 |
| 3: banana | 58.21 | 18: dice | 2.44 |
| 4: apple | 75.74 | 19: disk_lid | 99.29 |
| 5: wine_glass | 97.13 | 20: smartphone | 52.22 |
| 6: bowl | 94.64 | 21: mouse | 41.40 |
| 7: mug | 72.04 | 22: tape | 62.34 |
| 8: plate | 99.42 | 23: master_chef_can | 88.75 |
| 9: spoon | 50.60 | 24: scrub_cleanser_bottle | 89.80 |
| 10: knife | 38.17 | 25: large_marker | 34.59 |
| 11: small_marker | 28.29 | 26: stapler | 61.40 |
| 12: spatula | 67.16 | 27: note | 88.70 |
| 13: flat_screwdriver | 63.52 | 28: scissors | 54.34 |
| 14: hammer | 82.99 | 29: foldable_phone | 25.02 |
| 15: baseball | 73.72 | 30: cardboard_box | 77.80 |
| Avg | 63.61 |
这是与姿态相关的任务。我们发现，误差最大的前四类抓取类别中，有三类并未包含在DexYCB [^8]和HO3D [^28]数据集中。这意味着我们数据集中新引入的真实抓取姿态，可能对在现有数据集上训练的手部姿态估计模型来说具有挑战性。补充材料提供了各数据集中缺失的抓取类别详情。在图10（右图）中，我们还展示了不同物体类别下的手部姿态指标。不出所料，遮挡情况更严重的大型物体会导致更高的误差。表3显示了各物体类别下的物体姿态估计结果，以ADD-0.1D为评价指标。我们再次取得了与其他数据集上的最先进物体姿态估计性能相当的合理结果[^8] [^49]，只有Dice类别除外。由于手-物遮挡导致Dice类别的可视区域较小，使得姿态估计任务的病态性增加。使用其他划分协议（S1-S4）得到的额外结果可在补充材料中查看。
---
Table 4: Cross-benchmark results on hand pose estimation using HFLNet [^49].
| Train Set | Test Set | MPJPE (mm) | PA-MPJPE (mm) |
| HO3D [^28] | DexYCB [^8] | 57.31 | 10.31 |
| HOGraspNet | DexYCB [^8] | 42.65 | 9.36 |
Fig. 11: Non-grasping action sequences in our dataset.
### 4.4 手部姿态估计的跨基准测试结果
我们还报告了手部姿态估计的交叉验证结果，这一实验设置与[^84]中采用的设置一致。由于HFL-Net [^49]是一种具备物体感知能力的网络，我们选取所有数据集中都存在的物体类别样本进行实验，以确保比较的公平性。表4显示，在HOGraspNet上训练的网络其估计精度要优于在HO3D上训练的网络[^28]，这一结果体现了HOGraspNet的全面性。
## 5 结论
我们提出了一种真实的RGB-D数据集HOGraspNet，该数据集包含全面的抓取标签。我们还展示了抓取分类以及手-物体姿态估计的实验结果。我们的数据集涵盖了涉及30种物体、99名参与者和90种交互场景的多样化手-物体交互情况。它包含了MANO [^68]和HALO [^41] 3D手部网格、3D关键点、物体网格、接触图以及每个序列的抓取标注。与现有数据集相比，该基准测试在更广泛的交互场景下显著提升了各数据集的准确率。
局限性与未来工作。我们原本打算纳入各种复合物体和铰接物体以捕捉动态动作，但目前我们将其视为刚性物体处理。不过，如图11所示，轻敲、折叠和打开等交互动作已经被记录下来。我们计划在未来为数据集添加物体铰接标注。此外，通过纳入推、扔、挤压等非抓取动作，或是塑料瓶、海绵等非刚性物体的变形动作，可以进一步完善该数据集，这些也将是我们未来的研究方向。
致谢 本研究部分得到了NST基金（CRC 21011，MSIT）和IITP基金（编号2019-0-01270及RS-2023-00228996，MSIT）的支持。
---
## 参考文献
[^1]: Arapi, V., Della Santina, C., Averta, G., Bicchi, A., Bianchi, M.: Understanding human manipulation with the environment: a novel taxonomy for video labelling. IEEE Robotics and Automation Letters 6(4), 6537–6544 (2021)
[^2]: Bhatnagar, B.L., Xie, X., Petrov, I., Sminchisescu, C., Theobalt, C., Pons-Moll, G.: Behave: Dataset and method for tracking human object interactions. In: CVPR (2022)
[^3]: Brahmbhatt, S., Ham, C., Kemp, C.C., Hays, J.: Contactdb: Analyzing and predicting grasp contact via thermal imaging. In: CVPR (2019)
[^4]: Brahmbhatt, S., Tang, C., Twigg, C.D., Kemp, C.C., Hays, J.: Contactpose: A dataset of grasps with object contact and hand pose. In: ECCV (2020)
[^5]: Calli, B., Singh, A., Walsman, A., Srinivasa, S., Abbeel, P., Dollar, A.M.: The ycb object and model set: Towards common benchmarks for manipulation research. In: ICAR (2015)
[^6]: Cao, Z., Radosavovic, I., Kanazawa, A., Malik, J.: Reconstructing hand-object interactions in the wild. In: ICCV (2021)
[^7]: Caramalau, R., Bhattarai, B., Kim, T.K.: Active learning for bayesian 3d hand pose estimation. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. pp. 3419–3428 (2021)
[^8]: Chao, Y.W., Yang, W., Xiang, Y., Molchanov, P., Handa, A., Tremblay, J., Narang, Y.S., Van Wyk, K., Iqbal, U., Birchfield, S., et al.: Dexycb: A benchmark for capturing hand grasping of objects. In: CVPR (2021)
[^9]: Chen, L.C., Papandreou, G., Schroff, F., Adam, H.: Rethinking atrous convolution for semantic image segmentation. arXiv preprint arXiv:1706.05587 (2017)
[^10]: Chen, Y., Tu, Z., Kang, D., Chen, R., Bao, L., Zhang, Z., Yuan, J.: Joint hand-object 3d reconstruction from a single image with cross-branch feature fusion. TIP (2021)
[^11]: Chen, Z., Chen, S., Schmid, C., Laptev, I.: gsdf: Geometry-driven signed distance functions for 3d hand-object reconstruction. In: CVPR (2023)
[^12]: Chen, Z., Hasson, Y., Schmid, C., Laptev, I.: Alignsdf: Pose-aligned signed distance fields for hand-object reconstruction. In: ECCV (2022)
[^13]: Cho, W., Park, G., Woo, W.: Tracking an object-grabbing hand using occluded depth reconstruction. In: ISMAR-Adjunct (2018)
[^14]: Cho, W., Park, G., Woo, W.: Bare-hand depth inpainting for 3d tracking of hand interacting with object. In: ISMAR (2020)
[^15]: Cini, F., Ortenzi, V., Corke, P., Controzzi, M.: On the choice of grasp type and location when handing over an object. Science Robotics 4(27), eaau9757 (2019)
[^16]: Corona, E., Pumarola, A., Alenya, G., Moreno-Noguer, F., Rogez, G.: Ganhand: Predicting human grasp affordances in multi-object scenes. In: CVPR (2020)
[^17]: Damen, D., Doughty, H., Farinella, G.M., Furnari, A., Kazakos, E., Ma, J., Molti-santi, D., Munro, J., Perrett, T., Price, W., et al.: Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. IJCV (2022)
[^18]: Doosti, B., Naha, S., Mirbagheri, M., Crandall, D.J.: Hope-net: A graph-based model for hand-object pose estimation. In: CVPR (2020)
[^19]: Fan, Z., Taheri, O., Tzionas, D., Kocabas, M., Kaufmann, M., Black, M.J., Hilliges, O.: ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In: CVPR (2023)
## [^20]: Feix, T., Romero, J., Schmiedmayer, H.B., Dollar, A.M., Kragic, D.: The grasp taxonomy of human grasp types. IEEE Transactions on human-machine systems 46(1), 66–77 (2015)
---
[^21]: Fieraru, M., Zanfir, M., Oneata, E., Popa, A.I., Olaru, V., Sminchisescu, C.: Three-dimensional reconstruction of human interactions. In: CVPR (2020)
[^22]: Fu, Q., Liu, X., Xu, R., Niebles, J.C., Kitani, K.M.: Deformer: Dynamic fusion transformer for robust hand pose estimation. arXiv preprint arXiv:2303.04991 (2023)
[^23]: Garcia-Hernando, G., Johns, E., Kim, T.K.: Physics-based dexterous manipulations with estimated hand poses and residual reinforcement learning. In: IROS (2020)
[^24]: Garcia-Hernando, G., Yuan, S., Baek, S., Kim, T.K.: First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In: CVPR (2018)
[^25]: Gomez-Donoso, F., Orts-Escolano, S., Cazorla, M.: Large-scale multiview 3d hand pose dataset. IVC (2019)
[^26]: Goyal, M., Modi, S., Goyal, R., Gupta, S.: Human hands as probes for interactive object understanding. In: CVPR (2022)
[^27]: Grady, P., Tang, C., Twigg, C.D., Vo, M., Brahmbhatt, S., Kemp, C.C.: Contac-topt: Optimizing contact to improve grasps. In: CVPR (2021)
[^28]: Hampali, S., Rad, M., Oberweger, M., Lepetit, V.: Honnotate: A method for 3d annotation of hand and object poses. In: CVPR (2020)
[^29]: Hampali, S., Sarkar, S.D., Rad, M., Lepetit, V.: Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In: CVPR (2022)
[^30]: Hassan, M., Choutas, V., Tzionas, D., Black, M.J.: Resolving 3D human pose ambiguities with 3D scene constraints. In: ICCV (2019)
[^31]: Hasson, Y., Tekin, B., Bogo, F., Laptev, I., Pollefeys, M., Schmid, C.: Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In: CVPR (2020)
[^32]: Hasson, Y., Varol, G., Schmid, C., Laptev, I.: Towards unconstrained joint hand-object reconstruction from RGB videos. In: 3DV (2021)
[^33]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 11807–11816 (2019)
[^34]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: CVPR (2019)
[^35]: Hu, H., Yi, X., Zhang, H., Yong, J.H., Xu, F.: Physical interaction: Reconstructing hand-object interactions with physics. In: SIGGRAPH Asia (2022)
[^36]: Huang, C.H.P., Yi, H., Höschle, M., Safroshkin, M., Alexiadis, T., Polikovsky, S., Scharstein, D., Black, M.J.: Capturing and inferring dense full-body human-scene contact. In: CVPR (2022)
[^37]: Huang, Y., Taheri, O., Black, M.J., Tzionas, D.: InterCap: Joint markerless 3D tracking of humans and objects in interaction from multi-view RGB-D images. IJCV (2024)
[^38]: Jiang, N., Liu, T., Cao, Z., Cui, J., Zhang, Z., Wang, H., Zhu, Y., Huang, S.: Full-body articulated human-object interaction. In: ICCV (2023)
[^39]: Joo, H., Liu, H., Tan, L., Gui, L., Nabbe, B., Matthews, I., Kanade, T., Nobuhara, S., Sheikh, Y.: Panoptic studio: A massively multiview system for social motion capture. In: ICCV (2015)
## [^40]: Joo, H., Neverova, N., Vedaldi, A.: Exemplar fine-tuning for 3d human pose fitting towards in-the-wild 3d human pose estimation. In: 3DV (2020)
---
[^41]: Karunratanakul, K., Spurr, A., Fan, Z., Hilliges, O., Tang, S.: A skeleton-driven neural occupancy representation for articulated hands. In: 3DV (2021)
[^42]: Kwon, T., Tekin, B., Stühmer, J., Bogo, F., Pollefeys, M.: H2O: Two hands manipulating objects for first person interaction recognition. In: ICCV (2021)
[^43]: Lee, J., Saito, S., Nam, G., Sung, M., Kim, T.K.: Interhandgen: Two-hand interaction generation via cascaded reverse diffusion. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 527–537 (2024)
[^44]: Lee, J., Sung, M., Choi, H., Kim, T.K.: Im2hands: Learning attentive implicit representation of interacting two-hand shapes. In: CVPR (2023)
[^45]: Leroy, V., Weinzaepfel, P., Brégier, R., Combaluzier, H., Rogez, G.: Simply benchmarking 3d human pose estimation in the wild. In: 3DV (2020)
[^46]: Li, M., An, L., Zhang, H., Wu, L., Chen, F., Yu, T., Liu, Y.: Interacting attention graph for single image two-hand reconstruction. In: CVPR (2022)
[^47]: Lin, K., Wang, L., Liu, Z.: Mesh graphormer. In: ICCV (2021)
[^48]: Lin, P., Xu, S., Yang, H., Liu, Y., Chen, X., Wang, J., Yu, J., Xu, L.: Handdiffuse: Generative controllers for two-hand interactions via diffusion models. In: CoRR. vol. abs/2312.04867 (2023)
[^49]: Lin, Z., Ding, C., Yao, H., Kuang, Z., Huang, S.: Harmonious feature learning for interactive hand-object pose estimation. In: CVPR (2023)
[^50]: Liu, J., Feng, F., Nakamura, Y.C., Pollard, N.S.: A taxonomy of everyday grasps in action. In: 2014 IEEE-RAS International Conference on Humanoid Robots. pp. 573–580. IEEE (2014)
[^51]: Liu, S., Jiang, H., Xu, J., Liu, S., Wang, X.: Semi-supervised 3d hand-object poses estimation with interactions in time. In: CVPR (2021)
[^52]: Loper, M., Mahmood, N., Romero, J., Pons-Moll, G., Black, M.J.: SMPL: A skinned multi-person linear model. ACM TOG (2015)
[^53]: Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., Zhang, F., Chang, C.L., Yong, M.G., Lee, J., et al.: Mediapipe: A framework for building perception pipelines. arXiv preprint arXiv:1906.08172 (2019)
[^54]: Van der Maaten, L., Hinton, G.: Visualizing data using t-sne. J. Mach. Learn. Res. (2008)
[^55]: Mehta, D., Sotnychenko, O., Mueller, F., Xu, W., Sridhar, S., Pons-Moll, G., Theobalt, C.: Single-shot multi-person 3D pose estimation from monocular rgb. In: 3DV (2018)
[^56]: Mescheder, L., Oechsle, M., Niemeyer, M., Nowozin, S., Geiger, A.: Occupancy networks: Learning 3d reconstruction in function space. In: CVPR (2019)
[^57]: Moon, G., Saito, S., Xu, W., Joshi, R., Buffaloini, J., Bellan, H., Rosen, N., Richardson, J., Mize, M., De Bree, P., et al.: A dataset of relighted 3d interacting hands. NeurIPS (2024)
[^58]: Moon, G., Yu, S.I., Wen, H., Shiratori, T., Lee, K.M.: Interhand2. 6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In: ECCV (2020)
[^59]: Mueller, F., Mehta, D., Sotnychenko, O., Sridhar, S., Casas, D., Theobalt, C.: Real-time hand tracking under occlusion from an egocentric rgb-d sensor. In: ICCV (2017)
[^60]: Park, G., Kim, T.K., Woo, W.: 3d hand pose estimation with a single infrared camera via domain transfer learning. In: ISMAR (2020)
## [^61]: Patel, P., Huang, C.H.P., Tesch, J., Hoffmann, D.T., Tripathi, S., Black, M.J.: AGORA: Avatars in geography optimized for regression analysis. In: CVPR (2021)
---
[^62]: Pavlakos, G., Choutas, V., Ghorbani, N., Bolkart, T., Osman, A.A.A., Tzionas, D., Black, M.J.: Expressive body capture: 3D hands, face, and body from a single image. In: CVPR (2019)
[^63]: Pavlakos, G., Shan, D., Radosavovic, I., Kanazawa, A., Fouhey, D., Malik, J.: Reconstructing hands in 3d with transformers. In: CVPR (2024)
[^64]: Pumarola, A., Sanchez, J., Choi, G., Sanfeliu, A., Moreno-Noguer, F.: 3DPeople: Modeling the Geometry of Dressed Humans. In: ICCV (2019)
[^65]: Qian, C., Sun, X., Wei, Y., Tang, X., Sun, J.: Realtime and robust hand tracking from depth. In: CVPR (2014)
[^66]: Qu, W., Cui, Z., Zhang, Y., Meng, C., Ma, C., Deng, X., Wang, H.: Novel-view synthesis and pose estimation for hand-object interaction from sparse views. In: ICCV (2023)
[^67]: Ranjan, A., Bolkart, T., Sanyal, S., Black, M.J.: Generating 3d faces using convolutional mesh autoencoders. In: Proceedings of the European Conference on Computer Vision (ECCV) (2018)
[^68]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM TOG (2017)
[^69]: Simon, T., Joo, H., Matthews, I., Sheikh, Y.: Hand keypoint detection in single images using multiview bootstrapping. In: CVPR (2017)
[^70]: Sridhar, S., Oulasvirta, A., Theobalt, C.: Interactive markerless articulated hand motion tracking using RGB and depth data. In: ICCV (2013)
[^71]: Stival, F., Michieletto, S., Cognolato, M., Pagello, E., Müller, H., Atzori, M.: A quantitative taxonomy of human hand grasps. Journal of neuroengineering and rehabilitation 16, 1–17 (2019)
[^72]: Sun, Y., Liu, W., Bao, Q., Fu, Y., Mei, T., Black, M.J.: Putting People in their Place: Monocular Regression of 3D People in Depth. In: CVPR (2022)
[^73]: Swamy, A., Leroy, V., Weinzaepfel, P., Baradel, F., Galaaoui, S., Brégier, R., Armando, M., Franco, J.S., Rogez, G.: Showme: Benchmarking object-agnostic hand-object 3d reconstruction. In: ICCV (2023)
[^74]: Taheri, O., Ghorbani, N., Black, M.J., Tzionas, D.: Grab: A dataset of whole-body human grasping of objects. In: ECCV 2020 (2020)
[^75]: Tang, D., Jin Chang, H., Tejani, A., Kim, T.K.: Latent regression forest: Structured estimation of 3d articulated hand posture. In: CVPR (2014)
[^76]: Tekin, B., Bogo, F., Pollefeys, M.: H+o: Unified egocentric recognition of 3d hand-object poses and interactions. In: CVPR (2019)
[^77]: Tompson, J., Stein, M., Lecun, Y., Perlin, K.: Real-time continuous pose recovery of human hands using convolutional networks. ACM TOG (2014)
[^78]: Tse, T.H.E., Zhang, Z., Kim, K.I., Leonardis, A., Zheng, F., Chang, H.J.: S2 contact: Graph-based network for 3d hand-object contact estimation with semi-supervised learning. In: ECCV (2022)
[^79]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. IJCV (2016)
[^80]: Wang, J., Mueller, F., Bernard, F., Sorli, S., Sotnychenko, O., Qian, N., Otaduy, M.A., Casas, D., Theobalt, C.: RGB2hands: real-time tracking of 3d hand interactions from monocular rgb video. ACM TOG (2020)
[^81]: Wen, G., Xiaoyu, B., Xavier, A.P., Francesc, M.N.: Multi-person extreme motion prediction. CVPR (2022)
## [^82]: Xu, C., Cheng, L.: Efficient hand pose estimation from a single depth image. In: ICCV (2013)
---
[^83]: Xu, H., Wang, T., Tang, X., Fu, C.W.: H2onet: Hand-occlusion-and-orientation-aware network for real-time 3d hand mesh reconstruction. In: CVPR (2023)
[^84]: Yang, L., Li, K., Zhan, X., Wu, F., Xu, A., Liu, L., Lu, C.: Oakink: A large-scale knowledge repository for understanding hand-object interaction. In: CVPR (2022)
[^85]: Yang, L., Zhan, X., Li, K., Xu, W., Li, J., Lu, C.: Cpf: Learning a contact potential field to model the hand-object interaction. In: ICCV (2021)
[^86]: Yin, Y., Guo, C., Kaufmann, M., Zarate, J., Song, J., Hilliges, O.: Hi4d: 4d instance segmentation of close human interaction. In: CVPR (2023)
[^87]: Yu, Z., Yang, L., Chen, S., Yao, A.: Local and global point cloud reconstruction for 3d hand pose estimation. In: BMVC (2021)
[^88]: Yuan, S., Ye, Q., Stenger, B., Jain, S., Kim, T.K.: Bighand2.2m benchmark: Hand pose dataset and state of the art analysis. In: CVPR (2017)
[^89]: Zhang, B., Wang, Y., Deng, X., Zhang, Y., Tan, P., Ma, C., Wang, H.: Interacting two-hand 3d pose and shape reconstruction from single color image. In: ICCV (2021)
[^90]: Zhang, J., Jiao, J., Chen, M., Qu, L., Xu, X., Yang, Q.: 3d hand pose tracking and estimation using stereo matching. In: ICIP (2017)
[^91]: Zhang, S., Ma, Q., Zhang, Y., Qian, Z., Kwon, T., Pollefeys, M., Bogo, F., Tang, S.: Egobody: Human body shape and motion of interacting people from head-mounted devices. In: ECCV (2022)
[^92]: Zhang, X., Huang, H., Tan, J., Xu, H., Yang, C., Peng, G., Wang, L., Liu, J.: Hand image understanding via deep multi-task learning. In: ICCV (2021)
[^93]: Zheng, X., Wen, C., Xue, Z., Ren, P., Wang, J.: Hamuco: Hand pose estimation via multiview collaborative self-supervised learning. In: ICCV (2023)
[^94]: Zheng, Y., Shao, R., Zhang, Y., Yu, T., Zheng, Z., Dai, Q., Liu, Y.: Deepmulticap: Performance capture of multiple characters using sparse multiview cameras. In: ICCV (2021)
[^95]: Zimmermann, C., Argus, M., Brox, T.: Contrastive representation learning for hand shape estimation. In: GCPR (2021)
[^96]: Zimmermann, C., Brox, T.: Learning to estimate 3d hand pose from single RGB images. In: ICCV (2017)
[^97]: Zimmermann, C., Ceylan, D., Yang, J., Russell, B., Argus, M., Brox, T.: Freihand: A dataset for markerless capture of hand pose and shape from single RGB images. In: ICCV (2019)
[^98]: Zuo, B., Zhao, Z., Sun, W., Xie, W., Xue, Z., Wang, Y.: Reconstructing interacting hands with interaction prior from monocular images. In: ICCV (2023)