# AffordPose：一个基于可供性驱动的手部姿态的大规模手-物交互数据集建俊涛 $^{1}$ 刘秀萍 $^{1}$ 马妮 $^{1}$大连理工大学 $^{3}$深圳大学李马妮 $^{2*}$ 胡瑞珍 $^{3}$ 刘健 $^{4*}$ $^{2}$山东大学 $^{4}$清华大学 ## 摘要人类与物体的交互方式取决于目标物体的功能属性，这就引出了具备可供性感知的手-物交互问题。要学习和理解合理且恰当的手-物交互模式，需要大量的人类操作演示数据。在这项工作中，我们提出了AffordPose——一个基于可供性驱动的手部姿态的大规模手-物交互数据集。我们首先为每种物体标注细粒度的部位级可供性标签，例如扭转、拉动、握柄抓取等，而非“使用”或“传递”这类笼统的意图标签，以此明确交互目的并指导手-物交互的定位。细粒度的手-物交互数据既揭示了以手部为中心的可供性对手部姿态细节安排的影响，也体现出一定的多样性。我们共收集了26700组手-物交互数据，每组数据包含3D物体形状、部位级可供性标签以及人工调整的手部姿态。全面的数据分析通过参数统计和接触计算，展现了不同可供性下的手-物交互的共同特征与多样性。我们还针对手-物可供性理解以及面向可供性的手-物交互生成任务开展了实验，验证了该数据集在学习细粒度手-物交互方面的有效性。项目页面： ### 1. 引言机器人领域的长期目标之一是模仿各类以人为中心的交互行为，尤其是手-物交互，从普通的抓取动作到拧开瓶盖甚至使用工具这类功能性交互 [^22] [^15]。实现恰当的手-物交互是一个复杂的决策过程。智能体 ![Image](images/4fe4a56cd4c5ce72bcd2e43b17b51545c26182dc3bd4d7183fb746fd786d73ce.jpg)

Figure 1: A Gallery of AffordPose. AffordPose is the first large-scale dataset for fine-grained hand-object interactions driven by the specific part-level affordance labeling, which reveals the high correlation between the object affordance and the detailed arrangement of hand poses.

需要理解物体的功能属性、选择接触位置，再采取特定的手部姿态来完成任务 [^7] [^1] [^39]。目前已有趋势是开发深度学习解决方案来预测多样的手-物交互模式。研究人员构建了诸如HO-3D [^13]、DexYCB [^5]、Obman [^16] 等手-物交互数据集，并训练不同的网络 [^26] [^44] [^43] [^27] 来预测给定物体对应的手部姿态。不过，这些研究仅考虑了普通抓取任务，侧重于生成的手部姿态的稳定性，却忽略了手-物交互的语义含义。近期，许多相关研究补充了额外的标注信息，例如接触图 [^2] [^3] [^24]、抓取类型标签 [^8] 以及意图标签 [^40] [^51]，旨在学习人类如何利用合适的手-物交互方式来操作不同物体。 --- 这种交互设计不仅是为了牢固地握住物体，更是为了符合人类使用习惯，便于操作。物体的使用涉及交互的关键特征，包括执行何种交互、在物体的哪个部位进行交互，以及如何完成交互以达到目的。如表1所总结的，如果存在物体使用方式（即意图），在相关数据集中通常分为两类。一类是人类目标，例如OakInk数据集中的“使用”、“递送”、“接收”[^51]，这类描述无论物体的类别和属性如何，都体现了人类的目标。尽管这些人类目标能很好地说明手与物体交互的目的，但它们属于一般性目标，将物体仅视为几何形状而非功能性物体。另一类是以物体为中心的“可供性”，例如FPHAB数据集中的“倒果汁”[^11]，这类定义了具体的交互类型，但泛化能力有限。在本文中，我们进一步研究了由局部层面的可供性驱动的手与物体交互，这类可供性能够提供细粒度的定位信息，且在不同物体类别间具有通用性。我们首先收集物体上的特定局部层面可供性，也就是以手为中心的标签，如“扭转”、“拉动”、“握柄抓握”及其对应的物体部位，而非“使用”或“递送”这类笼统的标签；随后手动调整手部姿态，以完成与这些可供性相对应的交互任务。我们的数据集显示，即便物体类别不同，局部层面的可供性也对应着手与物体交互的一些共同特征，同时允许一定程度的上肢姿态多样性，从而有助于更好地理解并预测手与物体的交互行为。我们提出的AffordPose是一个包含可供性驱动的手部姿态的、大规模细粒度手与物体交互数据集。该数据集收录了26.7K个人工标注的交互样本，每个样本均包含三维物体形状、局部层面可供性标签以及详细的手部姿态参数。此外，我们的数据集还支持对同一物体上不同可供性的交互记录，从而体现出针对相应局部层面可供性的手部姿态差异性。我们的贡献如下： - 我们提出了AffordPose数据集，这是一个包含可供性驱动的手部姿态的、大规模细粒度手与物体交互数据集。 - 我们提供了全面的数据分析，用以阐明可供性如何影响手部姿态的细节排列，进而完成恰当的交互。 - 我们在两个任务上开展实验，即手与物体可供性理解以及面向可供性的手与物体交互生成，以此验证我们的数据集在学习细粒度手与物体交互方面的有效性。

Table 1: Comparison of AffordPose dataset with the existing hand-object interaction datasets.

dataset	mod.	syn/real	#obj	#hand pose	intent
HO3D	RGBD	real	10	68	-
DexYCB	RGBD	real	20	1k	-
YCBAfford	RGBD	syn	68	367	-
Obman	RGBD	syn	2.7k	21k	-
FPHAB	RGBD	real	26	273	object affordance
ContactPose	RGBD	real	25	2.3k	human objective
GRAB	Mesh	real	51	1.3k	human objective
OakInk-image	RGBD	real	100	1k	human objective
OakInk-shape	Mesh	real	1.7k	49k	human objective
Ours	Mesh	syn	641	26k	part affordance

### 2. 相关工作手与物体交互数据集。生成准确且合理的上肢姿态以完成手与物体交互是一项关键问题。研究人员开发了不同的手部姿态获取、重建及模拟方法，以构建用于各类任务的大规模数据集，涵盖从手部姿态估计[^10] [^28]、抓取合成[^26] [^29]，到手与物体交互生成[^4] [^8]等领域。一些研究专注于从手-物交互观测中估计手部姿态，例如利用RGB、RGB-D或视频序列输入。因此，关键的数据集应包含大量精确的手-物交互数据。例如，Bighand2.2 [^53]通过构建跟踪系统来收集百万级的手部姿态数据。Obman [^16]利用抓取优化器来合成手部姿态，同时确保抓取的稳定性。HO-3D [^13]和DexYCB [^5]则搭建动作捕捉系统，通过一台或多台RGB-D相机采集序列帧，进而计算出三维手部及物体姿态以构建数据集。另一方面，一些相关研究，如DexteriousGrasping [^54]和DexGraspNet [^45]，会为机械灵巧手合成相应的手部姿态以完成抓取任务。这些构建的数据集为从输入观测中学习手部姿态估计提供了丰富的大规模手-物交互数据。然而，正如 ContactGrasp [^2] 所指出的，手-物体交互不仅稳定，而且具有功能性。换言之，手-物体交互数据集应包含更多的人工标注，而不是自动构建，以揭示人类如何使用不同的物体。一些相关工作，例如 ContactGrasp [^2]、ContactPose [^3] 和 Contact2Grasp [^24]，要求标注者指定每个物体的接触图，然后通过模拟器优化手部姿态。接触图约束了交互的功能目标，而模拟器优化确保了手部姿态的物理可行性。另一种方法是，YCB-Affordance [^8] 要求标注者手动指定手部位置、手部姿态和抓取 --- ![Image](images/aacafca3d97cb20a89a164f42833ff61af1dfb33433361b13ec7cc32b53f97d6.jpg)

Figure 2: Dataset construction process for AffordPose. We first annotate the part-level affordance labeling, and then use it as guidance for the volunteers to manually adjust the hand pose annotations.

类型（针对每个物体），然后将抓取迁移到 YCB 场景 [^49]。这些数据集收集了针对不同物体的自然且真实的手部姿态，这对于学习手-物体交互生成是必要的。近期的一些研究探讨了具有不同意图的手-物交互。GRAB [^40]记录了用于不同交互的全身抓取动作，例如吃香蕉、从碗中饮水等，这些被分为四种意图：使用、传递、提起以及非主导手传递。同样，OakInk [^51]收集了基于物体语义和指定意图的、具有可供性感知特性的手-物交互数据，包括使用、握住、举起、伸出和接收等动作。H2O [^52]则为人与人之间的物体交接分析提供了专门的基准测试。在我们的研究中，我们构建了名为AffordPose的数据集，该数据集包含大规模的手部与物体交互数据，并附带基于可供性驱动的手部姿态信息。我们所收集的数据被称为可供性驱动的手部与物体交互数据，其采集过程以扭转、拉动、握柄抓取等部件级可供性标签为指导。这与YCB-Affordance数据集中的抓取类型标签[^8]截然不同——后者仅描述手部的不同关节排列方式；也与OakInk数据集中的意图标签[^51]不同——后者仅体现笼统的任务目的，而不考虑物体类别。尽管人们在执行交互时可能会考虑物体的可供性（即具备可供性感知能力），但每次交互对应的可供性往往是模糊的，且未被明确指定。相比之下，我们的数据集包含了细粒度的手部与物体交互数据，并配有相应的部件级可供性标注，这些标注揭示了以手为中心的可供性对手部姿态细节排列的影响，从而为面向可供性的手部与物体交互生成提供了依据。物体可供性数据集。物体的可供性与其功能相关，即它为智能体或环境所能提供的用途[^12]。Hassanin[^14]总结了人造物体的常见可供性，包括固有属性（如倾倒、容纳、展示等）和以手为中心的可供性（如扭转、拉动、按压等）。因此，许多物体可供性数据集都致力于标注可供性标签[^18] [^37] [^25] [^38] [^46]，旨在支持可供性学习任务，如可供性分类[^21] [^42]、检测[^33] [^39] [^34]以及分割[^36] [^7]。 3D Affordance Net[^9]是首个在三维点云上提供密集可供性标签的三维物体可供性数据集。每个点的可供性分布能够标出交互发生的区域。PartAfford[^50]专注于部件级可供性的发现，以建立语义部件与可供性标签之间的联系，例如可开启、可滚动等。这些研究深化了人们对物体及其可供性的理解，为各类可供性学习任务奠定了基础，例如面向任务的抓取检测[^6]、接触图生成[^23]。鉴于可供性标注与各类手部与物体交互之间高度相关，我们进一步将部件级可供性与手部与物体交互的细节配置联系起来。换句话说，可供性也应反映交互方式，尤其是手部与物体交互的方式，这一点已通过我们的数据分析和实验得到验证。我们的数据集为学习面向可供性的手部与物体交互提供了更细粒度的信息。 ### 3. AffordPose数据集 #### 3.1. 数据集构建我们招募志愿者独立完成数据采集的两个阶段，即部件级可供性标注和手部姿态标注，如图2所示。所收集的部件级可供性标注作为志愿者完成后续手部姿态标注的指导依据， ---

Table 2: Statistics of the 3D AffordPose Dataset. #Object denotes the number of objects, #Afford denotes the number of affordance and #Hand presents the number of hand-object interaction annotations.

Statistics	All	Bag	Bottle	Dispenser	Earphone	Faucet	Handle bottle	Jar	Keyboard	Knife	Laptop	Mug	Pot	Scissors
#Object	641	53	52	34	50	55	32	45	53	57	50	55	48	57
#Afford	8	2	2	3	1	2	5	3	1	1	1	3	4	1
#Hand	26712	1624	2884	2772	1400	1540	2408	2716	1484	1596	1400	3052	2240	1596

以确保我们收集到的手部与物体交互数据符合特定的可供性要求。数据准备。我们从PartNet [^31] 和 PartNet-Mobility [^48] 的13个类别中收集了641个物体，用于标注手与物体的交互情况。为了进行真实的交互模拟，我们将每个类别的物体缩放至与人类手部相匹配的正常尺寸。在创建数据集时，我们组织了专家研讨会，选定了8种以手为中心的可供性标签，即涉及手与物体交互的可供性，例如按压和扭转。关于物体和可供性选择的详细信息，请参阅我们的补充材料。可供性标注。我们手动标注物体的部件级功能区域，以获得3D物体可供性标注结果。实际操作中，我们将预先分割好的物体展示给志愿者，要求他们为物体部件分配可供性标签。标注时采用了来自PartNet [^31] 的层次化语义分割中最精细的层级。对于物体的每个部件，我们会让5名志愿者讨论，最终就最相关的可供性标签达成一致。需要注意的是，我们只关注具有功能的部件；对于没有抓取或操作功能的其他物体部件，志愿者可将其标记为“无可供性”。手-物体交互标注。在此阶段，我们在GraspIt [^30] 模拟器的可视化界面中展示3D物体，每个部件根据可供性标签上色。可供性标注明确了手与物体交互的内容和位置。志愿者需要手动调整手掌的位置和旋转角度，以及各个手指的关节角度，才能完成对应可供性的手-物体交互。标注过程中，物体的位置和朝向保持固定，但用户可以交互式地更改视角并调整手部模型的姿态。我们邀请了14名志愿者为每个物体模型标注平均42次交互，其中每次交互至少包含28次手部动作。我们使用的手部模型是广泛采用的名为MANO [^35] 的多关节模型。遵循[^16]中的做法，该手部模型由16个刚性部件组成，包括每根手指的3节指骨和1个手掌。我们使用形状参数固定的标准手部模型 $\beta$，同时允许修改其姿态参数。 ![Image](images/9be61eb844366c8a1a5ffec0be31c99f0b79045355f8f7eec490e5e1d35b12bd.jpg) 杠杆

Wrap-grasp

支撑

Twist

Figure 3: The representative hand poses for each affordance show their distinctive characteristics.

姿态参数包括手掌姿态（外部参数）$p = \{\mathbf{t}, \mathbf{q}\}$ 和关节配置（内部参数）$\theta \in \mathbb{R}^{16}$，其中 $\mathbf{t}$ 和 $\mathbf{q}$ 分别表示整个手部的平移和旋转，$\theta$ 则是各关节绕其预定义轴的旋转角度。标注过程中，与YCBAfford数据集 [^8] 类似，我们运行具备力分析功能的GraspIt!模拟器，以避免出现不符合物理规律的手部姿态和穿透现象。 #### 3.2. 数据集统计我们的AffordPose数据集记录了完整的手-物体交互信息，包括3D物体形状、用于定位交互的部位级可供性标签，以及完成交互任务所需的手部姿态参数。如表2所示，该数据集共收集了约26.7K个由可供性驱动的手-物体交互样本，涉及13个不同类别的641个3D物体以及8种可供性类型，即握柄抓取、按压、提起、拉动、扭转、包裹式抓取、支撑和杠杆操作。每个物体具有1到5种不同的可供性，且每种可供性可能出现在多个物体类别中，因此收集到的手-物体交互数据呈现出丰富的多样性。更多统计数据详见我们的补充材料。 ### 4. 数据分析每种可供性对应的手-物体交互都展现出独特的特征和一定的多样性。我们提供以下定性和定量数据分析， --- ![Image](images/f057e77ca0e1b2edd55b5626364761b7ec0940824fa8adcb280c2e4365cb09c1.jpg)

Figure 4: Different affordances, i.e. handle-grasp, support, wrap-grasp, cause significantly different hand poses to interact with the same object.

![Image](images/c5f4266d106a204da96573d1589b28400aa40c608cd597a7dfa802dc3067b68b.jpg)

Figure 5: The hand-object interactions for the handle-grasp affordance on different object categories, i.e. pot, mug, knife, from left to right. The hand poses share similar joint configurations for the same affordance.

旨在了解可供性如何影响手-物体交互的细节安排。首先，不同可供性对应的手部姿态存在显著差异。我们在图3中展示了每种可供性的代表性手部模型。代表性手部模型被定义为特定可供性下与平均内在参数$\theta$最接近的手部模型。需要注意的是，由于不同物体类别的接触部位差异较大，我们在计算代表性手部模型时忽略了手部旋转和位置（即外在姿态参数），因此它仅能体现同一可供性标签对应的代表性关节配置。图3中的代表性手部模型显示出不同可供性的独特特征，例如用于拉动操作时的捏握式手部形态。这种由可供性驱动的手部姿态独特性也反映在图4中：我们对同一个马克杯上的不同可供性交互进行了采样，包括握柄抓取、支撑和包裹式抓取。针对相应的可供性，这三种手部的关节配置、手部旋转与位置以及接触部位均存在明显差异。其次，同一种可供性在与多个不同类别的物体交互时往往会导致相似的关节配置。例如，我们在图5中分别展示了马克杯、刀子和锅具上的握柄抓取交互情况。尽管整个手部（即外在姿态参数）在接触不同部位时会发生旋转和位置变化，但手部的关节配置看起来相似，且具备握柄抓取可供性所共有的独特特征。 ![Image](images/9a214b07dd009d12df142844f43863f44325f7a8cc1c781dc3e26cb95d206450.jpg)

Figure 6: The hand poses on the same object exhibit some diversities even for the same affordance, e.g. press, due to personal habit factors.

![Image](images/4b5c4804b1f297e7d33c8562bc8d1d7685c9c167c1ca8cb49a419b42b0ac02f0.jpg)

Figure 7: The probabilities of different fingers contacting the objects for each affordance.

第三，同一种可供性对应的手-物体交互也存在一定多样性，这种多样性主要由个人习惯差异而非物体形状差异导致。例如，如图6所示，人们可能会用手部的不同接触点来按压同一个分配器的盖子，从而形成多样的手部姿态。不过我们仍能区分这些手部姿态与其他可供性对应的手部姿态。人们可能会感兴趣：可供性如何影响手部的详细配置，也就是各个手指或关节的排列方式。为了计算不同动作中手指的重要性，我们统计了每种可供性标签下手指的接触频率（见图7）。结果显示，对于大多数可供性而言，拇指、食指和中指在手-物交互中起着重要作用。此外，为了深入了解每种可供性的细节差异，我们进一步量化了各手部关节角的标准差。我们特别选取“支撑”和“拉动”这两种可供性标签，在图8中分析其各关节的变化情况。可以发现，对于这两种可供性而言，根部关节的自由度往往受到限制（拇指根部除外）；也就是说，I1、M1、R1、P1这些关节的变化幅度较小，而I2、M2、R2、P2关节的变化幅度则相对较大。更有趣的是，这两种定量分析方式能够相互支持、互为补充。以“拉动”这一可供性为例： --- ![Image](images/40726381cac582d341656a000bfd0d03160e0443ca77a2f90f71a5625cdeafe0.jpg) ![Image](images/8be63166705c0864e72b3810ae7a3e6381bcecaf220fbd1c8ded89119879d08e.jpg) ![Image](images/53d745f0d0f100d1bd4a8d371cacce0833454e8cea0bb68433cf15dfb4e4a41b.jpg)

Figure 8: Left: Standard deviations of joint values for the pull and support affordances. Right: The illustration of 16 DoFs (corresponding to the joint values on the left) to represent the kinematic hand model.

在图7中可以看到，拇指和食指经常与物体接触，其余手指则向内弯曲；图8也显示了类似的信息，即拇指和食指的偏差较小，而其他手指的偏差较大。 ### 5. 实验我们的AffordPose数据集包含了作为手-物交互演示的3D物体和手部姿态，以及用于标识细粒度操作目的的可供性标签。因此，它支持两项相关任务：手-物可供性理解以及面向可供性的手-物交互生成。前者旨在判断能否根据粗略的手部演示和目标物体推断出对应的可供性，从而指导交互过程；后者则是为特定的可供性相关目的提供相应的手-物交互实现方案。我们还开展了基于RGB的手-物交互理解和网格恢复实验。 #### 5.1. 手-物可供性理解由于可供性与手-物交互之间存在高度相关性，因此从粗略的手部演示和目标物体中推断可供性标签——即手-物可供性理解——在指导或提示用户后续交互中该执行何种操作、在何处交互方面发挥着重要作用，这在AR应用等诸多场景中极具实用价值。我们开展了多项具有不同输入输出设置的实验。输入的手部演示既可以表示为手部自身的姿态参数（即手部关节配置），也可以包括手部旋转和位置在内的所有姿态参数。网络输出的可以是物体级别的可供性标签（即可供性分类实验），也可以是逐点可供性标签（即部件定位实验）。逐点可供性标签的定义是：若该点属于待交互的对应部件，则取值为该部件的索引值，否则为0。 ![Image](images/2502b9f27f7838c249f58298b09f0d04e16eb7eca8840cc361c52a6f6e11cbd6.jpg)

Figure 9: The hand-object affordance understanding network. It takes a hand pose and a target object as input and predicts the object-level or per-point affordance labels with different branches of DGCNN to guide the interactions.

所有实验均使用DGCNN [^47]的网络架构实现，该架构凭借其Edge-Conv模块来处理点云数据。具体来说，如图9所示，我们将手部姿态参数编码为一个10维向量，通过4层MLP网络处理，再将其与各点的坐标拼接起来，从而形成高维点云 $P' \in R^{N \times 13}$，其中N代表点的数量。我们采用DGCNN [^47]的两个对应分支——分类分支和分割分支，分别输出物体级的可供性标签以及逐点可供性标签。该网络在数据集的8-1-1训练-验证-测试划分上进行训练。定量评估结果如表3所示。我们计算可供性准确率与IoU，分别用于衡量分类任务（前两行）和部件定位任务（后两行）的性能。IoU反映了预测得到的每个点的可供性标签是否与给定手部姿态下对应部件的区域相匹配。总体而言，所有实验均取得了相当高的性能，这与我们在数据分析中得出的结论一致，即可供性与手部姿态之间存在高度相关性。此外，基于所有参数得到的平均可供性标注结果，明显优于仅使用内在参数的结果。这意味着，尽管不同的可供性对应特定的手部关节配置，但它也会受到输入手部演示的粗略旋转和位置的影响。 ---

Table 3: The quantitative evaluations of hand-object affordance understanding, including the classification experiments (top two rows) and the part localization experiments (bottom two rows). We report the experiments with two kinds of hand pose settings as input: the intrinsic pose parameters and all the pose parameters.

Methods	Inputs	Handle-grasp	Lever	Lift	Press	Pull	Support	Twist	Wrap-grasp	Mean
Classification	Intrinsic	92.79	99.88	98.43	98.60	99.10	91.58	90.13	93.72	94.40
(Accuracy)%	All	99.50	100	99.16	95.00	91.00	99.65	98.35	98.73	98.39
Localization	Intrinsic	95.62	96.44	97.94	94.89	77.78	88.96	90.80	97.78	95.36
(IoU)%	All	95.05	96.99	97.90	94.42	77.78	96.59	95.17	98.91	96.29

![Image](images/793dc146c1bffd944b3849bac4807df6d192f27fc8633a1eb38b2e7f3b863f4a.jpg)

Figure 10: Qualitative results of hand-object interaction generation experiments. Top: GrabNet baseline with only the object as input. Bottom: AffordPoseNet with both the object and affordance condition as input. For the objects which have several different affordances, GrabNet fails in generating diverse hand-object interactions, while AffordPoseNet is able to generate the appropriate hand poses corresponding to the given affordance.

这类手部关节配置会影响可供性，同时输入手部演示的粗略旋转和位置也会对其产生影响。表3中所列的各实验的单个可供性准确率提供了更详细的评估结果。例如，除基于内在参数的可供性分类外，拉动可供性在所有实验中的表现最差。这是因为这类手部姿态的主要特征在于拇指和食指的关节，而这些恰好包含在内在参数中。然而，拉动可供性所涉及的接触部位——如包袋的拉链——面积较小，这影响了部件定位实验的性能。另外，当仅以内在参数为输入时，支撑和扭转可供性的分类及部件定位性能均较差，但一旦使用所有参数，其性能便会有显著提升。原因可能是这两种可供性通常具有相似的手部关节配置（由内在参数表示），但手部旋转和位置不同（记录于手部姿态的外在参数中）。 ![Image](images/ba358ce4b51d78da26444a2a91aa1e5ad05ab1a49b80c9efcca8246585c563c5.jpg)

Figure 11: The network architecture of AffordPoseNet for affordance-oriented hand-object interaction generation.

#### 5.2. 面向可供性的交互生成以可供性为导向的手-物体交互生成旨在根据输入物体和给定的可供性标签，预测可能的手部姿态，包括内在参数（关节配置）和外在参数（手部旋转与位置）。参照相关研究[^51]，我们对比了原始GrabNet模型与我们的变体AffordPoseNet的生成能力。 ---

Table 4: The quantitative evaluations of hand-object interaction generation experiments.

Metrics	GrabNet	AffordPoseNet
Metrics	GrabNet	Handle-grasp	Lever	Lift	Press	Pull	Support	Twist	Wrap-grasp	Mean
Penet.Depth(cm) $\downarrow$	0.87	1.01	0.60	1.02	0.09	0.94	1.85	0.97	0.94	0.89
Solid.Intsec.Vol( $cm^{{3}}$) $\downarrow$	3.20	5.32	2.44	3.37	0.97	2.82	22.93	1.83	6.04	4.57
Contact Ratio(%) $\uparrow$	96.06	100	100	92.50	92.86	75	100	96.88	97.26	96.06
Affordance accuracy(%) $\uparrow$	-	80	72.73	92.50	95.24	0	87.50	53.13	98.63	83.51

![Image](images/96fcf1ce9b6fd07d03e1c83971c553775448b2c4ce40d22892922553c0f11cb4.jpg)

Figure 12: Challenging cases produced by AffordPoseNet for the affordance-oriented interaction generation task.

前者仅根据物体来预测手部姿态，而后者则将物体和指定的可供性条件作为输入。AffordPoseNet的网络结构如图11所示。我们将可供性标签编码为独热向量，再将其与物体特征拼接起来，从而生成合适的手部姿态。除了我们数据集中采用的8-1-1训练-验证-测试划分外，我们还添加了211个具有部件级可供性但无手部姿态标注的物体，以扩充测试集。[^40] 图10展示了两项实验的定性评估结果。不出所料，在第一行中，尽管GrabNet [^41]是用针对不同可操作性的各种手部姿态训练而成的，但它针对每个物体生成的手部模型虽然大致合理，却十分相似。以瓶子这一物体为例（即上一行的第2个和第3个结果），即便我们从高斯分布中抽取不同的随机向量来生成结果，预测出的手部形态依然相近。实际上，当某个物体具有多种可操作性时，GrabNet [^41]预测出的手部往往会接触物体的相关部位中部，且手部姿态与出现频率最高的可操作性相对应——如图10中瓶子的包裹式抓取情形。相比之下，AffordPoseNet则能够为指定的可操作性预测出截然不同的手部姿态，这充分证明了可操作性标注在引导手-物交互方面的有效性。 AffordPoseNet生成的一些具有挑战性的案例展示在图12中。可以看出，生成的手部姿态仍然能够准确反映对应可操作性的独特特征，无论是从关节配置还是手部旋转角度来看均是如此。但接触区域并不恰当，导致手-物交互效果不真实。例如，对于“拉拽”这一可操作性而言，手部通常用于与包袋的拉链交互。但网络很难预测出能精准接触该部位的正确手部姿态。为解决这一问题，可以利用物理模拟器对生成的手部模型进行后处理，优化其使其能接触到与可操作性相关的部位。我们还采用了常用的定量指标[^20] [^19] [^16]来衡量生成的手-物交互质量，以及结果是否与可操作性条件相匹配。穿透深度（Penet.Depth）和实体相交体积（Solid.Intsec.Vol）这两个指标反映了手部模型与物体形状的穿透程度。接触率被定义为生成的手部与物体表面接触的概率。另一方面，可操作性准确率指标用于判断预测出的手部接触部位是否与输入可操作性条件中的真实部位一致。接触部位被定义为接触点最多的部位（$dis_{o2h} \leq \alpha = 0.004m$）。具体而言，如果低于该阈值的接触点数为零，我们会逐步将$\alpha$的值增大，步长为0.001米，直到出现接触点，或者$\alpha$达到0.01为止。如果在$\alpha = 0.01$时仍没有接触点，我们就会直接将该结果判定为错误预测的手部模型。需要再次说明的是，我们是在更广泛的测试集上测试模型性能，该测试集包含部件级的可操作性标注，但没有标注的手部姿态，因为上述评估指标的计算并不需要真实的手部姿态数据。表4报告了手部与物体交互生成方面的定量性能。从前三行数据可以看出，两种实验生成的手部姿态质量相近，不过AffordPoseNet在实体交集体积方面的表现略差一些。另一方面，AffordPoseNet的大部分结果与输入的示能条件相匹配，而GrabNet基线模型在输入物体具有多种示能时，往往会产生相似的手部姿态。然而，AffordPoseNet在“拉动”和“扭转”示能上的准确率尤其低。这是因为相应的部位（如包袋的拉链、瓶盖）与邻近部位相比尺寸较小；当生成的手部未能准确接触相应区域时，示能准确率指标通常会将其判定为错误。 ---

Table 5: Quanlitative results of hand-object interaction classification.

	Handle-grasp	Lever	Lift	Press	Pull	Support	Twist	Wrap-grasp	Mean
Precision	97.95%	99.00%	98.97%	98.15%	96.67%	92.38%	94.53%	97.77%	97.31%
Recall	97.63%	98.30%	99.35%	96.09%	92.06%	96.33%	96.87%	97.10%	97.29%

Table 6: Quanlitative results of hand mesh recovery.

		Handle-grasp	Lever	Lift	Press	Pull	Support	Twist	Wrap-grasp	Mean
Mesh	MPVPE	12.2	18.44	45.36	11.82	24.3	26.36	14.02	9.58	16.4
Recovery	MPJRE	0.2516	0.2455	0.2278	0.1478	0.3796	0.1962	0.2043	0.1279	0.1892

尽管关节配置仍呈现出图12所示的正确特征，但预测结果仍存在偏差。 #### 5.3. 基于图像的应用我们的AffordPose数据集与其他现有数据集一样，支持基于RGB的应用。我们会对数据集中的手部与物体交互场景渲染出RGB图像。具体而言，物体被置于坐标系原点处，我们会针对每个手部与物体交互实例随机选取3个视角来渲染用于基于RGB应用的图像。手部与物体交互分类。我们将手部与物体交互的RGB图像作为输入，训练网络来预测交互类型，也就是示能标签。我们采用ResNet-18 [^17]作为该分类任务的网络架构。表5报告了用于评估性能的分类精确度和召回率。该网络在所有手部与物体交互类型上的表现都十分稳定。我们进一步发现分类性能与物体功能之间存在高度相关性：物体类别的示能种类越少，分类效果就越好。例如，耳机、键盘、刀具和笔记本电脑这类类别仅有一种示能类型，其交互分类结果也最高。更详细的评估统计数据请参见我们的补充材料。手部网格恢复。我们还测试了从输入的RGB图像中恢复手部网格的任务，并将部件级示能作为输入条件。为了适配我们的手部姿态数据格式，网络架构由I2L-MeshNet [^32]修改而来。如表6所示，我们能够从图像中重建手部网格，平均MPVPE（顶点位置误差均值）为16.4毫米，平均MPJRE（关节弧度误差均值）为0.1892（AUC）。其中“拉动”“抬起”和“支撑”这几类交互类型的手部姿态重建性能相对较差。这可能是由于这些交互类型的手部姿态多样性较高，导致难以根据输入图像中的遮挡情况预测准确的手部姿态。 ### 6. 结论我们提出了AffordPose——一个包含示能驱动型手部姿态的大规模手部与物体交互数据集。数据分析揭示了示能如何影响手部姿态的细节配置以完成交互。额外的示能标注有助于形成细粒度的手部与物体交互：对应同一示能的手部姿态既会展现出某些独特特征，也存在一定程度的多样性。相关任务——手部与物体示能理解、面向示能的交互生成以及基于图像的应用——均验证了该数据集的有效性。为了在未来进一步扩展我们的数据集，我们认为加入更多带有可供性标注的手-物体交互类型将能激发更广泛的应用。例如，一系列由可供性驱动的动态交互能够展示人类是如何完成复杂任务的，比如洗脸、将瓶中的水倒入杯中等等。此外，我们也对手部协作感兴趣，比如双手操作、人机协作等，以研究不同手部如何被赋予合适的可供性来实现协作。为了构建包含这些多样且复杂的手-物体交互的数据集，有必要开发高效的手部姿态标注方法，例如半自动算法，从而为学习任务提供大规模且高质量的数据。致谢。我们感谢匿名审稿人提出的宝贵意见。本研究得到了国家自然科学基金项目（61976040）、江西省科学院新兴交叉学科培育项目（2022YXXJC0101）、深圳市协同创新计划（CJGJZD2021048092601003）、广东省自然科学基金（2021B1515020085）以及深圳市科技计划（RCYX20210609103121030）的支持。李曼仪还得到了山东省优秀青年科学家基金（海外）项目的资助（项目编号：2023HWYQ034）。 --- ## 参考文献 [^1]: Paola Ard’on, Éric Pairet, Katrin Solveig Lohan, Subramanian Ramamoorthy, and Ronald P. A. Petrick. Affordances in robotic tasks - a survey. ArXiv preprint arXiv:2004.07400, 2020. 1 [^2]: Samarth Brahmbhatt, Ankur Handa, James Hays, and Dieter Fox. Contactgrasp: Functional multi-finger grasp synthesis from contact. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 2386–2393, 2019. 1, 2 [^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision, 2020. 1, 2 [^4]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12417–12426, 2021. 2 [^5]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. Dexycb: A benchmark for capturing hand grasping of objects. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9040–9049, 2021. 1, 2 [^6]: Wenkai Chen, Hongzhuo Liang, Zhaopeng Chen, Fuchun Sun, and Jianwei Zhang. Learning 6-dof task-oriented grasp detection via implicit estimation and visual affordance. ArXiv preprint arXiv:2210.08537, 2022. 3 [^7]: Fu-Jen Chu, Ruinian Xu, and Patricio A. Vela. Learning affordance segmentation for real-world robotic manipulation via synthetic images. IEEE Robotics and Automation Letters, 4:1140–1147, 2019. 1,3 [^8]: Enric Corona, Albert Pumarola, G. Alenyà, Francesc Moreno-Noguer, and Grégory Rogez. Ganhand: Predicting human grasp affordances in multi-object scenes. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 5030–5040, 2020. 1, 2, 3, 4 [^9]: Sheng Deng, Xun Xu, Chaozheng Wu, Ke Chen, and Kui Jia. 3d affordancenet: A benchmark for visual object affordance understanding. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 1778–1787, 2021. 3 [^10]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J. Crandall. Hope-net: A graph-based model for hand-object pose estimation. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6607–6616, 2020. 2 [^11]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 409–419, 2018. 2 [^12]: James J Gibson. The ecological approach to visual perception: classic edition. Psychology press, 2014. 3 [^13]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand 以及物体姿态。2020年IEEE/CVF计算机视觉与模式识别会议（CVPR），第3193–3203页，2020年。1,2 [^14]: Mohammed Hassanin, Salman Khan, and Murat Tahtali. Visual affordance and function understanding. ACM Computing Surveys (CSUR), 54:1 – 35, 2021. 3 [^15]: Mohammed Hassanin, Salman Khan, and Murat Tahtali. Visual affordance and function understanding: A survey. ACM Comput. Surv., 54(3), 2021. 1 [^16]: Yana Hasson, Gül Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 11799–11808, 2019. 1, 2, 4, 8 [^17]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–778, 2016. 9 [^18]: Tucker Hermans, James M Rehg, and Aaron Bobick. Affordance prediction via learned object attributes. In IEEE international conference on robotics and automation (ICRA): Workshop on semantic perception, mapping, and exploration, pages 181–184, 2011. 3 [^19]: Hanwen Jiang, Shaowei Liu, Jiashun Wang, and Xiaolong Wang. Hand-object contact consistency reasoning for human grasps generation. In Proceedings of the International Conference on Computer Vision, 2021. 8 [^20]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J. Black, Krikamol Muandet, and Siyu Tang. Grasping field: Learning implicit representations for human grasps. 2020 International Conference on 3D Vision (3DV), pages 333–344, 2020. 8 [^21]: Zeyad Osama Khalifa and Syed Afaq Ali Shah. Towards visual affordance learning: A benchmark for affordance segmentation and recognition. ArXiv preprint arXiv:2203.14092, 2022. 3 [^22]: Mike Land, Neil Mennie, and Jennifer M. Rusted. The roles of vision and eye movements in the control of activities of daily living. Perception, 28:1311–1328, 1999. [^23]: Haoming Li, Xinzhuo Lin, Yang Zhou, Xiang Li, Jiming Chen, and Qi Ye. Learning object affordance with contact and grasp generation. ArXiv preprint arXiv:2210.09245, 2022. 3 [^24]: Haoming Li, Xinzhuo Lin, Yang Zhou, Xiang Li, Yuchi Huo, Jiming Chen, and Qi Ye. Contact2grasp: 3d grasp synthesis via hand-object contact constraint. ArXiv preprint arXiv:2210.09245, 2022. 1, 2 [^25]: Wei Liang, Yibiao Zhao, Yixin Zhu, and Song-Chun Zhu. What is where: Inferring containment relations from videos. In IJCAI, 2016. 3 ## [^26]: Min Liu, Zherong Pan, Kai Xu, Kanishka Ganguly, and Dinesh Manocha. Generating grasp poses for a high-dof gripper using neural networks. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1518–1525, 2019. 1,2 --- [^27]: Min Liu, Zherong Pan, Kai Xu, Kanishka Ganguly, and Dinesh Manocha. Deep differentiable grasp planner for high-dof grippers. ArXiv preprint arXiv:2002.01530, 2020.1 [^28]: Shao-Wei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3d hand-object poses estimation with interactions in time. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 14682–14692, 2021. 2 [^29]: Priyanka Mandikal and Kristen Grauman. Learning dexterous grasping with object-centric visual affordances. 2021 IEEE International Conference on Robotics and Automation (ICRA), pages 6169–6176, 2021. 2 [^30]: Andrew T. Miller and Peter K. Allen. Graspit! a versatile simulator for robotic grasping. IEEE Robotics & Automation Magazine, 11:110–122, 2004. 4 [^31]: Kaichun Mo, Shilin Zhu, Angel X. Chang, L. Yi, Subarna Tripathi, Leonidas J. Guibas, and Hao Su. Partnet: A large-scale benchmark for fine-grained and hierarchical part-level 3d object understanding. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 909–918, 2019. 4 [^32]: Gyeongsik Moon and Kyoung Mu Lee. I2l-meshnet: Image-to-pixel prediction network for accurate 3d human pose and mesh estimation from a single RGB image. In European Conference on Computer Vision (ECCV), 2020. 9 [^33]: Austin Myers, Ching Lik Teo, Cornelia Fermüller, and Yiannis Aloimonos. Affordance detection of tool parts from geometric features. 2015 IEEE International Conference on Robotics and Automation (ICRA), pages 1374–1381, 2015. 3 [^34]: Anh Nguyen, D. Kanoulas, Darwin Gordon Caldwell, and Nikolaos G. Tsagarakis. Object-based affordances detection with convolutional neural networks and dense conditional random fields. 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 5908–5915, 2017. 3 [^35]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics (TOG), 36:1–17, 2017. 4 [^36]: Anirban Roy and Sinisa Todorovic. A multi-scale cnn for affordance segmentation in rgb images. In European Conference on Computer Vision, 2016. 3 [^37]: Johann Sawatzky, Abhilash Srikantha, and Juergen Gall. Weakly supervised affordance detection. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 5197–5206, 2017. 3 [^38]: Tianmin Shu, Michael S. Ryoo, and Song-Chun Zhu. Learning social affordance for human-robot interaction. ArXiv preprint arXiv:1604.03692, 2016. 3 [^39]: Hyun Oh Song, Mario Fritz, Daniel Goehring, and Trevor Darrell. Learning to detect visual grasp affordance. IEEE Transactions on Automation Science and Engineering, 13:798–809, 2016. 1,3 [^40]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), 2020. 1, 3, 8 [^41]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), 2020. 8 [^42]: Spyridon Thermos, Georgios Th. Papadopoulos, Petros Daras, and Gerasimos Potamianos. Deep affordance-grounded sensorimotor object recognition. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 49–57, 2017. 3 [^43]: Dylan Turpin, Liquang Wang, Eric Heiden, Yun-Chun Chen, Miles Macklin, Stavros Tsogkas, Sven J. Dickinson, and Animesh Garg. Grasp'd: Differentiable contact-rich grasp synthesis for multi-fingered hands. ArXiv preprint arXiv:2208.12250, 2022. 1 [^44]: Jacob Varley, Jonathan Weisz, Jared Weiss, and Peter K. Allen. Generating multi-fingered robotic grasps via deep learning. 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4415–4420, 2015. 1 [^45]: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, and He Wang. Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation. ArXiv preprint arXiv:2210.02697, 2022. 2 [^46]: X. Wang, Rohit Girdhar, and Abhinav Kumar Gupta. Binge watching: Scaling affordance learning from sitcoms. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3366–3375, 2017. 3 [^47]: Yue Wang, Yongbin Sun, Ziwei Liu, Sanjay E. Sarma, Michael M. Bronstein, and Justin M. Solomon. Dynamic graph cnn for learning on point clouds. ACM Trans. Graph., 38(5), 2019. 6 [^48]: Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, Li Yi, Angel X. Chang, Leonidas J. Guibas, and Hao Su. SAPIEN: A simulated part-based interactive environment. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 4 [^49]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. 2018. 3 [^50]: Chao Xu, Yixin Chen, He Wang, Song-Chun Zhu, Yixin Zhu, and Siyuan Huang. Partafford: Part-level affordance discovery from 3d objects. ArXiv preprint arXiv:22022.13519, 2022. 3 [^51]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 20921–20930, 2022. 1, 2, 3, 7 [^52]: Ruolin Ye, Wenqiang Xu, Zhendong Xue, Tutian Tang, Yanfeng Wang, and Cewu Lu. H2o: A benchmark for visual human-human object handover analysis. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 15762–15771, 2021. 3 ## [^53]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae-Kyun Kim. Bighand2.2m benchmark: Hand pose dataset --- 以及前沿技术分析。载于IEEE计算机视觉与模式识别会议论文集，第4866–4874页，2017年。2 [^54]: Tianqiang Zhu, Rina Wu, Xiangbo Lin, and Yi Sun. Toward human-like grasp: Dexterous grasping via semantic representation of object-hand. 2021 IEEE/CVF International Conference on Computer Vision (ICCV), pages 15721–15731, 2021. 2