# 迈向大规模更丰富的二维手部理解 程天一 $^{*1}$ 单丹丹 $^{*1}$ 阿伊达·苏丹 $^{1,2}$ 理查德·E·L·希金斯 $^{1}$ 大卫·F·福伊 $^{1,3}$ $^{1}$密歇根大学 $^{2}$亚的斯亚贝巴大学 $^{3}$纽约大学 {evacheng, dandans, ayhassen, relh, fouhey}@umich.edu ## 摘要 作为人类，我们通过观察他人用手进行互动的过程，能学到很多关于如何与世界交互的知识。为了帮助人工智能系统更好地理解手部互动，我们提出了一种能生成丰富手部互动理解的新模型。与以往的系统相比，我们的系统能在更大规模上产出更丰富的输出结果。这些输出包括手部、接触物体以及工具触碰的第二物体的边界框和分割结果，还有接触类型和抓握类型信息。支撑这一方法的是涵盖四个数据集的25.7万张图像、40.1万只手、28.8万个物体以及1.9万个第二物体的标注数据。实验表明，我们的方法能提供丰富的信息，且性能出色、泛化能力强。 ## 1 引言 从我们醒来的那一刻到入睡的那一刻，大多数人都会积极用手来塑造和与世界互动。婴幼儿时期，我们通过观察他人使用双手的过程，加速并引导自己与世界互动的能力发展 [^55] [^37]。这些互动不仅涉及我们直接拿取的物体，还包括能让我们与第二物体互动的工具，比如用锅铲把鸡蛋推入平底锅中。成年后，正如互联网上源源不断的教学视频所展示的那样 [^39]，我们能解析他人的活动演示来指导自己的行为；我们可以追踪手部动作、它们所拿取的物体、使用的抓握方式，以及它们如何利用工具与世界互动。因此，二维手部理解领域已有诸多研究，各自侧重不同的方面。这些研究包括大规模边界框数据集 [^53]、分割数据集 [^65] [^3] [^14]，以及实验室环境下的抓握与接触研究 [^50] [^5]。每一项研究都为相关领域做出了贡献，但要获得对手部活动从边界框到分割结果、从抓握方式到工具使用的统一理解，需要将多个模型和数据集整合起来。 我们提出了一种模型，它能预测手部与物体互动的丰富且统一的二维输出结果，该模型在各类第一人称和第三人称数据上均表现优异。与以往的研究类似 [^53] [^17]，我们的模型能预测手部以及接触/活动物体的边界框；它还能预测第二物体，也就是正在使用的工具所触碰的物体，进而帮助我们理解人类如何利用工具来操控世界。与过往研究一致 [^53] [^44]，我们的模型能预测手部接触物体的时刻；我们进一步扩展了这一功能，采用了能区分触碰、握住和使用等状态的丰富词汇，还包含了抓握类型信息。最后，通过将边界框转换为分割结果 [^29]，我们的系统就能生成手部、物体以及第二物体的分割图。 这些输出基于两个关键组件——模型和数据集。该模型是一个简单且易于扩展的深度网络，用于从图像中解析交互信息。我们基于标准的检测机制$^{[24]}$以及常规损失函数，并采用简单的推理方法。驱动该模型的是一个大型数据集Hands23，其中包含25.7万张图像、40.1万个手部样本、28.8万个物体样本以及1.9万个次级物体样本。Hands23为四个数据集提供了统一的标注：EPIC-KITCHENS $^{[13]}$、VISOR $^{[14]}$、COCO的2017年训练集$^{[35]}$、Internet Articulation $^{[46]}$，以及我们新推出的富含交互信息的视频数据集New Days。所有互联网数据均采用知识共享许可协议，经过自动和手动检测后已对面部进行模糊处理，同时已将未成年人相关内容从数据集中移除。 --- ![Image](images/603d3db025913c7a6ce7226ad607fb350c53fcb0e01914e1b47a4f4e3479892d.jpg)
Figure 1: (Left) The rich output of our model, consisting of boxes and segments for hands (left hand blue, right hand red), objects in contact, as well as second objects that are contacted by a tool. Output includes contact, making distinctions between touching and holding as well as grasp type. (Right) The method is powered by new annotations on new and existing data, covering many scenarios. Results shown are selected outputs on our test set.
我们通过一系列实验来分析我们的方法和数据集。跨数据集的实验结果表明，基于我们的数据集训练的手部检测模型相较于以往的手部检测数据集展现出强大的零样本性能[^53] [^16] [^1] [^44]，这体现了Hands23的广泛性。在我们的新数据集中，实验表明我们的模型能够出色地检测出手部与物体的详细状态，其效果优于以往的研究成果，例如[^53]。该领域的过往研究[^53]已被多个致力于从手物交互中学习的领域所采纳，涵盖从解析机器人演示[^31] [^60] [^68]到指导视频理解[^20] [^15]等更多应用[^58] [^40] [^62]。最后，我们展示了该模型在动作中的抓取检测以及外部数据集上的应用。 ## 2 相关工作 我们的工作旨在提供一个模型和数据集，以获取各种图像中丰富的手部信息。我们的主要贡献在于实现更丰富的输出，包括工具所交互的次级物体、更精细的接触状态、抓取方式以及分割结果。因此，我们的工作涉及计算机视觉、机器学习和机器人技术等多个方向。 二维手部理解。学界在理解手与物体的交互方面已投入大量研究。其中一个方向是构建日益丰富的数据集，用于采集第一人称视角下的[^3] [^1] [^12] [^14] [^65] [^48] [^21]以及第三人称视角的相关数据[^41] [^44] [^43] [^53] [^22] [^42]，每类数据集都针对特定的应用场景和视角。我们新推出的Hands23数据集是一个统一的数据集，它基于EPIC-KITCHENS VISOR [^14]、COCO [^35]、Internet Articulation [^46]这四个数据源并进行标注，同时还包含一个新的视频数据集。Hands23在三个方面为该领域做出了贡献：首先，它引入了比[^43] [^53] [^21] [^14]更丰富的接触类型词汇，涵盖了触碰与握持等细粒度接触方式以及工具类别；其抓取类型则基于[^11]的词汇体系，还包含第二物体以及通过SAM [^29]自动获取的片段；其次，该数据集同时涵盖第一人称和第三人称数据；最后，据我们所知，它是目前规模最大的此类数据集，包含25万张图像和40万只手的相关数据。虽然还有一些比我们的数据集更专业的数据集：[^50]拥有细粒度的抓取词汇，[^65]包含人工标注的片段；不过这些数据集的应用范围更为有限，可与我们的研究成果互补。 为了充分利用这些新数据，我们提出了一种基于检测的新模型，能够预测我们定义的这种新的丰富输出状态。我们依托标准的检测机制[^24]来实现这一目标。随着二维理解数据集的出现，学界涌现出大量旨在识别活动物体[^17] [^61]以及提升检测与分割性能[^65]的新方法。我们认为这些研究与我们的工作相辅相成，很可能也会对我们的模型有所帮助。 二维手部理解的应用。能够可靠地获取手部的二维基本信息，催生了许多应用场景。自然，有些研究聚焦于手部本身，比如为三维手部重建系统提供更多样且更具挑战性的数据[^7] [^23] [^51]。但由于手是诸多交互的关键，许多其他领域也能从中受益。这些领域包括机器学习中的视觉方向，手部可辅助视频理解[^20] [^15]；还有机器人领域，手-物检测有助于解析自然的人类演示动作[^31] [^60] [^68]，视频数据也可用于预训练[^47] [^54]。令人振奋的是，可靠的检测技术还能支撑中风后康复[^58]、用于神经科学领域的人类视觉体验研究[^40]以及寻找遗失物品[^62]等应用。我们的工作通过提供更丰富、更精准的输出，进一步推动了这些领域的发展。 ---
Table 1: Our Hands23 and its subsets compared with the largest similar dataset, 100DOH [^53]. Hands23 is $2.5\times$ larger annotated images and has 2nd objects. Each subset adds a different photographic bias [^57] and challenge. New Days and VISOR [^14] have many objects and 2nd objects. COCO [^35] has images with many hands, but fewer second objects. Due to a focus on articulated objects in Internet Articulation [^46], there are no 2nd objects.
Source#Img>2 Hand#Handsw/Objw/2nd#Obj#2nd
100DOH [^53]Video100K9.5%190K74.1%0.0%140K0K
Hands23Both257K8.6%401K71.7%4.9%288K19K
New DaysVideo96K4.4%121K77.0%8.2%93K10K
VISOR [^14]Video38K0.0%58K83.8%10.7%49K6K
COCO [^35]Image45K33.4%123K64.4%1.9%79K2K
Artic. [^46]Video76K3.6%97K67.0%0.9%65K0K
理解全身交互与3D交互。我们的研究重点虽局限于二维场景中的手与物体，但关于不同目标下的交互理解已有大量文献。其中最相关的研究方向是全身交互和3D手部理解。全身交互[^33] [^10] [^26] [^56] [^66] [^38] [^27] [^45] [^28]通常是在不同类型的数据集上评估，且面临姿态方面的挑战。同样，对动作中手部的完整3D理解[^64] [^67] [^5] [^52] [^42] [^22] [^36] [^32]虽然能提供更丰富的3D输出结果，但需在更受限的环境下运行。我们的工作或许能帮助将这些3D技术应用于更开放的环境中。 ## 3 数据集 我们发布了一个全新的手部与世界交互图像数据集。所有数据均遵循知识共享许可协议，或为用户自行采集[^12]，为保护隐私已对面部进行模糊处理并移除了未成年人图像。该数据集包含四个部分：我们称之为New Days的新视频数据集、COCO [^35]、EPIC-KITCHENS [^13]、VISOR [^14]以及Internet Articulation视频[^46]。这些不同的数据集通过一套新的标注得以统一，包括：(1) 手部、所持物体及第二物体的边界框；(2) 用于区分触碰、握持和使用状态的接触信息；(3) 部分数据的抓取接触标签；(4) 自动提取的边界框片段。我们在补充材料中提供了该数据集的数据表[^18]。 ### 3.1 底层图像数据 我们的底层数据来源于四个不同的数据集。这些数据集涵盖了静态图像、第三人称视频以及第一人称视频。 新视频数据集。我们按照[^16] [^53]中概述的总体策略，收集了一组全新的人与世界交互的视频数据。补充材料中有详细说明，简而言之，我们分三步操作：通过组合文本查询生成大量潜在视频；利用基于视频缩略图训练的分类器自动筛选出可能包含交互行为（且不含儿童、讲课场景或卡通内容）的视频；最后从选中的视频中采样帧，以涵盖近距离和远距离场景。 过往数据。我们使用了三个公开数据集：2017年的COCO训练集[^35]；EPIC-KITCHENS VISOR [^14] [^13]以及Internet Articulation [^46]。我们使用Internet Articulation和VISOR的完整数据集，而COCO部分则选用非人群密集区域且面积不小于$\geq 10^3$像素的图像。 数据划分。我们提供了$\approx$80/10/10%的训练/验证/测试划分，该划分按频道拆分视频数据，且与现有数据集向后兼容。相关细节记录在补充材料中。 版权与隐私说明。所有使用的图像数据均为公开资源；用户发布时即已选择采用知识共享许可协议公开发布。由于数据规模庞大，逐一获取每位用户的明确授权以纳入数据集并不现实。不过出于隐私保护考虑，我们采取了以下措施：（1）通过自动方法结合多轮人工修正来模糊人脸；（2）识别并移除包含未成年人的图像；（3）提供让用户从数据集中删除其数据的途径。具体流程详见补充材料。 --- ![Image](images/767488ccf1aa10367a35f958b7b261f912ed6b1f5231cb01456b3651472c98a3.jpg)
Figure 2: Dataset statistics. (Left) Density of normalized hand size (box diagonal over image diagonal) for four datasets. COCO and VISOR have a strong preferential sizes; 100DOH and New Days have wider distribution. Hands23 covers all the sizes. (Right) Spatial density of hand bounding boxes, showing left and right hand in blue and red respectively. VISOR has a typical egocentric side and location bias and COCO has few hands in the upper image.
### 3.2 标注说明 我们为全部四个数据集提供了统一的标注。即便是像VISOR [^14]这样已有标注的数据集也需要重新标注，因为VISOR中对“手”的定义较为宽泛，包含了前臂部分。 手部与侧面。所有标注均建立在手的基础之上。我们将左/右手的标注以边界框的形式获得，将手定义为在手腕处终止，依据 [^53] [^43]。为避免 COCO [^35] 中出现极小的手，我们仅标注面积至少为 $10^{3}$ 像素的非拥挤实例。 辅助标签。针对每个识别出的手部，我们会获取一系列丰富的标签标注，包括接触物体和次要物体的边界框。 接触类型。我们根据[^43]定义的接触词汇表对接触类型进行标注：{无接触、物体、自身、他人}。 细粒度接触分类：握持与触碰，以及工具与容器。以往的数据集[^53]、[^43]、[^14]并未区分触碰与握持物体。为了更细致地描述，我们标注了{使用工具}这一类别，以及{触碰、握持}与{工具、容器、其他}的笛卡尔积。我们将工具定义为能像手一样用于物理交互的物体（如勺子、网球拍），容器则指能够盛放物品的物体（如垃圾桶、托盘、瓶子）。我们规定，只有与第二个物体发生物理接触才属于“使用”范畴，而根据手是否会松开物体来区分“握持”与“触碰”。我们提供这些标注仅为在下游任务符合这些定义时能提供潜在有用信息。例如，不区分工具的任务可通过边缘化概率来得到触碰/握持/使用的结果。 接触物体与次要物体。对于与物体接触的手部，我们会按照[^53]的定义标注所接触物体的边界框。若接触对象为自身或他人，则该边界框为整个人体。此外，对于作为工具的接触物体，我们还会标注第二个物体的边界框（例如，当手拿着刀切生菜时，生菜即为第二个物体）。 手部抓取方式。对于6.5万个有接触的手部样本，我们标注了七种抓取类型。首先分为可抓握抓取（握持）与不可抓握抓取（非握持）。可抓握抓取进一步按照Cutkosky [^11]的分类法划分为五类，即{强力型、精密型}与{棱柱形、圆形}的笛卡尔积，以及侧向抓取。不可抓握抓取则分为仅用手指抓取和手掌抓取两类。 分割标注。我们通过将边界框转换为分割掩码，自动生成手部、第一物体和第二物体的分割结果。我们使用Segment Anything [^29]模型，并以边界框作为提示词。对于手部，我们直接采用模型的输出结果；而对于第一物体和第二物体，则在模型输出结果中扣除手部掩码后再使用。 ### 3.3 数据集分析 接下来我们会对数据进行分析。文中各处都展示了所提出的数据示例，但我们也会报告一些统计摘要，并与其他数据集进行对比。 数据分析。我们分析了表1中已标注的数据子集，并与最具可比性的数据集100DOH [^53] 进行比较。包含更多数据集的详细表格见补充材料。 ---
Table 2: Zero-shot generalization to/from Hands23. Training on Hands23 produces good performance and sometimes better results compared to within-dataset performance; no other dataset produces good results on Hands23.
Hands23100DOH [^53]VLOG [^16]Ego[^2]VGG [^41]TV [^44]
Train/Test Same85.693.680.997.984.471.0
0-Shot from Hands2385.693.685.596.464.460.9
$\uparrow$ Generalization from Hands23 to other $\uparrow$$\downarrow$ Generalization from other to Hands23 $\downarrow$
0-Shot to Hands2385.678.564.944.556.051.7
我们的新视频数据集New Days在统计数据上与100DOH相似，而完整的Hands23数据集规模是100DOH的$2.5 \times$倍。 由于摄影偏差 [^57]，Hands23的每个子集都带来了独特的挑战：VISOR中包含大量正在使用的工具，因此存在较多第二物体；COCO则包含大量人物图像，但第二物体较少（因为静态图像很难捕捉正在进行的动作）。我们在图2中对手部进行了空间分析。Hands23在手部大小和位置上的覆盖情况良好。另一方面，由于摄影偏差，COCO和VISOR在手部大小上存在明显偏好（这与100DOH和New Days等互联网数据集不同）。VISOR在左右手的位置上也存在明显的左右偏差，而COCO图像顶部出现的手部较少。不过总体而言，这些数据集能够很好地覆盖各种场景。 跨数据集性能。为了分析Hands23的难度，我们对手部检测任务进行了跨数据集分析。我们训练了一个ResNet-101 [^25] Faster-RCNN [^49] 模型来遵循 [^53] 的设置。我们在表2中报告了与数据集内训练/测试性能相比的零样本泛化性能。在Hands23上训练的性能往往接近数据集内的性能。另一方面，在其他数据集上训练并在Hands23上测试时，性能表现较差。100DOH [^53] 是性能最佳的数据集，但其平均精度均值会下降7%（此外它的标签丰富度也较低）。 人口统计特征与真实性。Hands23具有其底层数据的人口统计特征，因此无法代表全世界的人群。我们对其他模型中出现的数量级差异进行了初步检查 [^6]。我们按照 [^6] 的方法，对比了二分类的感知性别呈现与Fitzpatrick肤色等级（1-3级 vs 4-6级）的结果；需注意的是，这种二分类处理方式存在同样的局限性。 我们获取了每个类别的100个样本，并使用后续章节描述的模型比较了手部/物体的假阳性/假阴性率。分析显示，VISOR不仅更易于检测，而且肤色偏浅的样本占比极高。要控制所有与人口统计特征相关的难度因素（如视频风格）颇具挑战性，但为了排除这一已知因素的影响，我们排除了VISOR数据。完整的评估结果见补充材料，但大多数错误率相近，且都在均值的1个标准误差范围内：例如，不同肤色的手部假阳性率分别为$3.2 \pm 1.8$（深色肤色）和$3.0 \pm 2.1$（浅色肤色），不同感知性别的手部假阳性率分别为$4.3 \pm 2.1$（女性）和$2.2 \pm 1.6$（男性）。我们确实观察到，不同感知性别（$24.5 \pm 4.9$女性 vs $16.9 \pm 4.3$男性）和不同肤色（$16.0 \pm 3.8$深色 vs $12.1 \pm 4.0$浅色）下的物体假阳性率略有上升，但根据费舍尔精确检验，这些差异均不显著 [^59]。尽管如此，我们仍建议用户谨慎行事，切勿在高风险场景中部署该系统。 无论人群特征如何，数据内容未必能代表日常生活。例如，许多进食行为属于表演性或竞争性进食。因此，尽管数据确实反映了人与物体的实际互动（比如某人如何捡起鸡蛋），但在据此推断先验知识时仍需谨慎（比如某人能否吃下50个煮熟的鸡蛋）。 ## 4 方法 为简化起见，我们的方法基于标准的RCNN物体检测机制构建[^49] [^19]。我们的目标是为社区提供一个简单且易于扩展的模型。除了预测物体类别、边界框回归以及从ROI池化层提取的分割结果外，我们还预测一组辅助标签。我们的实验采用标准的MaskRCNN[^19]模型，但该方法可推广到DETR等其他框架[^8]。从概念上讲， --- ![Image](images/f214f9ba42a5cd182c31d51d6aee231d93759820f1cb82fc45433f150b72f21b.jpg)
Figure 3: Our approach predicts: (1) rich information per-region of interest (ROI) that is done with MLPs on top of standard instance segmentation machinery; and (2) an interaction between pairs of ROIs (here, a hand plus a held object). The final results merge these outputs with a simple algorithm.
底层检测架构需要为第i个假设框提供特征$f_i$。基于该特征，我们按照如下方式预测数据集中标注的标签（如图3所示）： 标准检测：模型预测标准目标，包括物体类别和边界框回归参数。在我们的设定中，除了隐含的背景类别外，还有三个前景类别：手（不区分左右）、物体以及第二个物体。 分割：我们使用PointRend[^30]头来预测分割结果，其设置与[^30]完全一致。 辅助手部信息：手侧、接触状态、精细接触类型以及抓握方式。模型通过独立的两层MLP将辅助手部任务预测为独立的多类输出。 手/物体、物体/第二物体交互：我们训练网络来分类物体对是否发生交互。这与以往关于手-物体关联的研究[^53] [^19]不同，后者会回归手部的偏移向量并与检测到的物体中心进行比较。 给定框i和框j的特征$\mathbf{f}_i$与$\mathbf{f}_j$，网络会对框i和框j之间的交互进行分类。网络输入拼接后的$\mathbf{f}_i$、$\mathbf{f}_j$以及关系特征$\phi_{ij}$，输出多类结果，包括无接触、物体接触、自身接触、他人接触或物体-第二物体接触。手/物体对仅在前四类上进行训练；物体/第二物体对仅在第一类和最后一类上训练；像手/手这样的不可能组合则不会用于训练。由于交互MLP需针对大量框对进行评估，因此它是一个小型的两层网络。 关系特征$\phi_{ij}$旨在帮助网络快速排除不太可能的交互情况，它包括：框中心之间的向量$\mathbf{v}$及其归一化版本$\mathbf{v}/||\mathbf{v}||_2^2$。为了识别重叠的框，$\phi_{i,j}$包含了在框j的角点处评估得到的框i的有符号距离函数的最小值和最大值，且该值按框i的对角线长度成比例缩放：若框j的角点位于框i内部，则这些值为负数，它们表示以手部单位为计量单位的到框i的距离。 推理阶段。在推理时，我们采用一种简单的贪心算法。初始时，所有手部、物体以及第二物体的检测分数分别为$\geq t_H$、$\geq t_O$和$\geq t_S$。接着，针对每只手，我们找到预测交互分数最高的物体；如果手-物体交互分数为$\geq t_A$，或者工具-物体交互分数为$\geq t_I$，我们就接受这种交互关系。我们使用相同的算法和阈值来将第二物体与物体关联起来。没有与之配对的手部，以及没有对应物体的第二物体都会被移除。我们通过在验证集上进行网格搜索来确定$t_H = 0.7$、$T_O = 0.5$、$T_S = 0.3$、$T_A = 0.1$和$T_I = 0.7$的值，以得到最佳评估结果的阈值。模型性能对手部阈值的敏感度较低，但过低的手部阈值会导致交互预测性能变差。 训练与损失平衡。我们采用标准的Mask-RCNN训练方案。所有额外损失都属于标准的多项分类问题，因此我们使用标准的交叉熵损失。我们将所有损失相加，除了一个损失外其余损失权重相同：我们将关联损失的权重设为0.1，发现这样能稳定训练过程。对于主干网络，我们使用标准的FPN [^34] ResNet101 [^25] 主干网络。详细内容见补充材料。 ## 5 实验 我们评估手部、物体以及第二物体的检测性能。同时我们也评估我们的辅助头模块，包括手部侧面、接触状态以及抓取类型。我们在全新的Hands23数据集上展示了相关结果， --- ![Image](images/9772643f884c6782f74de6e75de7fbb7d9c188f6bbf874127221127450587efe.jpg)
Figure 4: Results on Hands23 and zero-shot generalization to Ego4D [^21] (columns: 1-4 selected; column 5,6: random). Our model performs well on different scenarios including indoor and outdoor scenes and does well on random images, including on data from a different dataset.
![Image](images/2bafc07b6a16ff45d23b5160f950ee9b3fade976c3279ca61e6216ac2d5a43ef.jpg)
Figure 5: Comparison with the 100DOH model [^53] trained on Hands23. Results are similar with few hands, but with more hands, [^53] finds incorrect distant interactions. Our method is more accurate.
并展示了我们的方法在完全未见过的数据上的应用效果。开展这些实验旨在向更广泛的社区验证我们的手-物检测器实用性。 ### 5.1 实验设置 我们主要在全新的Hands23数据集上进行评估，采用第3节中定义的划分方式。现在我们定义用于评估输出的指标，涵盖框检测、分割、手部状态以及交互分类。 检测。遵循以往的研究[^44] [^43] [^53]，我们采用IOU阈值为0.5的平均精度指标。采用较低的阈值是因为图像中手部/前臂的精确边界往往并不清晰。我们在补充材料中报告了COCO AP（对不同IOU阈值取平均值）的结果。 分割。我们按照实例分割的方式进行评估；为保证一致性，阈值设为0.5。我们的真实标注是通过用真实框提示SAM [^29]得到的。我们将SAM生成的掩码与众包标注进行了对比评估。我们为1000个手部区域和1000个接触物体区域获取了标注，并在标注者达成一致的区域内进行评估。中位数IoU较高（手部：0.84，物体：0.89），且大多数物体的IoU≥0.75（手部：72%，物体：77%）。这些IoU数值与[^4]中报告的COCO数据集结果相近。我们推测手部精度的轻微下降是由于手部边界的定义存在差异所致。 手部状态。以往的研究[^53]通过计算平均精度来评估手部状态（如侧面）指标，但只有当框和状态都正确时才认为手部判定正确。这种指标混合了检测与状态信息，难以解读。由于手部检测性能良好（$\approx$85% mAP），我们转而评估真正例的准确率，也就是正确检测到的手部具有正确状态的概率。 手部关联。遵循手部状态的处理方式，我们在固定的操作点评估手部检测效果。对于每一只被正确检测到的手，我们都会分析是否存在与之正确关联的物体框。我们将那些存在物体框且预测物体框的IoU达到$IOU \geq 0.1$的手定义为真正例；我们设定较低的IoU阈值，以兼顾物体范围的模糊性，同时避免间接评估物体检测性能。将错误检测定义为假正例，而将存在真实物体框但无预测框的手定义为假负例。 ---
Table 3: The proposed model's performance on detection and segmentation (AP) and states (accuracy)
Detection (AP)Segmentation (AP)State (Acc)
HandObj.2nd Obj.HandObj.2nd Obj.SideCont.Fine Grasp
84.351.644.067.045.033.295.084.567.0
Table 4: Hand/Object Association Evaluation. On most data, proposed association mechanism and of [^53] are similar, but [^53] performs poorly with many hands. On both subsets of the data, the proposed model produces more hand detections (34.9K vs 31.6K on all, 2.3K vs 1.1K on $\geq$ 6 hands).
(All)Prec.RecallF1(≥ 6 hands)Prec.RecallF1
Proposed84.696.589.970.292.379.1
Shan et al. [^53]78.093.985.345.971.455.9
### 5.2 实验结果 接下来我们分析系统的性能。我们在多种数据集上评估了多个输出结果。 Hands23上的性能表现。我们在图4中展示了定性结果，包括随机结果，定量性能数据则见于表3。更详细的分析见补充材料。我们的方法在该数据集上表现优异：手部能被准确检测出来，物体及第二类物体的检测性能也相当出色。不过当手部或物体尺寸较小，以及图像中存在杂乱背景时，性能会有所下降。常见的抓取混淆情况包括棱柱形抓取中的精度与力量问题，以及棱柱形抓取与非抓握型手指之间的混淆。接触情况的识别效果较好。对于细粒度接触而言，最常见的混淆在于物体类型或“使用”与“握持”的区分：例如，被握持的工具最容易与正在使用的工具或未被握持的工具混淆。交互关联的识别效果不错，但若存在严重遮挡或阴影，性能就会受到影响。当场景中的物体较大（比如船所航行的海面，或滑雪杖插入的雪地）且细小或密集物体的边缘不清晰时，掩码预测的效果也不理想。常见的失效模式在补充材料中有所展示。 交互预测性能。所提出的方法与以往研究[^53]之间的一个关键方法学差异在于交互预测机制：[^53]为每只手生成一个指向该手所交互物体框中心的向量。这种方法在手部数量较少的图像上效果不错，但在手部数量较多的图像上表现欠佳。我们在表4中对这两种方法进行了定量比较，在图5中进行了定性对比：当手部数量较多（$\geq 6$）时，我们的方法性能会有轻微下降，而[^53]的性能则会大幅下滑。 模糊处理。我们现在通过分析用模糊或清晰人脸训练并测试的系统的性能，来研究面部模糊对手部识别的影响。我们旨在回答[^63]提出的两个问题：面部模糊是否会导致漏检？用模糊人脸训练的模型在实际使用中面对清晰人脸时能否正常工作？ 我们在表5中报告了检测、分割以及一个代表性的手部状态问题——手侧面的四种选项结果。完整的状态分析结果见补充材料。完全使用模糊数据训练（✓/✓）相比完全使用清晰数据训练（✗/✗），性能会有轻微下降，但差距不大。用模糊数据训练、用清晰数据测试（✓/✗）时，性能几乎一致——平均精度仅下降0.1。该模型在人脸区域的假正例较少，通常出现在人脸较大且位于图像上半部分的情况。这可能会影响实际部署，可通过预先对模型的所有输入进行模糊处理，或添加额外的人脸难例来缓解这一问题。 推广至Ego4D数据集。在训练出高效的模型后，我们将其应用于Ego4D [^21] 数据集。图4展示了零样本泛化结果。从定量数据来看，该模型在验证集上的Box AP达到86.9，分割AP达到60.0。 由于数据再分发受到严格限制，我们无法为Ego4D数据集添加注释，但可以利用自训练方法将Ego4D数据与我们的数据整合。针对每个手部框，我们将模型生成的输出结果与SAM掩码结合后再进行重新训练。补充材料中展示了定性结果，而从定量数据来看，经过110K次迭代的微调后，Ego4D数据集上的性能提升至Box AP 90.9、分割AP 66.3。若继续在Hands23数据集上训练相同迭代次数，性能并不会进一步提升。 ---
Table 5: Cross-facial blurring performance for hand+object detection, and hand state. For each category, we compare training with (✓) and without (X) blurring and test in each column with (✓) and without (X) blurring. Performance is similar. Full hand states are similar and in the supplement.
Hand Det.Obj. Det.2nd Obj. Det.Side
✓✗✓✗✓✗✓✗
Train ✓84.384.251.651.544.042.395.095.3
Train ✗82.484.350.152.643.343.694.095.1
![Image](images/0a4beb4180c23166ced24cfdd9cd3c17c2dbfb9ad5077cbbda6b61519061330e.jpg)
Figure 6: Applications Enabled. Top row: searching for the bi-manual manipulation $\text{Hand} \rightarrow \text{Object} \rightarrow 2\text{nd Object} \leftarrow \text{Hand}$. We show 5 examples selected from a set of 7 automatically found ones; the full set is in the supplement. Bottom: top precision prismatic grasps from each subset plus Ego4D.
应用场景：物体配置与抓取方式的识别。能够识别抓取动作、手部、物体及第二物体，使我们能够在数据中找到特定类型的交互情况。这些发现或许能帮助机器人学研究，例如从视频数据中找到双手协同操作的演示，或是人们使用精密棱柱形抓取方式的实例。图6展示了涉及工具及抓取动作的特定双手操作示例。 ## 6 讨论、影响与局限性 我们提出了一种能够生成手部交互丰富输出的模型，同时也构建了用于支持该模型的数据集。我们希望该模型能帮助自主系统更好地理解交互过程，从而推动从解析机器人演示 [^68] 到辅助中风康复 [^58] 等各类应用的发展。不过，监控系统或许也能从识别手部和所持物体能力的提升中受益。我们预计，我们的数据与许多监控应用场景之间的领域差异 [^57] 会降低其应用可能性，但也要注意到，某些类型的监控（例如通过家庭互动系统进行的监控）可能会更直接地从中获益 [^9]。 我们的模型并不完美。虽然检测效果通常较好，但较小的手部或处于遮挡状态的手部往往无法被识别，而且遮挡和阴影会干扰交互关系的判定。我们的抓取分类功能虽丰富了我们对手部抓取方式多样性的理解，但对于介于现有类别之间的抓取方式可能无法准确分类。此外，当面对大型场景物体时，掩码预测效果较差，对于非常薄的物体也难以获得精确的边界。 我们的数据反映了其来源特征，未必能代表许多实际场景中的数据。除了常见的视觉领域差异（例如现实世界与互联网环境存在差异）外，这种代表性不足还体现在人口统计特征方面。例如，由于我们排除了未成年人数据，该模型在儿童身上的表现可能较差。同样，尽管未发现数量级上的性能差异，但不同人群间的性能差异仍可能存在；因此在使用前需进行广泛测试，不建议在高风险场景中应用。最后，虽然面部模糊对性能的影响有限，但确实会产生一定影响，比如会影响手部在面部区域的预测结果，下游系统需对此予以考虑。 致谢。本研究得到了美国国家科学基金会授予的2006619号资助。我们感谢密歇根大学DCO团队一如既往的鼎力支持。 --- ## 参考文献 [^1]: The vision for intelligent vehicles and applications (VIVA) challenge, laboratory for intelligent and safe automobiles, UCSD. . [^2]: Philip Bachman, R Devon Hjelm, and William Buchwalter. Learning representations by maximizing mutual information across views. arXiv preprint arXiv:1906.00910, 2019. [^3]: Sven Bambach, Stefan Lee, David J Crandall, and Chen Yu. Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In Proceedings of the IEEE international conference on computer vision, pages 1949–1957, 2015. [^4]: Rodrigo Benenson, Stefan Popov, and Vittorio Ferrari. Large-scale interactive object segmentation with human annotators. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11700–11709, 2019. [^5]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In The European Conference on Computer Vision (ECCV), August 2020. [^6]: Joy Buolamwini and Timnit Gebru. Gender shades: Intersectional accuracy disparities in commercial gender classification. In Conference on fairness, accountability and transparency, pages 77–91. PMLR, 2018. [^7]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 12417–12426, 2021. [^8]: Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part I 16, pages 213–229. Springer, 2020. [^9]: Tatjana Chavdarova, Pierre Baqué, Stéphane Bouquet, Andrii Maksai, Cijo Jose, Timur Bagautdinov, Louis Lettry, Pascal Fua, Luc Van Gool, and François Fleuret. Wildtrack: A multi-camera hd dataset for dense unscripted pedestrian detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 5030–5039, 2018. [^10]: Yixin Chen, Sai Kumar Dwivedi, Michael J Black, and Dimitrios Tzionas. Detecting human-object contact in images. arXiv preprint arXiv:2303.03373, 2023. [^11]: Mark R Cutkosky et al. On grasp choice, grasp models, and the design of hands for manufacturing tasks. IEEE Transactions on Robotics and Automation, 5(3):269–279, 1989. [^12]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, , Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision. CoRR, abs/2006.13256, 2020. [^13]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, , Antonino Furnari, Jian Ma, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for epic-kitchens-100. International Journal of Computer Vision (IJCV), 130:33–55, 2022. [^14]: Ahmad Darkhalil, Dandan Shan, Bin Zhu, Jian Ma, Amlan Kar, Richard Higgins, Sanja Fidler, David Fouhey, and Dima Damen. Epic-kitchens visor benchmark: Video segmentations and object relations. In Proceedings of the Neural Information Processing Systems (NeurIPS) Track on Datasets and Benchmarks, 2022. [^15]: Victor Escorcia, Ricardo Guerrero, Xiatian Zhu, and Brais Martinez. Sos! self-supervised learning over sets of handled objects in egocentric action recognition. In Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XIII, pages 604–620. Springer, 2022. [^16]: David F. Fouhey, Weicheng Kuo, Alexei A. Efros, and Jitendra Malik. From lifestyle vlogs to everyday interactions. In CVPR, 2018. [^17]: Qichen Fu, Xingyu Liu, and Kris Kitani. Sequential voting with relational box fields for active object detection. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 2374–2383, June 2022. [^18]: Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé Iii, and Kate Crawford. Datasheets for datasets. Communications of the ACM, 64(12):86–92, 2021. [^19]: Georgia Gkioxari, Ross Girshick, Piotr Dollar, and Kaiming He. Detecting and recognizing human-object interactions. In CVPR, 2018. [^20]: Mohit Goyal, Sahil Modi, Rishabh Goyal, and Saurabh Gupta. Human hands as probes for interactive object understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 3293–3303, 2022. ## [^21]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, Miguel Martin, Tushar Nagarajan, Ilija Radosavovic --- 桑托什·库马尔·拉马克里希南、菲奥娜·瑞安、贾扬特·夏尔马、迈克尔·雷、孟萌·徐、埃里克·钟聪·徐、陈钊、西德汉特·班萨尔、德鲁夫·巴特拉、文森特·卡蒂利耶、肖恩·克雷恩、田恩·杜、莫里·杜拉蒂、阿克谢·埃拉帕利、克里斯托夫·费希滕霍费尔、阿德里亚诺·弗拉戈梅尼、齐晨·傅、克里斯蒂安·富根、阿布拉姆·格布雷塞拉西、克里斯蒂娜·冈萨雷斯、詹姆斯·希利斯、黄旭华、黄一飞、贾文琪、韦斯利·胡、贾奇姆·科拉尔、萨特维克·科图尔、阿努拉格·库马尔、费德里科·兰迪尼、李超、李阳浩、李振强、卡尔蒂凯亚·曼加拉姆、拉格哈瓦·莫杜古、乔纳森·芒罗、塔利·默雷尔、西谷拓海、威尔·普莱斯、保拉·鲁伊斯·普恩特斯、梅雷·拉马扎诺娃、莱达·萨里、基兰·索马斯undaram、奥黛丽·索瑟兰、须贺裕介、陶瑞杰、明·沃、王宇辰、吴欣迪、八木拓真、朱云逸、巴勃罗·阿尔贝拉兹、大卫·克兰德尔、迪玛·达门、乔瓦尼·玛丽亚·法里内拉、伯纳德·加内姆、瓦姆西·克里希纳·伊萨普、C.V.贾瓦哈尔、朱翰彪、克里斯·北谷、李海洲、理查德·纽康姆、奥德·奥利瓦、朴贤洙、詹姆斯·M·雷格、佐藤洋一、施建波、周明正、安东尼奥·托拉尔巴、洛伦佐·托雷萨尼、严明飞、吉滕德拉·马利克。《Ego4D：3000小时自我中心视频中的全球见闻》。载于2022年IEEE计算机视觉与模式识别会议论文集。 [^22]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. [^23]: Yana Hasson, Gül Varol, Cordelia Schmid, and Ivan Laptev. Towards unconstrained joint hand-object reconstruction from RGB videos. In 2021 International Conference on 3D Vision (3DV), pages 659–668. IEEE, 2021. [^24]: Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In Proceedings of the IEEE international conference on computer vision, pages 2961–2969, 2017. [^25]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016. [^26]: Chun-Hao P Huang, Hongwei Yi, Markus Höschle, Matvey Safroshkin, Tsvetelina Alexiadis, Senya Polikovsky, Daniel Scharstein, and Michael J Black. Capturing and inferring dense full-body human-scene contact. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13274–13285, 2022. [^27]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7):1325–1339, jul 2014. [^28]: Wei Jiang, Kwang Moo Yi, Golnoosh Samei, Oncel Tuzel, and Anurag Ranjan. Neuman: Neural human radiance field from a single video. In Proceedings of the European conference on computer vision (ECCV), 2022. [^29]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023. [^30]: Alexander Kirillov, Yuxin Wu, Kaiming He, and Ross Girshick. Pointrend: Image segmentation as rendering. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9799–9808, 2020. [^31]: Sateesh Kumar, Jonathan Zamora, Nicklas Hansen, Rishabh Jangir, and Xiaolong Wang. Graph inverse reinforcement learning from diverse videos. In Conference on Robot Learning, pages 55–66. PMLR, 2023. [^32]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. [^33]: Yong-Lu Li, Hongwei Fan, Zuoyu Qiu, Yiming Dou, Liang Xu, Hao-Shu Fang, Peiyang Guo, Haisheng Su, Dongliang Wang, Wei Wu, et al. Discovering a variety of objects in spatio-temporal human-object interactions. arXiv preprint arXiv:2211.07501, 2022. [^34]: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 2117–2125, 2017. [^35]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In European conference on computer vision, pages 740–755. Springer, 2014. [^36]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. [^37]: Jeffrey J Lockman and Björn A Kahrs. New insights into the development of human tool use. Current directions in psychological science, 26(4):330–334, 2017. [^38]: Zhengyi Luo, Ryo Hachiuma, Ye Yuan, and Kris Kitani. Dynamics-regulated kinematic policy for egocentric pose estimation. In Advances in Neural Information Processing Systems, 2021. ## [^39]: Antoine Miech, Dimitri Zhukov, Jean-Baptiste Alayrac, Makarand Tapaswi, Ivan Laptev, and Josef Sivic. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips. In ICCV, 2019 --- [^40]: Joao Mineiro and Gavin Buckingham. O hand, where art thou? mapping hand location across the visual field during common activities. Experimental Brain Research, pages 1–13, 2023. [^41]: A. Mittal, A. Zisserman, and P. H. S. Torr. Hand detection using multiple proposals. In BMVC, 2011. [^42]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XX 16, pages 548–564. Springer, 2020. [^43]: Supreeth Narasimhaswamy, Trung Nguyen, and Minh Hoai. Detecting hands and recognizing physical contact in the wild. 2020. [^44]: Supreeth Narasimhaswamy, Zhengwei Wei, Yang Wang, Justin Zhang, and Minh Hoai. Contextual attention for hand detection in the wild. In Proceedings of the IEEE/CVF international conference on computer vision, pages 9567–9576, 2019. [^45]: Sida Peng, Yuanqing Zhang, Yinghao Xu, Qianqian Wang, Qing Shuai, Hujun Bao, and Xiaowei Zhou. Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans. In CVPR, 2021. [^46]: Shengyi Qian, Linyi Jin, Chris Rockwell, Siyi Chen, and David F. Fouhey. Understanding 3d object articulation in internet videos. In CVPR, 2022. [^47]: Ilija Radosavovic, Tete Xiao, Stephen James, Pieter Abbeel, Jitendra Malik, and Trevor Darrell. Real-world robot learning with masked visual pre-training. In Conference on Robot Learning, pages 416–426. PMLR, 2023. [^48]: Francesco Ragusa, Antonino Furnari, Salvatore Livatino, and Giovanni Maria Farinella. The meccano dataset: Understanding human-object interactions from egocentric videos in an industrial-like domain. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 1569–1578, January 2021. [^49]: Shaoqing Ren, Kaiming He, Ross B. Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, 2015. [^50]: Grégory Rogez, James S Supancic, and Deva Ramanan. Understanding everyday hands in action from rgb-d images. In Proceedings of the IEEE international conference on computer vision, pages 3889–3897, 2015. [^51]: Yu Rong, Takaaki Shiratori, and Hanbyul Joo. Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration. arXiv preprint arXiv:2008.08324, 2020. [^52]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21096–21106, 2022. [^53]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9869–9878, 2020. [^54]: Kenneth Shaw, Shikhar Bahl, and Deepak Pathak. Videodex: Learning dexterity from internet videos. In Conference on Robot Learning, pages 654–665. PMLR, 2023. [^55]: Linda B Smith, Swapnaa Jayaraman, Elizabeth Clerkin, and Chen Yu. The developing infant creates a curriculum for statistical learning. Trends in cognitive sciences, 22(4):325–336, 2018. [^56]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IV 16, pages 581–600. Springer, 2020. [^57]: Antonio Torralba and Alexei A Efros. Unbiased look at dataset bias. In CVPR 2011, pages 1521–1528. IEEE, 2011. [^58]: Meng-Fen Tsai, Rosalie H Wang, and Joše Zariffa. Recognizing hand use and hand role at home after stroke from egocentric video. arXiv preprint arXiv:2207.08920, 2022. [^59]: Graham JG Upton. Fisher's exact test. Journal of the Royal Statistical Society: Series A (Statistics in Society), 155(3):395–402, 1992. [^60]: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, and Anima Anandkumar. Mimicplay: Long-horizon imitation learning by watching human play. arXiv preprint arXiv:2302.12422, 2023. [^61]: Takuma Yagi, Md Tasmimul Hasan, and Yoichi Sato. Hand-object contact prediction via motion-based pseudo-labeling and guided progressive label correction. arXiv preprint arXiv:2110.10174, 2021. [^62]: Takuma Yagi, Takumi Nishiyasu, Kunimasa Kawasaki, Moe Matsuki, and Yoichi Sato. Go-finder: a registration-free wearable system for assisting users in finding lost objects via hand-held object discovery. In 26th International Conference on Intelligent User Interfaces, pages 139–149, 2021. ## [^63]: Kaiyu Yang, Jacqueline Yau, Li Fei-Fei, Jia Deng, and Olga Russakovsky. A study of face obfuscation in ImageNet. In International Conference on Machine Learning (ICML), 2022 --- [^64]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20953–20962, 2022. [^65]: Lingzhi Zhang, Shenghao Zhou, Simon Stent, and Jianbo Shi. Fine-grained egocentric hand-object segmentation: Dataset, model, and applications. In European Conference on Computer Vision, pages 127–145. Springer, 2022. [^66]: Yang Zheng, Yanchao Yang, Kaichun Mo, Jiaman Li, Tao Yu, Yebin Liu, Karen Liu, and Leonidas J Guibas. Gimo: Gaze-informed human motion prediction in context. arXiv preprint arXiv:2204.09443, 2022. [^67]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 813–822, 2019. [^68]: Kateryna Zorina, David Kovar, Florent Lamiraux, Nicolas Mansard, Justin Carpentier, Josef Sivic, and Vladimir Petrik. Multi-contact task and motion planning guided by video demonstration. In ICRA 2023-International Conference on Robotics and Automation, 2023.