# 细粒度自我中心手-物体分割：数据集、模型及应用张凌志 $^{*1}$、周圣豪 $^{*1}$、Simon Stent $^{2}$、施建波 $^{1}$ $^{1}$ 宾夕法尼亚大学 $^{2}$ 丰田研究院摘要：自我中心视频为高精度建模人类行为提供了细粒度的信息。手部与相互作用的物体是理解观察者行为与意图的关键方面。我们提供了一份标注数据集，包含11243张自我中心图像，这些图像标注了日常活动中手部及所交互物体的逐像素分割标签。我们的数据集首次标注了详细的手-物体接触边界。我们提出了一种上下文感知的复合数据增强技术，以适应YouTube上分布外的自我中心视频。实验表明，我们鲁棒的手-物体分割模型与数据集可作为基础工具，用于推动或实现多项下游视觉应用，包括手部状态分类、视频活动识别、手-物体交互的3D网格重建，以及自我中心视频中手-物体前景的视频修复。数据集与代码可在以下网址获取：关键词：数据集、自我中心手-物体分割、自我中心活动识别、手-物体网格重建 ## 1 引言从第三人称视角观看他人烹饪时，我们可以回答诸如“此人正在制作什么食物？”或“此人使用的是何种烹饪技巧？”等问题。而第一人称自我中心视频往往能展示更细致的人类行为信息，比如“将牛排切成片需要怎样的手指姿势？”、“用所有零部件和螺丝组装宜家桌子需要哪些步骤？”。因此，自我中心视频是研究并理解人类如何以精细层面与世界互动的重要信息来源。在这些视频中，自我中心的观察者的手部及相互作用的物体，是理解人类行为的极具价值的视觉线索。然而，现有用于提取这些线索的工具存在局限性，要么在真实场景中鲁棒性不足，要么对手-物体的表征较为粗糙。我们的目标是为鲁棒且细粒度的自我中心手-物体分割系统创建数据标签与数据增强工具，使其能在真实场景中通用。利用 --- ![Image](images/ac06383274451c63f2fe093c819e6a31292bf61dcd2232e9ea79d090be937f1f.jpg)

Fig. 1. Leftmost image: our proposed dataset enables us to train a robust hand-object segmentation model. We introduce contact boundaries to model the hand-object interaction explicitly. Right: our hand-object segmentation model is helpful for many vision tasks, including recognizing hand state, activities, mesh reconstruction, and seeing through the hand-object.

这种细粒度的交互分割结果，我们展示了如何构建高保真模型，该模型可作为理解和建模人类手-物体行为的基础。构建鲁棒的第一人称手-物体分割模型的首要因素是高质量标注数据集。以往的研究[^1] [^33] [^73]已经为第一人称视频构建了手部分割数据集。然而，收集到的数据大多局限于实验室环境或有限场景，且缺乏与物体交互的标签。最近，100-DOH[^58]在野外大规模手-物体交互标注方面做出了巨大努力，但针对手和物体的标签仅停留在边界框级别。为了填补这一缺口并进一步推进对手-物体交互的细粒度理解，我们提出了包含11,243张图像的新数据集，这些图像均带有像素级分割标签。该数据集的主要特点是包含了极其多样的手-物体交互活动和场景，其中的帧是从Ego4D[^16]、EPIC-KITCHEN[^8]、THU-READ[^68]中的近1,000个视频以及我们自行采集的GoPro视频中稀疏采样得到的。此外，我们还提供了细粒度的标签，用以标识某物体是由左手、右手还是双手交互，以及该交互是直接接触还是间接接触。为了作为评估野外场景性能的域外测试集，我们从YouTube上的30个第一人称视频中稀疏采样并标注了额外的500帧。借助我们的新分割数据集，手部分割性能相比以往的数据集[^1] [^33] [^73]有了显著提升。我们的数据集首次在第一人称视频中标注了手-物体交互的接触边界。实验表明，这种标签能够提升交互物体的检测与分割效果。无论我们的数据集多么多样化，我们不可避免地会遇到光照、物体和背景杂乱程度截然不同的新领域。我们提出了一种上下文感知的数据增强技术，该技术能够自适应地将手-物体配对组合到多样但合理的背景中。实验证明，我们的方法在域外适应方面十分有效。我们将手-物体分割模型视为推动或赋能众多视觉应用的基础，如图1所示，我们展示了其中的三种应用。首先，我们发现只需将可靠的分割后的手部或物体掩码作为输入，识别任务就能获得稳定的性能提升—— --- 我们针对低层次的识别任务（分类左手/右手状态）和高层次的识别任务（通过预测动词和名词来理解第一人称视频中的活动）进行了实验。另一个实用但具有挑战性的应用是重建3D网格中的手-物体交互，这一过程在优化阶段依赖于2D手-物体掩码。在该应用中，我们将手-物体分割模型集成到网格重建流程[^18]中，结果显示与基于COCO预训练的原手-物体分割流程[^39]相比，手-物体网格重建的效果和泛化能力均有提升。最后，我们展示了一种有趣的应用：结合精确的逐帧手部分割技术和视频修复技术[^12]，实现在第一人称视频中透过手部观察场景，这有望帮助那些未在包含前景手部的数据上训练的场景理解模型。关于这些应用的更多细节将在第7节中讨论。我们将本项工作的贡献总结如下：1）我们提出了一个包含11,243张图像的数据集，这些图像带有手部与交互物体的细粒度像素级标签，包括交互物体掩码，这使得手部分割模型相比以往的数据集能实现更好的泛化能力。2）我们引入了密集接触边界的概念，用以显式建模手部与交互物体之间的关系，事实证明这有助于提升分割性能。3）我们提出了一种上下文感知的复合数据增强技术，可有效提升物体分割效果。4）我们证明该系统可作为一种可靠的基础工具，用于推动或赋能诸多视觉应用，例如手部状态分类、视频活动识别、手物交互的3D重建，以及第一人称视频中的穿手成像。我们将向公众发布我们的数据集、代码和检查点，以供后续研究使用。 ## 2 相关工作 ### 2.1 手部分割在深度学习出现之前，已有多项研究试图解决手部分割任务。Jedynak等人[^22]采用基于颜色统计的方法来区分皮肤区域和背景。Ren和Gu[^52]提出了一种自下而上的基于运动的方法，利用第一人称视频中手部与背景的不同运动模式来分割手部与物体。继[^52]之后，Fathi等人[^10]通过假设手部超像素上的颜色直方图先验，进一步从整个前景中分离出手部和交互物体，并利用图割算法来分割手部和物体。Li和Kitani[^31] [^32]首次解决了不同光照条件下的手部分割问题，并提出在推理阶段自适应选择在不同光照场景下表现最佳的模型。Zhu等人[^84]提出了一种新方法，利用形状感知的结构化森林来估算像素的概率形状掩码。除了第一人称视角外，Lee等人[^30]研究了第一人称视频中多人手部的歧义消除问题，他们通过建模移动手部的空间、时间和外观一致性约束来解决这一问题。 --- 近期，许多研究[^1] [^73] [^4] [^34] [^36] [^37] [^58] [^59] [^61] [^24] [^50]采用深度神经网络来进行手部或物体的分割。Bambach等人[^1]构建了一个包含48个第一人称视角视频片段的数据集，这些视频记录了人们在真实环境中与他人互动的场景，其中包含超过15,000个标注好的手部实例。研究者们还提出了卷积神经网络，先用于检测手部的边界框，随后利用GrabCut算法[^56]来分割手部区域。基于同一数据集，Urooj和Borji[^73]采用RefineNet-ResNet101模型[^38]，实现了当时最先进的手部分割性能。为了缓解泛化问题，Cai等人[^4]提出使用贝叶斯卷积神经网络来预测模型的不确定性，并利用手部形状的共同特征来更好地适应未知领域。关于手部分割，还有其他一些数据集相关工作。Li等人[^34]提出了佐治亚理工学院第一人称活动数据集（GTEA），该数据集包含625帧带双手标注的图像以及38帧二值标注图像。后来，Li等人[^33]对该数据集（EGTEA）进行了扩展，新增了1,046帧带双手标注的图像和12,799帧二值掩码图像。Lin等人[^36] [^37]也探索了将手部与各种背景人工合成的方法，以构建大规模的合成数据集。Urooj等人[^73]认为现有数据集受限于特定环境，因此从YouTube视频中采集帧来构建野外数据集（EYTH）。尽管该数据集更具多样性，但规模相对较小，仅从3个视频中采样了约2,000帧。由于这些帧是通过固定速率采样得到的，因此很多帧在外观上彼此相似。除了带有像素级标注的数据集外，Shan等人[^58]还为10万帧视频标注了手部及交互物体的边界框。近期，Shan等人[^59]还提出利用图像和手部位置信息，从运动数据中学习手部及手持物体的分割方法。我们的工作与前人研究主要在两个方面存在差异。以往的研究主要聚焦于第一人称视角下的手部分割，而我们进一步拓展研究范围，不仅涉及手部分割，还包括交互物体的分割。此外，以往的数据集大多局限于特定场景和有限的活动类型，而我们提出的数据集则涵盖了数百名受试者参与的各类日常活动。更详细的对比分析详见第3节。 ### 2.2 手部与物体的交互许多研究从分割之外的不同角度探讨了手与物体的交互。其中一个高度相关的方向是建模并估计3D手部关节 [^5] [^44] [^45] [^53] [^60] [^63] [^66] [^72] [^78] [^79] [^80] [^85] [^3] 以及网格 [^26] [^27] [^51] [^55] [^75] [^83] [^46]、物体姿态 [^14] [^28] [^29] [^35] [^43] [^57] [^64] [^71] [^76] [^81]，或者两者兼具 [^6] [^17] [^18] [^19] [^69]。还有一系列研究 [^2] [^7] [^21] [^23] [^67] 尝试基于物体生成手部姿态。与我们工作最为相关的是Hasson等人 [^18] 和Cao等人 [^6]，他们利用手和交互物体的分割掩码来计算2D投影损失，从而优化手-物配对的3D网格重建。不过，他们用于预先计算手和物体掩码的实例分割模型 [^25] 是在COCO数据集 [^39] 上预训练的，该模型并非针对以人为中心的手-物分割任务而定制，因此通常需要大量人工干预来修正或过滤掉预测错误的掩码。 --- 手-物交互的其他研究方向包括将手用作理解物体的探针 [^15]、可操作区域热点推理 [^47] [^49]，甚至利用视觉层面的手-物理解来促进机器人学习 [^41] [^42] [^48]。总体而言，我们将自己的工作视为这些视觉任务中不可或缺的基础工具。 ## 3 数据集从多个来源收集数据。本项研究的重要动机在于现有数据集无法支持研究人员训练出在真实场景中泛化能力强的模型。因此，我们从多个来源收集数据：包括来自Ego4d的7,458帧 [^16]、来自EPIC-KITCHENS的2,121帧 [^8]、来自THU-READ的806帧 [^68]，以及我们自行采集的350帧室内第一人称视角视频。最终共得到11,243帧图像，这些图像稀疏地取自近1,000个视频，涵盖了多种场景下的各类日常活动。我们从采样结果中手动挑选出包含有趣手-物交互的多样化且非重复的视频帧，为其标注像素级分割结果，如图2所示。关于视频帧采样的更多细节详见补充材料。

Ego4D

EPIC-KITCHEN

Eg04D	EPIC-KITCHEN	THU-READ	Escape Room
![Image](images/68d2b1b30ac313c0ca9a57ff498d5f4e03ec314b713f2801b5d044333dba909a.jpg)	![Image](images/2f0da29221e82a101e47e8f0f32e1d253c6793b3fee06e8a7e29fc870f635f9d.jpg)	![Image](images/fda208e9ad31d4c94c6ba5fca145ab68cd322b1c914ade24767eb34bbbd19434.jpg)	![Image](images/ddec09a508be67132bfd275553171de3878b888aae2ac15992b66ec3030c43b6.jpg)
![Image](images/8f51b18e013d04a1f656ed406d1aa641e256da85064b0564d48ee4dd7d7d0450.jpg)	![Image](images/e355d2ef0c770650efcc418be946f30005f2c3fb86d8264ea7ff3022e0912922.jpg)	![Image](images/411c3d42ff829c99dc7eff926a69d8f4a0ce8047b2261a45856c227c4cd93fbf.jpg)	![Image](images/a4d327018919041513f620de04c9a74ec1d61a54cbf82b2920637aca027e91c2.jpg)
	![Image](images/8bddc3e2f8186479946c29dc6faf7a246488478479eed33568c26d3c64c2be79.jpg)	![Image](images/1c0e319db8e78b999751aeab957a6fb058d347526ac4a870267c29306e03a733.jpg)	![Image](images/9de82eb92be67603736603437fe570e68cee310540f3bdaeabb291070d6d4808.jpg)

THU-READ

Escape Room

Fig. 2. A selection of images from multiple sources which we label with per-pixel hand and object segments. Color mapping: red $\rightarrow$ left hand, blue $\rightarrow$ right hand, green $\rightarrow$ object interacted by both hands, pink $\rightarrow$ object interacted by left hand, cyan $\rightarrow$ object interacted by right hand.

标注信息。对于数据集中的每张图像，我们在适用情况下会获取以下像素级掩码标注：(a) 左手；(b) 右手；(c) 左手所握物体；(d) 右手所握物体；(e) 双手共同操作的物体。对于每种类型的交互物体，我们还提供了两个层级的交互定义：直接交互和间接交互。如果手与物体接触，我们将其定义为手与物体的直接交互，例如图2中的蓝色、青色或粉色掩码所示；否则，若物体虽未与手直接接触但却被手间接操控，我们就将该物体标记为与手发生间接交互，如图2中第三种情况的浅青色掩码所示。 ---

row of Fig.2. In this work, we only study directly interacting objects, but we will release the data to support future research into indirect interacting object segmentation. Note that previous works define hand masks in two types: hand only [^1] [^73] and hand with arm [^33]. We think both types of labels are useful depending on the application, so we provide both types of hand mask labels for all images in our dataset, where one for hands and another one for the rest of the arms.

Datasets	Label	#Frames	#Hands	#Objects	Objects	Interaction	L/R Hand	#Subjects	#Activities
100-DOH [^33]	box.	100K	189.6K	110.1K	Yes	Yes	Yes	-	-
EGTEA [^33]	seg.	13,847	-	-	Yes	No	No	32	1
EgoHand $^{[1]}$	seg.	4,800	15,053	-	Yes	-	Yes	4	4
EYTH [^73]	seg.	1,290	2,600	-	No	No	No	-	-
Ours	seg.	11,243	20,701	17,568	Yes	Yes	Yes	100+	300+

Table 1. Egocentric Hand-Object Segmentation Datasets Comparison. Unknown information is denoted with a dash "-". Compared to previous datasets, our proposed datasets cover relatively diverse scenes and activities with fine-grained segmentation labels of both hands and interating objects.

与现有数据集的比较。在表1中，我们将所提出的数据集与现有的标注数据集进行了比较。100-DOH [^58] 同样提供了大量带标签的图像和物体，但其标签仅停留在边界框层面，且并非专门针对第一人称视角图像。尽管100-DOH [^58] 在提升手-物体边界框检测的泛化能力方面做出了巨大努力，但我们认为，对于许多下游视觉应用而言，分割预测尤为有用甚至必不可少，例如手-物体交互的网格重建以及透过手部观察物体，正如第7节所示。与其他分割数据集相比，我们数据集的一个重要特点是其图像涵盖了多样化的活动场景及众多受试者。由于我们没有帧级的语义标签，根据数据集中的视频ID/名称 [^8] [^16] [^68]，我们对受试者和活动类型的保守估计分别为300+和100+。无论是受试者数量还是活动类型，都比以往的分割数据集高出数个数量级。此外，与以往的分割数据集不同，我们也是首个为交互物体提供逐像素掩码标签的数据集。 ## 4 手-物体接触边界手-物体分割的一个关键挑战在于对手与交互物体之间关系的明确理解与建模。若像传统分割任务那样仅依据外观来分割物体，则无法妥善解决这一问题。原因在于，同一物体在某些帧中需要被分割，而在其他帧中则不需要，这取决于手是否与物体接触。为此，我们提出通过引入密集接触边界的概念，来显式建模手与物体之间的交互关系。 ---

A Causal Hand-Object Segmentation Pipeline

![Image](images/93777df9ee561f544e508996c7faaa68b202dd77de59e80dc3e1800e8724d5d1.jpg)

Fig. 3. Left: an overview of our causal hand-object segmentation pipeline. Right: a demo to show how dense contact boundary is defined.

从概念上讲，密集接触边界被定义为手与交互物体之间的接触区域。在我们的实现中，首先会对图像中标注的手部掩码和物体掩码进行膨胀处理，随后找出两个膨胀掩码之间的重叠区域，最后将该重叠区域二值化，作为接触边界的伪真值，如图3中的黄色区域所示。通过这一流程，我们能够为所有图像自动生成关于接触边界的监督信号，进而利用标准的二元交叉熵损失函数来训练网络对其进行预测。显式预测交互物体分割中的密集接触边界具有诸多优势：1）接触边界能够提示给定手部掩码是否存在交互物体；2）它还能提供更清晰的手-物体分离线索，从而提升分割精度。实验表明，接触边界有助于分割模型获得更高的平均物体掩码性能，更多消融研究详见第6.2节。除提升分割性能外，接触边界的其他优势还包括：1）接触边界分割包含了许多下游任务所需的关键信息，如活动识别和手-物体三维网格建模；2）它还能为评估分割效果提供潜在的指标，尤其是交互过程中的手-物体分割评估。我们采用了一种单手-物体分割流程，该流程将密集交互边界作为中间阶段的输出。如图3左侧所示，我们分三个阶段依次预测：首先是左手/右手，接着是接触边界，最后是相互作用的物体。在每个阶段，我们都会将前一阶段的输出作为额外输入进行拼接。例如，左手/右手掩码会与RGB图像一起作为输入来预测接触边界；而在最后阶段，RGB图像、手部掩码和接触边界掩码会被拼接起来作为输入，以预测相互作用物体的掩码。我们的模型由依次堆叠的网络构成，我们分别尝试了卷积架构（ResNet-18骨干网络 [^20] 与HRNet头部 [^74]）以及Transformer架构（Swin-L骨干网络 [^40] 与UperNet头部 [^77]）。需要注意的是，本研究并不侧重架构和损失函数的设计，更多训练细节详见补充材料。 --- ## 5 上下文感知的复合数据增强将前景实例复制并粘贴到不同位置的背景场景中，已被证明是一种简单且有效的物体检测与实例分割数据增强技术，如 [^9] [^13] [^82] 所示。为了进一步扩充数据集并提升模型性能，我们构建了一个上下文感知的复合数据增强流程，使得新生成的合成图像在语义上能保持前景（手-物体）与背景的一致性。

"Clean" Background Extraction by Classifier

"Clean" Background Extraction by Inpainting

![Image](images/5edecfc44c5f6a96a2d0a710e7392f6401c9d779b501775daa4e014b34018677.jpg)

Fig. 4. An overview of our context-aware compositional data augmentation pipeline.

我们的整体流程设计如图4所示。第一步，我们需要找到不含任何手部或相互作用物体的“干净”背景场景。这是因为合成后的图像应仅包含同一视角下观察者的手及相互作用的物体。为此，我们提出了两种生成“干净”背景的方法。第一种方法是构建一个简单的二分类器，从大量视频帧中筛选出不含手部的帧，如图4左上角所示。第二种方法是利用图像修复模型 [^65] 和标注好的分割掩码来移除现有的手-物体部分，如图4右上角所示。这两种方法都能帮助我们生成大量的“干净”背景候选集。另一方面，当给定一张带有手-物体分割掩码的图像时，我们首先用修复模型 [^65] 对手-物体区域进行修复，从而生成“干净”的查询背景；随后基于 [^62] 提取的深度特征，从“干净”背景候选集中检索出最相似的Top-K个背景场景。最后，从检索出的Top-K背景图像中采样多个背景场景，如图4底部所示。总体而言，我们设计的这种上下文感知的图像合成流程能够按需生成语义一致的手-物体与背景组合。实验结果表明了我们所提出的数据增强技术的有效性。 --- ## 6 手-物体分割实验在本节中，我们首先利用现有的数据集对手部分割进行对比研究，随后讨论手物分割的基准性能，并辅以消融实验加以说明。为了评估自然场景下的分割性能，我们从收集的30个YouTube第一人称视角视频中稀疏采样了500帧作为我们的分布外测试集。除非另有说明，后续所有分割实验均在此测试集上进行评估。我们的所有模型均使用MMSegmentation代码库进行训练和评估 $^{1}$。 ### 6.1 双手分割以往的手部分割数据集对手部标签的定义各不相同，例如左手/右手 [^1]、二值化手部 [^73] 或二值化手部+手臂 [^33]。由于我们的数据集涵盖了所有这些类型的手部标签，因此我们会在各数据集对应的设定下分别与以往的数据集进行对比。为保证对比的公平性，我们在每个数据集上训练相同的ResNet-18骨干网络 [^20] 和HRNet头部模块 [^74]，根据验证集表现选取最佳检查点，最终在相同的保留测试集上计算结果。

Datasets	mIoU	mPrec	mRec	mF1
EgoHand $^{[1]}$	10.68/33.28	43.61/43.20	12.39/59.16	19.30/49.93
100-DOH $^{[58]}$ + BoxInst $^{[70]}$	36.30/37.51	50.06/61.63	56.91/48.94	53.27/54.55
Ours	76.29/77.00	83.39/87.06	89.97/86.95	86.55/87.00
+ CCDA	79.73/82.17	84.26/90.38	93.68/90.04	88.72/90.21

Table 2. Left/Right Hand Segmentation.

Datasets	mIoU	mPrec	mRec	mF1
EgoHand $^{[1]}$	56.51	76.33	68.52	72.22
100-DOH $^{[58]}$+BoxInst $^{[70]}$	69.50	84.80	79.67	82.00
EYTH $^{[73]}$	75.94	85.17	87.51	86.32
Ours	83.18	89.34	92.34	90.82
+ CCDA	85.45	90.11	94.3	92.15

Datasets	mIoU	mPrec	mRec	mF1
EGTEA [^33]	33.26	38.24	71.87	49.92
Ours	92.46	96.67	95.50	96.08
+ CCDA	95.20	97.68	97.40	97.54

Table 3. Binary Hand Segmentation.

Table 4. Binary Hand + Arm Segmentation.

--- ![Image](images/81c44f6fb2397384ad1be4b492fdb49ed8b97e2ade87bee995d7dfe399bf5a00.jpg)

Fig. 5. A qualitative comparison between segmentation models trained on previous datasets and our proposed dataset. The top row shows the comparison with EgoHand and 100-DOH + BoxInst in Left/Right Hand segmentation, where red and cyan indicate left hand and right hand respectively. The bottom left shows the comparison with EGTEA on binary Hand + Arm segmentation. The bottom right shows the comparison with EYTH on binary Hand segmentation.

在第一种标注类型中，EgoHand [^1] 对第一人称活动场景下人的左右手进行了标注。类似地，100-DOH [^58] 也标注了大规模场景下的左右手，但仅提供边界框注释。我们通过训练弱监督分割模型BoxInst [^70] 来与100-DOH进行对比，该模型能够根据边界框注释学习物体分割方法。为使100-DOH上的手部分割性能尽可能优异，我们先在从EPIC-KITCHEN中采样的2000帧数据上对BoxInst进行预训练。如表1所示，在我们数据集上训练的模型，其性能明显优于在EgoHand和100-DOH上用BoxInst训练的模型。从视觉结果来看，如图5第一行所示，在EgoHand和100-DOH上训练的模型常常会产生错误的掩码类别标签，这导致左右手分割的mIoU（平均交并比）显著降低。当我们将EgoHand和100-DOH预测的左右手掩码二值化，并在二值化手部分割任务上评估时，性能差距会缩小，如表2所示。这再次表明，左右手分类错误确实是导致在 [^1] 和 [^58] 上训练的模型在表1中mIoU较低的主要问题。另外两个数据集EYTH [^73] 和EGTEA [^33] 仅提供双手的二值化掩码标签，不区分左右手。EYTH [^73] 仅标注手部区域，而EGTEA [^33] 则标注手部与手臂区域。从表2和表4的定量结果可以看出，在我们数据集上训练的模型在“手部”和“手部+手臂”两种设定下的性能也明显优于以往的数据集，视觉对比结果见图5下方。在所有这些手部分割设定中，我们观察到所提出的上下文感知组合数据增强（CCDA）能够稳定提升手部分割的定量性能。更多定性对比结果详见补充材料。 --- ### 6.2 手部与交互物体分割由于我们的数据集首次提供了交互物体的掩码标签，因此本节我们将讨论手-物体分割的基准性能，并辅以消融实验加以说明。在该任务中，我们将手分为左手和右手两类，而物体则根据与其交互的手分为三类：左手物体、右手物体以及双手物体。一种简单的方法是训练一个能并行解码五个输出通道的分割网络，如表5中$1^{st}$行所示。不过这种方法可能并非最佳，因为输出的并行解码并未利用对手-物体关系的明确理解，正如第4节所讨论的那样。因此，我们提出先顺序解码手部信息，再利用预测出的左右手掩码来显式指导交互物体的分割，如表5中$3^{rd}$行所示。我们还研究了将接触边界（CB）作为中间引导信息加入模型，结果发现它能有效提升物体分割性能，这一点可从$3^{rd}$行与$5^{th}$行的对比中看出。关于接触边界的更多细节将在第4节中阐述。最后，我们通过将上下文感知的组合数据增强（CCDA）技术整合到并行模型和顺序模型中，来评估其有效性。从$1^{st}$、$3^{rd}$、$5^{th}$行与$2^{nd}$、$4^{th}$、$6^{th}$行的对比中可以看出，CCDA略微提升了左右手分割效果，同时显著改善了物体分割性能。我们认为原因在于：组合增强技术使网络在将物体放置于多种不同背景中时，能更轻松地学习物体的像素分组规律。关于增强图像数量的选取细节，可在补充材料中查看。图6和图7分别展示了密集接触边界预测以及不同活动中的手-物体分割的定性结果。

Models	Left Hand	Right Hand	Left-Hand Object	Right-Hand Object	Two-Hand Object
Para. Decode	69.08	73.50	48.67	36.21	37.46
Para. Decode + CCDA	77.57	81.06	54.83	38.48	39.14
Seq. Decode	73.17	80.56	54.83	38.48	39.14
Seq. Decode + CCDA	87.70	88.79	58.32	40.18	46.24
Seq. Decode + CB	77.25	81.17	59.05	40.85	49.94
Seq. Decode + CB + CCDA	87.70	88.79	62.20	44.40	52.77

Table 5. Ablation study on the hand-object segmentation measured by mIoU.

![Image](images/3a1cbe9b26c211128737d6d8ff4485a9a31a2ecbca4aa801548a2a80532c62b3.jpg)

Fig. 6. Qualitative results for the predicted dense contact boundary.

--- ![Image](images/f0f02b424d1c603b80726b8fa6c8fdf7e098e28b38765329f028207620278ad0.jpg)

Fig. 7. Qualitative results for hand and interating object segmentations on diverse scenarios. The color are coded as follows: red $\rightarrow$ left hand, cyan $\rightarrow$ right hand, green $\rightarrow$ left-hand object, yellow $\rightarrow$ right-hand object, orange $\rightarrow$ two-hand object.

## 7 应用场景在前一节中，我们已经证明我们的手-物体分割模型在不同场景下均表现出可靠的定量与定性性能。本节我们将展示该手-物体分割系统如何应用于提升或实现若干实用且有趣的视觉应用。 ### 7.1 提升手部状态分类与活动识别能力理解手部的状态并识别以自我为中心的视频中的活动类型，对于人类行为分析至关重要。与100-DOH [^58]类似，我们将左手和右手的状态定义为以下几类：（接触）便携式物体、（接触）固定式物体、无接触、自身接触以及不存在。本任务的目标是为以自我为中心的观察者双手分别分类出正确的状态，我们采用两个分类头来完成这一工作。为此，我们对来自EPIC-KITCHEN数据集 [^8]的3,531帧包含多样化手-物交互的图像进行了手部状态标注。训练时，我们按照8:1:1的比例划分训练集、验证集和测试集。如表6所示，通过将手部掩码和手-物掩码加入输入通道，使用相同骨干网络 [^62]的分类器，其分类性能相比仅使用RGB图像的基线模型有显著提升。在视频活动识别方面，我们使用了EPIC-KITCHEN动作识别基准测试 [^8]的子集数据及其评估协议。借助SlowFast网络 [^11]，我们发现加入手部掩码后，“动词/名词”的Top-1分类准确率分别从23.95%/36.77%提升至25.98%/37.04%。图8展示了这两项任务的可视化示例。 ---

Models	Accuracy	Precision	Recall	F1 score
Baseline	78.53%/74.29%	43.02%/37.70%	36.86%/30.60%	37.53%/32.02%
+ Hand Mask	84.18%/83.33%	64.33%/66.16%	57.31%/56.34%	59.42%/59.00%
+ Hand & Object Mask	86.72%/83.33%	68.18%/69.04%	57.12%/56.08%	60.35%/59.64%

Table 6. Quantitative results for left/right hand state classification.

![Image](images/259ffc18e971cd425a581669acf083fc052d12fb4e41f55c3cbba7e179dba136.jpg)

Fig. 8. A visual comparison example between the baseline and ours for hand state classification and video activity recognition. BL represents the baseline model.

### 7.2 改进的手-物交互3D网格重建手-物交互的网格重建是一项实用但极具挑战性的任务。解决该任务的一种主流方法 [^6] [^18]是联合优化给定3D物体模型的3D尺度、平移和旋转参数，以及手部的MANO参数 [^54]。这种优化过程通常依赖估算出的手部与物体分割掩码来计算3D网格到2D投影的误差。在以往的研究中，研究人员 [^6] [^18]利用100-DOH的 [^58]检测器在边界框层面定位手部及交互物体，随后使用在COCO数据集 [^25]上预训练的PointRend [^39]来生成手部与物体掩码。交互物体的掩码则通过一种启发式规则确定：置信度得分最高的物体掩码即为正在交互的物体。

Image with Hand-object Seg.	Mesh (Original View)	Mesh (Rotated View)	Image with Hand-object Seg.	Mesh (Original View)	Mesh (Rotated View)
![Image](images/5519b2f86734f402090c4a64f55cd6f29891021cf92a5b7a6d2680f0a5d7ac34.jpg)	![Image](images/730e772454251d1af5dc4fd960cedafcca804e0790735e957bd6bcd84def3646.jpg)	![Image](images/e8900ad3fa644bcfab096829bda74c01552f551c5ac56f3021d80abc2001c4b7.jpg)	![Image](images/dc3625e3476349f12a34bf1f70c9bab1534711885006778f58b3f06321dcb9b5.jpg)	![Image](images/bd4083eb83d3adc8e9e4842eeb986e5fc39be145b730ac568d7f992e8b476117.jpg)	![Image](images/bcde241e21d45337fb02ecec48afe6b2847cc4247c0fbcc03a4272dbaab96aa5.jpg)
![Image](images/c4bb8af0622fdfe6809cd21ee62cfdd9cfda8cf8bcbcd6998698092a58a2f7e8.jpg)	$\underline{\quad}$	$\underline{\quad}$	![Image](images/210a9bdd3f6fda24ac93a0f7432feac621b5be982d1ffa982feec9defc764050.jpg)	![Image](images/84f4224c62132dde617aade5d5df8ece8da0af7072021ce433237839b3907f18.jpg)	![Image](images/7e5b91ba256442a0d89437d1e7fc15405bc6a929eab352d82dbad854642b477d.jpg)

Fig. 9. Visual comparison between 3D mesh reconstruction of hand-object interaction. The left results are from the original code of [^18], where they use 100-DOH [^58] detector with PointRend [^25] to compute hand-object masks. The right results are computed by integrating our hand-object segmentation into [^18] for mesh optimization.

--- 在本研究中，我们将鲁棒的手-物分割模型整合到原有的网格重建流程 [^18]中。由于我们的手-物分割模型比以往的分割组件具有更好的泛化能力，因此能够使手-物重建在更多样化的场景中实现更高的视觉保真度。如图9第一行所示，以往的分割流程常常无法完整分割物体，导致物体被优化成错误的3D姿态；而我们的精准手-物分割则能使物体网格重建更加准确。在图9的第二行中可以发现，以往的分割流程有时在边界框检测阶段就完全遗漏了交互物体，因而无法生成分割结果和3D网格。相比之下，我们的流程在物体检测方面的召回率更高，因此能够恢复物体网格，如图9右下角所示。 ### 7.3 透过手部观察以自我为中心的视频最终，在这项工作中，我们提出了一种新颖且有趣的应用——在自中心视频中透过手部看到隐藏的内容。借助我们强大的逐帧手部掩码分割技术，利用最新的基于光流的视频修复算法 [^12] 来彻底移除手部，从而能够看到视频中被手部遮挡的原始内容。图10展示了该应用的一个视觉示例：手部被移除后，原本被遮挡的瓶子和冰箱图层便能在每个视频帧中显现出来。更多视频结果详见补充材料。在自中心视频中，由于手部随处可见且几乎时刻处于运动状态，它们会对视觉内容造成大面积遮挡。我们的“透过手部查看”系统的实际用途在于：它能够让视觉系统分析出更多此前被遮挡的信息，例如在未来的增强现实系统中便可发挥重要作用。 ![Image](images/a2d835dc79f0f8344ac66445ebeff47419847c2750d05fc59ee6c02c02ae7cb2.jpg)

Fig. 10. A qualitative demo to show the application of seeing through the hand in egocentric videos. This application is enabled by our robust per-frame hand segmentation together with the video inpainting model [^12]. The top row are the frames with predicted hand segmentation masks, and the bottom row shows the “see through” frames at the corresponding timestamp. More video results are shown in the supplemental.

--- ## 8 结论我们构建了一个细粒度的自中心手-物体分割数据集以及合成数据增强方法，旨在：1）提升模型对分布外域变化的鲁棒性；2）为下游任务提供支持。我们标注好的数据集包含11,243张图像，其中既有人体和交互物体的逐像素分割标签，也有密集的接触边界信息。我们提出的这种上下文感知型组合数据增强技术显著提升了分割性能，尤其针对交互物体而言效果更为明显。事实证明，我们开发的鲁棒手-物体分割模型可充当多种视觉应用的基础工具，包括手部状态分类、活动识别、手-物体交互的3D网格重建，以及在自中心视频中透过手部查看等应用。致谢。本研究得到了丰田研究院和Adobe捐赠基金的支持。文中表达的观点和结论是作者个人的看法，并不代表资助方的官方政策（无论明示或暗示）。 --- ## 补充材料：细粒度自中心手-物体分割：数据集、模型与应用张凌志 $^{*1}$，周圣豪 $^{*1}$，Simon Stent $^{2}$，施建波 $^{1}$ $^{1}$ 宾夕法尼亚大学 $^{2}$ 丰田研究院在这份补充材料中，我们首先介绍了本研究的以下细节：1）视频帧采集的细节；2）分割网络的训练细节；3）我们确定数据增强量的依据；4）使用100-DOH结合PointRend后的性能表现。需要注意的是，我们还提供了逐帧手-物体分割以及自中心视频中“透过手部查看”应用的结果。详情请查阅补充材料中的“.mp4”文件。 ### 1 数据集我们标注的数据集由来自多个来源稀疏采样的视频帧组成，其中包括来自Ego4D的7,458帧[^16]、来自EPIC-KITCHEN的2,212帧[^8]、来自THU-READ的806帧[^68]，以及我们自己采集的350帧以第一人称视角拍摄的密室逃脱视频。在Ego4D视频[^16]中，我们使用的是手物交互挑战赛中的视频，共计约1,000段视频。针对这些视频，我们首先每隔三秒稀疏采样一帧，随后利用100-DOH检测器[^58]筛选出确实包含手物交互的帧。为了使标注数据更具实用价值，我们请人工从提取出的帧中挑选出7,458帧具有多样性且有趣的手物交互场景。同样，在EPIC-KITCHEN[^8]视频中，我们对37名参与者的视频每隔三秒均匀采样一帧，再筛选出包含手物交互的帧，最后手动挑选有趣的帧进行标注。THU-READ[^68]数据集包含40类手物交互的短视频片段，我们会在每类中均匀选取少量图像。最后，对于我们自己采集的GoPro视频，我们也每隔三秒稀疏采样一帧，并手动筛选帧进行标注。 ### 2 分割网络的训练细节在本节中，我们将介绍分割网络训练的详细情况。所有实验我们都采用ResNet-18骨干网络[^20]和HRNet头部[^74]作为基础模型。每项实验中，我们均将网络训练迭代80,000次。 --- 训练时采用批量大小为8的SGD优化器，学习率为0.01，动量为0.9，权重衰减为0.0005。除了我们提出的上下文感知数据增强方法外，我们还使用随机翻转和光度失真（随机亮度调整、随机对比度变化等）作为数据增强技术。 ### 3 增强数据量的选择我们提出的上下文感知组合数据增强（CCDA）技术在训练开始前就以离线方式生成合成数据。一个关键问题是：我们应该为增强数据集生成多少数据？为此，我们开展了一项实验，评估逐步增加合成图像数量时分割性能的变化情况，如图1所示。我们发现，在YouTube测试集上，当分别增强16K和8K张合成图像时，手和物体的IoU会达到最大值。 ![Image](images/e7b62773c1a50afed778275d73ca3a850f6a8ab8f440b8c7d7196fb9a891249d.jpg) ![Image](images/54ff10adff814b72817968d1c2c8a2dc39600a05b9e35928530b703a23224f5e.jpg)

Fig. 1. Averaged hand and object IoU scores vs. the number of augmented data on the left and right, respectively.

#### 4 用于100-DOH的PointRend与BoxInst对比由于100-DOH[^58]仅能预测手和物体的边界框，我们对比了两种将边界框转换为分割结果的方案。第一种方案是利用100-DOH[^58]检测器生成手物伪标签，再训练BoxInst[^70]模型来分割手和物体。第二种方案是利用100-DOH[^58]检测器定位手物边界框，再用PointRend[^25]生成掩码。如表1和表2所示，我们发现100-DOH[^58] + PointRend[^25]在左右手分割任务上的表现更好，而100-DOH[^58] + BoxInst[^70]在二值手分割任务上的表现更佳。不过，在我们数据集上训练的模型性能明显优于这两种方案。我们还进行了一项实验，使用 100-DOH [^58] + PointRend [^25] 来计算交互物体分割掩码。然而，我们观察到 ---

Datasets	mIoU	mPrec	mRec	mF1
100-DOH[^58] + BoxInst[^70]	36.30/37.51	50.06/61.63	56.91/48.94	53.27/54.55
100-DOH[^58] + PointRend [^25]	61.83/62.72	76.17/78.41	76.66/75.8	76.41/77.09
Ours	79.73/82.17	84.26/90.38	93.68/90.04	88.72/90.21

Table 1. Left/Right Hand Segmentation.

Datasets	mIoU	mPrec	mRec	mF1
100-DOH[^58] + BoxInst[^70]	69.50	84.80	79.67	82.00
100-DOH[^58] + PointRend [^25]	63.62	78.39	77.14	77.76
Ours	85.45	90.11	94.30	92.15

Table 2. Binary Hand Segmentation.

这种推理流程常常完全遗漏或错误分类交互物体的分割结果，换句话说就是召回率较低，如图 2 所示。从定量数据来看，我们发现 100-DOH [^58] + PointRend [^25] 的平均物体 IoU 仅为 12.24，这一数值明显低于我们在 YouTube 测试集上得到的结果。

100-DOH + PointRend

![Image](images/919dba7fdf031310e0d2f86c164b951904ec90ace4a40794b36b9305f1ffd38c.jpg)

100-DOH + PointRend

Fig. 2. Visual comparison of hand-object segmentation between 100-DOH [^58] + PointRend [^25] and ours. The color are coded as follows: red → left hand, cyan → right hand, green → left-hand object, yellow → right-hand object, orange → two-hand object.

### 5 更多分割标签可视化我们在图 3 中展示了来自不同数据源的手部-物体分割标签的更多可视化结果。 ### 6 更多视频结果在我们的项目页面和 GitHub 页面上，我们展示了手部-物体分割的更多结果，以及“透过手部观察”技术在第一人称视频中的应用效果。 --- ![Image](images/65116c408bfffbff593dc809686d24c1822261c8ad8f10c9b25ea13d3452461e.jpg)

Fig. 3. More visual demonstration of our hand-object segmentation labels.

--- ### 参考文献 [^1]: Bambach, S., Lee, S., Crandall, D.J., Yu, C.: Lending a hand: Detecting hands and recognizing activities in complex egocentric interactions. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 1949–1957 (2015) 2, 4, 6, 9, 10 [^2]: Brahmbhatt, S., Handa, A., Hays, J., Fox, D.: Contactgrasp: Functional multi-finger grasp synthesis from contact. In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). pp. 2386–2393. IEEE (2019) 4 [^3]: Brahmbhatt, S., Tang, C., Twigg, C.D., Kemp, C.C., Hays, J.: Contactpose: A dataset of grasps with object contact and hand pose. In: European Conference on Computer Vision. pp. 361–378. Springer (2020) 4 [^4]: Cai, M., Lu, F., Sato, Y.: Generalizing hand segmentation in egocentric videos with uncertainty-guided model adaptation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 14392–14401 (2020) 4 [^5]: Cai, Y., Ge, L., Cai, J., Yuan, J.: Weakly-supervised 3d hand pose estimation from monocular rgb images. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 666–682 (2018) 4 [^6]: Cao, Z., Radosavovic, I., Kanazawa, A., Malik, J.: Reconstructing hand-object interactions in the wild. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 12417–12426 (2021) 4, 13 [^7]: Corona, E., Pumarola, A., Alenya, G., Moreno-Noguer, F., Rogez, G.: Ganhand: Predicting human grasp affordances in multi-object scenes. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 5031–5041 (2020) 4 [^8]: Damen, D., Doughty, H., Farinella, G.M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., et al.: Scaling egocentric vision: The epic-kitchens dataset. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 720–736 (2018) 2, 5, 6, 12, 16 [^9]: Fang, H.S., Sun, J., Wang, R., Gou, M., Li, Y.L., Lu, C.: Instaboost: Boosting instance segmentation via probability map guided copy-pasting. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 682–691 (2019) 8 [^10]: Fathi, A., Ren, X., Rehg, J.M.: Learning to recognize objects in egocentric activities. In: CVPR 2011. pp. 3281–3288. IEEE (2011) 3 [^11]: Feichtenhofer, C., Fan, H., Malik, J., He, K.: Slowfast networks for video recognition. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 6202–6211 (2019) 12 [^12]: Gao, C., Saraf, A., Huang, J.B., Kopf, J.: Flow-edge guided video completion. In: European Conference on Computer Vision. pp. 713–729. Springer (2020) 3, 14 [^13]: Ghiasi, G., Cui, Y., Srinivas, A., Qian, R., Lin, T.Y., Cubuk, E.D., Le, Q.V., Zoph, B.: Simple copy-paste is a strong data augmentation method for instance segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 2918–2928 (2021) 8 [^14]: Gkioxari, G., Malik, J., Johnson, J.: Mesh r-cnn. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 9785–9795 (2019) 4 [^15]: Goyal, M., Modi, S., Goyal, R., Gupta, S.: Human hands as probes for interactive object understanding. arXiv preprint arXiv:2112.09120 (2021) 5 ## [^16]: Grauman, K., Westbury, A., Byrne, E., Chavis, Z., Furnari, A., Girdhar, R., Hamburger, J., Jiang, H., Liu, M., Liu, X., et al.: Ego4d: Around the world in 3,000 hours of egocentric video. arXiv preprint arXiv:2110.07058 (2021) 2, 5, 6, 16 --- [^17]: Hasson, Y., Tekin, B., Bogo, F., Laptev, I., Pollefeys, M., Schmid, C.: Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 571–580 (2020) 4 [^18]: Hasson, Y., Varol, G., Schmid, C., Laptev, I.: Towards unconstrained joint hand-object reconstruction from RGB videos. In: 2021 International Conference on 3D Vision (3DV). pp. 659–668. IEEE (2021) 3, 4, 13, 14 [^19]: Hasson, Y., Varol, G., Tzionas, D., Kalevatykh, I., Black, M.J., Laptev, I., Schmid, C.: Learning joint reconstruction of hands and manipulated objects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 11807–11816 (2019) 4 [^20]: He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 770–778 (2016) 7, 9, 16 [^21]: Jiang, H., Liu, S., Wang, J., Wang, X.: Hand-object contact consistency reasoning for human grasps generation. arXiv preprint arXiv:2104.03304 (2021) 4 [^22]: Jones, M.J., Rehg, J.M.: Statistical color models with application to skin detection. International journal of computer vision 46(1), 81–96 (2002) 3 [^23]: Karunratanakul, K., Yang, J., Zhang, Y., Black, M.J., Muandet, K., Tang, S.: Grasping field: Learning implicit representations for human grasps. In: 2020 International Conference on 3D Vision (3DV). pp. 333–344. IEEE (2020) 4 [^24]: Kim, S., Chi, H.G.: First-person view hand segmentation of multi-modal hand activity video dataset. BMVC 2020 (2020) 4 [^25]: Kirillov, A., Wu, Y., He, K., Girshick, R.: Pointrend: Image segmentation as rendering. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 9799–9808 (2020) 4, 13, 17, 18 [^26]: Kulon, D., Guler, R.A., Kokkinos, I., Bronstein, M.M., Zafeiriou, S.: Weakly-supervised mesh-convolutional hand reconstruction in the wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 4990–5000 (2020) 4 [^27]: Kulon, D., Wang, H., Güler, R.A., Bronstein, M., Zafeiriou, S.: Single image 3d hand reconstruction with mesh convolutions. arXiv preprint arXiv:1905.01326 (2019) 4 [^28]: Kundu, A., Li, Y., Rehg, J.M.: 3d-rcnn: Instance-level 3d object reconstruction via render-and-compare. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 3559–3568 (2018) 4 [^29]: Kuo, W., Angelova, A., Lin, T.Y., Dai, A.: Mask2cad: 3d shape prediction by learning to segment and retrieve. In: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part III 16. pp. 260–277. Springer (2020) 4 [^30]: Lee, S., Bambach, S., Crandall, D.J., Franchak, J.M., Yu, C.: This hand is my hand: A probabilistic approach to hand disambiguation in egocentric video. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. pp. 543–550 (2014) 3 [^31]: Li, C., Kitani, K.M.: Model recommendation with virtual probes for egocentric hand detection. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 2624–2631 (2013) 3 ## [^32]: Li, C., Kitani, K.M.: Pixel-level hand detection in ego-centric videos. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 3570–3577 (2013) 3 --- [^33]: Li, Y., Liu, M., Rehg, J.M.: In the eye of beholder: Joint learning of gaze and actions in first person video. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 619–635 (2018) 2, 4, 6, 9, 10 [^34]: Li, Y., Ye, Z., Rehg, J.M.: Delving into egocentric actions. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 287–295 (2015) 4 [^35]: Lim, J.J., Pirsiavash, H., Torralba, A.: Parsing ikea objects: Fine pose estimation. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 2992–2999 (2013) 4 [^36]: Lin, F., Martinez, T.: Ego2hands: A dataset for egocentric two-hand segmentation and detection. arXiv preprint arXiv:2011.07252 (2020) 4 [^37]: Lin, F., Wilhelm, C., Martinez, T.: Two-hand global 3d pose estimation using monocular rgb. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. pp. 2373–2381 (2021) 4 [^38]: Lin, G., Milan, A., Shen, C., Reid, I.: Refinenet: Multi-path refinement networks for high-resolution semantic segmentation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 1925–1934 (2017) 4 [^39]: Lin, T.Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., Zitnick, C.L.: Microsoft coco: Common objects in context. In: European conference on computer vision. pp. 740–755. Springer (2014) 3, 4, 13 [^40]: Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., Guo, B.: Swin transformer: Hierarchical vision transformer using shifted windows. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 10012–10022 (2021) 7 [^41]: Mandikal, P., Grauman, K.: Dexvip: Learning dexterous grasping with human hand pose priors from video. In: 5th Annual Conference on Robot Learning (2021) 5 [^42]: Mandikal, P., Grauman, K.: Learning dexterous grasping with object-centric visual affordances. In: IEEE International Conference on Robotics and Automation, ICRA 2021, Xi'an, China, May 30 - June 5, 2021. pp. 6169–6176. IEEE (2021) 5 [^43]: Michel, F., Kirillov, A., Brachmann, E., Krull, A., Gumhold, S., Savchynsky, B., Rother, C.: Global hypothesis generation for 6d object pose estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 462–471 (2017) 4 [^44]: Moon, G., Chang, J.Y., Lee, K.M.: V2v-posenet: Voxel-to-voxel prediction network for accurate 3d hand and human pose estimation from a single depth map. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 5079–5088 (2018) 4 [^45]: Mueller, F., Bernard, F., Sotnychenko, O., Mehta, D., Sridhar, S., Casas, D., Theobalt, C.: Generated hands for real-time 3d hand tracking from monocular rgb. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 49–59 (2018) 4 [^46]: Muller, L., Osman, A.A., Tang, S., Huang, C.H.P., Black, M.J.: On self-contact and human pose. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 9990–9999 (2021) 4 [^47]: Nagarajan, T., Feichtenhofer, C., Grauman, K.: Grounded human-object interaction hotspots from video. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 8688–8697 (2019) 5 ## [^48]: Nagarajan, T., Grauman, K.: Shaping embodied agent behavior with activity-context priors from egocentric video. Advances in Neural Information Processing Systems 34 (2021) 5 --- [^49]: Nagarajan, T., Li, Y., Feichtenhofer, C., Grauman, K.: Ego-topo: Environment affordances from egocentric video. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 163–172 (2020) 5 [^50]: Narasimhaswamy, S., Nguyen, T., Nguyen, M.H.: Detecting hands and recognizing physical contact in the wild. Advances in neural information processing systems 33, 7841–7851 (2020) 4 [^51]: Pavlakos, G., Choutas, V., Ghorbani, N., Bolkart, T., Osman, A.A., Tzionas, D., Black, M.J.: Expressive body capture: 3d hands, face, and body from a single image. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 10975–10985 (2019) 4 [^52]: Ren, X., Gu, C.: Figure-ground segmentation improves handled object recognition in egocentric video. In: 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. pp. 3137–3144. IEEE (2010) 3 [^53]: Romero, J., Kjellström, H., Kragic, D.: Hands in action: real-time 3d reconstruction of hands in interaction with objects. In: 2010 IEEE International Conference on Robotics and Automation. pp. 458–463. IEEE (2010) 4 [^54]: Romero, J., Tzionas, D., Black, M.J.: Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia) 36(6) (Nov 2017) 13 [^55]: Rong, Y., Shiratori, T., Joo, H.: Frankmocap: Fast monocular 3d hand and body motion capture by regression and integration. arXiv preprint arXiv:2008.08324 (2020) 4 [^56]: Rother, C., Kolmogorov, V., Blake, A.: "grabcut" interactive foreground extraction using iterated graph cuts. ACM transactions on graphics (TOG) 23(3), 309–314 (2004) 4 [^57]: Sahasrabudhe, M., Shu, Z., Bartrum, E., Alp Guler, R., Samaras, D., Kokkinos, I.: Lifting autoencoders: Unsupervised learning of a fully-disentangled 3d morphable model using deep non-rigid structure from motion. In: Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. pp. 0–0 (2019) 4 [^58]: Shan, D., Geng, J., Shu, M., Fouhey, D.F.: Understanding human hands in contact at internet scale. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 9869–9878 (2020) 2, 4, 6, 9, 10, 12, 13, 16, 17, 18 [^59]: Shan, D., Higgins, R., Fouhey, D.: Cohesiv: Contrastive object and hand embedding segmentation in video. Advances in Neural Information Processing Systems 34 (2021) 4 [^60]: Sharp, T., Keskin, C., Robertson, D., Taylor, J., Shotton, J., Kim, D., Rhemann, C., Leichter, I., Vinnikov, A., Wei, Y., et al.: Accurate, robust, and flexible real-time hand tracking. In: Proceedings of the 33rd annual ACM conference on human factors in computing systems. pp. 3633–3642 (2015). 4 [^61]: Shilkrot, R., Narasimhaswamy, S., Vazir, S., Hoai, M.: Workinghands: A hand-tool assembly dataset for image segmentation and activity mining. In: BMVC. p. 258 (2019) 4 [^62]: Simonyan, K., Zisserman, A.: Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556 (2014) 8, 12 ## [^63]: Sridhar, S., Oulasvirta, A., Theobalt, C.: Interactive markerless articulated hand motion tracking using RGB and depth data. In: Proceedings of the IEEE international conference on computer vision. pp. 2456–2463 (2013) 4 --- [^64]: Sun, X., Wu, J., Zhang, X., Zhang, Z., Zhang, C., Xue, T., Tenenbaum, J.B., Freeman, W.T.: Pix3d: Dataset and methods for single-image 3d shape modeling. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 2974–2983 (2018) 4 [^65]: Suvorov, R., Logacheva, E., Mashikhin, A., Remizova, A., Ashukha, A., Silvestrov, A., Kong, N., Goka, H., Park, K., Lempitsky, V.: Resolution-robust large mask inpainting with fourier convolutions. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. pp. 2149–2159 (2022) 8 [^66]: Tagliasacchi, A., Schröder, M., Tkach, A., Bouaziz, S., Botsch, M., Pauly, M.: Robust articulated-icp for real-time hand tracking. In: Computer Graphics Forum. vol. 34, pp. 101–114. Wiley Online Library (2015) 4 [^67]: Taheri, O., Ghorbani, N., Black, M.J., Tzionas, D.: Grab: A dataset of whole-body human grasping of objects. In: European Conference on Computer Vision. pp. 581–600. Springer (2020) 4 [^68]: Tang, Y., Tian, Y., Lu, J., Feng, J., Zhou, J.: Action recognition in rgb-d egocentric videos. In: 2017 IEEE International Conference on Image Processing (ICIP). pp. 3410–3414. IEEE (2017) 2, 5, 6, 16 [^69]: Tekin, B., Bogo, F., Pollefeys, M.: H+ o: Unified egocentric recognition of 3d hand-object poses and interactions. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 4511–4520 (2019) 4 [^70]: Tian, Z., Shen, C., Wang, X., Chen, H.: Boxinst: High-performance instance segmentation with box annotations. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 5443–5452 (2021) 9, 10, 17, 18 [^71]: Tulsiani, S., Gupta, S., Fouhey, D.F., Efros, A.A., Malik, J.: Factoring shape, pose, and layout from the 2d image of a 3d scene. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 302–310 (2018) 4 [^72]: Tzionas, D., Ballan, L., Srikantha, A., Aponte, P., Pollefeys, M., Gall, J.: Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision 118(2), 172–193 (2016) 4 [^73]: Urooj, A., Borji, A.: Analysis of hand segmentation in the wild. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 4710–4719 (2018) 2, 4, 6, 9, 10 [^74]: Wang, J., Sun, K., Cheng, T., Jiang, B., Deng, C., Zhao, Y., Liu, D., Mu, Y., Tan, M., Wang, X., et al.: Deep high-resolution representation learning for visual recognition. IEEE transactions on pattern analysis and machine intelligence 43(10), 3349–3364 (2020) 7, 9, 16 [^75]: Xiang, D., Joo, H., Sheikh, Y.: Monocular total capture: Posing face, body, and hands in the wild. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 10965–10974 (2019) 4 [^76]: Xiang, Y., Schmidt, T., Narayanan, V., Fox, D.: Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv preprint arXiv:1711.00199 (2017) 4 [^77]: Xiao, T., Liu, Y., Zhou, B., Jiang, Y., Sun, J.: Unified perceptual parsing for scene understanding. In: Proceedings of the European conference on computer vision (ECCV). pp. 418–434 (2018) 7 [^78]: Yang, L., Yao, A.: Disentangling latent hands for image synthesis and pose estimation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 9877–9886 (2019) 4 ## [^79]: Ye, Q., Yuan, S., Kim, T.K.: Spatial attention deep net with partial pso for hierarchical hybrid hand pose estimation. In: European conference on computer vision. pp. 346–361. Springer (2016) 4 --- [^80]: Yuan, S., Garcia-Hernando, G., Stenger, B., Moon, G., Chang, J.Y., Lee, K.M., Molchanov, P., Kautz, J., Honari, S., Ge, L., et al.: Depth-based 3d hand pose estimation: From current achievements to future goals. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 2636–2645 (2018). [^81]: Zhang, J.Y., Pepose, S., Joo, H., Ramanan, D., Malik, J., Kanazawa, A.: Perceiving 3d human-object spatial arrangements from a single image in the wild. In: European Conference on Computer Vision. pp. 34–51. Springer (2020) 4 [^82]: Zhang, L., Wen, T., Min, J., Wang, J., Han, D., Shi, J.: Learning object placement by inpainting for compositional data augmentation. In: European Conference on Computer Vision. pp. 566–581. Springer (2020) 8 [^83]: Zhou, Y., Habermann, M., Xu, W., Habible, I., Theobalt, U., Xu, F.: Monocular real-time hand shape and motion capture using multi-modal data. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 5346–5355 (2020) 4 [^84]: Zhu, X., Jia, X., Wong, K.Y.K.: Pixel-level hand detection with shape-aware structured forests. In: Asian Conference on Computer Vision. pp. 64–78. Springer (2014) 3 [^85]: Zimmermann, C., Brox, T.: Learning to estimate 3d hand pose from single rgb images. In: Proceedings of the IEEE international conference on computer vision. pp. 4903–4911 (2017) 4