# 重光照3D交互手部数据集文成硕斋藤俊辅徐伟鹏罗汉·乔希朱莉娅·布法洛尼哈雷·贝兰尼古拉斯·罗森杰西·理查森马洛里·迈兹菲利普·德·布里托马斯·西蒙鲍鹏舒巴姆·加尔格凯文·麦克菲尔白鸟贵明 Meta Reality Labs研究院 ## 摘要由于手部的自相似性、复杂的关节运动以及相互遮挡现象，双手交互是极具挑战性的分析信号。尽管已有多个针对双手交互分析的数据集被提出，但它们都无法同时实现：1）多样且逼真的图像外观；2）多样且大规模的三维姿态真值数据。在本研究中，我们提出了Re:InterHand——一个具备重光照功能的3D交互手部数据集，以满足上述两个目标。为此，我们采用了最先进的手部重光照网络，并结合我们精确追踪到的双手3D姿态数据。我们将Re:InterHand与现有的3D交互手部数据集进行对比，以展示其优势。我们的Re:InterHand数据集可在此处获取。 ## 1 引言人类在日常交流或与物体互动时经常会出现双手交互行为。手部的自相似性、复杂的关节运动以及较小的尺寸，使得此类双手交互的分析极具挑战性。尤其是当分析系统的输入为单张图像时，问题会变得更加棘手，因为在大多数情况下，一只手的大部分会被另一只手遮挡。成功分析交互手部的一个基本途径是收集大规模的3D交互手部数据集，这类数据集需包含自然场景下的图像及对应的三维真值数据。遗憾的是，这并非易事。由于固有的尺度与深度模糊性问题，无法从单一的二维观测中获取真实的三维数据。此外，单一二维观测也无法提供收集三维数据所需的其他视角信息。因此，目前存在三种收集3D手部数据的替代方法。 --- ![Image](images/1300bac361f9dd7bf001cb2628e46560b932b570d8bffb9578a5bebce63286c6.jpg)

Figure 1: Comparison of datasets from existing data capture approaches ((a), (b), and (c)) and our new Re:InterHand dataset ((d)). ITW represents in-the-wild environments.

### 1.1 实验室数据集实验室数据集是在专门设计的摄影棚中，利用数百台经过校准且同步的摄像头采集而成的。InterHand2.6M [^30] [^29] 是目前应用最广泛的3D交互手部数据集，它是在配备100台校准且同步摄像头的摄影棚中采集的。图1（a）展示了InterHand2.6M的一张图像示例。优点：它们能提供大规模、多样化且精准的三维姿态真值数据。缺点：图像外观较为单调。如图所示，与自然场景下的图像相比，这些图像在颜色、背景和光照方面的多样性十分有限。 ### 1.2 自然场景数据集自然场景数据集，如HIC [^52] 和RGB2Hands [^53]，是在日常环境中利用数量较少的摄像头采集的，例如单台RGBD摄像头。图1（b）展示了HIC的一张图像示例。优点：如图所示，图像外观与自然场景下的图像相近。缺点：数据集的多样性和规模有限。虽然采集设备比实验室数据集所用的设备轻便得多，但在不同地点搭建设备并进行采集并不容易，因此图像外观的多样性也受到限制（例如，仅局限于书桌前）。由于使用的摄像头数量较少，这类数据集无法为复杂的手部交互提供精确的标注，因而只能给出简单的姿态信息。 ### 1.3 合成数据集合成数据集，比如Ego3DHands [^23]，是将手部图像与随机背景图像组合而成的。这种组合的目的是提升实验室图像或合成图像的外观多样性。图1(c)展示了相关示例。优点：由于这类数据集是基于实验室数据集或合成数据集进行组合的，因此通常能提供精确且多样的三维姿态真值。缺点：如图所示，由于前景和背景之间的光线不一致，其图像外观并不逼真。 ### 1.4 本文提出的Re:InterHand数据集现有的这三种方法都存在各自的局限性。在本研究中，我们提出了Re:InterHand数据集，它弥补了上述三种现有数据集采集方法的不足。图1(d)展示了…… ---

Table 1: Comparison of hand datasets that provide GT 3D poses. To count the number of images, we consider images from different viewpoints at the same time step as different ones.

Datasets	Image appearance	GT	# of subjects	# of images	Two-hand interactions
Dexter+Object [^44]	Natural	3D fingertip coord.	1	3K	No
STB [^59]	Natural	3D joint coord.	1	36K	No
EgoDexter [^33]	Natural	3D fingertip coord.	4	3K	No
RHD [^61]	Composite	3D joint coord.	20	44K	No
PanopticStudio [^43]	Lab	3D joint coord.	N/A	15K	No
FPHA [^9]	Natural	3D joint coord. + 3D obj.	6	105K	No
GANerated [^31]	Composite	3D joint coord.	N/A	264K	No
FreiHAND [^62]	Natural	MANO	32	134K	No
ObMan [^15]	Composite	MANO + 3D obj.	20	150K	No
EHF [^39]	Lab	SMPL-X	1	100	No
HO3D [^13]	Natural	3D joint coord. + 3D obj.	10	78K	No
ContactPose [^3]	Lab	3D joint coord. + 3D obj.	50	2.9M	No
HUMBI [^56] [^55]	Lab	MANO	453	24M	No
DexYCB [^4]	Natural	MANO + 3D obj.	10	582K	No
AGORA [^38]	Realistic	SMPL-X	350	19K	No
DART [^8]	Composite	MANO	N/A	787K	No
BlurHand [^34]	Lab	MANO	11	156K	No
H2O [^21]	Natural	MANO + 3D obj.	4	571K	Weak
Assembly101 [^42]	Natural	3D joint coord. + action labels	53	111M	Weak
AssemblyHands [^35]	Natural	3D joint coord.	34	3M	Weak
ARCTIC [^7]	Lab	MANO + SMPL-X + 3D obj.	10	2.1M	Weak
HIC [^52]	Natural	MANO	1	36K	Strong
RGB2Hands [^53]	Natural	3D joint coord. wo. fingertips	2	1K	Strong
InterHand2.6M [^30]	Lab	MANO	27	2.6M	Strong
Ego3DHands [^23]	Composite	3D joint coord. + masks	1	55K	Strong
Re:InterHand (Ours)	Realistic	MANO + masks	10	1.5M	Strong

这是我们Re:InterHand数据集的图像示例。该数据集是通过对具有精确跟踪三维姿态的手部模型进行渲染，再用多种环境贴图重新打光生成的。借助多摄像头工作室中精确跟踪的三维姿态数据，我们能够获得多样的三维姿态真值。在重新打光环节，我们采用了最先进的手部重新打光网络 $^{[17]}$，从而生成多样且逼真的图像外观。图中显示，我们渲染出的数据与真实场景中的图像外观十分接近。 ## 2 相关工作 3D手部数据集。表1展示了各种3D手部数据集的对比情况。受Kinect设备的启发，早期的数据集包含深度图 [^49] [^51] [^47] [^57] [^44]。为了在不使用深度摄像头的情况下实现更实用的应用，基于RGB的数据集应运而生。STB [^59] 包含了简单手部姿势的序列。HIC [^52] 是最早致力于解决双手交互问题的数据集之一。RHD [^61] 由商业软件合成渲染的图像组成，并融合了网络爬取的背景图像。EgoDexter [^33] 包含简单手-物交互的序列。Panoptic Studio [^43] 是在专门设计的穹顶中采集的数据，其中包含全身人体图像。FPHA [^9] 包含从第一人称视角采集的手部序列。GANerated [^31] 是利用生成对抗网络合成生成的数据集，并融合了背景图像。EHF [^39] 是一个在多摄像头摄影棚中采集的小规模数据集，包含单个受试者的全身动作数据。ObMan [^15] 包含简单的手-物交互数据，它由商业软件合成渲染并融合了背景图像。FreiHAND [^62] 是在不同地点用便携式多摄像头设备采集的数据，包含自然图像和合成图像。Mueller等人 [^32] 提出了一种双手交互的合成深度图数据集。YT3D [^20] 包含网络爬取的视频以及手的3D伪真值数据。NeuralAnnot [^29] 在MSCO [^24] [^18] 数据集上引入了手的3D伪真值数据。YT3D和NeuralAnnot都是通过将3D手部模型 [^40] 拟合到2D关节坐标上来获取3D伪真值的。 --- ![Image](images/03f33c299faa336ba95bffe551f0a56f34821fb008ea2965bb646e5e542f3238.jpg) ![Image](images/d36a473bc22d9a042bad802b50a08f98460582712ec61e0c462b79930aa9af2d.jpg)

Figure 2: Left: HIC [^52], InterHand2.6M [^30], and our Re:InterHand have a short distance between two hands. Right: InterHand2.6M [^30] and our Re:InterHand have many samples where two hands are in contact. We count a sample as contacting if the shortest distance between the vertices of two hands is smaller than 3 mm. We exclude samples of ARCTIC [^7] whose distance between two hands is longer than 1 meter.

它们大多包含单手3D伪GT数据，由于深度和尺度上的歧义，不存在双手之间的3D相对位姿信息。HO3D [^13] 包含了与各类物体交互的3D手部数据。RGB2Hand [^53] 推出了一个小规模、包含3D关节坐标标注但无指尖信息的3D交互手部数据集。InterHand2.6M [^30] 是一个大规模3D交互手部数据集，采集自专门设计的多摄像头摄影棚。ContactPose [^3] 包含由手-物交互生成的3D手部序列及接触图。HUMBI [^56] [^55] 是一个大规模数据集，提供3D全身标注，同样采集自专门设计的多摄像头摄影棚。DexYCB [^4] 包含大规模、与各类物体交互的3D手部数据。Ego3DHands [^23] 是由随机背景图像与渲染的双手图像组成的合成数据集。H2O [^21] 包含双手与物体的交互数据。AGORA [^38] 是基于人物的3D扫描数据和场景渲染而成的；与我们的Re:InterHand数据集类似，AGORA也考虑了前景与背景之间的光照一致性，因此图像外观十分逼真。Ego4D [^11] 包含海量第一人称视角的视频，但并未提供3D手部标注。DART [^8] 包含带有配饰的单手渲染图像及其纹理贴图，这些图像会与MSCOCO [^24] 中的背景图像进行Alpha混合。Assembly101 [^42] 包含大规模3D手部组装物体的视频。AssemblyHands [^35] 对Assembly101 [^42] 进行了改进，优化了标注流程。ARCTIC [^7] 包含3D手部、全身标注以及3D物体数据。BlurHand [^34] 源自InterHand2.6M [^30] 的一个子集，包含模糊的手部图像及对应的真实3D手部数据。 ![Image](images/4effee62f594bbb73bedd510e8e4289d5111c3a1fa3697baefefa0c4b5b1be1a.jpg)

Figure 3: t-SNE of two-hands' 3D pose of our Re:InterHand, InterHand2.6M [^30], and HIC [^52].

尽管目前已推出的3D手部数据集数量众多，但具备强双手交互特性的数据集却寥寥无几 [^52] [^53] [^30] [^23]。其中，InterHand2.6M [^30] 和 HIC [^52] 应用最为广泛；原因在于RGB2Hands [^53] 没有3D指尖标注，而Ego3DHands [^23] 的图像并非照片级真实感。部分数据集 [^61] [^43] [^39] [^20] [^3] [^56] [^55] [^21] [^38] [^29] [^42] [^35] [^7] [^34] 虽包含双手标注，但手部间的交互性较弱。如图2所示，只有HIC [^52]、InterHand2.6M [^30] 以及我们的Re:InterHand数据集满足“双手间距较小且接触样本比例有意义”这一条件。遗憾的是，目前尚无任何此类双手交互数据集能同时实现两个目标：1）丰富且逼真的图像外观；2）准确且多样的互动手部真实3D姿态。我们的Re:InterHand是首个同时达成这两个目标的数据集。此外，如图3所示，与InterHand2.6M [^30] 和 HIC [^52] 相比，我们的Re:InterHand所包含的3D交互手部姿态更加多样。 --- ![Image](images/1914d5248eed96a53ac87f9b7e6a87bbb1b426a256b9f46dc798c37affb11563.jpg)

Figure 4: The overall pipeline of constructing our Re:InterHand dataset.

3D交互手部恢复。由于缺乏大规模数据集，早期的研究[^36] [^1] [^52] [^50] [^32] [^53]基于拟合框架，该框架将3D手部模型与几何观测数据相匹配，例如RGBD序列[^36]、手部分割图[^32]以及密集匹配图[^53]。Inter-Hand2.6M数据集[^30] [^29]催生了许多基于回归的方法[^41] [^58] [^22] [^14] [^5] [^6] [^19] [^25] [^26]。这类基于回归的方法在实时运行的同时，性能优于上述基于拟合的方法。Li等人[^22]提出了一种基于Transformer的网络，该网络利用左右手之间的交叉注意力机制。Moon[^26]则提出了一种3D交互手部恢复网络，该网络解决了多摄像头数据集与真实场景数据集之间的域差异问题，从而在真实场景图像上展现出稳健的性能。人体建模。已有多项研究[^34] [^40] [^00] [^00]致力于重建人脸和人体；然而，这些模型无法用于动画制作。为了实现带动画的重光照效果，Bi等人[^2]提出了一种用于面部虚拟形象的深度可重光照外观模型。DART数据集[^8]提供了经过重光照处理的手部图像；但由于其未考虑前景与背景之间的光线一致性，因此图像并非照片级真实。Iwase等人[^17]提出了一种高效的神经重光照系统，该系统采用师生框架和基于特征的重光照技术[^37]，可实现照片级真实的手部重光照效果。鉴于Iwase等人研究成果的高质量与渲染效率，我们采用了他们的重光照系统[^17]。 ## 3 数据集构建图4展示了我们数据集构建的整体流程，分为采集和重光照两个阶段。 ### 3.1 采集阶段采集阶段在我们的多摄像头工作室中捕捉手部数据。如图5所示，我们采集了10名受试者的数据。按照InterHand2.6M数据集[^30]的要求，我们采集了两种类型的序列：峰值姿态序列和运动范围序列。峰值姿态序列包含从中性姿态过渡到预定义姿态、再返回中性姿态的过程。采集峰值姿态的目的是尽可能捕捉多样化的姿态，包括极端姿态和手指最大弯曲姿态。运动范围序列则包含受少量指令引导的自然手部运动，例如挥手示意朋友到来。通过这种方式，我们既能从峰值姿态序列中获取多样化的姿态数据，又能从运动范围序列中获得自然的手部运动数据。我们在补充材料中提供了更多关于本数据集的图像和姿态示例。 --- ![Image](images/e0f2cb4062484e39ba6fe8e2a971fa8d72db453f37e6b03e2d26875634e03482.jpg)

Figure 5: Each column shows images of a subject of our Re:InterHand dataset. For each column, the top image with the neutral pose is from the capture stage, and the remaining images with captured poses are from the relight stage.

采集工作室。我们的采集工作室配备了469盏灯和170台经过校准且同步的摄像头。所有摄像头分布在手部的前方、侧面和顶部半球，距离手部约一米远。图像分辨率为$4096 \times 2668$像素，采集帧率为每秒90帧（fps）。遵循Bi等人[^2]的方法，我们每3帧交替采集全光照帧和部分光照帧。采集阶段仅使用全光照帧，而重光照阶段则利用部分光照帧来训练重光照网络。二维关节坐标与三维扫描。我们对原始视频数据进行处理，先进行二维关节检测[^45]，再进行三维扫描[^12]。二维关节检测器是在我们预留的手动标注数据集上训练的，该数据集包含90万张带有手部关节旋转中心坐标的图像；我们的手动标注工具与Moon等人使用的工具类似[^30]。在$1024 \times 667$图像空间中，我们的二维关节检测器误差为2.5像素。三维关节坐标。InterHand2.6M[^30]利用RANSAC算法对检测到的多视角二维关节坐标进行三角测量。我们发现他们的方法会产生时间上不一致的结果，因为这种三角测量并未考虑相邻帧之间的相似性。例如，由于二维关节检测器的误差，某些关节在不同视角下的语义位置可能不一致；如果RANSAC选取的视角不同，这些关节的三角测量三维坐标在相邻帧间可能会存在很大差异。我们并未采用三角测量方法，而是训练了一个三维关节检测网络，该网络以体素化的手部三维扫描为输入，并以多视角二维关节坐标为监督信号。由于相邻帧的输入（即体素化三维扫描）几乎相同，我们的网络能生成时间上更连贯、更平滑的结果。该网络基于V2V-PoseNet[^27]设计，这是一款从体素化手部数据中提取三维关节坐标的先进网络。首先，我们以RANSAC算法得到的初始左右手三维关节坐标的平均值为中心，构建三维包围盒，从而从三维扫描中生成两个体素体积；随后将每个三维包围盒周围的三维扫描体素化为(96, 96, 96)分辨率的数据。这些体素化三维扫描会被送入由堆叠的3D卷积层构成的V2V-PoseNet网络。我们对V2V-PoseNet的输出执行软argmax操作[^48]，从而以可微分的方式得到三维关节坐标。获得的三维关节坐标会以多视角二维关节坐标为监督信号进行训练：将三维坐标投影到各个视角下，再计算其与二维坐标之间的$L_{1}$距离。我们在所有帧上训练V2V-PoseNet，耗时1天，随后在同一组帧上测试以得到对应的三维关节坐标。我们获得的三维关节坐标误差为2.0毫米，该误差是相对于我们预留的人工标注数据集测算得出的。 --- 三维手部模型拟合。我们额外获取手部的三维网格，原因有二：其一，它们能提供三维关节坐标中不存在的有用表面信息；其二，它们是重光照网络的输入[^17]。为此，我们利用NeuralAnnot[^40]工具，将上述获得的三维关节坐标和三维扫描数据拟合为MANO[^29]等三维手部模型。三维手部模型是一种参数化模型，可根据三维姿态码和身份码生成三维手部网格：三维姿态码代表三维关节角度，身份码则决定了零姿态下的手部形状，比如厚度等特征。 ![Image](images/8cbd4bba0efc16514d3d61b49ac3800ebc3e2b7f21384980609493a5ff1577e8.jpg)

(a) 3D hand model fits from triangulated 3D joint coord.

NeuralAnnot以单张图像和3D关节坐标作为输入，输出3D姿态和ID编码，用于驱动3D手部模型。我们为NeuralAnnot采用了Pose2Pose [^28]的网络架构。在进行正运动学计算后，利用3D关节坐标对3D姿态和ID编码进行监督训练。此外，通过最小化3D网格与3D扫描数据之间的距离，利用3D扫描数据对由3D姿态和ID编码生成的3D网格进行监督训练。同时还会应用多种正则化项，例如1) $L_2$正则化项，以及2)碰撞避免正则化项。我们会针对每个受试者单独训练NeuralAnnot，且ID编码是直接优化的结果，而非从输入图像和3D关节坐标中回归得出。通过这种方式，同一受试者的3D手部模型会具有一致的ID编码。训练每个受试者的NeuralAnnot耗时不到1小时。训练完成后，我们会在训练集上对其进行测试。

(b) 3D hand model fits from V2V-PoseNet (Ours)

Figure 6: Comparison of 3D human model fits from (a) triangulation of InterHand2.6M [^30] and (b) our V2V-PoseNet. The three frames are consecutive ones, and the time difference between near frames is 0.02 seconds. Given the very short time difference between frames, the three frames should have almost the same 3D hands. (a) not only suffers from the collisions but also suffers from temporal inconsistency between very close frames. On the other hand, (b) does not suffer from the collisions and achieves temporal consistency between close frames.

我们会手动检查所有帧。拟合结果不正确的帧会被排除，不进入后续的重新打光阶段。图6显示该方法能生成时间上一致的结果。经检验，NeuralAnnot生成的MANO网格与3D扫描数据之间的误差仅为1.3毫米，且无需进行平移/旋转/缩放对齐。 ### 3.2 重新打光阶段在上述采集阶段完成数据采集后，我们会按照原有训练策略，为每个受试者训练一个重新打光网络 [^17]。遵循该策略，我们基于单手数据训练重新打光网络，因为单手数据的3D手部模型拟合效果比双手数据更精确，这能使重新打光网络的训练更加稳定。需要注意的是，用于训练重新打光网络的单手数据也是通过NeuralAnnot在单手采集数据上训练并测试得到的。更多细节可参考Iwase等人的研究 [^17]。训练好重新打光网络后，我们利用上述采集阶段中NeuralAnnot输出的3D姿态 [^29]，在指定相机参数下渲染两只手的图像。至于光照条件，我们采用了Gardner等人提供的2144张高分辨率环境贴图 [^10]。 ## 4 数据集发布我们的Re:InterHand数据集包含1)重新打光后的图像、2)非二值掩码，以及3)3D手部模型拟合结果，如图7所示。重新打光后的图像和非二值前景掩码来自第3.2节，3D手部模型拟合结果来自第3.1节。在10组采集数据中，我们选取7组作为训练集，剩余3组作为测试集。重新打光后的图像。为了渲染重新打光后的图像，我们首先从每组采集数据对应的170个相机中选取部分相机，以提升整体渲染速度并减少冗余。选取相机时，我们会统计第3.1节中每个相机的2D关节检测置信度之和，然后选出置信度总和排名前50的相机。通过这种方式，我们可以排除手部几乎不可见的相机。最远迭代采样算法会从选出的50个相机中选取N个相机，依据相机位置来确保视角尽可能多样化。对于基于帧的 --- 第三人称视角 ![Image](images/50ec76b9ee8472ce9530af3e714503fd87e045a30b335b32e2259450391aed31.jpg)

(a)

![Image](images/af9675363ea0fd5b966c49cb863c3b68005180f8ba0259166785c0ecab50f6bf.jpg)

(b)

(c)

(a)

Figure 7: (a) relighted rendered images, (b) masked images, and (c) MANO fitting overlay.

在面向帧的研究中，我们将采集数据的采样率设为5 fps，并设定N=20。随后，我们为每一帧图像使用不同的环境贴图进行渲染，最终得到49.3万张图像。而在面向视频的研究中，我们设定N=5，以30 fps的速率渲染图像，每个片段使用不同的环境贴图，最终得到73.9万张图像。无论是基于帧还是基于视频的划分方式，具有相同帧索引但视角不同的图像都是基于共享的环境贴图以多视图一致的方式渲染而成的。 ---

Table 2: RRVE comparison of InterWild [^26] trained on different data including variants of our dataset. We use the 3rd-person viewpoint split of our Re:InterHand.

Training sets	Testing sets
Training sets	InterHand2.6M	HIC	Re:InterHand
InterHand2.6M + MSCOCO	19.74	23.59	37.59
+ Capture stage	19.14	23.09	34.23
+ Capture stage and Composite	19.50	24.37	31.30
+ Capture stage and Composite (w. AdaIn [^16])	19.44	24.83	27.96
+ Capture stage and Relight stage (Ours)	19.40	21.36	20.07

![Image](images/fd9a2c17532ec904de6c1fa90be82c6b8a6f895d0af297afe17f54e1570f30e9.jpg)

(a) Capture stage

Figure 8: Image examples of datasets constructed in Tab. 2.

我们方法的优势之一在于能够渲染具有任意新相机参数的图像。除了上述预定义的第三人称视角外，我们还从随机的以自我为中心的视角渲染重新光照后的图像，以便将我们的Re:InterHand贡献给以自我为中心的3D手部研究社区。为此，我们首先利用包含双手和面部的3D扫描数据，手动将参考相机放置在双眼中间。参考相机的朝向被设定为能够看到双手的中心。随后，对于每一帧，我们会在参考相机周围20厘米范围内的3D盒内随机生成相机位置。我们还会通过施加$[-30^{\circ}, 30^{\circ}]$俯仰角、偏航角和滚转角来随机化相机的3D朝向。主点被设定在图像中心，焦距则在图像尺寸的$[0.7, 1.8]$倍范围内随机取值。为了模拟常用于以自我为中心视角的鱼眼相机，我们会根据预定义的平均值和标准差来随机化鱼眼相机的畸变参数。在基于帧的研究中，我们以30帧/秒的速度逐帧渲染不同环境贴图的图像，最终得到148K张图像；在基于视频的研究中，我们以30帧/秒的速度为每个视频片段渲染不同环境贴图的图像，同样得到148K张图像。对于每个峰值姿态序列，我们会排除首尾段落中手部速度低于阈值的帧，从而去除大量中性姿态帧。第三人称和以自我为中心的视角图像均分辨率为1K。非二值掩码。我们提供了源自重新光照阶段的非二值掩码。这种非二值掩码与基于MANO拟合生成的二值掩码不同，它与图像完美对齐，能保留指甲、肌肉隆起等细节轮廓。 3D手部模型拟合。我们提供MANO [^40]拟合结果，因为它是该领域应用最广泛的3D手部模型。此外，我们还提供了用于渲染重新光照图像的3D手部模型拟合结果。 ## 5 实验在所有实验中，我们采用右手相关顶点误差（RRVE）作为评价指标，即对齐右手根关节（即手腕）的平移后，估计的3D网格与真实3D网格之间的欧几里得距离（单位：毫米）。需要注意的是，以往研究中最常用的指标[^58] [^22] [^26]（MPVPE）是在分别对齐左右手平移后再计算的；因此，MPVPE并未考虑两只手之间的相对位置，而我们的RRVE则考虑了这一点。在第三人称视角实验中，我们在InterHand2.6M (H) [^30]、HIC [^52]的测试集以及我们提出的Re:InterHand测试集上报告RRVE结果。在以自我为中心的视角实验中，我们在用Re:InterHand训练集训练相应方法后，于其测试集上报告RRVE结果。所有实验均采用Re:InterHand的基于帧的数据划分。对于所有数据集，误差计算仅针对双手样本。 ---

Table 3: Benchmark of state-of-the-art methods with the RRVE metric. Methods with † are tested with GT hand boxes. Methods with * indicate that they are trained additionally on Re:InterHand. We use the 3rd-person viewpoint split of our Re:InterHand.

Methods	Testing sets
Methods	InterHand2.6M	HIC	Re:InterHand
IntagHand [^22] $^{\dagger}$	19.96	67.11	52.91
InterWild [^26]	19.74	23.59	37.59
InterWild [^26] $^{*}$	19.40	21.36	20.07

Table 4: Benchmark on the egocentric viewpoint split of our Re:InterHand.

Methods	RRVE
InterWild [^26]	28.89

重光照阶段的效果。表2展示了重光照阶段的效果。值得注意的是，我们的重光照阶段显著降低了HIC（由真实图像和自然图像组成）的误差。请注意，HIC中的图像均为全新图像，仅用于测试目的。我们的重光照阶段也大幅降低了Re:InterHand测试集上的测试误差，同时略微减少了InterHand2.6M上的误差。由于InterHand2.6M和采集阶段的数据均由实验室图像组成，因此来自拍摄工作室的数据（表中第二行）对InterHand2.6M误差的降低效果最为明显。然而，它无法改善包含真实图像和自然图像的HIC的测试结果，因为这类图像的外观与真实图像相差甚远，如图8(a)所示。采用合成方式的变体（第三和第四行）使基线模型（第一行）在HIC上的表现更差。我们认为原因是这些图像的前景和背景光线不一致，如图8(b)和(c)所示。为了获得更和谐的图像，我们将Adaln [^16]应用于前景的原始RGB像素，使其符合背景像素的分布。遗憾的是，由于该算法无法识别反射现象，它常常会将手部颜色改变为不真实的色彩，既无法保留肤色，又仅改变了光线，从而导致在包含真实图像和自然图像外观的HIC上性能下降。基准测试。表3和表4给出了使用IntagHand [^22]和InterWild [^26]这两种最先进的3D交互手部恢复方法的基准测试结果。我们使用了它们的官方检查点，对于IntagHand而言，由于该方法假设存在GT手框，因此我们采用了GT手框。 ## 6 结论总结。我们推出了Re:InterHand数据集，该数据集提供了外观高度逼真且多样的交互手部图像及其对应的GT 3D手部模型。为此，我们使用了精确追踪的3D姿态、最先进的重光照网络[^17]以及多张高分辨率环境贴图。我们希望我们的数据集能推动业界在野外3D交互手部恢复领域向前迈进一步。局限性。如图5所示，我们渲染的图像在前臂区域存在裁剪现象。这是因为我们的重光照网络仅输入3D手部几何信息，而非全身信息。我们认为这并非严重问题，因为大多数3D手部分析系统都会先使用手部检测器处理裁剪后的手部图像，而手部检测器可以在仅有2D标注的大规模真实数据集上训练。此外，我们观察到重光照后的图像有时会出现伪影。这是因为重光照网络是在单手数据上训练的，却在双手数据上测试，有时会导致姿态泛化失败。我们预计更好的重光照网络能够缓解这一问题。 --- ## 《重光照3D交互手部数据集》的补充材料在这份补充材料中，我们提供了因篇幅限制未能纳入正文的更多实验、讨论及其他细节。内容总结如下： 1. Re:InterHand的姿态示例 2. 隐私说明 ### A. Re:InterHand的姿态示例图A和图B展示了我们Re:InterHand数据集的姿态示例。 ### B. 隐私说明所有数据采集均在获得受试者签名及Meta公司的许可后开展。我们的Re:InterHand数据集不包含个人身份信息或冒犯性内容。 --- ![Image](images/692bde5dc4ebb6aec3c3c4727723fa42c0ccaab0b5916ece507320dd21d83370.jpg)

Figure A: Pose examples of our Re:InterHand dataset. Identifiable information is removed.

--- ![Image](images/b4c35f143ac213c95a4a1456faccb8156980249300dd00ce2fed457769c9d5ee.jpg) --- ### 参考文献 [^1]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV, 2012. [^2]: Sai Bi, Stephen Lombardi, Shunsuke Saito, Tomas Simon, Shih-En Wei, Kevyn Mcphail, Ravi Ramamoorthi, Yaser Sheikh, and Jason Saragih. Deep relightable appearance models for animatable faces. ACM TOG, 2021. [^3]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In ECCV, August 2020. [^4]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021. [^5]: Xinhan Di and Pengqian Yu. LWA-HAND: Lightweight attention hand for interacting hand reconstruction. In ECCVW, 2022. [^6]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In 3DV, 2021. [^7]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In CVPR, 2023. [^8]: Daiheng Gao, Yuliang Xiu, Kailin Li, Lixin Yang, Feng Wang, Peng Zhang, Bang Zhang, Cewu Lu, and Ping Tan. DART: Articulated hand model with diverse accessories and rich textures. In NeurIPS Datasets and Benchmarks Track, 2022. [^9]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In CVPR, 2018. [^10]: Marc-André Gardner, Kalyan Sunkavalli, Ersin Yumer, Xiaohui Shen, Emiliano Gambaretto, Christian Gagné, and Jean-François Lalonde. Learning to predict indoor illumination from a single image. ACM TOG, 2017. [^11]: Kristen Grauman, Andrew Westbury, Eugene Byrne, Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al. Ego4D: Around the world in 3,000 hours of egocentric video. In CVPR, 2022. [^12]: Kaiwen Guo, Peter Lincoln, Philip Davidson, Jay Busch, Xueming Yu, Matt Whalen, Geoff Harvey, Sergio Orts-Escolano, Rohit Pandey, Jason Dourgarian, et al. The relightables: Volumetric performance capture of humans with realistic relighting. ACM TOG, 2019. [^13]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3D annotation of hand and object poses. In CVPR, 2020. [^14]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3D pose estimation. In CVPR, 2022. [^15]: Yana Hasson, Gül Varol, Dimitris Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In CVPR, 2019. [^16]: Xun Huang and Serge Belongie. Arbitrary style transfer in real-time with adaptive instance normalization. In ICCV, 2017. [^17]: Shun Iwase, Shunsuke Saito, Tomas Simon, Stephen Lombardi, Timur Bagautdinov, Rohan Joshi, Fabian Prada, Takaaki Shiratori, Yaser Sheikh, and Jason Saragih. Relightable Hands: Efficient neural relighting of articulated hand models. In CVPR, 2023. [^18]: Sheng Jin, Lumin Xu, Jin Xu, Can Wang, Wentao Liu, Chen Qian, Wanli Ouyang, and Ping Luo. Whole body human pose estimation in the wild. In ECCV, 2020. [^19]: Dong Uk Kim, Kwang In Kim, and Seungryul Baek. End-to-end detection and pose estimation of two interacting hands. In ICCV, 2021. [^20]: Dominik Kulon, Riza Alp Guler, Iasonas Kokkinos, Michael M. Bronstein, and Stefanos Zafeiriou. Weakly-supervised mesh-convolutional hand reconstruction in the wild. In CVPR, 2020. [^21]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. $H_{2}O$: Two hands manipulating objects for first person interaction recognition. In ICCV, 2021. [^22]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention graph for single image two-hand reconstruction. In CVPR, 2022. ## [^23]: Fanqing Lin, Connor Wilhelm, and Tony Martinez. Two-hand global 3D pose estimation using monocular RGB. In WACV, 2021 --- [^24]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft COCO: Common objects in context. In ECCV, 2014. [^25]: Hao Meng, Sheng Jin, Wentao Liu, Chen Qian, Mengxiang Lin, Wanli Ouyang, and Ping Luo. 3D interacting hand pose estimation by hand de-occlusion and removal. In ECCV, 2022. [^26]: Gyeongsik Moon. Bringing inputs to shared domains for 3D interacting hands recovery in the wild. In CVPR, 2023. [^27]: Gyeongsik Moon, Ju Yong Chang, and Kyoung Mu Lee. V2V-PoseNet: Voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map. In CVPR, 2018. [^28]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. Accurate 3D hand pose estimation for whole-body 3D human mesh estimation. In CVPRW, 2022. [^29]: Gyeongsik Moon, Hongsuk Choi, and Kyoung Mu Lee. NeuralAnnot: Neural annotator for 3D human mesh training sets. In CVPRW, 2022. [^30]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In ECCV, 2020. [^31]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In CVPR, 2018. [^32]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM TOG, 2019. [^33]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In ICCV, 2017. [^34]: Yeounguk Oh, JoonKyu Park, Jaeha Kim, Gyeongsik Moon, and Kyoung Mu Lee. Recovering 3D hand mesh sequence from a single blurry image: A new dataset and temporal unfolding. In CVPR, 2023. [^35]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. AssemblyHands: towards egocentric activity understanding via 3D hand pose estimation. In CVPR, 2023. [^36]: Iasonas Oikonomidis, Nikolaos Kyriazis, and Antonis A Argyros. Tracking the articulated motion of two strongly interacting hands. In CVPR, 2012. [^37]: Rohit Pandey, Sergio Orts Escolano, Chloe Legendre, Christian Haene, Sofien Bouaziz, Christoph Rhemann, Paul Debevec, and Sean Fanello. Total relighting: learning to relight portraits for background replacement. ACM TOG, 2021. [^38]: Priyanka Patel, Chun-Hao P Huang, Joachim Tesch, David T Hoffmann, Shashank Tripathi, and Michael J Black. AGORA: Avatars in geography optimized for regression analysis. In CVPR, 2021. [^39]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed AA Osman, Dimitrios Tzionas, and Michael J Black. Expressive body capture: 3D hands, face, and body from a single image. In CVPR, 2019. [^40]: Javier Romero, Dimitrios Tzionas, and Michael J Black. Embodied Hands: Modeling and capturing hands and bodies together. ACM TOG, 2017. [^41]: Yu Rong, Jingbo Wang, Ziwei Liu, and Chen Change Loy. Monocular 3D reconstruction of interacting hands via collision-aware factorized refinements. In 3DV, 2021. [^42]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In CVPR, 2022. [^43]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In CVPR, 2017. [^44]: Srinath Sridhar, Franziska Mueller, Michael Zollhöfer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from RGB-D input. In ECCV, 2016. [^45]: Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. In CVPR, 2019. [^46]: Tiancheng Sun, Jonathan T Barron, Yun-Ta Tsai, Zexiang Xu, Xueming Yu, Graham Fyffe, Christoph Rhemann, Jay Busch, Paul E Debevec, and Ravi Ramamoorthi. Single image portrait relighting. ACM TOG, 2019. [^47]: Xiao Sun, Yichen Wei, Shuang Liang, Xiaou Tang, and Jian Sun. Cascaded hand pose regression. In CVPR, 2015. ## [^48]: Xiao Sun, Bin Xiao, Fangyin Wei, Shuang Liang, and Yichen Wei. Integral human pose regression. In ECCV, 2018 --- [^49]: Danhang Tang, Hyung Jin Chang, Alykhan Tejani, and Tae-Kyun Kim. Latent regression forest: Structured estimation of 3D articulated hand posture. In CVPR, 2014. [^50]: Jonathan Taylor, Lucas Bordeaux, Thomas Cashman, Bob Corish, Cem Keskin, Toby Sharp, Eduardo Soto, David Sweeney, Julien Valentin, Benjamin Luff, et al. Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences. ACM TOG, 2016. [^51]: Jonathan Tompson, Murphy Stein, Yann Lecun, and Ken Perlin. Real-time continuous pose recovery of human hands using convolutional networks. ACM TOG, 2014. [^52]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. IJCV, 2016. [^53]: Jiayi Wang, Franziska Mueller, Florian Bernard, Suzanne Sorli, Oleksandr Sotnychenko, Neng Qian, Miguel A Otaduy, Dan Casas, and Christian Theobalt. RGB2Hands: real-time tracking of 3D hand interactions from monocular RGB video. ACM TOG, 2020. [^54]: Shugo Yamaguchi, Shunsuke Saito, Koki Nagano, Yajie Zhao, Weikai Chen, Kyle Olszewski, Shigeo Morishima, and Hao Li. High-fidelity facial reflectance and geometry inference from an unconstrained image. ACM TOG, 2018. [^55]: Jae Shin Yoon, Zhixuan Yu, Jaesik Park, and Hyun Soo Park. HUMBI: A large multiview dataset of human body expressions and benchmark challenge. TPAMI, 2021. [^56]: Zhixuan Yu, Jae Shin Yoon, In Kyu Lee, Prashanth Venkatesh, Jaesik Park, Jihun Yu, and Hyun Soo Park. HUMBI: A large multiview dataset of human body expressions. In CVPR, 2020. [^57]: Shanxin Yuan, Qi Ye, Bjorn Stenger, Siddhant Jain, and Tae-Kyun Kim. Bighand2.2M benchmark: Hand pose dataset and state of the art analysis. In CVPR, 2017. [^58]: Baowen Zhang, Yangang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In ICCV, 2021. [^59]: Jiawei Zhang, Jianbo Jiao, Mingliang Chen, Liangqiong Qu, Xiaobin Xu, and Qingxiong Yang. 3D hand pose tracking and estimation using stereo matching. arXiv preprint arXiv:1610.07214, 2016. [^60]: Xiuming Zhang, Sean Fanello, Yun-Ta Tsai, Tiancheng Sun, Tianfan Xue, Rohit Pandey, Sergio Orts-Escolano, Philip Davidson, Christoph Rhemann, Paul Debevec, et al. Neural light transport for relighting and view synthesis. ACM TOG, 2021. [^61]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In ICCV, 2017. [^62]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHand: A dataset for markerless capture of hand pose and shape from single RGB images. In ICCV, 2019.