# ARCTIC：一个用于灵巧双手与物体交互的数据集 范子聪 $^{1,3}$ 奥米德·塔赫里 $^{3}$ 迪米特里奥斯·齐奥纳斯 $^{2}$ 穆罕默德·科卡巴斯 $^{1,3}$ 曼努埃尔·考夫曼 $^{1}$ 迈克尔·J·布莱克 $^{3}$ 奥特马尔·希利格斯 $^{1}$ $^{1}$苏黎世联邦理工学院，瑞士 $^{2}$阿姆斯特丹大学 $^{3}$马克斯·普朗克智能系统研究所，德国图宾根 ![Image](images/35e45c7c6d86c912443286438011a24ab630a56d554a26a269f814d710f0b57b.jpg)
(c) Bimanual manipulation
(d) Changing contact
![Image](images/e809ccb219d0170bf5c5bac4946c41d043cb0ec4c540e3695eb2d8f7831ec6be.jpg)
(e) Object articulation
Figure 1. ARCTIC is a dataset of hands dexterously manipulating articulated objects. The dataset contains videos from both eight $3^{rd}$-person allocentric views (a) and one $1^{st}$-person egocentric view (b), together with accurate ground-truth 3D hand and object meshes, captured with a high-quality motion capture system. ARCTIC goes beyond existing datasets to enable the study of dexterous bimanual manipulation of articulated objects (c) and provides detailed contact information between the hands and objects during manipulation (d-e).
## 摘要 人类凭直觉就能理解：无生命的物体不会自行移动，其状态变化通常是由人为操作引起的（比如打开一本书）。但机器尚不具备这种能力。部分原因是目前还没有包含真实3D标注的数据集，可用于研究手部与可动物体的物理一致性且同步的运动规律。为此，我们推出了ARCTIC——一个记录双手灵巧操作物体的数据集，其中包含210万帧视频，每帧都配有精准的3D手部与物体网格模型，以及详细的动态接触信息。该数据集涵盖了剪刀、笔记本电脑等物体的双手协同操作场景，其中手部姿态与物体状态会随时间共同演变。我们提出了两项全新的手部-物体交互任务：（1）一致运动重建：给定单目视频，目标是重建出三维状态下的两只手及可动物体，确保其运动在时空上保持一致；（2）交互场估计：需从图像中估算出手部与物体间的密集相对距离。我们分别提出了ArcticNet和InterField两个基准模型，并在ARCTIC数据集上对其进行了定性与定量评估。我们的代码和数据可在获取。 ### 1. 引言 人类经常需要操作复杂的物体：我们打开笔记本电脑盖以便工作，喷洒清洁剂进行清洁，或是精细控制手指用剪刀裁剪——物体的刚性部件与可动部件会与我们的手一同运动。无生命的物体只有在受到外力作用时才会移动或变形。在手部姿态估计领域，关于操作过程中手部与物体物理一致性动力学的研究至今仍相对匮乏。部分原因是现有的手部-物体数据集[^8] [^22] [^23] [^25] [^37] [^41]大多仅局限于对刚性物体的抓取，几乎不存在关于可动物体丰富且灵巧的操作示例。 为了能够研究灵巧的可动物体-手部交互行为，我们收集了一个名为ARCTIC（ARticulated objecTts in InteraCtion）的新数据集。ARCTIC包含多视角RGB帧的视频序列，每一帧都配有精准的3D手部与物体网格模型。ARCTIC收录了10名受试者与11种可动物体互动的数据，共计210万张RGB图像。这些图像是从多个同步且经过校准的视角拍摄的，包括8个静态的物方视角和1个移动的自身视角。为了获取精准的3D网格模型 --- 在操作过程中，我们将彩色相机与54台高分辨率的Vicon动作捕捉相机同步[^75]。这使得我们可以使用体积很小的动作捕捉标记点，这些标记点既不会干扰手与物体的交互，在图像中也几乎不可见。随后，我们将预先扫描好的人体和物体网格模型与观测到的标记点进行匹配[^42] [^65]。这些物体由两个围绕同一轴线旋转的刚性部件组成，比如图1中的翻盖手机（所有物体详情参见补充材料）。 我们的数据集支持两项新任务：（1）连贯的运动重建；（2）交互场估计。对于连贯的运动重建任务而言，给定单目视频后，其目标是重建两只手与一个铰接物体的三维运动。具体而言，重建出的手-物体网格模型应保证手与物体接触、物体关节活动以及交互过程中的运动在时空上均保持一致。这项任务面临诸多挑战：（1）时空一致性要求所有帧中手与物体的三维对齐必须精确；（2）由于深度模糊以及灵巧操作过程中的严重遮挡现象，这种精确度很难实现；（3）无约束的交互会导致手部姿态和接触方式比现有数据集中呈现的更多样化[^8] [^22] [^23] [^41]（详见图2）。 作为应对这些挑战的第一步，同时也为后续研究提供基准，我们推出了ArcticNet模型，用于从视频中重建两只手与一个铰接物体的运动。ArcticNet采用编码器-解码器架构，来估算两只手的MANO手模型参数[^53]以及我们的铰接物体模型参数。我们测试了ArcticNet的两种变体：单帧模型和受[^34]启发的带有循环神经网络结构的时间模型。我们提供了定性和定量的结果，以供后续比较使用。 在研究手与物体的交互时，接触情况至关重要[^21] [^77]。一些方法[^26] [^77]致力于探索从单张RGB图像中进行二元接触估计的任务。在双手操作的场景下，手可能靠近物体但并未发生接触。为了更详细地了解即便没有接触时手与物体之间的动态相对空间关系，我们提出了从RGB图像中估计交互场的通用任务。其目标是针对每个手部顶点，估算其到物体网格的最短距离，反之亦然（可视化效果见图6）。我们为这项任务引入了基准模型InterField，并在ARCTIC数据集上对InterField的单帧版本和循环神经网络版本进行了基准测试，以便后续比较。 总而言之，我们的贡献如下：（1）我们推出了ARCTIC，这是首个包含两只手灵巧操作铰接物体的大规模数据集，其中包含了多视角RGB图像以及精确的三维网格模型；（2）我们提出了连贯运动重建和交互场估计这两项新任务，用以研究手与铰接物体符合物理规律的运动；（3）我们在ARCTIC上为这两项任务提供了基准模型。 ### 2. 相关工作 人-物体数据集：多个数据集 [^1] [^7] [^46] [^61] [^70] [^73] 包含人-物体交互的图像，但本文聚焦于有助于机器学习的大规模数据 [^3] [^19] [^22] [^25] [^27] [^55] [^89]。数据集可分为三类。（1）人体与刚性物体：Bhatnagar 等人 [^3] 和 Huang 等人 [^27] 提出了用于人体与大型物体交互的图像数据集。与我们的数据集相比，[^3] 未捕捉手部。Huang 等人 [^27] 使用多视角 RGB-D 设置捕捉手部和身体，而我们的数据使用 MoCap 设置采集，以获得更准确的 3D 数据。与二者相比，我们包含灵巧的双手操作、动态的手-物体接触以及铰接式物体。GRAB [^65] 包含详细的人-物体交互但没有图像，而 BEDLAM [^4] 包含带有真值人体的视频但没有物体交互。（2）单只手与刚性物体：大多数手-物体数据集 [^6] [^8] [^19] [^22] [^25] [^41] 由单手握持交互组成。然而，握持交互中的手部姿态大多静态，随时间的姿态变化相对较小。Hampali 等人 [^22] 使用多 RGB-D 系统，并通过序列级拟合和接触约束同时拟合 MANO 与 YCB 物体网格。（3）双手与刚性物体：Kwon 等人 [^37] 和 Hampali 等人 [^23] 提出了与刚性物体交互的双手数据集。与（2）和（3）相比，我们的数据集具有完整人体、双手以及铰接式物体的 3D 标注。我们超越握持交互，聚焦于约束更少的灵巧双手操作。我们在第 3.1 节讨论我们的数据集（ARCTIC）与现有手-物体数据集 [^8] [^22] [^23] [^37] [^41] 之间的比较。 从RGB图像中估计3D手部与物体：自Rehg和Kanade[^51]的研究以来，单目RGB 3D手部重建已有较长的发展历史。文献中的多数研究集中于仅涉及手部的重建工作[5, 17, 25, 28, 38, 44, 45, 57–60, 71, 80, 83, 87, 87, 88]。Zimmermann等人[^88]采用深度卷积网络，通过多阶段方法实现3D手部姿态估计。Spurr等人[^59]引入了生物力学约束来规范手部姿态预测结果。Ziani等人[^87]利用自监督的时间对比学习框架来提升手部运动重建的平滑性。近年来，基于RGB图像的手-物体重建研究受到了越来越多的关注[^12] [^21] [^24] [^25] [^40] [^66] [^77] [^86]。Tekin等人[^66]在视频中推断手部与物体的3D控制点，并利用时序模型在时间维度上传递相关信息。Hasson等人[^25]生成合成图像，训练神经网络来回归3D手部与刚性物体的静态抓取姿态，训练过程中采用了完整的监督信号以及接触损失函数。Corona等人[^12]从图像中估计物体的MANO抓取姿态，他们先推断物体形状与粗略的手部姿态，再通过接触约束与对抗性先验对结果进行优化。Liu等人[^40]采用了基于Transformer的上下文推理模块，用以编码手部与物体之间的协同关系。 ---
datasetreal images# number of:ego-centricimage resol.articulated objectsboth handshuman bodydexterous manipulationannot. type
imgview
FreiHand [^89]✓37k8✗$224 \times 224$✗✗✗✗semi-auto synthetic
ObMan [^25]✗154k1✗256 $\times$ 256✗✗✗✗magnetic multi-kinect
FHPA [^19]✓105k1✓$1920 \times 10^{80}$✗✗✗✗magnetic multi-kinect
HO3D [^22]✓78k1-5✗640 $\times$ 480✗✗✗✗multi-kinect
ContactPose [^6]✓2.9M3✗960 $\times$ 540✗✗✗✗multi-kinect
GRAB [^65]-----✗✓✓✗mocap
DexYCB [^8]✓582k8✗640 $\times$ 480✗✗✗✗multi-manual
H2O [^37]✓571k5✓1280 $\times$ 720✗✓✗✗multi-kinect
H2O-3D [^23]✓76k5✗640 $\times$ 480✗✓✗✗multi-kinect
HOI4D [^41]✓2.4M1✓1280 $\times$ 800✓✗✗✗single-manual
ARCTIC (Ours)✓2.1M9✓2800 $\times$ 2000✓✓✓✓mocap
Table 1. Comparison of our ARCTIC dataset with existing datasets. The keyword “single/multi-manual” denotes whether single or multiple views being used to annotate manually.
此外，物体特征在接触区域会产生更强的响应。Zhou等人[^84]利用现成的单帧手-物重建方法预测出的运动数据来学习交互运动的先验，以去除噪声。但这些方法均未涉及关节物体，而关节物体恰恰会导致复杂的手-物交互。 人-物接触检测：研究表明接触对以下方面具有重要意义：姿态分类[^2] [^18] [^29]、姿态估计[^21] [^22] [^25] [^61] [^69] [^73] [^77]、手持扫描[^72] [^82]以及抓取合成[^21] [^31] [^65] [^77]。许多方法[^21] [^22] [^61] [^69] [^73]通过判断3D手部/身体与物体网格之间的邻近程度来估算接触点，并据此约束姿态估计结果。接触估算主要分为三类：1）直接基于网格计算；2）从RGB图像的像素空间计算；3）从RGB图像中估算3D空间的二元接触情况。Grady等人[^21]采用现成的回归器来估算抓取的手部和物体网格，再利用这些网格预测[^6]提供的物体上的接触点，最后借助这些接触点优化抓取效果。他们最近发布的数据集[^20]包含了手部与平面传感器表面之间的接触及压力信息。Tripathi等人[^68]从人体与场景的接触中推断压力；Narasimhaswamy等人[^47]和Shan等人[^56]则从输入的RGB图像中推断接触状态下的手部边界框；Chen等人[^9]可推断像素级的人-场景接触情况；Rogez等人[^52]利用合成数据学习从图像中估算接触点，而Pham等人[^49]则使用通过带传感器的物体采集的真实接触数据。与其他方法不同，[^52]和[^49]能从RGB图像中估算3D二元接触情况，但前者对真实图像的泛化能力较差，后者由于数据量有限采用了传统方法。BSTRO能从图像中估算3D身体上的接触点，但无法估算3D手部或物体姿态[^26]；Hi4D[^78]提供了近距离人机交互的真实接触标签。相比之下，我们提出的交互场估算任务不仅局限于二元接触，还能建模手部与物体之间的密集相对距离。得益于我们出色的灵巧操控能力，ARCTIC数据集涵盖了快速变化的手-物接触情况。 ### 3. ARCTIC数据集 概述：为了研究手部运动中的物体关节活动情况，我们构建了ARCTIC——一个包含手部与关节物体精确3D标注的视频数据集。ARCTIC包含10名受试者（其中5名为女性）对11个关节物体进行的339组灵巧操控序列。该数据集包含来自8个固定视角和1个第一人称视角的210万张RGB图像，同时配有3D手部和物体网格数据。为了涵盖不同的交互模式，我们要求受试者要么“使用”物体（170万张图像），要么“抓取”物体（45.7万张图像）。ARCTIC数据集还可生成双手、人体及物体的深度图像（详见补充材料）。 #### 3.1. 数据特点 数据集特征对比：表1对ARCTIC与现有的手-物体数据集进行了比较。ARCTIC是唯一一个同时包含双手、完整人体（采用SMPL-X模型 [^48]）以及可活动物体的数据集。ARCTIC配备了经过校准的摄像头（8个外心视角和1个同心视角），能够拍摄高分辨率图像，从而支持单目、多视角及同心视角下的重建研究。重要的是，ARCTIC是一个专注于双手法灵活操作的运动数据集，这意味着受试者可以用双手自由地与物体互动。相比之下，现有的手-物体数据集主要聚焦于单手抓取 [^8] [^22] [^25]，且运动过程往往受到控制 [^23] [^37]。GRAB [^65] 虽然利用类似的动作捕捉系统实现了快速运动，但仅能捕捉刚性物体，且没有图像数据。HOI4D [^41] 是唯一包含可活动物体的手-物体数据集，但它仅有单一视角、无法捕捉完整人体、仅涉及单手操作，且主要关注抓取动作。关键在于，其手部数据仅从单一同心视角采集，这会导致被遮挡手指的信息产生歧义。 --- ![Image](images/7fc3aca614d2446118d7f532a3a454829ed7dd7b649f3db02022dba2c8b05ce9.jpg)
Figure 2. Hand pose and contact variations in datasets. (a) T-SNE clustering of hand poses in different datasets. The plot shows that ARCTIC has a significantly larger range of poses than all existing datasets. (b) Frequently contacted regions for hands in HO-3D [^22], GRAB [^65], and ARCTIC. As seen with the broader heatmap spread on the hands, ARCTIC has higher contact diversity. (c) Frequently contacted areas on our objects.
采集设置对比：要在保持高质量3D标注的同时捕捉灵活操作过程极具挑战性，因为交互过程中存在快速运动和严重遮挡现象。尤其是手部关节常常会出现明显的自遮挡情况。当手部与物体互动或存在多只手时，遮挡现象会更加严重 [^44]。现有的手-物体数据集 [^8] [^22] [^23] [^37] [^41] 均采用1–8台普通RGB-D摄像头进行采集，这种方式不足以消除遮挡问题。因此，这些数据集中的手-物体运动往往较为缓慢，且主要聚焦于抓取交互。为了减少遮挡并实现对灵活操作的捕捉，我们采用了配备54台高端红外Vantage-16摄像头的精准Vicon动作捕捉系统来构建数据集 [^75]。如需查看我们的灵活运动示例，以及各数据集间的3D标注质量对比，请观看项目页面上的视频。 手部姿态与接触差异：图2a通过展示3D手部关节的T-SNE聚类结果 [^8]，对比了不同手-物体数据集 [^22] [^23] [^41] [^74] 中的手部姿态变化。图表显示，我们的数据集（蓝色所示）的手部姿态多样性明显优于其他数据集。这源于ARCTIC的无约束特性——受试者可以灵活且动态地操控物体（详情见项目页面视频）。该图还展示了ARCTIC数据集中手部（b）和物体（c）上的常见接触区域。我们参照GRAB [^65] 的方法生成接触热图，将各序列中顶点的逐帧二值接触标签进行整合。“热度”越高的区域表示接触概率越高，而“热度”较低的区域则接触概率越低。与HO-3D [^22] 和GRAB [^65] 类似，我们的数据集中指尖 ![Image](images/f7045d70e24e446a5fd37e3f5518d899802433e3bccae75e406bb51441864009.jpg)
Figure 3. Our camera views. We capture high resolution images in 8 static allocentric and 1 moving egocentric views. Here we show zoomed-in crops and the original images.
最有可能与物体接触。不过，由于ARCTIC包含了灵活操作数据，其手掌区域的接触概率比其他数据集更高，因此热图看起来更加“分散”。对于日常常见的普通尺寸物体，比如番茄酱瓶，其接触区域与我们平时的使用习惯相符。而对于华夫饼烤模这类较小的玩具物体，受试者往往会用一只手拿起并支撑物体，导致物体底部出现“热点”区域。 #### 3.2. 数据采集设置 我们详细介绍了用于采集强交互手部与关节物体3D表面的运动捕捉（MoCap）系统设置。我们将运动捕捉系统与多视角RGB系统同步。关于标记集的详细信息请参阅补充材料。利用后者，我们可以从8个静态的离心视角以及1个移动的自我中心视角采集RGB视频，帧率为30 FPS（见图3）。采集流程分为五个步骤：（1）获取受试者及物体的3D模板几何形状；（2）估算关节物体的旋转轴，相关内容见补充材料；（3）利用基于标记的运动捕捉技术结合经过校准且同步的视频来采集交互数据；（4）根据[^42]和[^65]所述方法，从运动捕捉标记中求解身体、手部和物体的姿态；（5）基于邻近性计算手部与物体的接触情况，相关细节见补充材料。 获取标准几何形状：我们使用3dMD [^67]扫描仪，通过3D扫描获取每位受试者处于标准T姿势下的手部与身体真实形状。我们将SMPL-X [^48]模型与不同姿势、不同时间点的3D扫描结果进行配准，从而构建出每位受试者的个性化3D模板。关于模板创建的细节请参阅补充材料。为了获取物体几何形状，我们使用Artec 3D手持扫描仪以预设姿势扫描每个物体。随后在Blender中将每个扫描得到的物体网格拆分为两个可活动的部分。关于这11个关节物体的相关信息均见补充材料。 采集人-物交互数据：为确保精度，我们使用配备54台红外Vantage-16摄像头的Vicon运动捕捉系统进行全身、手部及物体追踪，[^75]以此尽量减少遮挡带来的问题。为了采集 --- 可与运动捕捉数据一同使用的RGB图像，我们权衡了精度与标记干扰度之间的关系，最终选择在手部和物体上粘贴半径为1.5毫米的小型半球形标记。这些标记被贴在手的背侧，以免干扰参与者在自然的手-物交互过程中的操作，这一做法与GRAB [^65]类似。虽然我们的研究重点是手部，但也会获取全身姿态估计结果，因为它们能为每只手提供更可靠的全局旋转与平移信息。因此，我们将SMPL-X [^48]模型拟合到观测到的标记上，以获得更逼真的腕部关节运动效果，因为MANO模型并不包含腕部关节。 从运动捕捉数据中提取表面信息：按照[^42]和[^65]所述方法，我们将运动捕捉标记的位置与在标准空间中获取的几何模型中的对应受试者/物体顶点相关联。我们首先在受试者/物体网格上初步确定标记与顶点的对应关系，随后利用MoSh++ [^42]来优化这种对应关系。为了获得能够解释运动捕捉数据的全身及手部表面，我们以每位受试者的SMPL-X模板为基础优化SMPL-X姿态，从而最小化标记与其在SMPL-X网格上对应点之间的距离。 关节物体的表面由物体基座部分的6D姿态以及与标准姿势相关的1D关节角度参数化描述。我们通过求解某一运动捕捉帧中物体基座的运动捕捉标记与该帧下物体标准空间中对应顶点之间的刚性变换，来获取该帧中物体基座的6D姿态。1D关节角度则是根据估算出的旋转轴（详见补充材料）以及预设的初始姿势计算得出的。 ### 4. 评估协议 数据划分：我们按受试者对数据进行划分，其中8名受试者用于训练，1名用于验证（男性），1名用于测试（女性）。为确保评估时的性别平衡，我们使用1名男性和1名女性受试者。基于这一划分方式，我们制定了两种协议：以物为中心协议（allo）和以人为中心协议（ego）。前者使我们能够以第三人称视角研究相关任务，后者则类似于混合现实环境中的第一人称视角。在以物为中心的协议中，模型在训练和评估阶段只能获取以物为中心的视图图像；在以人为中心的协议中，为了提供更多的训练图像，我们允许模型访问训练集中的所有视图图像，但在评估时仅使用以人为中心的图像。更多信息可参见补充材料。 一致性运动重建指标：我们的目标是从视频中重建手部及被操纵物体的三维运动。重要的是，我们的关注点不仅限于手-物体姿态，还要求重建后的网格能够准确反映手-物体接触情况（CDev）以及平滑的运动状态（ACC）。此外，当手部移动或操纵物体时，处于稳定接触状态的手部和物体顶点应同步运动（MDev）。基于此，我们定义了以下指标： - 接触偏差（CDev）：对于某一帧，假设$\{(\mathbf{h}_i, \mathbf{o}_i)\}_{i=1}^C$为成对的接触手-物体顶点（$< 3mm$为真实值中的距离），$\{(\hat{\mathbf{h}}_i, \hat{\mathbf{o}}_i)\}_{i=1}^C$为对应的预测结果。CDev定义为$\hat{\mathbf{h}}_i$与$\hat{\mathbf{o}}_i$之间的平均距离，单位为毫米： $$ \begin{array}{r}{\frac{1}{C}\sum_{i=1}^{C}||\hat{\mathbf{h}}_{i}-\hat{\mathbf{o}}_{i}||}\end{array} $$ 该指标反映了预测结果中手部顶点与物体上假定接触顶点的偏离程度。 - 运动偏差（MDev）：给定手部和物体的真实序列，我们将第t帧时手部的顶点i和物体的顶点j分别记为$\mathbf{h}_i^t$、$\mathbf{o}_j^t$。我们用$(i, j, m, n)$表示在从第m帧到第n帧的时间窗口内，$\mathbf{h}_i^t$与$\mathbf{o}_j^t$存在稳定接触，而在时间$m-1$和$n+1$时二者无接触（即最长接触窗口）。如果手-物体顶点$(i, j)$在窗口$(m, n)$内每帧的距离都低于阈值$\alpha$，则说明它们在窗口内存在稳定接触： $$ \forall t\in\{m,\cdots,n\},\left\|\mathbf{h}_{i}^{t}-\mathbf{o}_{j}^{t}\right\|\leq\alpha. $$ 根据上述定义，我们从每个真实序列中提取一组元组$\{(i, j, m, n)\}$。当两个手-物体顶点$h_i^t, o_j^t$在窗口内处于稳定接触状态时，它们在连续帧中应沿同一方向运动。为了衡量这一点，我们针对预测的手-物体序列$(i, j, m, n)$和$\hat{h}$中的元组$\hat{o}$定义运动偏差如下： $$ \begin{array}{r l}{\frac{1}{n-m}\sum_{t=m+1}^{n}||\mathbf{\delta}\hat{\mathbf{h}}_{i}^{t}-\mathbf{\delta}\hat{\mathbf{o}}_{j}^{t}||}&{{}\quad}\end{array} $$ 其中$\delta\hat{\mathbf{h}}_i^t = \hat{\mathbf{h}}_i^t - \hat{\mathbf{h}}_i^{t-1}$和$\delta\hat{\mathbf{o}}_j^t = \hat{\mathbf{o}}_j^t - \hat{\mathbf{o}}_j^{t-1}$。直观而言，该指标衡量了窗口$(m, n)$内接触状态下的手-物体顶点在连续帧中的运动方向差异。我们仅考虑持续时间至少0.5秒或15帧（即$n - m + 1 \geq 15$）的较长运动，并选取$\alpha = 3mm$以检测出足够数量的窗口。我们会针对所有检测到的窗口计算该指标，再取其平均值。 • 加速度误差（ACC）：根据[^34]的描述，我们用$m/s^{2}$来报告加速度误差，以此衡量重建的平滑度。该误差通过计算每只手和物体对应的真实顶点序列与预测顶点序列之间的加速度差异得到。在计算加速度之前，我们会先减去每个实体的根部坐标[^34]。物体的根部被定义为物体基座的中心。注意：我们在此用$m/s^{2}$报告此误差，而[^34]中则报告$mm/s^{2}$。更多细节请参阅补充材料。 --- 除了运动与接触指标外，我们还需要用于衡量手部和物体姿态及其相对位移的指标： - 平均关节位置误差（MPJPE）：减去根部坐标后，每只手预测的21个关节与真实关节之间的L2距离（单位：毫米）。 - 平均关节活动误差（AAE）：预测的关节活动度与真实关节活动度之间的平均绝对误差。 • 成功率：依据[^62]和[^79]的方法，为了衡量物体重建质量，我们采用一种与物体尺寸无关的成功率指标。该指标指预测的物体顶点中，其与真实顶点间的L2误差小于物体直径5%的顶点所占的百分比： $$ \begin{array}{r l}&{\frac{1}{V_{o}}\sum_{i=1}^{V_{o}}{\mathbb{1}(\|{\bf o}_{i}-\hat{\bf o}_{i}\|<0.05D)}\times100\%}\end{array} $$ 其中，D、$V_o$、$\mathbf{o}_i$、$\hat{\mathbf{o}}_i$分别表示物体直径、物体顶点数量、真实物体顶点以及预测物体顶点，$1(\cdot)$是指示函数。为了排除根部估计的影响，我们分别用物体根部坐标减去预测顶点和真实顶点。物体的根部即每个物体基座的中心。 • 平均根部相对位置误差（MRRPE）：根据[^17]和[^44]的方法，为了衡量手与手之间、手与物体之间的根部位移，我们采用该指标来量化场景中两个实体a和b之间的相对根部位移： $$ \mathrm{M R R P E}_{a\rightarrow b}=\left\|\left(\mathbf{J}_{0}^{a}-\mathbf{J}_{0}^{b}\right)-\left(\hat{\mathbf{J}}_{0}^{a}-\hat{\mathbf{J}}_{0}^{b}\right)\right\|_{2}, $$ 其中，$a \in \{l, r, o\}$、$b \in \{l, r, o\}$、l、r、o分别代表左手、右手和物体，$\mathbf{J}_0 \in \mathbb{R}^3$是真实的根部关节位置，$\hat{\mathbf{J}}_0$是预测的根部关节位置。该指标的图示说明可在补充材料中找到。 交互场估计指标：在本任务中，给定视频中的图像，对于每个手部顶点i，我们估算其到物体$\mathbf{F}_i^{r \to o} \in \mathbb{R}$的最短距离$(i.e.,$（即手部到物体的距离场），反之亦然。以右手到物体的距离场为例，为了量化该误差，我们测量预测距离$\mathbf{F}_i^{r \to o}$与真实距离$\mathbf{F}_i^{r \to o}$之间的平均误差（单位：毫米），我们将其称为平均距离误差。该误差的计算方式如下： $$ \begin{array}{r l}{\frac{1}{V_{r}}\sum_{i=1}^{V_{r}}\left|\mathbf{F}_{i}^{r\rightarrow o}-\mathbf{\hat{F}}_{i}^{r\rightarrow o}\right|}&{{}}\end{array} $$ 其中，$V_{r}$表示右手顶点的数量。为了衡量平滑度，我们对每个序列中的每一帧估算距离场，随后计算预测距离场序列的加速度序列。加速度误差则通过预测加速度序列与真实加速度序列之间的平均绝对差来计算。加速度误差的公式详见补充材料。 ![Image](images/28bc1191692090fbc8bd8e0303adb0bd47b87854322c3721421c949dfbc55db8.jpg)
Figure 4. ArcticNet-SF architecture. The CNN encoder yields image features x. The hand decoders predict MANO parameters $\boldsymbol{\Theta}_l, \boldsymbol{\Theta}_r$ and their translation $\mathbf{T}_l, \mathbf{T}_r$ while the object decoder estimates the articulated object pose $\Omega$ consisting of the articulation, rotation and translation. With parametric models of hands $\mathcal{H}(\boldsymbol{\Theta})$ and articulated objects $\mathcal{O}(\boldsymbol{\Omega})$, we obtain 3D meshes for the two hands and the articulated object.
### 5. 基准模型与实验 我们针对ARCTIC提出了两项任务：一致的运动重建和交互场估计。在一致的运动重建方面，我们根据视频重建两只手和一个可活动物体的三维运动。在交互场估计方面，给定一段视频后，我们会针对每个手部顶点估算其到物体以及物体到该顶点的最近距离。在此，我们详细阐述并评估这两项任务中的基准模型，为今后的对比研究奠定基础。 #### 5.1. 一致的运动重建 问题表述：给定一段视频，我们的目标是在每一帧中重建受试者两只手以及一个可活动物体在精细操作过程中的三维运动。我们特别强调要求重建出的手-物体网格在物体活动与操作期间能够保持时间上一致的手-物体接触和运动关系。 参数化模型：为简洁起见，我们用l、r和o分别表示左手、右手和物体。对于手部，我们使用MANO [^53] 来通过 $\boldsymbol{\Theta} = \{\theta, \beta\}$ 表示手部姿态和形状，该模型包含姿态参数 $\theta \in \mathbb{R}^{48}$（含全局朝向）以及形状参数 $\beta \in \mathbb{R}^{10}$。MANO模型将 $\boldsymbol{\Theta}$ 映射为具有特定形状和姿态的三维网格 $\mathcal{H}(\theta, \beta) \in \mathbb{R}^{778 \times 3}$。三维关节位置 $\mathbf{J} = \mathcal{W} \boldsymbol{H} \in \mathbb{R}^{\mathbf{J} \times 3}$ 是通过预训练的线性回归器 $\mathbf{W}$ 获得的。对于每个物体，我们利用扫描得到的物体网格、估算出的旋转轴以及第3.2节中确定的标记点-顶点对应关系来构建三维模型 $\mathcal{O}(\cdot)$。该函数以可活动物体的姿态 $\Omega$ 作为输入，输出具有特定姿态的三维网格 $\mathcal{O}(\Omega) \in \mathbb{R}^{\nabla \times 3}$，其中 $\nabla$ 表示物体的顶点数量。物体姿态 $\Omega \in \mathbb{R}^{7}$ 包括用于物体活动的1维旋转角度（弧度）$\omega \in \mathbb{R}$，以及物体的6维刚体姿态，即其旋转参数 $\mathbf{R}_o \in \mathbb{R}^{3}$ 和平移参数 $\mathbf{T}_o \in \mathbb{R}^{3}$。 基准模型：我们引入ArcticNet来估算 基准模型：我们引入ArcticNet来根据RGB图像估算两只手以及可活动物体的姿态。 --- ![Image](images/365f7b87ab9fe9568944c52d5bacdeeb2f36cacd711273606f2d471d109571f2.jpg)
Figure 5. Qualitative results of ArcticNet-LSTM (a) and InterField-LSTM (b). Best viewed in color and zoomed in. See SupMat for results of ArcticNet-SF and InterField-SF.
Contact and Relative PositionMotionHandObject
SplitsMethod$CDev_{ho} [mm]\downarrow$$MRRPE_{r1/ro} [mm]\downarrow$$MDev_{ho} [mm]\downarrow$$ACC_{h/o} [m/s^{{2}}]\downarrow$$MPJPE_{h} [mm]\downarrow$$AAE [^{\circ}]\downarrow$Success Rate [%] $\uparrow$
Allo. ValArcticNet-SF41.450.1/37.610.46.6/8.823.05.971.8
ArcticNet-LSTM38.847.1/36.88.95.6/6.922.95.874.9
Allo. TestArcticNet-SF41.652.4/37.510.45.7/7.621.55.471.4
ArcticNet-LSTM38.949.2/37.79.35.0/6.121.55.273.5
Ego. ValArcticNet-SF44.133.9/36.811.86.3/11.322.98.059.0
ArcticNet-LSTM44.539.3/39.08.14.3/7.223.88.059.1
Ego. TestArcticNet-SF44.728.3/36.211.85.0/9.119.26.453.9
ArcticNet-LSTM43.331.8/35.08.63.5/5.720.06.653.5
Table 2. Comparison of two reconstruction baselines. Contact and relative position metrics measure hand-object contact and relative root position prediction. Motion metrics reflect motions with temporally-consistent contact and smoothness. Hand and object metrics show root-relative reconstruction error. See Sec. 4 for metric details. We use l, r, o to denote the left, the right hand, and the object. To simplify the results, we average left and right hand metrics into one hand (denoted by h). For example, $\mathrm{CD}v_{h_0}$ is the contact deviation between a hand and the object averaged over the two hands; $\mathrm{MRR}P_{rl/ro}$ denotes $\mathrm{MRR}P_{r\rightarrow l}$ and $\mathrm{MRR}P_{r\rightarrow o}$ between the slash.
我们对ArcticNet的两个版本进行了基准测试：单帧模型（ArcticNet-SF）和采用循环神经网络的模型（ArcticNet-LSTM）。采用LSTM基准模型是为了实现对手部与可活动物体运动的联合推理。图4总结了ArcticNet-SF的架构。受Hasson等人 [^24] [^25] 的启发，我们采用了编码器-解码器架构。具体而言，CNN编码器接收输入图像并生成图像特征x。这些特征被手部解码器用来估算左右手的参数 $\Theta_l$ 和 $\Theta_r$，以及两只手的平移量 $T_l$ 和 $T_r$。类似地，物体解码器预测可活动物体的姿态 $\Omega$。我们采用轴角表示法来描述旋转，并使用弱透视相机模型来估算平移量 [^5] [^30] [^35] [^54] [^83]。ArcticNet-LSTM模型的架构与ArcticNet-SF相同，区别仅在于它包含一个LSTM网络，用于在将图像特征传递给回归头之前聚合多帧的图像特征。我们使用真实的3D关键点、2D投影关键点以及手部和物体模型的参数来训练这些模型。模型和训练流程的详细信息见补充材料。 结果：图5a展示了我们的一个基线模型——ArcticNet-LSTM的预测结果，该模型使用了[^32]。如需查看ArcticNet-SF的定性结果，请参阅补充材料。表2给出了这两个基线模型在ARCTIC数据集上的定量评估结果。结果表明，总体而言，ArcticNet-LSTM模型在手部与物体之间的接触（CDev）和运动（MDev）方面具有更一致的时间特性。此外，其运动轨迹也更平滑（ACC）。这证明了时间建模对于实现时空一致的手部-物体运动与接触至关重要。有关指标的详细信息，请参见第4节。 #### 5.2. 交互场估计 现有的接触检测方法主要侧重于二元接触估计[^21] [^77]。在双手灵巧交互中，手部可能靠近物体，但并不总是处于接触状态。我们定义了交互场估计这一通用任务，旨在捕捉即使没有接触时手部与物体之间的相对空间关系。 问题表述：我们将交互场$\mathbf{F}^{a\to b} \in \mathbb{R}^{\mathrm{V}_a}$定义为网格$\mathbf{M}_b$中所有顶点到网格$\mathbf{M}_a$上最近顶点的距离，其中$V_a$（或$V_b$）分别表示网格$\mathbf{M}_a$（或$\mathbf{M}_b$）中的顶点数量。正式表述如下： $$ \mathbf{F}_{i}^{a\to b}=\min_{1\leqslant j\leqslant V_{b}}||\mathbf{v}_{i}^{a}-\mathbf{v}_{j}^{b}||_{2},\quad1\leqslant i\leqslant V_{a} $$ 其中$\mathbf{v}_k^m \in \mathbb{R}^3$代表网格$\mathbf{M}_m$的第k个顶点。我们的任务是为每张图像估计交互场$\mathbf{F}^{l\to o}$、$\mathbf{F}^{r\to o}$、$\mathbf{F}^{o\to l}$和$\mathbf{F}^{o\to r}$。换句话说，对于每只手的每个顶点，我们旨在推断其到物体的最近距离，反之亦然。 ---
SplitsMethodAverage Distance Error [mm] $\downarrow$ACC [ $m/s^{{2}}$] $\downarrow$
Allo. ValInterField-SF9.6/9.93.0/2.9
InterField-LSTM9.0/8.92.1/2.0
Allo. TestInterField-SF9.0/10.02.7/2.7
InterField-LSTM8.7/9.11.9/1.9
Ego. ValInterField-SF8.8/9.22.4/2.3
InterField-LSTM8.4/8.92.1/2.0
Ego. TestInterField-SF8.2/9.22.1/2.0
InterField-LSTM8.0/9.11.8/1.8
Table 3. Comparison of two field estimation baselines. To simplify the evaluation, we average metrics for the two hands into one. The slashes denote the average distance error and the acceleration error for hand-to-object/object-to-hand.
![Image](images/634a77ca3dc818b4729dedc32459f52541044ea3b9122b7277bb7ede9c106d29.jpg)
Figure 6. InterField-SF architecture. We concatenate image features x to each subsampled hand-object vertex in canonical pose. The concatenated vectors are passed through a PointNet and then regressed to distance values. The interaction field is visualized as a heatmap for each entity (bright: closest vertex is near).
基线模型：我们提出了InterField模型，用于从RGB图像中估计交互场。我们对InterField的两个版本进行了基准测试：单帧版本（InterField-SF）和时间基线版本（InterField-LSTM）。时间模型使我们能够评估时间信息的优势。图6概述了InterField-SF的框架。假设我们要估计场$\hat{F}^{l \to o}$。首先通过CNN骨干网络提取图像特征$\mathbf{x} \in \mathbb{R}^{d}$。接着，将$\mathbf{x}$与左手在其规范姿态下的每个下采样顶点$(l)$进行拼接，从而得到所有$\mathbf{p}_{i} = [\mathbf{x}; \mathbf{v}_{i}] \in \mathbb{R}^{d+3}$对应的$1 \leq i \leq \bar{V}_{l}$，其中$\bar{V}_{l}$表示下采样顶点的数量。所有点$\mathbf{p}_{i}$被送入PointNet[^50]，随后通过回归头预测距离。预测出的距离会被上采样至完整网格。为提高效率，我们使用下采样顶点输入PointNet，上采样后再进行回归。其余交互场的估计采用相同的网络结构，共享CNN和PointNet，但使用不同的回归头。InterField-LSTM遵循相同的框架，只是它利用LSTM在时间窗口内聚合图像特征，从而共同推断手部-物体运动。更多训练和基线模型的细节请参阅补充材料。 结果：图5b展示了InterField-LSTM的定性样本。预测值以热图形式可视化在相应手部或物体的网格上。“越热”的区域表示距离越近。需注意，真实网格仅用于可视化，并非网络输入。我们发现预测场与真实值吻合良好。表3显示了各基线模型的性能。结果表明，对随时间变化的手部-物体交互场进行建模能得出更准确的结果（见距离误差），且预测结果更平滑（ACC）。 ### 6. 结论 我们推出了ARCTIC，这是首个包含双手灵巧操纵关节物体的数据集，其中包含了手部与物体的高质量3D真实数据以及同步视频。ARCTIC共收录了来自8个静态视角和1个自中心视角的210万张RGB图像，记录了10名受试者与11种关节物体互动的场景。我们在ARCTIC上设置了两项任务：首先是连贯运动重建——给定一段视频，我们要为每一帧重建出两只手和关节物体的3D模型，确保它们的运动在时空上保持一致；第二项任务是交互场估计，即从视频中的图像估算出手与物体之间的密集相对距离。针对这两项任务，我们分别提出了ArcticNet和InterField两个基准模型，并在ARCTIC上对其进行评估，从而为后续研究奠定基础。 未来发展方向：ARCTIC能够支持一系列与手部操纵关节物体相关的任务。首先，目前关于手-物交互生成的研究主要集中在刚性物体的抓取生成上[^11] [^31]，但针对物体的灵巧双手法操纵运动生成的研究较少[^10] [^81]，且现有研究并未涉及与关节物体的交互（例如“用剪刀剪切”）。ARCTIC能够助力这些新任务的开展，还能借助我们的SMPL-X真实数据将其拓展到全身范畴[^64]。其次，我们提出了连贯运动重建和交互场估计这两项任务；未来的研究可以利用交互场表征来优化姿态估计，从而改善重建过程中的手-物接触效果。最后，基于深度图像的关节物体姿态估计器[^39]并未考虑场景中的人类因素，而ARCTIC中的渲染深度图像可用于在更逼真的环境中对这些方法进行评估。 致谢：作者衷心感谢Tsvetelina Alexiadis（TA）在试验协调方面的工作；感谢Markus Höschle（MH）、Senya Polikovsky、Matvey Safroshkin、Tobias Bauch（TB）在采集设备设置上的帮助；感谢MH、TA、Galina Henz在数据采集方面的贡献；感谢Giorgio Becherini、Nima Ghorbani对MoSh++的贡献；感谢Priyanka Patel在对齐工作上的协助；感谢Leyre Sánchez Vinuela、Andres Camilo Mendoza Patino、Mustafa Alperen Ekinci在数据清洗方面的工作；感谢TB对Vicon系统的支持；感谢MH、Jakob Reinhardt在物体扫描上的协助；感谢Taylor McConnell对Vicon系统的支持及数据清洗协调工作；感谢Benjamin Pellkofer提供的IT支持。我们还要感谢Xu Chen、Adrian Spurr、Jie Song富有洞见性的讨论。OT和DT的部分研究工作得到了德国联邦教育和研究部（BMBF）的资助：图宾根人工智能中心，项目编号：01IS18039B。DT的部分研究工作是在MPI-IS完成的。 声明： --- ## 参考文献 [^1]: Luca Ballan, Aparna Taneja, Jürgen Gall, Luc Van Gool, and Marc Pollefeys. Motion capture of hands in action using discriminative salient points. In European Conference on Computer Vision (ECCV), pages 640–653, 2012. 2 [^2]: Keni Bernardin, Koichi Ogawara, Katsushi Ikeuchi, and Ruediger Dillmann. A sensor fusion approach for recognizing continuous human grasping sequences using hidden markov models. Transactions on Robotics, 21(1):47–57, 2005. 3 [^3]: Bharat Lal Bhatnagar, Xianghui Xie, Ilya A Petrov, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. BEHAVE: Dataset and method for tracking human object interactions. In Computer Vision and Pattern Recognition (CVPR), pages 15935–15946, 2022. 2 [^4]: Michael J. Black, Priyanka Patel, Joachim Tesch, and Jinlong Yang. BEDLAM: A dataset of bodies exhibiting detailed lifelike animated motion. In Computer Vision and Pattern Recognition (CVPR), June 2023. 2 [^5]: Adnane Boukhayma, Rodrigo de Bem, and Philip H. S. Torr. 3D hand shape and pose from images in the wild. In Computer Vision and Pattern Recognition (CVPR), pages 10843–10852, 2019. 2, 7, 16 [^6]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In European Conference on Computer Vision (ECCV), volume 12358, pages 361–378, 2020. 2, 3 [^7]: Zhe Cao, Ilija Radosavovic, Angjoo Kanazawa, and Jitendra Malik. Reconstructing hand-object interactions in the wild. In International Conference on Computer Vision (ICCV), pages 12417–12426, 2021. 2 [^8]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In Computer Vision and Pattern Recognition (CVPR), pages 9044–9053, 2021. 1, 2, 3, 4 [^9]: Yixin Chen, Sai Kumar Dwivedi, Michael J. Black, and Dimitrios Tzionas. Detecting human-object contact in images. In Computer Vision and Pattern Recognition (CVPR), June 2023. 3 [^10]: Yuanpei Chen, Yaodong Yang, Tianhao Wu, Shengjie Wang, Xidong Feng, Jiechuang Jiang, Stephen Marcus McAleer, Hao Dong, Zongqing Lu, and Song-Chun Zhu. Towards human-level bimanual dexterous manipulation with reinforcement learning. arXiv preprint arXiv:2206.08686, 2022. 8 [^11]: Sammy Christen, Muhammed Kocabas, Emre Aksan, Jemin Hwangbo, Jie Song, and Otmar Hilliges. D-Grasp: Physically plausible dynamic grasp synthesis for hand-object interactions. In Computer Vision and Pattern Recognition (CVPR), pages 20545–20554, 2022. 8 [^12]: Enric Corona, Albert Pumarola, Guillem Alenyà, Francesc Moreno-Noguer, and Grégory Rogez. GanHand: Predicting human grasp affordances in multi-object scenes. In Computer Vision and Pattern Recognition (CVPR), pages 5030–5040, 2020. 2 [^13]: Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. Imagenet: A large-scale hierarchical image database. In Computer Vision and Pattern Recognition (CVPR), pages 248–255. IEEE, 2009. 15 [^14]: Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J. Crandall. HOPE-Net: A graph-based model for hand-object pose estimation. In Computer Vision and Pattern Recognition (CVPR), pages 6607–6616, 2020. 19 [^15]: Yuval Eldar, Michael Lindenbaum, Moshe Porat, and Yehoshua Y. Zeevi. The farthest point strategy for progressive image sampling. In International Conference on Pattern Recognition (ICPR), pages 93–97, 1994. 16 [^16]: Yuval Eldar, Michael Lindenbaum, Moshe Porat, and Yehoshua Y. Zeevi. The farthest point strategy for progressive image sampling. Transactions on Image Processing (TIP), 6(9):1305–1315, 1997. 16 [^17]: Zicong Fan, Adrian Spurr, Muhammed Kocabas, Siyu Tang, Michael J. Black, and Otmar Hilliges. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation. In International Conference on 3D Vision (3DV), pages 1–10, 2021. 2, 6, 18 [^18]: Thomas Feix, Javier Romero, Heinz-Bodo Schmiedmayer, Aaron M. Dollar, and Danica Kragic. The grasp taxonomy of human grasp types. Transactions on Human-Machine Systems (THMS), 46(1):66–77, 2016. 3 [^19]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with RGB-D videos and 3D hand pose annotations. In Computer Vision and Pattern Recognition (CVPR), pages 409–419, 2018. 2, 3 [^20]: Patrick Grady, Chengcheng Tang, Samarth Brahmbhatt, Christopher D. Twigg, Chengde Wan, James Hays, and Charles C. Kemp. PressureVision: Estimating hand pressure from a single RGB image. European Conference on Computer Vision (ECCV), 13666:328–345, 2022. 3 [^21]: Patrick Grady, Chengcheng Tang, Christopher D. Twigg, Minh Vo, Samarth Brahmbhatt, and Charles C. Kemp. ContactOpt: Optimizing contact to improve grasps. In Computer Vision and Pattern Recognition (CVPR), pages 1471–1481, 2021. 2, 3, 7, 19 [^22]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In Computer Vision and Pattern Recognition (CVPR), pages 3193–3203, 2020. 1, 2, 3, 4 [^23]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3D pose estimation. In Computer Vision and Pattern Recognition (CVPR), pages 11090–11100, 2022. 1, 2, 3, 4 [^24]: Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, and Cordelia Schmid. Leveraging photometric consistency over time for sparsely supervised hand-object reconstruction. In Computer Vision and Pattern Recognition (CVPR), pages 568–577, 2020. 2, 7, 19 ## [^25]: Yana Hasson, Güil Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J. Black, Ivan Laptev, and Cordelia Schmid --- 学习手部与被操纵物体的联合重建。载于《计算机视觉与模式识别会议（CVPR）》，第11807–11816页，2019年。1, 2, 3, 7, 19 [^26]: Chun-Hao P. Huang, Hongwei Yi, Markus Höschle, Matvey Safroshkin, Tsvetelina Alexiadis, Senya Polikovsky, Daniel Scharstein, and Michael J. Black. Capturing and inferring dense full-body human-scene contact. In Computer Vision and Pattern Recognition (CVPR), pages 13274–13285, June 2022. 2, 3 [^27]: Yinghao Huang, Omid Taheri, Michael J. Black, and Dimitrios Tzionas. InterCap: Joint markerless 3D tracking of humans and objects in interaction. In German Conference on Pattern Recognition (GCPR), volume 13485, pages 281–299, 2022. 2 [^28]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5D heatmap regression. In European Conference on Computer Vision (ECCV), pages 118–134, 2018. 2 [^29]: Noriko Kamakura, Michiko Matsuo, Harumi Ishii, Fumiko Mitsuboshi, and Yoriko Miura. Patterns of static prehension in normal hands. American Journal of Occupational Therapy, 34(7):437–445, 1980. 3 [^30]: Angjoo Kanazawa, Michael J. Black, David W. Jacobs, and Jitendra Malik. End-to-end recovery of human shape and pose. In Computer Vision and Pattern Recognition (CVPR), pages 7122–7131, 2018. 7, 15, 16 [^31]: Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael J. Black, Krikamol Muandet, and Siyu Tang. Grasping Field: Learning implicit representations for human grasps. In International Conference on 3D Vision (3DV), pages 333–344, 2020. 3, 8 [^32]: Manuel Kaufmann, Velko Vechev, and Dario Mylonopoulos. aitviewer, 7 2022. 7 [^33]: Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR), 2015. 15 [^34]: Muhammed Kocabas, Nikos Athanasiou, and Michael J. Black. VIBE: Video inference for human body pose and shape estimation. In Computer Vision and Pattern Recognition (CVPR), pages 5253–5263, 2020. 2, 5, 16, 17, 18 [^35]: Muhammed Kocabas, Chun-Hao P. Huang, Otmar Hilliges, and Michael J. Black. PARE: Part attention regressor for 3D human body estimation. In International Conference on Computer Vision (ICCV), pages 11127–11137, 2021. 7, 15, 16 [^36]: Muhammed Kocabas, Chun-Hao P. Huang, Joachim Tesch, Lea Müller, Otmar Hilliges, and Michael J. Black. SPEC: Seeing people in the wild with an estimated camera. In International Conference on Computer Vision (ICCV), pages 11035–11045, 2021. 15, 16 [^37]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2O: Two hands manipulating objects for first person interaction recognition. In International Conference on Computer Vision (ICCV), pages 10138–10148, 2021. 1, 2, 3, 4 [^38]: Mengcheng Li, Liang An, Hongwen Zhang, Lianpeng Wu, Feng Chen, Tao Yu, and Yebin Liu. Interacting attention 单图像双手重建的图表。载于《计算机视觉与模式识别会议（CVPR）》，第2761–2770页，2022年。2 [^39]: Xiaolong Li, He Wang, Li Yi, Leonidas J. Guibas, A. Lynn Abbott, and Shuran Song. Category-level articulated object pose estimation. In Computer Vision and Pattern Recognition (CVPR), pages 3703–3712, 2020. 8 [^40]: Shaowei Liu, Hanwen Jiang, Jiarui Xu, Sifei Liu, and Xiaolong Wang. Semi-supervised 3D hand-object poses estimation with interactions in time. In Computer Vision and Pattern Recognition (CVPR), pages 14687–14697, 2021. 2 [^41]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: A 4D egocentric dataset for category-level human-object interaction. In Computer Vision and Pattern Recognition (CVPR), pages 21013–21022, 2022. 1, 2, 3, 4, 13 [^42]: Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael J. Black. AMASS: Archive of motion capture as surface shapes. In International Conference on Computer Vision (ICCV), pages 5441–5450, 2019. 2, 4, 5 [^43]: Frank Michel, Alexander Krull, Eric Brachmann, Michael Ying Yang, Stefan Gumhold, and Carsten Rother. Pose estimation of kinematic chain instances via object coordinate regression. In British Machine Vision Conference (BMVC), pages 181.1–181.11, 2015. 13 [^44]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. InterHand2.6M: A dataset and baseline for 3D interacting hand pose estimation from a single RGB image. In European Conference on Computer Vision (ECCV), volume 12365, pages 548–564, 2020. 2, 4, 6, 18 [^45]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. GANerated hands for real-time 3D hand tracking from monocular RGB. In Computer Vision and Pattern Recognition (CVPR), pages 49–59, 2018. 2 [^46]: Franziska Mueller, Dushyant Mehta, Oleksandr Sotnychenko, Srinath Sridhar, Dan Casas, and Christian Theobalt. Real-time hand tracking under occlusion from an egocentric RGB-D sensor. In International Conference on Computer Vision (ICCV), pages 1163–1172, 2017. 2 [^47]: Supreeth Narasimhaswamy, Trung Nguyen, and Minh Hoai Nguyen. Detecting hands and recognizing physical contact in the wild. In Conference on Neural Information Processing Systems (NeurIPS), volume 33, 2020. 3 [^48]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3D hands, face, and body from a single image. In Computer Vision and Pattern Recognition (CVPR), pages 10975–10985, 2019. 3, 4, 5 ### [^49]: Tu-Hoa Pham, Nikolaos Kyriazis, Antonis A. Argyros, and Abderrahmane Kheddar. Hand-object contact force estimation from markerless visual tracking. Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 40(12):2883–2896, 2018. 3 --- [^50]: Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas. PointNet: Deep learning on point sets for 3D classification and segmentation. In Computer Vision and Pattern Recognition (CVPR), pages 77–85, 2017. 8 [^51]: James M. Rehg and Takeo Kanade. Visual tracking of high DOF articulated structures: An application to human hand tracking. In European Conference on Computer Vision (ECCV), volume 801, pages 35–46, 1994. 2 [^52]: Grégory Rogez, James Steven Supančič III, and Deva Ramanan. Understanding everyday hands in action from RGBD images. In International Conference on Computer Vision (ICCV), pages 3889–3897, 2015. 3 [^53]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. Transactions on Graphics (TOG), 36(6):245:1–245:17, 2017. 2, 6 [^54]: István Sárándi, Timm Linder, Kai O. Arras, and Bastian Leibe. Metric-scale truncation-robust heatmaps for 3D human pose estimation. In International Conference on Automatic Face & Gesture Recognition (FG), pages 407–414, 2020. 7, 16 [^55]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Computer Vision and Pattern Recognition (CVPR), pages 21064–21074, 2022. 2 [^56]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F. Fouhey. Understanding human hands in contact at internet scale. In Computer Vision and Pattern Recognition (CVPR), pages 9866–9875, 2020. 3 [^57]: Tomas Simon, Hanbyul Joo, Iain Matthews, and Yaser Sheikh. Hand keypoint detection in single images using multiview bootstrapping. In Computer Vision and Pattern Recognition (CVPR), pages 4645–4653, 2017. 2 [^58]: Adrian Spurr, Aneesh Dahiya, Xi Wang, Xucong Zhang, and Otmar Hilliges. Self-supervised 3D hand pose estimation from monocular RGB via contrastive learning. In International Conference on Computer Vision (ICCV), pages 11210–11219, 2021. 2 [^59]: Adrian Spurr, Umar Iqbal, Pavlo Molchanov, Otmar Hilliges, and Jan Kautz. Weakly supervised 3D hand pose estimation via biomechanical constraints. In European Conference on Computer Vision (ECCV), volume 12362, pages 211–228, 2020. 2 [^60]: Adrian Spurr, Jie Song, Seonwook Park, and Otmar Hilliges. Cross-modal deep variational hand pose estimation. In Computer Vision and Pattern Recognition (CVPR), pages 89–98, 2018. 2 [^61]: Srinath Sridhar, Franziska Mueller, Michael Zollhoefer, Dan Casas, Antti Oulasvirta, and Christian Theobalt. Real-time joint tracking of a hand manipulating an object from RGB-D input. In European Conference on Computer Vision (ECCV), volume 9906, pages 294–310, 2016. 2, 3 [^62]: Stefan Stevšič and Otmar Hilliges. Spatial attention improves iterative 6D object pose estimation. In International Conference on 3D Vision (3DV), pages 1070–1078, 2020. 6 [^63]: Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose es- 在2019年的计算机视觉与模式识别会议（CVPR）上发表的论文中。15 [^64]: Omid Taheri, Vassileios Choutas, Michael J. Black, and Dimitrios Tzionas. GOAL: Generating 4D whole-body motion for hand-object grasping. In Computer Vision and Pattern Recognition (CVPR), pages 13253–13263, 2022. 8, 19 [^65]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), volume 12349, pages 581–600, 2020. 2, 3, 4, 5, 14, 15, 19 [^66]: Bugra Tekin, Federica Bogo, and Marc Pollefeys. H+O: Unified egocentric recognition of 3D hand-object poses and interactions. In Computer Vision and Pattern Recognition (CVPR), pages 4511–4520, 2019. 2 [^67]: 3dMDhand system series. . 4, 13 [^68]: Shashank Tripathi, Lea Müller, Chun-Hao P. Huang, Taheri Omid, Michael J. Black, and Dimitrios Tzionas. 3D human pose estimation via intuitive physics. In Computer Vision and Pattern Recognition (CVPR), June 2023. 3 [^69]: Aggeliki Tsoli and Antonis A. Argyros. Joint 3D tracking of a deformable object in interaction with a hand. In European Conference on Computer Vision (ECCV), volume 11218, pages 504–520, 2018. 3 [^70]: Dimitrios Tzionas, Luca Ballan, Abhilash Srikantha, Pablo Aponte, Marc Pollefeys, and Juergen Gall. Capturing hands in action using discriminative salient points and physics simulation. International Journal of Computer Vision (IJCV), 118(2):172–193, 2016. 2 [^71]: Dimitrios Tzionas and Juergen Gall. A comparison of directional distances for hand pose estimation. In German Conference on Pattern Recognition (GCPR), volume 8142, pages 131–141, 2013. 2 [^72]: Dimitrios Tzionas and Juergen Gall. 3D object reconstruction from hand-object interactions. In International Conference on Computer Vision (ICCV), pages 729–737, 2015. 3 [^73]: Dimitrios Tzionas and Juergen Gall. Reconstructing articulated rigged models from RGB-D videos. In European Conference on Computer Vision Workshops (ECCVw), volume 9915, pages 620–633, 2016. 2, 3 [^74]: Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-SNE. Journal of Machine Learning Research (JMLR), 9(86):2579–2605, 2008. 4 [^75]: Vicon Vantage: Cutting edge, flagship camera with intelligent feedback and resolution. [^76]: Fanbo Xiang, Yuzhe Qin, Kaichun Mo, Yikuan Xia, Hao Zhu, Fangchen Liu, Minghua Liu, Hanxiao Jiang, Yifu Yuan, He Wang, Li Yi, Angel X. Chang, Leonidas J. Guibas, and Hao Su. SAPIEN: A simulated part-based interactive environment. In Computer Vision and Pattern Recognition (CVPR), pages 11094–11104, 2020. 13 ### [^77]: Lixin Yang, Xinyu Zhan, Kailin Li, Wenqiang Xu, Jiefeng Li, and Cewu Lu. CPF: Learning a contact potential field to model the hand-object interaction. In International Conference on Computer Vision (ICCV), pages 11097–11106, 2021. 2, 3, 7, 19 --- [^78]: Yifei Yin, Chen Guo, Manuel Kaufmann, Juan Zarate, Jie Song, and Otmar Hilliges. Hi4D: 4D instance segmentation of close human interaction. In Computer Vision and Pattern Recognition (CVPR), 2023. 3 [^79]: Sergey Zakharov, Ivan Shugurov, and Slobodan Ilic. DPOD: 6D pose object detector and refiner. In International Conference on Computer Vision (ICCV), pages 1941–1950, 2019. [^80]: Baowen Zhang, Yanggang Wang, Xiaoming Deng, Yinda Zhang, Ping Tan, Cuixia Ma, and Hongan Wang. Interacting two-hand 3D pose and shape reconstruction from single color image. In International Conference on Computer Vision (ICCV), pages 11354–11363, 2021. 2 [^81]: He Zhang, Yuting Ye, Takaaki Shiratori, and Taku Komura. ManipNet: Neural manipulation synthesis with a hand-object spatial representation. Transactions on Graphics (TOG), 40(4):1–14, 2021. 8 [^82]: Hao Zhang, Yuxiao Zhou, Yifei Tian, Jun-Hai Yong, and Feng Xu. Single depth view based real-time reconstruction of hand-object interactions. Transactions on Graphics (TOG), 40(3):29:1–29:12, 2021. 3 [^83]: Xiong Zhang, Qiang Li, Hong Mo, Wenbo Zhang, and Wen Zheng. End-to-end hand mesh recovery from a monocular RGB image. In International Conference on Computer Vision (ICCV), pages 2354–2364, 2019. 2, 7, 16 [^84]: Keyang Zhou, Bharat Lal Bhatnagar, Jan Eric Lenssen, and Gerard Pons-Moll. TOCH: Spatio-temporal object-to-hand 用于运动优化的对应关系研究。发表于2022年欧洲计算机视觉会议（ECCV），第13663卷，第1–19页。3, 19 [^85]: Yi Zhou, Connelly Barnes, Jingwan Lu, Jimei Yang, and Hao Li. On the continuity of rotation representations in neural networks. In Computer Vision and Pattern Recognition (CVPR), pages 5745–5753, 2019. 16 [^86]: Yuxiao Zhou, Marc Habermann, Weipeng Xu, Ikhsanul Habibie, Christian Theobalt, and Feng Xu. Monocular real-time hand shape and motion capture using multi-modal data. In Computer Vision and Pattern Recognition (CVPR), pages 5345–5354, 2020. 2 [^87]: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, and Otmar Hilliges. TempCLR: Reconstructing hands via time-coherent contrastive learning. In International Conference on 3D Vision (3DV), pages 627–636, 2022. 2, 18 [^88]: Christian Zimmermann and Thomas Brox. Learning to estimate 3D hand pose from single RGB images. In International Conference on Computer Vision (ICCV), pages 4913–4921, 2017. 2 #### [^89]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan Russell, Max Argus, and Thomas Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In International Conference on Computer Vision (ICCV), pages 813–822, 2019. 2, 3 --- #### 附录 - 补充材料 #### 1. 数据集详情 ARCTIC中的物体：图1展示了我们数据集中的全部11个关节物体。ARCTIC中的物体由两个围绕某一轴旋转的刚性部件组成。图中的每条虚线代表了关节轴。 标记集：图2展示了一个物体、整个人体、两只手以及以自我为中心的摄像头的标记集，同时标明了标记尺寸。此可视化中的标记按实际比例显示。所有物体和受试者的标记位置可在数据发布中找到。 数据集统计信息：表1显示了我们数据集中每个受试者的图像数量和序列数量。平均序列长度为698帧（与视角无关），相当于23.3秒。总共我们有210万张图像，大多数受试者对应的图像数量超过20万张。表2显示了每个物体的图像数量。所有物体的图像数量均超过17万张。为了鼓励不同的交互方式，我们针对每个物体采集了不同的意图数据：“使用”和“抓取”。尽管两者都涉及灵巧操作，但在“使用”序列中，受试者可以操纵物体，而在“抓取”序列中则不能。由于我们专注于研究关节运动，因此采集了更多的“使用”序列。 协议划分：表3显示了以自我为中心和以物体为中心设置下的图像数量和受试者数量。两种设置采用相同的受试者划分——8名受试者用于训练，1名用于验证，1名用于测试。以物体为中心的设置使用来自8个静态视角的图像进行训练、验证和测试。在以自我为中心的设置中，训练阶段允许模型利用全部9个视角的图像以获得额外监督；但在推理阶段，模型仅用以自我为中心的图像进行评估。 深度图像：由于我们进行了全身捕捉，因此可以生成包含全身交互的深度图像。由于大多数现有的关节物体数据集既不包含双手也不包含人体 [^41] [^43] [^76]，而场景中有人物出现是一种现实情况，因此我们认为ARCTIC为深度研究领域带来了严重的遮挡和动态操作等额外挑战。图3展示了深度图像及其对应的RGB图像示例。深度图像可采用任何合成传感器噪声模型来渲染（例如Kinect，右侧所示）。
SubjectsS1S2S3S4S5S6S7S8S9S10Total
# Images209k224k220k212k227k228k191k280k208k135k2.1M
# Seqs34373831343629423721339
Table 1. Number of images and sequences for each subject. The average sequence length is 698 frames (view-agnostic), corresponding to 23.3 seconds.
#### 2. 数据采集详情 ### 2.1. 配备54个摄像头的动作捕捉系统 图4展示了我们的动作捕捉系统。在采集高质量的手部与物体交互数据时，关键在于消除手部自遮挡、手与手之间的遮挡以及手与物体之间的遮挡现象。为了尽量减少这些遮挡源，我们在采集过程中使用了54台高分辨率动作捕捉摄像头。图4a以侧视图和俯视图的形式展示了摄像头的位置与朝向。图4b则显示了该系统所追踪的标记点。该系统能够追踪安装在 Egocentric 摄像头、人体（包括全身及双手）、可动物体（本例中为笔记本电脑）以及桌子等道具上的标记点。 #### 2.2. 创建个性化模板 为了为每位受试者创建个性化的全身及手部模板网格，我们首先使用3dMD扫描仪获取受试者在不同姿势下的三维扫描数据 [^67]。随后，我们将SMPL-X模型与扫描数据进行配准，从而得到对齐的网格。配准后的SMPL-X网格会被调整为规范的T型姿势。我们利用基于SMPL-X模型的方法，通过顶点间的距离以及SMPL-X顶点对应关系，对调整后的网格进行拟合。通过对多个T型姿势网格进行拟合，我们能够过滤掉潜在的噪声，同时捕捉到身体和双手的遮挡区域，最终为每位受试者生成可靠的个性化SMPL-X模板。 #### 2.3. 估计旋转轴与可动物体姿态 为了确定每个可动物体的旋转轴，我们会在物体的每个刚性部件上安装标记点，并通过让物体的两个部分发生相对运动来采集校准用的动作捕捉序列。由于这两个部件是绕某一轴旋转的，因此每个标记点的轨迹会在二维平面上呈现为圆形。我们利用最小二乘法求出每个圆的圆心，再通过这些圆心拟合出一条三维直线，从而得到旋转轴的初始估计值。随后，我们通过最小化代价函数来进一步优化旋转轴的估计值。 严格来说，令 $X_t^i \in \mathbb{R}^3$ 表示在时间步 t 时标记 i 在物体“顶部”（例如番茄酱瓶的瓶盖）的三维位置；$Y_t^j \in \mathbb{R}^3$ 则表示时间 t 时位于物体“底部”（例如番茄酱瓶的主体部分）的标记 j 的位置。 ![Image](images/3d6167f281bd47d30d7a8c7a4208bffc370d37418523cda27a365c9e049a15d5.jpg)
Figure 1. ARCTIC objects. Each line shows the articulation axis.
---
ObjectsNotebookBoxEspresso machineWaffle ironLaptopPhoneCapsule machineMixerKetchup bottleScissorsMicrowaveTotal
Use163k152k141k166k171k159k159k156k138k128k144k1.7M
Grasp27k36k46k41k40k49k37k47k51k44k43k0.4M
Total190k187k187k207k211k208k196k202k189k172k186k2.1M
Table 2. Number of images for each object in ARCTIC. In ARCTIC, we focus on studying hand interaction with object articulation. Therefore, we capture more “use” sequences in which subjects can articulate the object. To encourage different modes of interaction, we also ask subjects to “grasp” the objects without articulating the objects. Since we focus on object articulation, we capture more data for “use” than in “grasp”.
![Image](images/98a62179376d6f405870e1872ba03798992068185a99ad19886ada42866b3f5d.jpg)
Figure 2. Markers for motion capture (MoCap). We put 1.5mm radius markers on objects, hands and the egocentric camera. For the body, we use 4.5mm radius markers. The markers are shown here to scale. Best viewed in color and zoomed-in.
Splits# Train Images# Val Images# Test Images
allo1.5M202k195k
ego1.7M25k24k
Table 3. Number of images for each protocol.
![Image](images/922dd983a68251083ecd60d8614e84fdbdc1d54a23688a8ea2ecddf9d60cf514.jpg)
Figure 3. Rendered depth images of human-object interaction. (a) Rendered depth images of our 3D data, and the corresponding RGB images, and (b) depth images with synthetic kinect noise. Best viewed zoomed-in. For better depth-map visualization we do not render the floor here.
我们选取一个与每个物体预定义的静止姿态相对应的坐标系 $t_0$（例如番茄酱瓶盖闭合时的坐标系）。接着，通过刚性变换 $\{X_t^i\}_{i,t}$ 将运动捕捉序列 $\{Y_t^j\}_{j,t}$ 和 $\{\tilde{X}_t^i\}_{i,t}$ 转换为规范序列 $\{\tilde{Y}_t^j\}_{j,t}$ 和 $(R, T)$，使得对所有 t 和 j 都有 $\tilde{Y}_t^j = Y_{t_0}^j$ 成立。规范化之后，物体底部的标记在整个序列中保持静止，而顶部的标记则绕某一轴旋转。此外，每个标记的运动轨迹在二维平面上呈圆形。我们使用最小二乘法对任意标记 i 的轨迹 $\{\tilde{X}_t^i\}_{t=1,\cdots,N}$ 拟合出一个圆，再将这个二维圆的圆心转换到三维空间中的 $(x_i, y_i, z_i)$。随后，我们对三维空间中每个圆的圆心 $(v, v_0)$ 拟合出一条三维直线 $\{(x_i, y_i, z_i)\}_i$，其中 $v \in \mathbb{R}^3$ 是该直线的单位方向向量，$v_0 \in \mathbb{R}^3$ 是直线所经过的任意锚点。由于用三维直线拟合三维圆心可能存在误差，我们通过最小化下述代价函数来进一步精确旋转轴。 $$ \left(v^{*},v_{0}^{*},\omega_{t=1,\cdots,N}^{*}\right)=\mathop{\arg\operatorname*{min}}_{v,v_{0},\omega_{t=1,\cdots,N}}\sum_{i}||\bar{X}_{t}^{i}-f(\bar{X}_{t_{0}}^{i}|v,v_{0},\omega_{t})||_{2}^{2} $$ 其中N表示序列中的帧数；$\omega_{t=1,\ldots,N}^{*}$ 是所有帧相对于静止姿态的关节角度（单位为弧度）。量 $v^{*}, v_{0}^{*}$ 是物体经过优化后的旋转轴。函数 $f(\bar{X}_{t_{0}}^{i}|v,v_{0},w_{t})$ 会围绕估算出的旋转轴 $\{\bar{X}_{t}^{i}\}$，按照关节活动量 $(v^{*}, v_{0}^{*})$ 来旋转 $\omega_{t}$。这样就能确保估算出的旋转轴与动作捕捉数据中的标记轨迹保持一致。 为了定义关节物体的姿态，我们需要估算其一维关节角度以及六维刚体姿态。要计算前者，在估算出旋转轴 $(v^*, v_0^*)$ 之后，针对实际的动作捕捉序列，可通过沿旋转轴对三维标记位置进行二维投影来获取关节角度。由于二维投影会落在一个圆上，因此可以通过算术方法估算出关节角度。该关节角度是以旋转轴估算步骤中在 $t_0$ 里定义的每个物体的静止姿态为参照进行测量的。我们将某一时间步内所有标记估算出的关节角度的中位数作为真实的关节角度。最后，为了定义关节物体的姿态，我们还需要其用于描述方向和位移的六维物体姿态。为了求解第t帧的六维姿态 $(R_t, T_t)$，我们需要计算从 $\bar{Y}_{t_0}$ 到 $Y_t$ 的刚体变换。换句话说，我们根据基准标记在规范空间与动作捕捉空间之间的对应关系，利用它来计算六维姿态。 ### 2.4. 计算手与物体的二元接触关系 我们将两只手以及每个关节物体的两个部分视为四个封闭网格，用于计算真实的二元接触标签。给定来自手的一个网格和来自物体部分的一个网格，我们遵循GRAB [^65] 的方法来计算顶点级的接触关系。GRAB的核心思路是根据两种情况——“接触不足”和“接触过度”——来标记网格上与其他网格接触的顶点：当某个网格上的顶点 --- ![Image](images/b0f3ddbea829ef4bf35040a826930f77e098ea9c74c538910529349d38141ed4.jpg)
Figure 4. Our capture system with 54 high-resolution MoCap cameras. (a) MoCap system in a side view and a bird-eye view, illustrating the 54 MoCap cameras used to eliminate occlusion during the capture. (b) Observed markers for a captured frame, showing markers tracking the full human body with hands, the object (notebook in this case), the egocentric camera, and props such as the table. Best viewed in color and zoomed in.
Hand Branch
Nr.ModuleDetails
1poolAvgPool2d(output_size=1)
2cam_initLinear(in_dim=2048, out_dim=512, bias=True)
3cam_initReLU()
4cam_initLinear(in_dim=512, out_dim=512, bias=True)
5cam_initReLU()
6cam_initLinear(in_dim=512, out_dim=3, bias=True)
7refine_fwdConcat([“feat”, “hand_pose”, “cam”, “shape”])
8refine_fwdLinear(in_dim=2157, out_dim=1024, bias=True)
9refine_fwdReLU()
10refine_fwdDropout(p=0.5)
11refine_fwdLinear(in_dim=1024, out_dim=1024, bias=True)
12refine_fwdReLU()
13refine_fwdDropout(p=0.5)
14refine_decode_pose_6dLinear(in_dim=1024, out_dim=96, bias=True)
15refine_decode_shapeLinear(in_dim=1024, out_dim=10, bias=True)
16refine_decode_camLinear(in_dim=1024, out_dim=3, bias=True)
Object Branch
1poolAvgPool2d(output_size=1)
2cam_initLinear(in_dim=2048, out_dim=512, bias=True)
3cam_initReLU()
4cam_initLinear(in_dim=512, out_dim=512, bias=True)
5cam_initReLU()
6cam_initLinear(in_dim=512, out_dim=3, bias=True)
7refine_fwdConcat([“feat”, “rot”, “cam”, “arti”])
8refine_fwdLinear(in_dim=2055, out_dim=1024, bias=True)
9refine_fwdReLU()
10refine_fwdDropout(p=0.5)
11refine_fwdLinear(in_dim=1024, out_dim=1024, bias=True)
12refine_fwdReLU()
13refine_fwdDropout(p=0.5)
14refine_decode_rotLinear(in_dim=1024, out_dim=3, bias=True)
15refine_decode_camLinear(in_dim=1024, out_dim=3, bias=True)
16refine_decode_artiLinear(in_dim=1024, out_dim=1, bias=True)
Table 4. Details of the decoder in ArcticNet-SF.
不在另一个网格内部时，就被视为“接触不足”，此时会依据几何邻近性来标记接触关系。当两个网格发生相互穿透时，比如拇指穿过了薄结构，那么拇指上“穿透”该薄结构的顶点以及位于结构内部的顶点都会被标记为处于接触状态。更多细节请参阅 [^65]。 #### 3. 模型详情与结果 通用实现细节：在所有实验中，我们均采用在ImageNet [^63] 上预训练的ResNet-50 [^13] 作为骨干网络。模型使用Adam优化器 [^33] 进行训练，学习率设为 $1e^{-5}$。为了便于观察，我们会将每张图像裁剪为以物体为中心的正方形区域，并将图像尺寸调整为 $224 \times 224$。输入图像会经过数据增强处理：旋转（$\pm30^{\circ}$）、缩放（$\pm25\%$）以及色彩抖动（$\pm40\%$）。 #### 3.1. ArcticNet ArcticNet-SF架构：我们在表4中展示了ArcticNet-SF的详细信息。ArcticNet-SF采用编码器-解码器架构。给定输入图像后，我们利用平均池化操作从主干网络中提取一个维度为2048的单图像特征向量。该图像特征向量用于预测初始相机参数（即“cam_init”中的参数）。根据[^30]的描述，我们采用迭代优化方案来预测手部和物体的参数。首先，除相机参数外，将所有参数初始化为零；相机参数则使用“cam_init”中的预测值进行初始化。对于手部分支，我们将图像特征向量、初始手部姿态以及手部形状向量拼接成一个单一向量，再结合预测的相机参数以进行优化（第7-16行）。在优化步骤中，我们首先利用多层感知机（MLP）预测一个潜向量（第7-13行）；随后通过不同的头将该潜向量解码为MANO关节角度、形状和相机参数的残差（第14-16行）。解码得到的残差会分别加到参数的当前估计值上，并作为下一轮优化的输入（再次参见第7-16行）。优化过程共进行两次迭代。物体分支的优化方案类似，但它主要预测物体的旋转、相机参数以及物体的关节活动情况。根据[^35]和[^36]的描述，我们 --- 在[^85]中采用6D旋转表示法来描述MANO关节角度。根据[^5]、[^30]、[^35]、[^54]和[^83]的描述，对于预测得到的弱透视相机参数，我们设定固定的焦距为1000.0，并将其转换为场景中每个实体的平移量。 ArcticNet-LSTM架构：LSTM模型接收一系列连续的图像窗口，并为每一帧估算3D网格。我们采用了与ArcticNet-SF相同的结构，只不过在解码之前，会将窗口内的图像特征输入LSTM网络进行处理。基于验证结果，我们选用双向LSTM，设置两个隐藏层，隐藏维度为1024，窗口大小定为11。 训练损失：对于每一帧，我们的损失函数$\mathcal{L}$定义为左手、右手、物体以及交互损失的总和：$\mathcal{L} = \mathcal{L}_l + \mathcal{L}_r + \mathcal{L}_o + \mathcal{L}_{int}$。具体而言，手部损失定义如下： $$ \mathcal{L}_{h}=\lambda_{3D}^{h}\mathcal{L}_{3D}^{h}+\lambda_{2D}^{h}\mathcal{L}_{2D}^{h}+\lambda_{\Theta}^{h}\mathcal{L}_{\Theta}^{h}+\lambda_{T}^{h}\mathcal{L}_{T}^{h}, $$ 其中$h = \{l, r\}$表示手的左右属性。我们对3D关节（减去根部后）、预测3D关节的2D投影、MANO姿态和形状参数以及弱透视相机参数进行全面监督。同样，我们利用最远点采样法[^15]和[^16]在物体网格上预先定义3D地标。借助这些地标，我们可将物体损失表示为 $$ \mathcal{L}_{o}=\lambda_{3D}^{o}\mathcal{L}_{3D}^{o}+\lambda_{2D}^{o}\mathcal{L}_{2D}^{o}+\lambda_{\omega}\mathcal{L}_{\omega}+\lambda_{R}\mathcal{L}_{R}+\lambda_{T}^{o}\mathcal{L}_{T}^{o}, $$ 其中$\mathcal{L}_\omega$、$\mathcal{L}_R$和$\mathcal{L}_T^o$分别用于约束以弧度为单位的关节活动角度、全局方向以及弱透视相机参数。对于交互损失$\mathcal{L}_{int}$，我们采用接触偏差（CDev）指标（详见正文）作为损失项，以改善手与物体之间的接触效果。该损失应用于左手/物体以及右手/物体之间。损失$\mathcal{L}_{int}$是这两部分之和。上述所有损失均采用均方误差准则计算。所有的$\lambda$变量均为超参数，需根据验证性能经验性地设定。具体而言，除$\lambda$ = 5.0、$\lambda_{3D}^*$ = 5.0、$\lambda_{2D}^*$ = 10.0、$\lambda_\Theta^*$ = 0.001外，其余所有$\lambda_\beta^*$均设为1.0；其中$\ast$代表手或物体。 训练细节：我们采用64的批量大小进行训练。在异中心设定下，我们对单帧模型训练20个周期。由于训练时序模型计算量较大，参照VIBE [^34]的方法，我们将预训练单帧模型的图像特征保存到磁盘，然后直接利用这些图像特征对LSTM模型训练10个周期。在自我中心设定下，由于模型在训练时可同时获取异中心和自我中心的图像，为加快训练速度，我们对预训练的异中心模型在自我中心训练图像（1个摄像头）上进行微调，训练50个周期。 相机模型：借鉴以往关于人体和手部表面重建的研究 [^5] [^30] [^35] [^36] [^54] [^83]，为了估计手和物体的位移（$T_l$、$T_r$、$T_o$），我们为场景中的每个实体预测弱透视相机参数（s、$t_x$、$t_y$）。相机参数包括缩放系数$s \in \mathbb{R}$以及像素空间中的位移（$t_x$、$t_y) \in \mathbb{R}^2$），该位移可通过(s、$t_x$、$t_y$) [^35] [^36]计算得出： $$ T=(t_{x},t_{y},\frac{2f}{w s})\in\mathbb{R}^{3}. $$ 其中w和f分别代表图像块大小和焦距。我们对每个$(T_{l}, T_{r}, T_{o})$都执行此操作。 定性结果：图5展示了ArcticNet-SF和ArcticNet-LSTM在测试集上的预测结果。正如主论文中的定量结果所示，ArcticNet-LSTM模型的整体预测误差更低，且接触效果更佳。这与此处定性示例中的观察结果一致。我们推测这是因为LSTM允许网络对手部和物体的运动进行联合推理。 ### 3.2. InterField InterField-SF架构：表5详细介绍了我们的InterField模型。我们以右手交互场的预测为例进行说明，左手和物体的预测方式类似。具体而言，从输入图像中，我们通过图像骨干网络获取2048维的图像特征向量。该向量会经过多层感知机处理，为了提升计算效率会被投影到更低维度（第1-4行）。我们使用采样的手部顶点，将采样后手部各顶点在规范姿态下的3D坐标与512维的图像特征向量拼接，得到维度为515的点云。该点云会经过PointNet骨干网络处理，得到维度为512的潜在点云（第5-11行）。在PointNet骨干网络中，515维的输入点云会经过一系列层处理，生成低阶点特征（第5-6行）。这些点特征会进一步在第7-11行被处理。随后，我们将浅层（第6行输出）和深层（第11行输出）的点云沿特征维度拼接，得到每个点的维度为1024的点云。一个回归器会将每个1024维的点映射为用于距离预测的单个标量（第12-18行）。最后，我们将采样后的距离上采样到完整手部网格（第19行）。我们以相同方式预测左手和物体的交互场。所有实体共享相同的图像和PointNet骨干网络。 InterField-LSTM架构：该LSTM模型接收来自窗口的图像，并估算每一帧的交互场。具体而言，我们采用了与ArcticNet-SF中相同的架构，只是在回归距离之前，将窗口中的图像特征输入到LSTM网络。基于验证性能，我们使用了双向LSTM，设置两个隐藏层，隐藏维度为1024，窗口大小为11。 --- ![Image](images/3dd2f42093e4ae10129ab5437e88e5f4718391ea04e4275b9ba4f2dddbffb2cc.jpg)
Figure 5. Qualitative results of ArcticNet-SF and ArcticNet-LSTM. Best viewed in color and zoomed in.
![Image](images/7957b2505e87ec026e9f618b74bbfda5527c6e3ace6456f71e4a14798f5fbc5e.jpg)
Figure 6. An illustration of the MRRPE $_{a\to b}$ metric. (a) The predicted roots of entities a and b are denoted by $\hat{\mathbf{J}}_0^a$ and $\hat{\mathbf{J}}_0^b$, and $\mathbf{J}_0^a$ and $\mathbf{J}_0^b$ are the corresponding ground-truth. (b) Subtract a by b; MRRPE $_{a\to b} \in \mathbb{R}$ is indicated by the dash line.
Nr.ModuleDetails
1img_feat.downLinear(in_dim=2048, out_dim=512, bias=True)
2img_feat.downReLU()
3img_feat.downLinear(in_dim=512, out_dim=512, bias=True)
4img_feat.downReLU()
5pointnet.shadowLinear(in_dim=515, out_dim=512, bias=True)
6pointnet.shadowBatchNorm1d(512, affine=True)
7pointnet.deepLinear(in_dim=515, out_dim=512, bias=True)
8pointnet.deepBatchNorm1d(512, affine=True)
9pointnet.deepReLU()
10pointnet.deepLinear(in_dim=515, out_dim=512, bias=True)
11pointnet.deepBatchNorm1d(512, affine=True)
12regressorLinear(in_dim=1024, out_dim=512, bias=True)
13regressorBatchNorm1d(512, affine=True)
14regressorReLU()
15regressorLinear(in_dim=512, out_dim=128, bias=True)
16regressorBatchNorm1d(128, affine=True)
17regressorReLU()
18regressorLinear(in_dim=128, out_dim=1, bias=True)
19upsampleLinear(in_dim=195, out_dim=778, bias=True)
Table 5. Details of InterField-SF architecture.
训练细节：对于每一帧，网络的输出为$\hat{\mathbf{F}}^{l\rightarrow o}$、$\hat{\mathbf{F}}^{r\rightarrow o}$、$\hat{\mathbf{F}}^{o\rightarrow l}$和$\hat{\mathbf{F}}^{o\rightarrow r}$。为了监督训练，我们从ARCTIC中提取每一帧的真实交互场，并构建L1损失函数$\mathcal{L} = \mathcal{L}_F(l, o) + \mathcal{L}_F(r, o) + \mathcal{L}_F(o, l) + \mathcal{L}_F(o, r)$，其中$\mathcal{L}_F(a, b) = \|\mathbf{F}^{a\rightarrow b} - \hat{\mathbf{F}}^{a\rightarrow b}\|_1$对应实体a和b。为了便于处理且聚焦于近距离交互，我们在训练和评估时将交互场距离阈值设为10厘米。 单帧模型的训练批次大小为64，LSTM模型为32。在异中心设定下，单帧模型训练20个周期。由于训练时序模型的计算需求较高，按照[^34]的建议，我们将预训练好的单帧网络的图像特征保存到磁盘，再基于这些图像特征训练LSTM模型6个周期。在自我中心设定下，模型在训练集中可同时访问异中心和自我中心的图像。为了加快训练速度，我们会在自我中心图像（1个摄像头）上对预训练的异中心模型进行微调：单帧模型微调100个周期，LSTM模型微调50个周期。 定性结果：图9展示了单帧模型的预测结果及对应的真实值。我们使用真实的手部和物体姿态来进行可视化，它们并非网络的输入。此处我们重点关注网格上的颜色：较亮的颜色代表交互场中更近的距离。该图证明了任务的可行性，因为预测结果与真实值高度吻合。 ### 4. 指标与实验 #### 4.1. 指标详情 加速度误差（ACC）：按照[^34]的建议，我们用$m/s^2$来报告加速度误差，以衡量连贯运动重建以及交互场估计的平滑度。具体来说，假设$\hat{\mathbf{h}}_i^t \in \mathbb{R}^d$是手部在帧t时预测的顶点（或距离值），$\mathbf{h}_i^t$是对应的真实值。我们计算出$\hat{\mathbf{u}}_i^t \in \mathbb{R}^d$对应的加速度向量$\hat{\mathbf{h}}_i^t$。同理，我们也计算真实值的加速度向量$\mathbf{u}_i^t$。手部的加速度误差计算公式如下： $$ \frac{1}{TV_{h}}\sum_{t=1}^{T}\sum_{i=1}^{V_{h}}\left\|\hat{\mathbf{u}}_{i}^{t}-\mathbf{u}_{i}^{t}\right\| $$ 其中$V_{h}$、T、d分别为手部顶点数、序列长度以及预测任务的维度。为了计算加速度，我们采用中心差分法： ---
Contact and Relative PositionMotionHandObject
Object$CDev_{ho}$ [mm] $\downarrow$$MRRPE_{rl/ro}$ [mm] $\downarrow$$MDev_{ho}$ [mm] $\downarrow$$ACC_{h/o}$ [m/s $^{2}$] $\downarrow$$MPJPE_{h}$ [mm] $\downarrow$AAE [°] $\downarrow$Success Rate [%] $\uparrow$
Notebook37.447.7/39.89.95.0/6.520.83.380.4
Box47.566.3/49.210.65.5/6.724.51.388.2
Espresso machine48.952.5/46.29.54.8/5.024.511.081.0
Waffle iron41.843.3/39.014.65.6/7.921.33.174.0
Laptop42.654.7/40.512.85.2/7.221.71.784.4
Phone29.542.2/31.17.54.6/7.218.83.962.3
Capsule Machine30.537.6/30.97.84.7/4.419.26.969.3
Mixer34.541.2/33.98.64.8/5.321.32.678.3
Ketchup bottle33.045.6/35.010.85.4/7.420.77.059.2
Scissors25.639.7/22.25.84.1/5.017.710.550.1
Microwave60.862.6/41.99.35.2/5.226.07.374.3
Table 6. Detailed breakdown on test set evaluation per object. Here we provide the detailed breakdown of the test set evaluation according to each object. For each metric, we use red to denote the object with the highest error; we use blue to denote the lowest error.
Contact and Relative PositionMotionHandObject
SizeCDev $_{ho}$MRRPE $_{rl/ro}$MDev $_{ho}$ACC $_{h/o}$MPJPE $_{h}$AAESuccess R.
539.948.0/37.49.36.2/8.223.36.172.7
1139.047.0/36.68.86.1/7.722.85.874.6
1539.747.8/36.89.06.2/7.622.95.874.4
Table 7. Effects of window size on ArcticNet-LSTM. Here we ablate the effect of window size on our model on the validation set.
Contact and Relative PositionMotionHandObject
CDev loss$CDev_{ho}$$MRRPE_{rl/ro}$$MDev_{ho}$$ACC_{h/o}$$MPJPE_{h}$AAESuccess R.
✗49.053.1/45.611.97.3/10.123.06.171.3
✓41.950.1/37.610.47.3/9.823.15.971.8
Table 8. Effects of contact deviation (CDev) as a training loss. Here we ablate the effect of the contact deviation metric as a loss on ArcticNet-SF on the validation set.
任务的执行过程。为了计算加速度，我们采用中心差分法： $$ u_{i}^{t}=\frac{h_{i}^{t-1}-2h_{i}^{t}+h_{i}^{t+1}}{w^{2}} $$ 其中 $w = 1/30s$ 是 30-FPS 视频的 stencil 宽度。注意，先前计算加速度误差的方法 [^34] [^87] 未将误差除以 $w^2$，导致误差显著偏小。重建任务和交互场任务的预测维度 $(d)$ 分别为 3 和 1。对于前者，我们使用根相对顶点。我们以相同方式计算物体的加速度。平均铰接误差（AAE）：设 $\omega^t \in \mathbb{R}$ 和 $\hat{\omega}^t \in \mathbb{R}$ 分别为第 t 帧的预测物体铰接和真值物体铰接，则平均铰接误差定义为 $$ \frac{1}{T}\sum_{t=1}^{T}|\boldsymbol{\omega}^{t}-\hat{\boldsymbol{\omega}}^{t}| $$ 其中T为帧数。 平均相对根位置误差（MRRPE）：根据[^17]和[^44]的定义，该指标用于衡量场景中两个实体a和b（手或物体）之间的相对根部平移量。 $$ \mathrm{M R R P E}_{a\rightarrow b}=\left\|\left(\mathbf{J}_{0}^{a}-\mathbf{J}_{0}^{b}\right)-\left(\hat{\mathbf{J}}_{0}^{a}-\hat{\mathbf{J}}_{0}^{b}\right)\right\|_{2}, $$ 其中$a \in \{l, r, o\}$、$b \in \{l, r, o\}$以及l、r、o分别代表左手、右手和物体，$\mathbf{J}_0 \in \mathbb{R}^3$是根关节的真实位置，$\hat{\mathbf{J}}_0$则是预测位置。图6展示了该指标的可视化效果。假设我们要计算$\mathrm{MRRPE}_{a \to b}$，此时$\hat{\mathbf{J}}_0^a$和$\hat{\mathbf{J}}_0^b$分别表示实体a和b的预测根部位置，没有“帽子”标记的符号代表真实值。$\mathrm{MRRPE}$的值就是虚线所示的距离。 #### 4.2. 消融实验与分析 测试集上的详细分析：为了查看各物体的性能表现，表6展示了ArcticNet-LSTM模型在离身视角子集测试集上的评估结果。我们用红色表示每个指标的最差值，蓝色表示最佳值。可以看出，就手部重建（参见MPJPE指标）和接触情况（参见$CDev_{ho}$指标）而言，微波炉是最难处理的物体。这是因为打开微波炉门时，手指常常会被严重遮挡。相比之下，剪刀的手部重建误差最小，因为它属于小型物体。在估计关节角度方面，盒子的误差却最小（参见AAE指标）。我们推测关节角度容易观测是因为盒子是最大的物体。相反，咖啡机把手较小，容易被严重遮挡，因此它的AAE误差最大。最后，剪刀是最难重建其姿态的物体（参见成功率指标），因为它体积小，且在某些视角下其深色纹理与背景颜色相近。 ArcticNet-LSTM的窗口大小：表7展示了验证集中窗口大小对ArcticNet-LSTM的影响。窗口内的帧数越多，模型的整体性能越好。为了在性能和效率之间取得平衡，我们的模型采用11帧的窗口大小。 将接触偏差（CDev）作为训练损失：表8展示了将接触偏差指标作为训练损失的效果。 --- ![Image](images/8f6e8a7ea50f59f23d159cb83fd3ab222ed08b16b68d833484a783d12e49e1d1.jpg)
Figure 7. Changes in hand poses after first contact.
![Image](images/a4ff8812874cc23a65abb29c17ce170ec7dc117d1d7c266a261ea6c80bd565e6.jpg)
Figure 8. Interaction field estimation on HO3D
该设计旨在通过离身视角协议促进手与物体的接触。相关结果在验证集上进行了评估。在这项消融实验中，我们通过开启和关闭接触偏差损失来训练ArcticNet-SF。如第3节所述，该损失作用于左手/物体以及右手/物体之间。结果显示，CDev损失能够改善手与物体的接触情况，这一点可通过$CDev_{ho}$指标体现。 ArcticNet-SF所需的视角数量：由于ARCTIC数据集仅包含1个自我中心视角，我们研究了离身视角数量的影响。当分别使用随机选取的2、4、6、8个视角进行训练时，验证集上手部的MPJPE分别为49.0毫米、35.0毫米、25.8毫米、23.4毫米；物体重建的成功率则分别为40.8%、57.0%、62.1%、68.6%。 灵巧动作的量化：现有数据集并未显示出手部姿态的显著变化。具体而言，ContactPose中的姿态相对于物体是固定的，而DexYCB中的姿态一旦建立接触后也不会有太大变化（参见图7）。该图绘制了连续帧间3D关节的相对变化，排除了全局平移和旋转的影响。垂直虚线表示首次接触时刻。主论文中的图2显示，与其他数据集相比，ARCTIC数据集因包含灵巧操作场景，在手姿和接触模式上更具多样性。 HO3D上的交互场估计：我们提出的任务可应用于包含刚性物体的现有手部数据集。为验证这一点，我们在HO3D上训练了InterField-SF模型。图8展示了定性结果。不过我们注意到，现有的手-物体数据集中每个序列内的手部姿态相似（因此接触情况也类似），且训练图像数量较少，容易导致过拟合（参见图8中的失败案例）；ARCTIC数据集规模更大，由于交互更动态（姿态和接触不断变化），因此更具挑战性，有助于推动未来的相关研究。 利用ARCTIC提升手部与刚性物体的建模效果：我们在ARCTIC数据集上预训练ArcticNet模型，再在HO3D数据集（手部+刚性物体）上进行微调。将该模型与仅在HO3D上训练的模型进行对比。按照HO3D的评估协议，基于ARCTIC的预训练可使MPJPE（经尺度-平移对齐后）误差降低9.2%；对于物体而言，顶点间误差（以根节点对齐）降低了7.1%。这表明关节型手-物体数据对手部及刚性物体的重建有积极作用。 ### 5. ARCTIC的可视化展示 为了可视化数据集中我们的3D标注结果，图10展示了ARCTIC数据集中手部与物体的3D网格随机样本，这些网格叠加在图像之上。关于渲染序列，可查看项目页面上的视频。 ### 6. 讨论与局限性 我们推出了ARCTIC——首个针对双手灵巧操作关节型物体的数据集，同时提供了连贯运动重建与交互场估计任务的基准模型。作为初步成果，我们的工作并非没有局限性。 ArcticNet中的已知物体模型：与现有方法[^14] [^24] [^25] [^77]类似，我们基准模型的一个局限性在于它们假设物体模型已知。我们将未知物体的关节型3D形状估计视为一个独立的研究方向，该领域正在取得进展。既然我们已经证明了推断此类物体手-物体交互的可行性，未来研究应将我们的方法与3D关节型物体推断技术相结合。这极具挑战性，我们认为在子问题上取得进展至关重要，而ARCTIC可为此提供支持。 玩具类物体：我们的部分物体属于玩具，它们并非按比例缩放，且缺乏真实物体所具有的视觉复杂性。不过，ARCTIC旨在研究手-物体运动之间的物理动力学特性。 利用SMPL-X捕捉接触情况：由于我们采用SMPL-X/MANO作为人体表征，人体几何模型无法捕捉接触时的皮肤形变。虽然可变形的人体/手部模型是捕捉真实接触情况的理想选择，但开发此类模型并非ARCTIC的目标。此外，若未来开发出相应的可变形模型，ARCTIC中的标记数据与图像也可用于拟合该模型。我们的3D标注与接触捕捉流程参考了GRAB [^65]的方法；具体而言，我们使用MoSh++将SMPL-X拟合到标记数据上，以获得高精度结果。接触捕捉流程我们借鉴了GRAB的方法。GRAB的接触标签在业内被广泛用于支持诸如[^21] [^64] [^84]等项目。 --- RGB图像中的手部标记：我们采用光学标记捕捉技术来获取精确的手部与物体姿态，这可能会引入标签噪声。不过我们的手部标记侵入性极小（半径为1.5毫米），在图像缩放后几乎不可见。 我们所用物体的自由度：ARCTIC中的物体均具有1个自由度。这是因为许多面向人类交互设计的物品往往只有单一旋转轴，这类物品不仅易于制造，而且操作起来也很直观（例如门、冰箱、烤箱、钳子等）。因此，ARCTIC中的物体能够代表家庭和商业场所中广泛存在的各类物品。重要的是，与这类物体的交互重建过程会涉及遮挡、深度歧义以及接触估计等问题；这些问题同样存在于具有更多自由度的物体中。此外，相较于现有的手-物交互数据集，我们采集到的手部姿态更加多样，手-物交互场景也更具挑战性。未来的研究应增加物体的数量和复杂度，以便进一步探究深度歧义与遮挡问题。 人类受试者数据的审批情况：受试者数据是在事先获得书面知情同意的情况下采集的，且数据采集过程已通过大学伦理委员会的审查。 --- ![Image](images/f2afb345a295927297884062b21641355e46fe8ea23e5dcd17ca2c7276c7246b.jpg)
Figure 9. Qualitative results of InterField-SF. Best viewed in color and zoomed in.
--- ![Image](images/c30deddf72905b54bcc733c537655ae2a7b3306fca5fda9a0314b4d0253f1a57.jpg)
Figure 10. Overlay of ARCTIC ground-truth We overlay the ground-truth in our dataset. Examples here are randomly sampled from ARCTIC. Note that although the RGB images contain both human bodies and hands, the hand region is clearly visible when zoomed in, thanks to our high resolution RGB images.