# HO-Cap：一种用于手部与物体交互的3D重建和姿态跟踪的采集系统与数据集
王继凯 $^{1}$ 张启凡 $^{1}$ 曹宇伟 $^{2}$ 温博文 $^{2}$ 郭晓虎 $^{1}$ 向宇 $^{1}$
$^{1}$德克萨斯大学达拉斯分校
{jikai.wang, qifan.zhang, xguo, yu.xiang}@utdallas.edu
$^{2}$英伟达公司
{ychao, bowenw}@nvidia.com
Figure 1. Examples of RGB frames and renderings of the 3D shape and pose annotations of hands and objects in our dataset to images and in the NVIDIA Isaac Sim simulation.
## 摘要
我们介绍了一种数据采集系统以及名为HO-Cap的新数据集，用于视频中手部与物体的3D重建和姿态跟踪。该系统利用多台RGB-D相机和HoloLens头戴设备来采集数据，无需使用昂贵的3D扫描仪或动作捕捉系统。我们提出了一种半自动方法，用于对采集到的视频中的手部与物体形状和姿态进行标注，相比手动标注方式，大幅缩短了标注时间。借助该系统，我们采集了人类与物体互动以完成各类任务的视频数据集，包括简单的拾取放置操作、双手之间的物品传递，以及根据物体的功能特性使用物品等场景，这些可作为具身人工智能和机器人操控领域研究的人类示范。我们的数据采集方案和标注框架将供学术界使用，用于重建物体的3D形状。
用于采集手部与物体数据并跟踪其在视频中的姿态。 $^{1}$
### 1. 引言
手部与物体的交互一直是研究热点，在人机交互、VR/AR以及基于人类示范的机器人学习等领域有着广泛应用。诸如手部检测 [^32] [^53]；手部姿态估计 [^15] [^16]；手部形状重建 [^34] [^37] [^44]；手物检测 [^9] [^40]；物体姿态估计 [^6] [^26] [^47] [^48]；以及物体形状重建 [^8] [^46] [^51] 等具体问题，在学术界受到广泛关注。为了推动对这些问题的研究和基准测试，目前已推出了多个与手部和物体相关的数据集 [^7] [^12] [^20] [^24] [^29] [^50]。大多数数据集包含用户在摄像头前操作物体的视频，
---
并通过各种方法获取手部姿态和物体姿态等真实标注信息。
获取姿态标注的一种简便方法是使用动作捕捉（mocap）系统 [^4] [^12]。不过，动作捕捉系统不仅价格昂贵，而且在数据采集期间还需要在手部和物体上粘贴人工标记点。另外，一些数据集，如 DexYCB [^7]、OakInk [^50] 和 HOI4D [^29]，则依赖人工标注。由于视频帧数量庞大，人工标注极为耗时。最近，已有几种系统被提出，用于自动或半自动地生成手部和物体的姿态标注 [^18] [^24]。然而，这些系统无法扩展到各类物体或手-物交互场景。例如，HO-3D [^18] 仅适用于具有已知3D模型的物体，无法处理未见过的物体；类似地，H2O [^24] 需要为每一个被拍摄的物体训练一个物体追踪器，因此难以扩展到大量物体。
在这项工作中，我们提出了一种全新的手-物交互捕捉系统。该系统利用八台经过校准的RGB-D摄像头和一台HoloLens头戴设备 [^1]，提供第三人称视角与以眼动为中心的视角。我们提出了一种半自动标注方法，能够精准获取视频中手部和物体的3D形状及姿态标注。与以往的系统不同，我们的方法无需依赖动作捕捉标记点或昂贵的3D扫描仪来重建3D物体模型，也无需进行特定领域的训练。这些特性使得我们的捕捉系统具备可扩展性，且易于部署于手-物交互场景，从而超越了现有方法 [^18] [^24]。
具体而言，我们利用近期开发的大型预训练视觉模型，包括用于手部检测与姿态估计的MediaPipe [^31]、用于3D物体重建与姿态估计的BundleSDF [^45] [^46]、用于物体姿态追踪的FoundationPose [^47]，以及用于物体分割与追踪的SAM2 [^38]。为解决噪声与误差问题，我们利用八台RGB-D摄像头提供的多视角一致性信息。此外，我们提出了一种基于有向距离场（SDF）的优化方法，用以精细化3D空间中的手部与物体姿态。由此，我们的标注流程能够自动处理采集到的RGB-D视频，生成手部和物体的3D形状与姿态数据。唯一需要的人工标注步骤是：在第一帧中为每个物体手动选取两个点，以便通过SAM2 [^38] 生成初始分割掩码，同时标注物体名称并将其录入我们的数据库。
借助我们的捕捉系统与标注方法，我们为手-物交互研究创建了一个名为HO-Cap的新数据集。该数据集包含人类演示的单手及双手与物体交互的视频，涵盖了三种交互类型：基于可供性引导的物体使用、拾取-放置以及物品传递。数据集共包含64个视频，总计656K帧RGB-D图像，由9名受试者与64个物体互动而产生。每一帧都提供了手部和物体的3D形状与姿态真值标注。图1展示了部分示例，我们还在NVIDIA Isaac Sim模拟器中渲染了这些标注结果。
我们的数据集为各类手-物体识别任务提供了宝贵的基准。具体而言，我们给出了基于CAD的物体检测、开放词汇物体检测、手部姿态估计以及未见物体姿态估计的基线结果。该数据集可用于训练手-物体交互模型，也可用于测试基于外部数据训练的模型的零样本能力，从而评估大型模型在手部与物体识别方面的性能。此外，数据集中的手部与物体轨迹可作为具身智能和机器人操控研究中的人类演示数据。
本研究的贡献如下：
- 我们提出了一种数据采集系统以及半自动标注方法，能够从多视角RGB-D视频中获取手部与物体的3D形状和姿态。
- 我们推出了一套全新的手-物体交互数据集，聚焦于人类操作物体的场景。该数据集涵盖了多种抓取及多物体重排任务，对模仿学习领域而言具有新颖性和重要价值。
- 我们提供了包含物体检测、手部姿态估计及物体姿态估计基线结果的基准，这将助力未来基于本数据集的研究工作。
### 2. 相关工作
近年来，已有多项手-物体交互数据集被提出。表1汇总了具有代表性的数据集，并与我们的数据集进行了对比。
动作捕捉与自然采集：获取手部姿态和物体姿态的直接方式是使用动作捕捉系统。通过在手部和物体上粘贴反光标记点，动作捕捉系统可追踪这些标记点来得到手部姿态和物体姿态（例如FPHA [^14]、ContactPose [^4]、ARCTIC [^12]以及OakInk2 [^52]）。不过，动作捕捉系统成本高昂，需要校准动作捕捉标记点与图像相机，还会引入伪影。相比之下，我们的多摄像头设置能够采集无标记点的数据，无需此类校准。
手动标注与自动标注：DexYCB [^7]、OakInk [^50]和HOI4D [^29]等大规模数据集依赖手动标注，虽然精度高，但耗时费力。相比之下，部分数据集采用自动标注方式（如HO-3D [^18]）或半自动标注方式（如H2O [^24]和SHOWMe [^42]）。全自动方法往往会产生标注误差，而半自动方法会整合人工误差修正机制 [^24]，或是手动初始化跟踪流程 [^42]。近期，HANDAL [^17]提出了一种用于6D物体姿态标注的半自动流程，但该流程仅包含有限的动态人-物交互数据，且缺乏手部标注。
---
Table 1. Comparison of our HO-Cap with recent hand-object interaction datasets.
| dataset | year | modality | #seq. | #frames | #subj. | #obj. | #views | real image | marker-less | bi-manual | object reconst. | task | label |
| FPHA [^14] | 2018 | RGB-D | 1,175 | 105K | 6 | 4 | ego | ✓ | ✗ | ✗ | ✗ | multi-task | mocap |
| Obman [^19] | 2019 | RGB-D | - | 154K | 20 | 3K | 1 | ✗ | ✓ | ✗ | ✗ | grasping | synthetic |
| HO-3D [^18] | 2020 | RGB-D | 27 | 78K | 10 | 10 | 1-5 | ✓ | ✓ | ✗ | ✗ | grasping & manipulation | automatic |
| ContactPose [^4] | 2020 | RGB-D | 2,303 | 2,991K | 50 | 25 | 3 | ✓ | ✗ | ✓ | ✗ | grasping & manipulation | mocap |
| GRAB [^43] | 2020 | mesh | 1,335 | 1,624K | 10 | 51 | - | ✗ | ✗ | ✓ | ✗ | grasping | & thermal |
| DexYCB [^7] | 2021 | RGB-D | 1,000 | 582K | 10 | 20 | 8 | ✓ | ✓ | ✗ | ✗ | grasping & handover | manual |
| H2O [^24] | 2021 | RGB-D | - | 571K | 4 | 8 | 4+ego | ✓ | ✓ | ✓ | ✓ | multi-task | semi-auto |
| OakInk [^50] | 2022 | RGB-D | 792 | 230K | 12 | 100 | 4 | ✓ | ✗ | ✗ | ✓ | multi-task | manual |
| HOI4D [^29] | 2022 | RGB-D | 4,000 | 2,400K | 4 | 800 | ego | ✓ | ✓ | ✗ | ✓ | multi-task | manual |
| AffordPose [^20] | 2023 | mesh | - | - | - | 641 | - | ✗ | - | ✗ | ✗ | multi-task | synthetic |
| SHOWMe [^42] | 2023 | RGB-D | 96 | 87K | 15 | 42 | 1 | ✓ | ✓ | ✗ | ✓ | grasping | semi-auto |
| ARCTIC [^12] | 2023 | RGB | 399 | 2,100K | 10 | 11 | 8+ego | ✓ | ✗ | ✓ | ✓ | bi-manual | mocap |
| OakInk2 [^52] | 2024 | RGB | 627 | 4,01M | 9 | 75 | 3+ego | ✓ | ✗ | ✓ | ✓ | manipulation | mocap |
| Ours | 2024 | RGB-D | 64 | 656K | 9 | 64 | 8+ego | ✓ | ✓ | ✓ | ✓ | multi-task | multi-task |
(a) Our hardware setup
(b) Visualization of the camera poses
(c) Point clouds from the cameras
Figure 2. Illustration of our data capture setup.
交互行为且缺乏手部标注。
在我们的研究中，我们提出了一种用于标注视频中双手和物体三维形状及姿态的半自动流程。唯一需要的人工操作是在初始帧中选择物体上的两个点，作为SAM2 [^38] 分割模型的提示。随后，该方法会自动标注后续帧。如表1所示，我们的数据集包含无标记的单手和双手视频，并且能够重建新物体的三维形状。与我们最相似的工作是H2O [^24]。不过与H2O不同的是，我们的方法无需针对物体姿态跟踪器进行特定领域的训练。相反，我们利用预训练的视觉模型并结合多摄像头设置，使得我们的标注方法能够更灵活地应用于各种手-物交互场景。
此外，用户会佩戴Microsoft HoloLens增强现实头盔。
我们的硬件配置如图2(a)所示，包括八台Intel RealSense D455摄像头以及一台放置在桌面上方的Microsoft Azure Kinect [^2]。这些RGB-D摄像头能够覆盖整个工作区域，其中分辨率更高的Kinect主要用于三维物体重建。我们使用Vicalib [^3] 来校准每台摄像头的内部和外部参数，从而将点云数据融合到一个统一的三维坐标系统中（见图2(b)-(c)）。
### 3. 数据采集设置
数据采集过程中，用户会佩戴头戴式设备 [^1]（见图2(c)），这样我们就能同步获取以使用者视角（第一人称）和第三视角拍摄的RGB-D视频。我们还会追踪HoloLens头盔的六自由度姿态，从而将其点云数据与RealSense摄像头采集的数据进行融合。
### 4. 标注方法
我们的目标是为采集到的视频提供手部和物体的三维形状及姿态信息，同时能够处理那些在采集前没有现成三维模型的任意物体。我们提出了一种基于多视角摄像头设置的半自动标注方法，无需使用昂贵的三维扫描仪或动作捕捉系统。
#### 4.1. 三维物体重建
我们的标注流程始于物体三维模型的重建。我们并未依赖现有的三维网格模型（如YCB物体集 [^5]）或三维扫描仪 [^42]，而是采用BundleSDF [^46] 这一神经重建方法来为每个物体生成带纹理的三维网格，前提是假设该物体是刚性的。BundleSDF利用一系列RGB-D图像以及物体的分割掩码，来精确追踪其六自由度姿态并重建带纹理的网格。这样一来，我们仅需借助RGB-D摄像头就能完成物体重建，从而获得各种物体的三维网格，如图3所示。
---
Figure 3. Illustration of our pipeline for 3D object reconstruction.
为了准备输入数据，我们手动移动并旋转Azure Kinect摄像头前的物体，以确保表面能被全面覆盖，从而实现高保真重建。在分割方面，我们采用SAM2 $^{[38]}$——这是一种用于图像和视频中物体分割的统一模型——通过在初始帧中选择两个手动标记的点来追踪后续帧中的物体掩码。基于这些物体掩码，BundleSDF利用基于LoFTR $^{[41]}$的特征匹配来进行粗略姿态初始化，随后通过在线姿态图优化来估算视频帧中物体的6D姿态。与此同时，神经网络物体场被训练用以建模以物体为中心的几何结构与外观，从而优化关键帧的姿态以减少跟踪漂移。最后，通过Marching Cubes算法 $^{[30]}$ 和颜色投影，从神经场中提取出带纹理的3D网格。总体而言，我们在数据集中重建了64个物体，这些物体均可在网上轻松购得。关于这些重建物体的可视化效果，请参阅补充材料。
#### 4.2. 物体姿态估计
获得3D物体模型后，我们便利用它们来表示并估计视频中人们操作这些物体时的姿态。手部与物体姿态估计的流程如图4所示。
##### 4.2.1. 物体姿态初始化
在我们的框架中，每个物体的姿态被表示为一个齐次变换矩阵 $\mathbf{T} = (\mathbf{R}, \mathbf{t}) \in \mathbb{SE}(3)$，其中 $\mathbf{R}$ 和 $\mathbf{t}$ 分别表示物体相对于世界坐标系的3D旋转和平移。世界坐标系定义在桌子中心附近（见图2(b)）。由于所有摄像头都经过了外部校准，因此摄像头坐标系与世界坐标系之间的变换关系是已知的。我们的姿态估计算法首先利用FoundationPose [^47] 输出的姿态估计结果来初始化每个物体的姿态——FoundationPose是一种用于6D物体姿态估计与跟踪的统一基础模型；随后，再通过对分割后的点云进行SDF优化来进一步细化物体姿态。
首先，按照4.1节中的分割流程，我们获取序列中每个物体的分割掩码（示例见图4）。为了确定时刻t时物体的初始姿态，记为 $\mathbf{T}_t = (\mathbf{R}_t, \mathbf{t}_t)$，我们使用FoundationPose在所有摄像头视角下追踪物体姿态。由于FoundationPose基于单摄像头输入，且在物体操作过程中容易受到遮挡影响，因此追踪到的姿态可能不够准确，进而导致后续帧中单个视角的跟踪失败。为了确保整个视频序列中跟踪的鲁棒性，我们通过对齐来自多个摄像头视角的追踪姿态来优化姿态一致性，从而减少差异并提升准确性。
具体来说，根据每个摄像头视角下追踪到的姿态$Tc_i$和$c_i$，我们将这些姿态从各自的摄像头坐标系转换到世界坐标系中。如果所有转换后的姿态之间的成对距离分布差异显著，说明这些姿态存在噪声，此时会跳过优化过程，转而使用上一帧的姿态。如果所有转换后的姿态与上一帧姿态$T_{t-1}$之间的距离都在预设阈值范围内，表明姿态变化不大，我们就会将上一帧的姿态纳入RANSAC算法$^{[13]}$中，以提升识别异常值的鲁棒性。最后，应用RANSAC算法根据计算出的距离来识别并过滤掉异常值，从而得到物体的单一、连贯的姿态。随后，优化后的世界坐标系下的初始姿态$T_t$会被投影回各个摄像头坐标系，作为FoundationPose在下一帧中追踪物体的输入，确保跨帧追踪的可靠性和准确性。
##### 4.2.2. 基于SDF的物体姿态追踪
尽管这些初始姿态足以让FoundationPose在下一帧中进行追踪，但细微的不准确性以及与物体点云的对齐偏差仍有可能出现。这类误差可能源于遮挡、摄像头噪声或随时间产生的漂移。为解决这一问题，我们采用基于有符号距离场（SDF）的算法来优化序列中的姿态。我们的基于SDF的姿态追踪利用了来自全部八个摄像头的完整融合点云，从而生成更高质量的姿态标注。
在时间步t，我们的目标是根据上一帧姿态$\mathbf{T}_t$来优化初始物体姿态$\mathbf{T}_{t-1}$，其中$t = 1, 2, \ldots, T$且T为总帧数。我们最小化如下损失函数：
$$ \mathbf{T}_{t}^{*}=\arg\min_{\mathbf{T}_{t}}\big(L_{\mathrm{s d f}}(\mathbf{T}_{t})+\lambda_{1}L_{\mathrm{s m o o t h}}(\mathbf{T}_{t},\mathbf{T}_{t-1})\big), $$
其中$\lambda_{1}$是用于平衡两项损失项的权重。SDF损失函数定义为：
$$ {\cal L}_{\mathrm{s d f}}({\bf T}_{t})=\frac{1}{|\mathcal{X}_{t}|}\sum_{{\bf x}\in\mathcal{X}_{t}}|\mathrm{S D F}({\bf x},{\bf T}_{t})|^{2}, $$
其中$\mathcal{X}_t$表示时间步t时世界坐标系下物体的三维点集，该点集由多个摄像头视角融合而成。函数$\text{SDF}(\mathbf{x}, \mathbf{T}_t)$用于计算三维世界点$\mathbf{x} \in \mathbb{R}^3$根据$\mathbf{T}_t$转换到物体坐标系后的有符号距离。最小化SDF损失函——
---
Figure 4. Illustration of our pipeline for obtaining poses of hands and objects from multi-view RGB-D videos.
数能使转换后的三维点与物体模型表面对齐，从而得到准确的物体姿态。
平滑性损失项定义为：
$$ \begin{array}{r}{L_{\mathrm{s m o o t h}}(\mathbf{T}_{t},\mathbf{T}_{t-1})=\|\mathbf{q}_{t}-\mathbf{q}_{t-1}\|^{2}+\|\mathbf{t}_{t}-\mathbf{t}_{t-1}\|^{2},}\end{array} $$
其中$\mathbf{q}_{t}$和$\mathbf{q}_{t-1}$为三维旋转的四元数，$\mathbf{t}_{t}$和$\mathbf{t}_{t-1}$则分别表示三维平移量。平滑性项可防止优化过程中姿态出现大幅跳变。通过对视频序列中的每个物体及每个时间步求解方程(1)，我们就能得到视频中所有物体的姿态。这些姿态可作为初始化数据，随后会与手部姿态一起进一步细化，具体细节见第4.4节。
#### 4.3. 手部姿态估计
我们使用MANO模型[^39]来表示人手。这一参数化模型能够通过形状和姿态参数实现精细的手部网格建模。形状参数$\beta \in \mathbb{R}^{10}$用于描述个体手部的特征，反映不同受试者之间的差异；而姿态参数$\theta \in \mathbb{R}^{51}$则描述手部的动态位置和朝向。在优化手部姿态之前，我们会针对数据集中的每个受试者预先校准MANO形状参数（详见补充材料）。
在我们最初尝试优化手部姿态时，采用了第4.2节中用于物体姿态估计的同一损失函数，期望能得到类似的结果。然而，实际实验揭示了独特的挑战，这些挑战要求采用不同的方法来优化手部姿态。主要问题在于使用SAM2方法难以准确分割手部区域，这常常导致分割掩码中包含前臂及其他非手部区域。这种手部分割的不精确性使得难以准确分离出手部以进行姿态优化。此外，我们发现MANO手部姿态参数$\theta$的维度比物体的6D姿态更高，因此仅使用SDF损失时容易出现过拟合现象，往往会导致不现实的手部姿态。
为应对这些挑战，我们意识到需要在手部姿态优化方法中引入更多稳健的约束条件。具体而言，我们引入了2D/3D手部关键点作为锚点来引导优化过程。这些关键点可作为强有力的先验信息，有助于确保生成更真实且符合物理规律的手部姿态。在输入视频的时间步t，我们的目标是估算手部的MANO姿态$\theta_{t}$。我们通过解决以下
---
优化问题来估算手部姿态：
$$ \theta_{t}^{*}=\arg\min_{\theta_{t}}\big(L_{k e y p o i n t}(\theta_{t})+\lambda_{2}L_{r e g}(\theta_{t})\big), $$
其中$L_{keypoint}$是基于估算出的手部3D关键点的损失函数，$L_{reg}$是正则化项，而$\lambda_2$则是用于平衡这两项的权重。正则化项简单定义为姿态参数的L2范数平方：$L_{reg}(\theta_t) = \|\theta_t\|^2$。
##### 4.3.1. 3D关键点损失函数
为了生成用于手部姿态优化的精确3D关键点，我们首先利用MediaPipe [^31]在多个视角下检测2D手部地标。虽然MediaPipe能够全面识别全部21个手关节，但它缺乏置信度评分，因此难以区分被遮挡或估算不准确的关节。这可能会在姿态优化过程中引入误差。
为解决这些问题，我们采用RANSAC [^13]过滤方法来提升3D关键点的准确性。对于每一个手关节，假设它被MediaPipe在$C_{\text{valid}}$个相机视角下检测到。我们通过三角测量法，利用有效的视角对来计算一组候选3D关键点$\mathcal{X}_i = \{\mathbf{x}_i\}_{i=1}^{N_{\text{valid}}}$、$N_{\text{valid}} = C_{\text{valid}}(C_{\text{valid}} - 1)/2$。针对某个3D关键点，定义如下投影损失函数：
$$ L_{\mathrm{p r o j}}(\mathbf{x}_{i})=\sum_{c\in C_{\mathrm{v a l i d}}}\|\Pi^{c}(\mathbf{x}_{i})-\mathbf{h}_{i}^{c}\|^{2}, $$
其中$\Pi^c(\cdot)$是相机c的投影函数，$\mathbf{h}_i^c$表示相机c中3D关键点$\mathbf{x}_i$对应的检测到的2D地标。该损失函数衡量每个候选3D关键点与其对应2D地标之间的偏差。通过最小化这一投影损失来优化3D关键点的位置，随后为每个关节选取投影误差最小的候选点。这一关键步骤有助于排除受MediaPipe错误检测影响的视角，从而提高所得到的3D关键点的可靠性。这些优化后的3D关键点会在后续的优化阶段中作为可靠的先验信息使用。
对于MediaPipe未能在所有摄像头视角下成功检测到手部关键点的视频帧，我们发现这类帧在视频序列中只占很小一部分。此外，受影响的帧在时间上与能够准确检测出手部姿态的帧相邻，其手部姿态的变化通常也很小。这一观察结果表明，利用相邻帧中可靠检测到的3D手部关节数据进行线性插值，是估算缺失数据的有效策略。通过线性插值填补这些空白后，我们进一步采用三次样条插值来优化手部运动轨迹。这种方法不仅能平滑手部关节的空间过渡，还能保证运动轨迹的一阶和二阶导数（即手部的速度和加速度）具有连续性。通过这种优化处理，我们能够在整个序列中获得更加连贯且逼真的手部运动表现，从而提升所观测动作流畅性与自然度。
利用估算出的21个3D手部关节$(\mathbf{x}_1, \ldots, \mathbf{x}_{21})$，可定义3D关键点损失函数如下：
$$ L_{\mathrm{k e y p o i n t}}(\theta_{t})=\frac{1}{21}\sum_{i=1}^{21}\|J_{i}(\theta_{t})-\mathbf{x}_{i}\|^{2}, $$
其中$J_i(\theta_t) \in \mathbb{R}^3$表示在姿态$\theta_t$下MANO模型中第i个3D手部关节。最终，求解公式(4)中的优化问题，就能得到与估算出的3D关键点相匹配的MANO手部姿态$\theta_t$。
#### 4.4. 手部与物体姿态联合优化
分别求解手部与物体的姿态可能会导致不现实的情况，比如手部与物体网格相互穿插。为解决这一局限并提高姿态精度，我们提出了一种联合姿态优化方法，可同时优化手部与物体的姿态。该方法能够减少网格穿插现象，提升估算姿态的物理真实性。
对于一个包含$N_H \in \{1, 2\}$只手和$N_O$个物体的序列，在每个时间步t，我们会同时优化物体姿态$\mathcal{P}_t^O = \{\mathbf{T}_t^o\}_{o=1}^{N_O}$与手部姿态$\mathcal{P}_t^H = \{\theta_t^h\}_{h=1}^{N_H}$。我们的思路是利用物体与手部的SDF来优化姿态，这与我们的物体姿态估算方法一致。这种联合优化的损失函数定义如下：
$$ \begin{aligned}&L_{\mathrm{j o i n t}}(\mathcal{P}_{t}^{O},\mathcal{P}_{t}^{H})=\frac{1}{N_{O}}\sum_{o=1}^{N_{O}}\Big(\frac{1}{|\mathcal{X}_{t}^{o}|}\sum_{\mathbf{x}\in\mathcal{X}_{t}^{o}}|\mathbf{S}\mathbf{D}\mathbf{F}_{o}(\mathbf{x},\mathbf{T}_{t}^{o})|^{2}\Big)\\&+\frac{1}{N_{H}}\sum_{h=1}^{N_{H}}\Big(\frac{1}{|\mathcal{X}_{t}^{h}|}\sum_{\mathbf{x}\in\mathcal{X}_{t}^{h}}|\mathbf{S}\mathbf{D}\mathbf{F}_{h}(\mathbf{x},\theta_{t}^{h})|^{2}+\lambda_{3}\|\theta_{t}^{h}\|^{2}\Big),\\ \end{aligned} $$
其中$\mathcal{X}_t^o$和$\mathcal{X}_t^h$分别表示时间步t时，世界坐标系下物体o和手部h的分割点云；$\mathrm{SDF}_o$和$\mathrm{SDF}_h$则分别对应物体o和手部h的有符号距离场。$\lambda_3$是用于平衡手部姿态正则化项的权重。此外，我们还加入了平滑损失项（公式3），以确保物体姿态以及手部全局平移和旋转的时间一致性。
物体的点云可通过深度图像和物体的分割掩码来获取。要获得手部的点云，在已知优化后的3D手部关键点的情况下，我们可以先确定边界框以及摄像头图像上的2D关键点。以这些2D关键点和边界框作为输入，我们利用SAM2 [^38]生成高质量的手部掩码。随后，基于初始手部姿态，利用点到网格的距离阈值将手部点从周围环境中分离出来。
---
Figure 5. Comparison between the published and refined HoloLens poses
Table 2. Ground-truth pose evaluation results in pixel errors.
| Mean (std) | Object $\downarrow$ | Left hand $\downarrow$ | Right hand $\downarrow$ |
| Initial Poses | 3.67( $\pm$3.05) | 5.31( $\pm$3.43) | 5.16( $\pm$3.73) |
| SDF-Refined Poses | 3.50( $\pm$1.70) | 4.58( $\pm$2.73) | 3.83( $\pm$2.29) |
| Jointly-Refined Poses | 3.42( $\pm$1.73) | 4.58( $\pm$2.72) | 3.82( $\pm$2.29) |
手部与物体的姿态是从我们标注流程的前几个阶段初始化而来的，只需经过少量优化步骤就能获得稳定的结果。这一过程能有效减少网格相交现象，增强手物交互的真实感，从而提供准确且连贯的姿态标注。在估算出世界坐标系下手部与物体的姿态后，我们会将其三维形状投影到相机视图中，进而得到如图4所示的二维图像标注。
#### 4.5. HoloLens相机姿态估计
在数据采集过程中，HoloLens的头戴设备姿态数据常常出现抖动现象，且运动速度不均匀，因此难以实时计算出精确的HoloLens相机姿态。所以我们无法直接采用HoloLens提供的姿态数据。我们采用了一种优化技术来细化HoloLens给出的头部姿态。
在每个时间步t，设备会发布世界坐标系下的HoloLens相机姿态$\mathbf{T}_t^H$。为了细化这一相机姿态，我们获取如4.4节所述的优化后的物体姿态$\mathcal{P}_t^O$。将这组物体视为一个合并后的整体，我们定义其在世界坐标系下的组合物体姿态为$\mathbf{T}_t^O$。将该物体姿态转换到HoloLens相机坐标系下（记为$\mathbf{T}_t^{OH}$），并假设HoloLens与RealSense的坐标系已同步，便可进一步进行细化处理。借助FoundationPose [^47]，我们利用HoloLens拍摄的RGB图像来优化HoloLens相机坐标系下的物体姿态$\mathbf{T}_t^{OH}$，最终得到细化的相机姿态$\mathbf{T}^*_t$。如图5所示，这种细化处理减少了抖动现象，提升了HoloLens相机坐标系中投影物体的对齐精度。
### 5. HO-Cap数据集
数据集统计信息。我们的HO-Cap数据集包含64个视频，记录了9名参与者执行3种手物交互任务的情况，涉及64个独特的物体。大约65.6万帧的数据为研究动态交互提供了丰富的时间信息，每一帧均由8台校准好的RealSense相机以及HoloLens的第一人称视角相机拍摄而成，便于进行三维重建和以自我为中心的感知分析。这64种不同的物体均配有带纹理的三维网格模型，能够实现精细的6D姿态标注；而9名参与者的多样性则确保了手部形状、抓取方式和交互模式的差异。该数据集既包含单手交互，也涵盖双手交互，能够支持需要复杂手部协调的任务。表3给出了左右手及双手交互的惯用手统计数据，以及任务类别的细分情况。关于物体形状和手物姿态多样性的更多细节可在补充材料中查看。
Table 3. Detailed Dataset Statistics. The statistics are grouped by handness (Right, Left, Both) and tasks (T1: pick-and-place, T2: handover between hands, T3: affordance usage).
| Statistics | Handness | Tasks |
| R | L | B | T1 | T2 | T3 |
| #sequence | 35 | 8 | 21 | 28 | 21 | 15 |
| #frames | 41,327 | 8,373 | 23,244 | 29,706 | 23,244 | 19,994 |
包含64种独特物体的交互任务。约656K帧的数据为研究动态交互提供了丰富的时间信息，每一帧均由8台经过校准的RealSense摄像头以及HoloLens的第一人称视角摄像头采集，便于进行三维重建和以自我为中心的感知分析。这64种物体均配有带纹理的三维网格模型，可实现精细的6D姿态标注；同时，9名受试者的参与确保了手部形状、抓取方式和交互模式的多样性。该数据集既涵盖单手交互，也包含双手交互，能够支持需要复杂手部协调的任务。表3给出了左右手的利手统计信息及双手交互情况，同时列出了任务类别的细分。关于物体形状和手-物姿态多样性的更多细节详见补充材料。
标注质量。利用我们的标注方法，我们生成了手部与物体的三维形状及世界空间姿态。为了验证标注的准确性，我们从8个RealSense相机视角中随机选取了800张图像，由人工标注可见的手部关节和物体关键点。物体关键点选自易于识别的预定义网格顶点。随后，我们计算了三维标注的二维投影与这些人工标注的二维点之间的欧几里得距离。表2展示了评估结果：1）手部与物体的最终标注误差均控制在5像素以内，证明了我们方法的可靠性；2）随着标注优化步骤的推进，误差持续减小，验证了我们优化策略的有效性。
### 6. 基线实验
构建数据集后，我们提供了几项基线实验结果，以展示该数据集的使用方法。
#### 6.1. 手部姿态估计
首先，我们的数据集通过提供21个手部关节的2D和3D位置标注来支持手部姿态估计。在本实验中，我们评估了两种最新的手部姿态估计模型：A2J-Transformer [^21] 和 HaMeR [^37]，这两种模型均在外部数据上训练，以真实的手部边界框作为输入。评估结果如表4所示。我们使用PCK（关键点正确率）指标来评估2D手部姿态估计，使用MPJPE（关节位置误差均值）指标来评估3D手部姿态估计。A2J-Transformer将基于深度的A2J [^49] 扩展为可接收RGB输入，并引入了
---
Table 4. Evaluation of hand pose estimation. The numbers in parentheses are thresholds for PCK, and unit for MPJPE.
| Method | PCK(0.05) \uparrow | PCK(0.1) \uparrow | PCK(0.15) \uparrow | PCK(0.2) \uparrow | MPJPE (mm) \downarrow |
| A2J-Transformer [^21] | 12.1 | 26.8 | 39.4 | 50.5 | 78.7 |
| HaMeR [^37] | 43.7 | 79.2 | 88.5 | 91.4 | 28.9 |
Transformer架构来捕捉非局部信息。该模型在InterHand2.6M数据集 [^33] 上训练。HaMeR [^37] 采用大规模的ViT骨干网络 [^11]，随后搭配Transformer解码器来回归手部参数，它是在包含10个手部姿态数据集、共270万张图像的大规模数据集上训练的。表4显示，HaMeR的性能显著优于A2J-Transformer，这很可能得益于其ViT骨干网络和大规模训练数据。HaMeR的MPJPE值为28.9毫米，远大于[^37]中报告的其他数据集上的误差。这表明我们的数据集为手部姿态估计带来了独特的挑战，尤其是在手部与物体相互遮挡的情况下。
#### 6.2. 物体检测
我们在两种场景下评估了物体检测：新物体检测和已见物体检测。新物体检测是指模型检测训练过程中未 encountered到的物体；而已见物体检测则是指模型专门在我们的数据集上训练。CNOS [^35] 和 GroundingDINO [^28] 作为新物体检测的基线模型，而YOLO11 [^22] 和 RT-DETR [^54] 则在我们数据集上针对已见物体检测进行训练。
新物体检测基线模型：CNOS [^35] 是一种基于CAD的方法，它通过渲染CAD模型来生成物体模板，并利用SAM [^23] 和 DINOv2 CLS令牌 [^36] 根据模板相似性对候选区域进行分类。GroundingDINO [^28] 是一款视觉语言模型，我们将其与我们数据集中的物体名称拼接后作为文本提示，用以检测物体。
已见物体检测基线模型：我们在包含所有受试者、视角和物体的训练/验证集上训练YOLO11和RT-DETR，并在与训练/验证集不共享序列的测试集上对其进行评估。YOLO11作为YOLO系列的最新版本，采用了改进后的架构和训练方法以实现高效检测。RT-DETR是一款基于Transformer的模型，旨在针对不同物体尺度和复杂场景展现出稳健的性能。
表5展示了采用MSCOCO [^27] 平均精度（AP）指标得出的结果，结果显示新物体检测面临诸多挑战，因为CNOS和GroundingDINO由于匹配误差和歧义产生了大量误检。对于已见物体检测，YOLO11和RT-DETR在中等尺寸和大型物体上的表现尤为出色。这些结果凸显了我们数据集在训练物体检测器方面的实用性，其中RT-DETR和YOLO11在训练期间见过的物体上表现优异。
Table 5. Evaluation of object detection. Mean AP on all 64 objects in our dataset. Marker $*$ indicates trained on our dataset.
| Method | AP | $AP_{{50}}$ | $AP_{{75}}$ | $AP_{{S}}$ | $AP_{{M}}$ | $AP_{{L}}$ |
| CNOS [^35] | 25.3 | 27.9 | 24.8 | 1.6 | 27.6 | 24.9 |
| GroundINGDINO [^28] | 17.0 | 27.6 | 21.5 | 1.4 | 24.3 | 7.5 |
| YOLO11 $^{{*}}$ [^22] | 71.4 | 85.9 | 78.7 | 20.7 | 75.2 | 72.6 |
| RT-DETR $^{{*}}$ [^54] | 75.9 | 90.0 | 83.4 | 21.1 | 79.8 | 84.8 |
Table 6. Evaluation of object pose estimation for novel objects. The numbers are the AUC percentage of the ADD and ADD-S metrics on all 64 objects in our dataset.
| Method | ADD (%) | ADD-S (%) |
| MegaPose [^25] | 67.1 | 83.0 |
| FoundationPose [^47] | 89.3 | 95.7 |
#### 6.3. 新物体姿态估计
传统的物体姿态估计方法[^10] [^48]要求训练集和测试集中使用相同的物体，因此无法推广到新物体。为了克服这一局限，近期出现了一些新颖的物体姿态估计方法，它们利用大规模数据集和预训练模型。诸如MegaPose [^25]和FoundationPose [^47]之类的方法仅需借助3D模型即可估计未见物体的姿态，无需针对每个实例进行训练。因此，我们在自己的数据集上对MegaPose和FoundationPose进行了评估，将真实的2D边界框作为输入。表6报告了ADD和ADD-S指标的AUC值[^10] [^48]。FoundationPose的表现优于MegaPose，这很可能得益于其强大的基于Transformer的架构以及大量的合成数据训练。更多可视化结果详见补充材料。
### 7. 结论与讨论
我们提出了一种用于手-物交互研究的新颖采集系统与数据集HO-Cap。该系统采用多台RGB-D相机和HoloLens，从第三人称和第一人称视角采集视频。我们采用了一种半自动标注方法，结合预训练的视觉模型来完成3D物体重建、分割、姿态估计以及手部关节检测，且无需针对特定领域进行训练。此外，基于SDF的优化算法还能进一步细化手部和物体的姿态。HO-Cap包含了多种多样的人-物交互场景，是研究手-物交互、具身人工智能以及机器人操控领域的宝贵资源。
局限性。我们的标注框架存在三个主要局限性。首先，我们发现BuddleSDF [^46]对某些类型物体的重建效果较差，比如一些无纹理物体和金属物体。因此，我们无法将这些物体纳入数据集中。其次，MediaPipe [^31]偶尔无法准确检测出手部关节。由于我们的手部姿态估计依赖于MediaPipe的检测结果，一旦无法检测到手部关节，就无法进行姿态估计，因此我们排除了那些MediaPipe检测失败频繁的视频。最后，当手持小型或圆柱形物体（如锅铲或锤子）时，
---
手部能提供的颜色、深度或几何信息极少，这使得准确估计物体的姿态——尤其是旋转角度——变得十分困难。这种有限的可见性会导致不同视角下的结果不一致，也无法在世界坐标系中实现可靠的姿态跟踪，给我们的标注流程带来了巨大挑战。因此，这类视频也被排除在外。未来的研究可以考虑克服这些局限性。
## 致谢
本研究部分得到了DARPA感知赋能任务引导（PTG）计划（合同编号HR00112220005）、索尼研究奖计划以及美国国家科学基金会（NSF）授予的2346528号资助。
## 参考文献
[^1]: Microsoft hololens.
[^2]: Microsoft kinect. . 3
[^3]: Vicalib.
[^4]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D Twigg, Charles C Kemp, and James Hays. Contactpose: A dataset of grasps with object contact and hand pose. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XIII 16, pages 361–378. Springer, 2020. 2, 3
[^5]: Berk Calli, Aaron Walsman, Arjun Singh, Siddhartha Srinivasa, Pieter Abbeel, and Aaron M Dollar. Benchmarking in manipulation research: The ycb object and model set and benchmarking protocols. arXiv preprint arXiv:1502.03143, 2015. 3
[^6]: Pedro Castro and Tae-Kyun Kim. Crt-6d: Fast 6d object pose estimation with cascaded refinement transformers. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, pages 5746–5755, 2023. 1
[^7]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9044–9053, 2021. 1, 2, 3
[^8]: Zerui Chen, Shizhe Chen, Cordelia Schmid, and Ivan Laptev. gsdf: Geometry-driven signed distance functions for 3d hand-object reconstruction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12890–12900, 2023. 1
[^9]: Ahmad Darkhalil, Dandan Shan, Bin Zhu, Jian Ma, Amlan Kar, Richard Higgins, Sanja Fidler, David Fouhey, and Dima Damen. Epic-kitchens visor benchmark: Video segmentations and object relations. Advances in Neural Information Processing Systems, 35:13745–13758, 2022. 1
[^10]: Xinke Deng, Arsalan Mousavian, Yu Xiang, Fei Xia, Timothy Bretl, and Dieter Fox. Poserbpf: A rao-blackwellized
用于6自由度物体姿态跟踪的粒子滤波器。《IEEE机器人学汇刊》，37(5):1328–1342，2021年。8
[^11]: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth $16 \times 16$ words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929, 2020. 8
[^12]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 12943–12954, 2023. 1, 2, 3
[^13]: Martin A Fischler and Robert C Bolles. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM, 24(6):381–395, 1981. 4, 6
[^14]: Guillermo Garcia-Hernando, Shanxin Yuan, Seungryul Baek, and Tae-Kyun Kim. First-person hand action benchmark with rgb-d videos and 3d hand pose annotations. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 409–419, 2018. 2, 3
[^15]: Liuhao Ge, Yujun Cai, Junwu Weng, and Junsong Yuan. Hand pointnet: 3d hand pose estimation using point sets. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 8417–8426, 2018. 1
[^16]: Jia Gong, Lin Geng Foo, Zhipeng Fan, Qiuhong Ke, Hossein Rahmani, and Jun Liu. Diffpose: Toward more reliable 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13041–13051, 2023. 1
[^17]: Andrew Guo, Bowen Wen, Jianhe Yuan, Jonathan Tremblay, Stephen Tyree, Jeffrey Smith, and Stan Birchfield. Handal: A dataset of real-world manipulable object categories with pose annotations, affordances, and reconstructions. In 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 11428–11435. IEEE, 2023. 2
[^18]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 3196–3206, 2020. 2, 3, 1
[^19]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 11807–11816, 2019. 3
[^20]: Juntao Jian, Xiuping Liu, Manyi Li, Ruizhen Hu, and Jian Liu. Affordpose: A large-scale dataset of hand-object interactions with affordance-driven hand pose. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 14713–14724, 2023. 1, 3
## [^21]: Changlong Jiang, Yang Xiao, Cunlin Wu, Mingyang Zhang, Jinghong Zheng, Zhiguo Cao, and Joey Tianyi Zhou. A2j-transformer: Anchor-to-joint transformer network for 3d interacting hand pose estimation from a single rgb image. In
---
《IEEE/CVF计算机视觉与模式识别会议论文集》，第8846–8855页，2023年。7、8、2、4
[^22]: Glenn Jocher and Jing Qiu. Ultralytics yolo11, 2024. 8
[^23]: Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C Berg, Wan-Yen Lo, et al. Segment anything. arXiv preprint arXiv:2304.02643, 2023. 8
[^24]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 10138–10148, 2021. 1, 2, 3
[^25]: Yann Labbé, Lucas Manuelli, Arsalan Mousavian, Stephen Tyree, Stan Birchfield, Jonathan Tremblay, Justin Carpentier, Mathieu Aubry, Dieter Fox, and Josef Sivic. Megapose: 6d pose estimation of novel objects via render & compare. arXiv preprint arXiv:2212.06870, 2022. 8, 2, 6, 7
[^26]: Taeyeop Lee, Jonathan Tremblay, Valts Blukis, Bowen Wen, Byeong-Uk Lee, Inkyu Shin, Stan Birchfield, In So Kweon, and Kuk-Jin Yoon. Tta-cope: Test-time adaptation for category-level object pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21285–21295, 2023. 1
[^27]: Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pages 740–755. Springer, 2014. 8
[^28]: Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, Hao Zhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, Jun Zhu, et al. Grounding dino: Marrying dino with grounded pre-training for open-set object detection. arXiv preprint arXiv:2303.05499, 2023. 8, 2
[^29]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. 1, 2, 3
[^30]: William E Lorensen and Harvey E Cline. Marching cubes: A high resolution 3d surface construction algorithm. In Seminal graphics: pioneering efforts that shaped the field, pages 347–353. 1998. 4
[^31]: Camillo Lugaresi, Jiuqiang Tang, Hadon Nash, Chris McClanahan, Esha Uboweja, Michael Hays, Fan Zhang, Chuo-Ling Chang, Ming Yong, Juhyun Lee, Wan-Teh Chang, Wei Hua, Manfred Georg, and Matthias Grundmann. Mediapipe: A framework for perceiving and processing reality, 2019. 2, 6, 8
[^32]: Arpit Mittal, Andrew Zisserman, and Philip HS Torr. Hand detection using multiple proposals. In BMVC, page 5. Cite-seer, 2011. 1
[^33]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single
RGB图像。载于《计算机视觉——ECCV 2020：第16届欧洲会议论文集》，英国格拉斯哥，2020年8月23日至28日，第16卷，第548–564页。施普林格出版社，2020年。8
[^34]: Franziska Mueller, Micah Davis, Florian Bernard, Oleksandr Sotnychenko, Mickeal Verschoor, Miguel A Otaduy, Dan Casas, and Christian Theobalt. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics (ToG), 38(4):1–13, 2019.
[^35]: Van Nguyen Nguyen, Thibault Groueix, Georgy Ponimatkin, Vincent Lepetit, and Tomas Hodan. Cnos: A strong baseline for cad-based novel object segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2134–2140, 2023. 8, 2
[^36]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, et al. Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193, 2023. 8
[^37]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024. 1, 7, 8, 2, 4
[^38]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, and Christoph Feichtenhofer. Sam 2: Segment anything in images and videos. arXiv preprint arXiv:2408.00714, 2024. 2, 3, 4, 6
[^39]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), 36(6), 2017. 5
[^40]: Dandan Shan, Jiaqi Geng, Michelle Shu, and David F Fouhey. Understanding human hands in contact at internet scale. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 9869–9878, 2020.1
[^41]: Jiaming Sun, Zehong Shen, Yuang Wang, Hujun Bao, and Xiaowei Zhou. Loftr: Detector-free local feature matching with transformers. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 8922–8931, 2021. 4
[^42]: Anilkumar Swamy, Vincent Leroy, Philippe Weinzaepfel, Fabien Baradel, Salma Galaaoui, Romain Brégier, Matthieu Armando, Jean-Sebastien Franco, and Grégory Rogez. Showme: Benchmarking object-agnostic hand-object 3d reconstruction. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 1935–1944, 2023. 2, 3
[^43]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IV 16, pages 581–600. Springer, 2020. 3
### [^44]: Zhigang Tu, Zhisheng Huang, Yujin Chen, Di Kang, Linchao Bao, Bisheng Yang, and Junsong Yuan. Consistent 3d hand
---
通过自监督学习实现视频中的重建。《IEEE模式分析与机器智能交易》，2023年。1
[^45]: Bowen Wen and Kostas Bekris. Bundletrack: 6d pose tracking for novel objects without instance or category-level 3d models. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 8067–8074. IEEE, 2021. 2
[^46]: Bowen Wen, Jonathan Tremblay, Valts Blukis, Stephen Tyree, Thomas Muller, Alex Evans, Dieter Fox, Jan Kautz, and Stan Birchfield. Bundlesdf: Neural 6-dof tracking and 3d reconstruction of unknown objects. CVPR, 2023. 1, 2, 3, 8
[^47]: Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects. arXiv preprint arXiv:2312.08344, 2023. 1, 2, 4, 7, 8, 6
[^48]: Yu Xiang, Tanner Schmidt, Venkatraman Narayanan, and Dieter Fox. Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes. arXiv preprint arXiv:1711.00199, 2017. 1, 8
[^49]: Fu Xiong, Boshen Zhang, Yang Xiao, Zhiguo Cao, Taidong Yu, Joey Tianyi Zhou, and Junsong Yuan. A2j: Anchor-to-joint regression network for 3d articulated pose estimation from a single depth image. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 793–802, 2019. 7
[^50]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20953–20962, 2022. 1, 2, 3
[^51]: Sid Yingze Bao, Manmohan Chandraker, Yuanqing Lin, and Silvio Savarese. Dense object reconstruction with semantic priors. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1264–1271, 2013. 1
[^52]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 445–456, 2024. 2, 3
[^53]: Fan Zhang, Valentin Bazarevsky, Andrey Vakunov, Andrei Tkachenka, George Sung, Chuo-Ling Chang, and Matthias Grundmann. Mediapipe hands: On-device real-time hand tracking. arXiv preprint arXiv:2006.10214, 2020. 1
#### [^54]: Yian Zhao, Wenyu Lv, Shangliang Xu, Jinman Wei, Guanzhong Wang, Qingqing Dang, Yi Liu, and Jie Chen. Detrs beat yolos on real-time object detection, 2023. 8
---
##### HO-Cap：用于手部与物体交互的3D重建及姿态跟踪的采集系统与数据集
补充材料
#### 8. 数据采集详情
##### 8.1. MANO形状校准
我们采用三步流程来校准每位受试者的手部形状，假设其双手形状相同。首先，我们进行初始姿态估计和3D点采集。要求参与者将右手与摄像头前显示的渲染后的中性MANO手部网格对齐（见图6）。在此过程中，会动态采集网格周围的3D点，并根据其与网格表面的距离进行筛选，仅保留在预设阈值内的点。随后，通过将3D点拟合到MANO模型的有向距离场（SDF）上来优化手部姿态，同时将形状参数$\beta$固定为零，以便专注于姿态微调。优化后的姿态和筛选出的3D点会被保存下来用于下一步。其次，我们利用保存的姿态和点数据，迭代优化手部形状$\beta$和姿态$\theta$。这一过程需要交替固定其中一个参数并优化另一个，逐步提升手部网格与采集到的3D点数据之间的对齐度。最后，利用数据集中采集的序列可进一步细化优化后的手部形状。一旦确定最终形状，在后续的手部姿态估计优化过程中便固定使用该校准后的手部形状。
Figure 6. Visualization of the rendered MANO hand mesh used as a reference for participants during calibration.
##### 8.2. 摄像头流同步
为了实现高效控制和数据采集，所有摄像头都被集成到ROS服务器中以实现无缝采集。8台静态RealSense摄像头通过线缆连接到该服务器，用于发布同步的RGB图像和深度图像。通过TCP/IP连接的HoloLens设备以研究模式运行，以访问并发布RGB摄像头流和头部追踪数据。所有图像帧和姿态数据都会被记录到单个ROS bag文件中，并基于时间戳进行同步，以确保时间上的对齐。
##### 9. HO-Cap的特性
#### 9.1. 标注详情
HO-Cap数据集提供了基于MANO模型的3D手部姿态和6D物体姿态标注，这些标注是在由8台RealSense摄像头构成的全局世界坐标系下优化的。数据集中包含了所有视角的摄像头内参和外参，因此能够将世界坐标系下的标注转换为摄像头坐标系下的3D姿态。通过将3D手部关节投影到图像平面上，即可得到2D手部关节关键点。此外，分割掩码提供了物体和手部的像素级标注，有助于实现精确的场景理解。来自HoloLens头戴设备的第一人称视角（FPV）数据则提供了以使用者为中心的场景视图，这对于人类感知研究和辅助性AR应用至关重要。
#### 9.2. 可视化与场景模拟
HO-Cap数据集提供了64个物体的带纹理3D网格模型（见图8），这些模型可与物理模拟器兼容，从而支持逼真的场景重建与交互建模。如需在Isaac Sim中可视化序列数据或回放场景，请参阅补充视频。
#### 9.3. 形状与姿态多样性
如图7所示，我们的数据集（1）涵盖了多种手持物体的形状和尺寸；（2）与HO3D [^18]相比，提供了更丰富的手部姿态类型，能够捕捉更自然、更具动态性的交互行为。
(a)
(b)
Figure 7. Distribution of (a) object volume ( $mm^{3}$), (b) hand pose with comparison to HO-3D (first two MANO PCA coefficients).
---
#### 10. 与类似数据集的比较
与HO-Cap最相关的是DexYCB[^7]、HO-3D[^18]和H2O [^24]这几个数据集。DexYCB专注于YCB基准测试中的20个物体，主要通过8个摄像头视角采集单手抓取和传递交互数据。相比之下，HO-Cap提供了64个独特的带纹理3D网格物体，物体多样性更强。此外，HO-Cap既包含单手交互也涵盖双手交互，还纳入了第一人称视角（FPV）数据，因此更适用于AR/VR和以人为中心的AI研究。HO-3D则聚焦于以抓取为中心的手部姿态，涉及10个物体，每个序列从1到5个视角采集数据，且依赖基于标记的动作捕捉技术来进行标注。而HO-Cap支持多达64个物体的更广泛手部姿态和抓取类型，并采用无需标记的半自动优化型标注流程。H2O是少数支持双手物体交互的数据集之一，能提供6D物体姿态和3D手部姿态数据，但仅局限于8个物体。相比之下，HO-Cap将这一范围扩展到了64个物体，从而能够覆盖更广泛的双手抓取场景和更多样化的手物交互形式。
#### 11. 实验细节
我们利用该数据集对三项任务进行了基准测试：手部姿态估计、物体检测和新物体姿态估计。为提高评估效率，所有方法均在数据集抽取的关键帧上进行测试。
对于手部姿态估计，评估帧是从全部8个RealSense摄像头数据中以每秒10帧的速率抽取的，共得到189,435帧。这一子集足以代表数据集中手部姿态的多样性。在计算平均关节位置误差（MPJPE）时，通过将根部（手腕）位置替换为真实值来对预测结果和真实值进行对齐，从而消除平移歧义。
对于6D物体姿态估计，由于两个最低角度的摄像头存在严重遮挡现象，且第一人称视角下多为手部画面，因此我们从剩余的6个视角中选取了11,758帧进行评估。这些所选帧包含了物体的各种姿态。姿态估计方法的输入为提供的真实边界框。
对于2D物体检测，评估帧是从RealSense摄像头流中抽取的；对于新物体检测，则采用随机采样策略，最终得到7,293帧。表7给出了已见物体检测的评估设置统计信息。全部帧是从8个RealSense摄像头中以10的采样因子抽取，并划分为训练/验证/测试集。对于每个子集，我们列出了受试者数量（“#sub”）、物体数量（“#obj”）、视角数量（“#view”）、序列数量（“#seq”）、图像样本数（“#image”）以及物体标注数量（“#obj anno”）。
Table 7. Statistics of the evaluation setup for seen object detection.
| splits | #sub | #obj | #view | #seq | #image | #obj anno |
| train | 9 | 64 | 8 | 48 | 36,295 | 177,564 |
| val | 9 | 64 | 8 | 48 | 9,073 | 4,4535 |
| test | 8 | 64 | 8 | 16 | 1,2336 | 62,598 |
#### 12. 定性分析：3D手部姿态估计
图9展示了使用HaMeR [^37]和A2J-Transformer [^21]方法进行的3D手部姿态估计的定性结果。如图所示，结果中包含了2D手部关节和3D手部关节。与A2J-Transformer相比，HaMeR在手部姿态估计方面表现出更高的准确性。由于A2J-Transformer训练过程的局限性，它未能考虑手部与周围物体之间的交互作用。结果显示，当手部与物体的交互区域增大或手部被物体遮挡时，A2J-Transformer的性能会下降。相反，HaMeR通过利用大规模训练图像来训练ViT模型，从而在这些具有挑战性的条件下展现出强大的适应性。
#### 13. 定性分析：新物体检测
图10展示了使用GroundingDINO [^28]和CNOS [^35]进行2D新物体检测的定性结果。对于GroundingDINO，我们使用组合的物体产品名称作为提示词；对于CNOS，则通过从多个视角渲染带纹理的3D模型来为每个物体创建特征模板。在我们的数据集上测试时，这两种方法都出现了大量误检情况。由于每个场景仅包含四个物体，图10中展示了检测得分最高的前四个边界框。
#### 14. 定性分析：6D物体姿态估计
图11展示了6D物体姿态估计的定性结果。利用估计出的姿态渲染出的物体模型会被叠加到变暗的输入图像上以便可视化。如图所示，相较于MegaPose $^{[47]}$，FoundationPose $^{[25]}$在新物体上的6D姿态预测更为准确。
针对6D物体姿态估计，我们在表8中按物体分别列出了更详细的评估指标结果，即平均距离（ADD）和对称平均距离（ADD-S）。物体之间的关系及其编号可在图12中查看。我们发现，FoundationPose [^47]在处理新物体方面显著优于MegaPose [^25]，其准确性有了大幅提升。
---
Figure 8. Reconstructed textured meshes of the 64 objects in HO-Cap
---
HaMeR
A2J-Transformer
Figure 9. Qualitative results of the predicted 3D hand pose using HaMeR [^37] (left two columns) and A2J-Transformer [^21] (right two columns).
---
Figure 10. Qualitative results for novel object detection
---
Figure 11. Qualitative results of 6D object pose estimation. (Top to down: Input RGB frame, FoundationPose [^47], MegaPose [^25])
---
| Object ID | FoundationPose [^47] | MegaPose [^25] | Object ID | FoundationPose [^47] | MegaPose [^25] |
| ADD | ADD-S | ADD | ADD-S | ADD | ADD-S | ADD | ADD-S |
| G01_1 | 93.66 | 96.00 | 88.90 | 93.59 | G11_1 | 89.40 | 95.74 | 66.49 | 82.61 |
| G01_2 | 93.55 | 96.18 | 80.08 | 88.33 | G11_2 | 89.43 | 95.74 | 66.20 | 82.51 |
| G01_3 | 92.98 | 95.96 | 71.38 | 81.96 | G11_3 | 89.39 | 95.67 | 65.92 | 82.62 |
| G01_4 | 88.39 | 95.58 | 69.44 | 82.26 | G11_4 | 89.42 | 95.67 | 65.45 | 82.21 |
| G02_1 | 89.60 | 95.72 | 69.37 | 82.89 | G15_1 | 89.43 | 95.67 | 65.37 | 82.18 |
| G02_2 | 90.19 | 95.79 | 71.22 | 84.50 | G15_2 | 89.41 | 95.67 | 65.33 | 82.18 |
| G02_3 | 90.82 | 95.93 | 71.72 | 85.56 | G15_3 | 89.42 | 95.67 | 65.31 | 82.18 |
| G02_4 | 91.00 | 95.83 | 70.88 | 85.11 | G15_4 | 89.53 | 95.68 | 65.28 | 82.10 |
| G04_1 | 91.10 | 95.85 | 69.84 | 84.39 | G16_1 | 89.57 | 95.69 | 65.56 | 82.14 |
| G04_2 | 91.25 | 95.88 | 69.17 | 84.33 | G16_2 | 89.65 | 95.70 | 65.57 | 82.18 |
| G04_3 | 91.29 | 95.87 | 69.33 | 84.37 | G16_3 | 89.67 | 95.69 | 65.42 | 81.97 |
| G04_4 | 91.36 | 95.87 | 70.08 | 84.73 | G16_4 | 89.72 | 95.70 | 65.57 | 82.03 |
| G05_1 | 90.54 | 95.90 | 69.25 | 84.79 | G18_1 | 89.67 | 95.61 | 65.41 | 82.05 |
| G05_2 | 90.86 | 95.92 | 69.14 | 84.76 | G18_2 | 89.70 | 95.61 | 65.48 | 82.04 |
| G05_3 | 90.82 | 95.94 | 69.21 | 84.80 | G18_3 | 89.72 | 95.61 | 65.68 | 82.13 |
| G05_4 | 86.23 | 95.90 | 66.57 | 85.10 | G18_4 | 89.77 | 95.59 | 65.92 | 82.25 |
| G06_1 | 87.28 | 95.94 | 67.48 | 85.33 | G19_1 | 89.75 | 95.57 | 66.25 | 82.32 |
| G06_2 | 88.13 | 95.99 | 66.02 | 84.59 | G19_2 | 88.11 | 95.59 | 65.90 | 81.72 |
| G06_3 | 88.42 | 96.01 | 66.97 | 84.84 | G19_3 | 87.67 | 95.56 | 64.78 | 81.61 |
| G06_4 | 88.41 | 95.83 | 65.75 | 82.95 | G19_4 | 87.70 | 95.57 | 65.09 | 81.75 |
| G07_1 | 88.52 | 95.81 | 65.58 | 82.50 | G20_1 | 87.76 | 95.57 | 64.57 | 81.79 |
| G07_2 | 88.57 | 95.81 | 65.65 | 82.52 | G20_2 | 87.83 | 95.58 | 64.64 | 81.88 |
| G07_3 | 88.72 | 95.84 | 66.04 | 82.66 | G20_3 | 87.59 | 95.58 | 64.89 | 82.01 |
| G07_4 | 88.78 | 95.81 | 66.14 | 82.50 | G20_4 | 87.64 | 95.59 | 64.30 | 81.84 |
| G09_1 | 88.96 | 95.71 | 67.04 | 82.84 | G21_1 | 87.73 | 95.60 | 64.40 | 81.99 |
| G09_2 | 89.20 | 95.68 | 68.11 | 83.26 | G21_2 | 87.79 | 95.59 | 64.68 | 82.15 |
| G09_3 | 89.51 | 95.73 | 67.68 | 83.27 | G21_3 | 87.68 | 95.56 | 64.29 | 81.63 |
| G09_4 | 89.72 | 95.75 | 67.51 | 83.34 | G21_4 | 87.65 | 95.56 | 63.87 | 81.13 |
| G10_1 | 89.82 | 95.77 | 67.64 | 83.44 | G22_1 | 87.63 | 95.57 | 64.01 | 81.23 |
| G10_2 | 89.81 | 95.78 | 67.58 | 83.48 | G22_2 | 87.69 | 95.57 | 63.68 | 81.13 |
| G10_3 | 89.88 | 95.78 | 67.72 | 83.51 | G22_3 | 87.73 | 95.58 | 63.64 | 81.12 |
| G10_4 | 89.52 | 95.76 | 66.92 | 83.03 | G22_4 | 89.33 | 95.74 | 63.53 | 80.97 |
Table 8. 6D object pose estimation results of representative approaches in ADD and ADD-S.
---
G02_2
G02_3
G02 4
G15_1
G15_2
G15_3
G07_4
G20_2
G20_3
Figure 12. Objects with their IDs in our dataset.