# SHOW3D：在野外环境中捕捉3D手部与物体的场景
Patrick Rim $^{1,2*}$ Kevin Harris $^{1}$ Braden Copple $^{1}$ Shangchen Han $^{1}$ Xu Xie $^{1}$ Ivan Shugurov $^{1}$ Sizhe An $^{1}$ He Wen $^{1}$ Alex Wong $^{2}$ Tomas Hodan $^{1}$ Kun He $^{1}$
$^{1}$Meta Reality Labs
$^{2}$耶鲁大学
Figure 1. SHOW3D is the first dataset of in-the-wild hand–object interactions with accurate 3D annotations as well as text descriptions. The dataset was captured with our novel mobile multi-camera rig in diverse indoor and outdoor scenes, and annotated with 3D shapes and poses with our multi-view pipeline. Overlays show 3D annotations projected to egocentric images (hands in red and blue, object in green).
## 摘要
对于以人眼为中心的计算机视觉而言，准确理解人类手部与物体在操作过程中的3D形态仍是一项重大挑战。现有的手-物交互数据集主要是在受控的摄影棚环境中采集的，这限制了环境的多样性，也制约了基于此类数据训练的模型在现实场景中的泛化能力。为应对这一挑战，我们提出了一种新型的无标记多摄像头系统，该系统允许用户在真正的野外环境中几乎不受限制地移动，同时仍能生成精确的手部和物体3D标注。该采集系统由一套轻便、可背在背后的多摄像头装置组成，它与用户佩戴的VR头显同步且经过校准。为了对手部和物体进行3D真实标注，我们开发了一套自我-外部跟踪流程，并对其质量进行了严格评估。最终，我们推出了SHOW3D——首个包含3D标注的大规模数据集，其中记录了手部在各类现实环境（包括户外）中与物体互动的场景。
我们的方法显著降低了环境真实性与3D标注精度之间的根本矛盾，这一点我们通过多项下游任务的实验得到了验证。show3d-dataset.github.io
### 1. 引言
在日常环境中，准确追踪人类手部及其与物体的交互对于以人眼为中心的感知系统至关重要。在增强现实和虚拟现实（AR/VR）领域，对手部和被操控物体的理解能够实现自然且富有表现力的用户交互，无需依赖外部输入设备或受限的输入空间。在机器人技术和远程操控领域，这种能力对于指导并传授灵巧操控技能至关重要。
尽管近期取得了诸多进展，现有的手-物体感知模型[^10] [^11] [^29] [^30] [^38] [^40]在受控的室内环境之外部署时往往表现不佳。因此，迫切需要能够采集真实、无约束且带有标注的手-物体交互数据的系统，以便在现实场景中应用。然而，构建此类系统极具挑战性。
---
Figure 2. Our mobile multi-camera capture rig. Left: Annotated hardware layout showing five MoCap cameras (red), and eight exocentric monochrome cameras mounted in a half-dome configuration (green), and two egocentric monochrome cameras on the Meta Quest 3 headset (blue). The MoCap cameras are only used for headset pose tracking, by tracking optical markers rigidly attached to the headset. The ten total exocentric and egocentric monochrome cameras are used for marker-free annotation of 3D hand and object poses. Right: The rig in use during in-the-wild capture sessions, demonstrating its lightweight (about eight kilograms) and wearable design that allows natural interaction while maintaining stable, synchronized multi-view coverage under mostly unconstrained motion.
原因在于存在一个根本性的权衡：一方面，为了实现逼真的手/物体外观、环境多样性以及用户移动性，无法大量使用外部传感器，例如摄像头、惯性测量单元、飞行时间传感器以及动作捕捉系统[^1] [^15] [^32] [^34] [^37]；另一方面，三维基准数据的可用性和质量又受到传感器精度与覆盖范围的制约。
现有的手-物体交互数据集往往在这类权衡中偏向两个极端之一。包括GigaHands [^8]、HOT3D [^3]和ARCTIC [^7]在内的最新数据集，都是在受控条件下采集的，通常是在配备动作捕捉系统或固定多摄像头阵列的室内摄影棚中。虽然这些设置能提供较高的3D精度，但它们本质上限制了环境的多样性；而且在使用基于标记的动作捕捉时，反射标记会改变手部和物体的自然外观，从而影响视觉真实感。在另一个极端，像Ego-Exo4D [^9]和Nymeria [^20]这样具有显著环境差异的数据集，由于传感器配置有限，缺乏手部与物体的密集且精确的3D真值数据。
在这项工作中，我们设计了一种受前人研究启发[^10]但针对移动性进行了优化的新型多摄像头采集系统，从而打破了真实感与真值质量之间的权衡。我们这种轻量化的背包式设备能在保证获取精确3D真值的同时，让用户自由移动，进而能够在包括户外在内的多种环境中采集真实的交互数据（图1）。该系统配备了十台以60Hz频率同步运行的鱼眼黑白摄像头，其中八台为安装在设备上的外摄摄像头，另外两台则来自用户佩戴的Meta Quest 3头显（图2）。为了生成手部与物体的精确3D姿态真值，我们开发了一套利用全部十路摄像头视图的新型内外摄标注流程。在手部姿态标注方面，我们采用了最先进的关键点检测模型，并通过RANSAC算法进行稳健的三维重建。在物体姿态标注方面，我们对近期基于DINOv2的2D检测[^24]、姿态估计[^28]及精细化处理[^25]方法进行了多视角扩展。这两个模块都会输出各自的置信度估计值，以便在构建训练与评估数据集时进行自动过滤。我们通过与独立基准数据对比来评估手部与物体姿态标注的质量，结果显示其精度达到了亚厘米级。
我们利用这套新型采集系统与标注流程收集了SHOW3D数据集——这是一个包含密集且精确3D标注的大规模手-物体交互数据集，也是首个在多样化真实环境中采集的此类数据集。除了来自十台内摄与外摄摄像头的图像以及手部与物体的3D姿态标注外，该数据集还包含了拟合的3D网格、2D分割掩码、接触区域以及文本描述。
跨数据集实验表明，在现有摄影棚数据集上训练的3D手部姿态估计模型和手-物体交互场估计模型，对野外数据的泛化能力较差；而在SHOW3D上训练的模型在摄影棚基准测试中仍能保持优异性能，这证实了我们的数据集确实涵盖了更广泛的环境多样性。此外，我们通过物体轨迹预测实验展示了文本标注的实用性：基于文本条件的模型表现明显优于仅依赖过往轨迹的基线模型，这一结果凸显了语义上下文在理解手-物体交互中的价值。
---
总之，我们的贡献如下：
1. 移动数据采集系统：这是首个用于记录并自动生成野外手-物体交互3D标注的采集装置。我们的系统由一套移动式多摄像头采集设备组成，能够利用多视角图像获取精确的手部与物体姿态真值标注。
2. 自我-外部视角3D真实数据：我们构建了一个利用自我-外部融合技术来标注3D手部与物体姿态的流水线，并通过可靠的置信度估计自动筛选生成的标注结果。我们还严格评估了手部与物体3D真实数据的质量。
3. 规模大且种类丰富的数据集：我们的SHOW3D数据集包含430万帧同步多视角图像，配有全面的标注信息，包括3D手部姿态和MANO网格、带3D模型的6DoF物体姿态，以及描述性的动作级文本标题。
4. 验证数据集的实用性：通过跨数据集泛化实验的实证表明，在SHOW3D上训练的模型比其他数据集上的模型具有更好的迁移能力；而基于文本条件的预测实验也证实了语义标注的价值。
### 2. 相关工作
在本节中，我们回顾了收集大规模手-物交互数据集的最新研究成果。我们尤其重点关注真实数据的采集与标注方法，而非合成数据[^12] [^17] [^23]：虽然合成引擎可以在某些场景下缓解高质量数据稀缺的问题，但在模拟丰富、逼真的手-物动态及环境因素方面仍存在显著挑战，往往会导致难以逾越的仿真到现实域差距。
HOI4D [^18]利用安装在参与者所戴自行车头盔上的Kinect v2和Intel RealSense摄像头，在室内环境中录制RGB-D序列。手部与物体的真实标签是通过手动标注和逐帧传播获得的。尽管其规模具有开创性，但仅依赖单一自我中心视角严重限制了真实数据的保真度，因为很难解决遮挡和尺度模糊问题。
基于标记的动作捕捉（MoCap）系统已被广泛用于真实数据的采集。ARCTIC [^7]采用现成的解决方案，利用54台红外MoCap摄像头，通过在手部和物体上附着红外反射标记来追踪它们的运动。然而，这种固定的室内设置限制了环境的多样性，而且标记的存在会损害视觉真实性并妨碍自然交互。OakInk2 [^39]采用了一种混合捕捉方案，配备12台MoCap摄像头和4台RGB摄像头（3台外部视角，1台自我中心视角）。与ARCTIC类似，为了生成3D姿态真实数据，手部和物体上都嵌入了标记。TACO [^19]采用的设备包括12台静态外部视角RGB摄像头、1台自我中心的GoPro摄像头以及一套MoCap系统。虽然物体姿态仍基于标记获取，但手部姿态标注则来自无标记流水线，即通过2D关键点检测与三角测量得到。最近发布的数据集HOT3D [^3]通过使用Meta Quest 3头显和Aria研究眼镜 [^6]来提升真实感。不过，手部和物体仍依靠基于标记的MoCap系统进行追踪。
另一方面，无标记的解决方案通常依赖于同步的多摄像头设置。Assembly101 [^33] 和 AssemblyHands [^26] 使用8台RGB摄像头与定制头戴设备同步，以捕捉手与物体的交互并标注3D手部姿态，但缺乏物体姿态的基准真值。HO-Cap [^36] 利用多视角RGB-D传感器重建3D手部与物体姿态，并将其作为仿真中的运动源。更近期的研究中，GigaHands [^8] 采用51台RGB摄像头构建针对手和物体的2D转3D流程。该数据集相比以往的数据集拥有更多的帧数，但由于拍摄区域固定且范围有限，其环境与语境多样性依然不足。此外，GigaHands不包含第一人称视角数据。
与静态摄影棚相比，移动数据采集系统更难搭建与操作。其中一项值得注意的大规模研究是Ego-Exo4D [^9]，它包含1个第一人称视角和4个第三人称视角。然而，由于其主要目标是采集现实场景中的全身动作，摄像头并未针对手部观察进行优化，且只有少量帧包含手部标注信息。此外，Ego-Exo4D也未提供3D物体标注。Nymeria [^20] 是另一个类似的真实世界数据集，通过Aria研究眼镜和可穿戴式动作捕捉服采集数据，同样侧重于全身运动而非细致的手与物体交互。EgoDex [^13] 是一个利用Apple Vision Pro API进行手部姿态估计所采集的第一人称灵巧操作数据集，但缺乏物体姿态标注，且采集环境类似简单的摄影棚。
在所有这些现有研究中，明显存在一种权衡：采用复杂的多传感器采集系统虽然能获得高质量的标注数据，但却牺牲了环境多样性与视觉真实感。据我们所知，我们推出了首个真正具备移动性的多摄像头采集装置，能够在完全不受限制的真实环境中获取用于第一人称感知的精确3D手-物基准真值。与我们最为接近的研究是MEgATrack [^10] 所采用的后背式多摄像头系统，但它并非为采集第一人称数据而设计。
### 3. 数据采集与标注
#### 3.1. 移动采集装置
我们设计了一种便携、独立、背包式的多摄像头采集装置，重量约为八公斤，它
---
Figure 3. Our ego-exo pipeline for 3D hand and object pose annotation. (a) Multi-view fisheye images from our ego and exo cameras. (b) We detect 3D hand keypoints by fusing predictions from Sapiens [^14] and InterNet [^22], and fit personalized hand mesh via Inverse Kinematics. (c) CAD-based 3D object pose estimation using CNOS [^24], FoundPose [^28], and GoTrack [^25]. (d) The resulting 3D ground-truth annotations are projected back into ego cameras, and can be used to train egocentric vision models.
我们发现参与者佩戴它时，不会显著限制其在采集过程中的自然活动范围。装置上以半球形布局刚性安装着八台单色鱼眼摄像头（分辨率为 $1024 \times 1280$，水平视场角为 $152^{\circ}$，垂直视场角为 $116^{\circ}$），以最大化视觉覆盖范围。摄像头的排列方式见图2；具体的摄像头位置与视角是通过实验测试确定的。
参与者还会佩戴Meta Quest 3头戴设备，我们记录来自两台前置单色鱼眼摄像头的第一人称图像。为了允许头部进行自然运动，我们并未将头戴设备固定在装置上。随后，为了追踪头戴设备相对于采集装置的位置，我们采用了与HOT3D [^3] 中相同的方式来进行动作捕捉：在头戴设备上放置一个轻量级的标记树（刚体），通过装置上的五台动作捕捉摄像头对其进行追踪。
所有十台单色摄像头和动作捕捉摄像头均在硬件层面以60Hz的频率同步，并经过精确校准，统一到一个共享的3D参考坐标系中。需要注意的是，该参考坐标系会随着参与者的移动而变动，而非固定在物理空间中。视频和动作捕捉数据会被实时传输到安装在移动推车上的高性能台式工作站，该推车会在操作员的引导下随参与者一同移动，从而确保数据的完整采集能力。
#### 3.2. 3D手部姿态标注
我们设计了一套自我-外部融合流程，用于从系统中的十台鱼眼摄像头获取3D手部姿态。首先，我们对每个摄像头视角应用Sapiens [^14]——一种最先进的人体姿态估计模型，以获取人体关键点检测结果，其中每只手包含21个关键点。我们使用的是在专有人体关键点数据集上微调过的Sapiens版本，这些数据集包含了聚合条件下的伸展-收缩类数据。
基于Sapiens输出的2D手部关键点预测结果，我们接下来将其三角测量到由捕捉装置定义的3D空间中。不过，直接利用鱼眼畸变数据进行三角测量并非易事。为了简化这一问题，我们首先在每个摄像头视角内、检测到的手部关键点区域周围执行透视裁剪 [^11]，再将关键点检测结果映射到生成的虚拟针孔相机中。
除了Sapiens输出的关键点外，我们还利用专门的手部姿态估计模型InterNet $^{[22]}$从透视裁剪图像中检测出另一组2D手部关键点，该模型同样是在额外的工作室及合成数据集上进行了微调。我们的思路是：在裁剪后的图像上检测手部关键点难度更低，精度也更高；而直接从完整图像中检测时，由于Sapiens模型对手部的特征分辨率不足，效果往往不尽如人意。我们通过基于RANSAC的三角测量方法将这两组2D手部关键点检测结果进行融合。我们发现，纳入来自自拍摄像头的手部裁剪图像往往能提升整体性能，因为这些图像捕捉到的手部角度与外接摄像头视角存在差异。
接下来，三角测量得到的3D手部关键点会被用来拟合精细的手部网格。我们采用的方案与UmeTrack [^11]及HOT3D [^3]兼容：首先通过高分辨率手部扫描系统生成个性化的线性混合蒙皮手部模型；这种个性化处理能确保得到适用于细粒度任务（如接触点估计）的高质量真实网格。随后，通过逆向运动学将个性化模型拟合到3D关键点上，从而得到时序上平滑的手部姿态序列。最后，
---
| Dataset | Ego / Exo | Frames | Hand Pose | Object Pose | Objects | Subjects | Environment | Annotation |
| SHOW3D (ours) | 2 / 8 | 4.3M | Both / Mesh | ✓ | 21 | 38 | In-the-wild | Monochrome + optimization |
| GigaHands [^8] | 0 / 51 | 3.7M | Both / Mesh | ✓ | 417 | 51 | Studio | RGB + optimization |
| ARCTIC [^7] | 1 / 8 | 2.1M | Both / Mesh | ✓ | 11 | 10 | Studio | MoCap |
| HOT3D [^3] | 3 / 0 | 1.7M | Both / Mesh | ✓ | 33 | 19 | Studio | MoCap |
| TACO [^19] | 1 / 12 | 363K | Both / Mesh | ✓ | 196 | 14 | Studio | MoCap |
| OakInk2 [^39] | 1 / 3 | 993K | Both / Mesh | ✓ | 75 | 9 | Studio | MoCap |
| HOI4D [^18] | 2 / 0 | 2.4M | Both / Mesh | ✓ | 800 | 4 | Studio | RGB-D + manual |
| HO-Cap [^36] | 1 / 9 | 699K | Both / Mesh | ✓ | 64 | 9 | Studio | RGB-D + optimization |
| HOGraspNet [^4] | 0 / 4 | 1.5M | Single / Mesh | ✓ | 30 | 99 | Studio | RGB-D + optimization |
| Ego-Exo4D [^9] | 2 / 4 | >100M | Both / Skel. | ✗ | Many | 740 | In-the-wild | RGB + manual |
| AssemblyHands [^26] | 4 / 8 | 203K | Both / Skel. | ✗ | Many | 20 | Studio | RGB + manual |
| EgoDex [^13] | 1 / 0 | 90M | Both / Skel. | ✗ | Many | - | Studio-like | Apple Vision Pro API |
Table 1. Comparison of SHOW3D against recent hand-object interaction datasets.
我们采用贝叶斯公式来估算手部置信度，该公式包含两项：一项基于关键点检测与三角测量的误差，另一项基于逆向运动学的残差误差。
#### 3.3. 3D物体姿态标注
为了生成精确的6自由度物体姿态标注，我们开发了一套基于CAD的流程，该流程分为三个阶段：（1）利用CNOS [^24]进行2D物体检测；（2）利用FoundPose [^28]进行粗略的6自由度物体姿态估计；（3）利用GoTrack细化器 [^25]对6自由度物体姿态进行精细化处理。
我们从这些方法的开源实现出发，对其进行扩展以支持多视角输入图像。这一做法的动机在于：如[^3]中所述，对FoundPose进行多视角扩展后能够显著提升精度。2D物体检测器会在所有可用视角上运行，每个视角中置信度最高的检测结果被假定为对应目标物体（假设场景中每种物体类别最多只出现一个实例）。FoundPose和GoTrack对校准后的多视角图像的支持，是通过用PoseLib中的多视角gPnP替换标准PnP来实现的[^16]。除了能提升姿态估计精度外，我们还发现多视角输入能使GoTrack细化器生成的最终置信度分数更可靠，这对于筛选生成的姿态标注而言是一项重要特性。
前两个阶段仅在序列的第一帧，或上一帧的姿态估计置信度低于阈值时才会执行。若置信度足够高，我们仅执行姿态细化器，并将上一帧的姿态估计作为初始姿态。这种方式既提升了效率，也能在物体遮挡逐渐加剧的情况下保持鲁棒性。
这三个阶段均基于DINOv2特征[^27]，这些特征能够有效适配各类图像和相机类型。此外，由于无需针对特定物体进行训练，该流程可迅速应用于任何拥有可用CAD模型的物体。我们使用了HOT3D数据集中部分拥有高质量CAD模型的物体[^3]来进行实验。
#### 3.4. 指令到文本的字幕生成
受GigaHands的启发[^8]，我们数据集中的每次录制环节都遵循结构化、以目标为导向的流程，旨在引导参与者产生多样且自然的手部与物体交互行为。参与者会被要求执行常见的物体操作，比如“用瓶子喷液”、“从杯子中啜饮”或“清洁键盘”。我们的指令设计得较为宽泛且以目标为导向，旨在促进自然的多样性与随机性。
为了从这些指令中生成丰富的自然语言标注，我们采用了基于大语言模型的[^2]增强流程，为每次交互生成多个语义各异的段落。这一过程为每段录制的视频生成了多样化的文本字幕，提供了有价值的自然语言描述配对，从而提升了该数据集在语言条件模型和多模态训练中的实用性。
### 4. SHOW3D数据集
利用我们的移动采集系统，我们收集了SHOW3D这一大规模数据集，其中包含超过400万帧图像，这些图像由30名受试者使用21种日常物品进行的自然操作场景构成。每一帧图像都由十台同步摄像头同时采集，从而提供全面的多视角覆盖。该数据集涵盖了真正多样化的环境，包括现有手部与物体交互数据集中极少出现的各类室内外场景。
室内外场景。我们的室外采集场景包括有自然植被的花园区域、带有家具和建筑元素的户外休息区，甚至还有背景主要为天空的建筑边缘录制场景。这些室外环境会因天气变化而呈现出自然多样的照明条件。
---
从阳光明媚的日子到阴天，再到由上方结构、树木以及不同太阳角度产生的动态阴影，种类繁多。室内拍摄场景则涵盖厨房、会议室、走廊、食堂、办公区以及配有游戏和设备的休闲空间。由于人工照明配置各异——从昏暗的环境光到明亮的荧光灯——加上家具和建筑特征产生的阴影图案，室内环境的光照变化极为显著。这种环境与光照的多样性带来了在摄影棚数据集中很少出现的挑战，因为后者通常在可控条件下保持稳定的光照和背景。
标注信息。我们的标注流程可生成丰富的真实值信息：双手的3D手部姿态（每只手21个关键点，并配有定制化的个性化网格模型）、带有纹理映射的3D CAD模型的6自由度物体姿态、遵循[^31]规则的2D分割掩码，以及遵循[^35]规则的手部与物体接触标注。每个交互序列还配有通过基于大语言模型的[^2]增强流程生成的多种自然语言描述，提供不同详细程度的语义说明。
标注质量。SHOW3D是首个针对3D手部姿态和6自由度物体姿态标注进行定量评估的手部-物体交互数据集，评估时以独立参考标准为对照。为检验我们提供的GT手部姿态标注的准确性，我们将系统生成的3D手部关键点与两种来源的金标准标注进行对比：一种来自大型多摄像头摄影棚的自动标注，另一种是在野外采集的数据上的手动标注。在所有条件下，我们的3D关键点中位误差均小于1厘米，这一精度可与大型多摄像头系统相媲美。为检验GT物体姿态标注的准确性，我们在选定物体上粘贴光学标记，并在它们被手部操控时用动作捕捉系统跟踪这些物体。我们将GT物体姿态与这些金标准的动作捕捉物体姿态进行对比，发现所有物体的平移误差P50均小于1厘米，从而验证了标注的质量。完整的实验结果详见补充材料。
多样性。如图4所示，SHOW3D在基于预训练骨干网络提取的手部-物体交互特征空间中占据了广阔的流形区域，衔接了HOT3D、GigaHands和ARCTIC等摄影棚数据集形成的紧凑簇。位于这些簇附近的帧在视觉上对应相似的条件（例如，靠近HOT3D簇的一个SHOW3D场景是在类似的室内实验室环境中拍摄的；而靠近GigaHands簇的场景则具有与GigaHands中安装摄像头的桁架相似的结构）。这表明SHOW3D同时涵盖了野外和受控领域，既反映了真实环境的重叠性，又具备更广泛的覆盖范围。
Figure 4. Cross-dataset feature embedding. We plot UMAP [^21] embeddings of DINOv2 [^27] features extracted from the raw images across different hand–object interaction datasets. SHOW3D (pink) spans diverse visual domains between datasets collected in controlled environments: GigaHands (blue), HOT3D (green), ARCTIC (yellow). Best viewed in color.
与现有数据集的比较。表1展示了SHOW3D相对于现有数据集的定位。虽然基于摄影棚的数据集通过可控设置实现了高质量的标注，但它们牺牲了环境真实性和多样性。相反，像Ego-Exo4D这样的大规模野外数据集虽能捕捉真实的交互行为，但仅提供稀疏或手动的3D标注，且缺少物体姿态信息。SHOW3D的独特之处在于：我们的移动采集设备和基于RGB的优化流程能够在完全不受限制的真实世界条件下，对手部和物体进行密集且精确的3D标注，从而填补了手部-物体交互研究中的重要空白。
### 5. 实验
#### 5.1. 手部-物体交互场估计
现有的接触检测方法主要侧重于二元接触估计，即判断手和物体是否发生接触。然而，在灵巧的双手交互中，手常常靠近物体却并未接触。为了捕捉更丰富的空间关系，我们采用了[^7]中提出的交互场估计任务，该任务能够建模交互过程中手与物体之间的连续空间邻近性。
问题表述。对于每只手的每个顶点，我们的目标是推断其到物体的最近距离，反之亦然。具体而言，定义交互场$\mathbf{F}^{a \to b} \in \mathbb{R}^{V_a}$如下：
| Train set | Test set | ADE (mm) $\downarrow$ | ACC (m/s $^{2}$) $\downarrow$ |
| SHOW3D | HOT3D | 14.70 | 4.05 |
| HOT3D | HOT3D | 11.29 | 3.21 |
| HOT3D + SHOW3D | HOT3D | 8.80 | 2.16 |
| HOT3D | SHOW3D | 22.57 | 5.61 |
| SHOW3D | SHOW3D | 13.82 | 3.79 |
| SHOW3D + HOT3D | SHOW3D | 13.50 | 3.84 |
Table 2. Evaluation of interaction field estimation.
---
| Frames ahead | aria | bowl | cansoup | dinotoy | dumbbell | juice | keyboard | milk | mouse | mug | mustard | vase | waffles | Mean | |
| 30 | w/o text | 58.5 | 43.1 | 28.3 | 45.7 | 89.7 | 30.3 | 51.0 | 31.9 | 26.6 | 32.6 | 57.5 | 24.2 | 36.1 | 42.7 |
| w/ text | 49.0 | 37.5 | 25.0 | 34.0 | 73.8 | 19.3 | 37.3 | 19.5 | 14.5 | 21.6 | 16.3 | 20.3 | 27.0 | 30.4 |
| 60 | w/o text | 63.6 | 40.5 | 29.0 | 46.4 | 95.9 | 33.1 | 66.5 | 22.6 | 27.5 | 37.4 | 77.7 | 27.3 | 39.9 | 46.7 |
| w/ text | 57.0 | 32.7 | 28.4 | 37.5 | 89.0 | 21.1 | 34.6 | 25.2 | 24.7 | 24.4 | 19.0 | 26.3 | 35.1 | 35.0 |
Table 3. Evaluation of text-driven 6DoF object pose forecasting. Reported are per-object and mean average translation errors (mm, $\downarrow$), with and without text conditioning. Conditioning on text leads to a consistent improvement across objects.
对于网格$\mathbf{M}_b$中的所有顶点，其到网格$\mathbf{M}_a$上最近顶点的距离。$V_a$表示网格$\mathbf{M}_a$中的顶点数量（反向交互场则为$\in \mathbb{R}^{V_b}$）。我们可以将这个问题数学化表述如下：
$$ \mathbf{F}_{i}^{a\to b}=\min_{1\leq j\leq V_{b}}\left\|\mathbf{v}_{i}^{a}-\mathbf{v}_{j}^{b}\right\|_{2},\qquad1\leq i\leq V_{a}, $$
其中$\mathbf{v}_k^{(\cdot)} \in \mathbb{R}^3$代表网格$\mathbf{M}_{(\cdot)}$的第k个顶点。我们的任务是为每一帧估计交互场$\mathbf{F}^{l \to o}$、$\mathbf{F}^{r \to o}$、$\mathbf{F}^{o \to l}$和$\mathbf{F}^{o \to r}$，这里l、r和o分别指代左手、右手和物体网格。
实验设置。我们训练 InterField [^7] 模型，并评估 SHOW3D 与 HOT3D 之间的跨数据集泛化能力。我们报告两项指标：以毫米为单位的 Average Distance Error (ADE)，用于衡量预测距离的平均绝对误差；以及以 m/s $^{2}$ 为单位的 Acceleration (ACC)，用于刻画预测的时间平滑性。
实验结果。表2展示了跨数据集评估结果。在HOT3D上测试时，仅在SHOW3D上训练的模型得到的ADE为14.70毫米，而在HOT3D上训练并在SHOW3D上测试的模型ADE则达到22.57毫米（增加了54%）。这种不对称性表明，在SHOW3D上训练的模型对摄影棚环境的泛化能力更强，反之则不然。这说明我们在自然场景中收集的数据能够覆盖更广泛的交互模式和环境条件。
此外，当使用两个数据集共同训练时，我们在HOT3D上观察到显著提升（从11.29毫米降至8.80毫米，改善幅度达22%），但在SHOW3D评估中提升却微乎其微（从13.82毫米降至13.50毫米，仅改善2%）。这表明SHOW3D的领域范围实际上涵盖了HOT3D这种较为受限的摄影棚环境，而HOT3D所提供的额外覆盖范围有限。这些结果证实，SHOW3D中的环境多样性确实能直接提升模型的泛化能力，从而验证了自然场景下手-物交互数据的价值。
#### 5.2. 基于文本的6自由度物体姿态预测
为了验证我们的语义文本注释的实用性，我们评估了关于手-物交互的自然语言描述是否为预测未来物体姿态提供了有价值的上下文。给定一系列观测到的物体姿态以及一个描述交互过程的可选文本标题，任务是预测未来时间步的6自由度物体姿态。自然语言能够捕捉高层次的交互意图，例如“从瓶子中倒水”与“把瓶子放下”，这有助于区分那些看似相似但会导致不同未来结果的姿态轨迹。
实验设置。我们采用了一种基于Transformer的预测模型，该模型以一系列过去物体姿态作为输入，每个姿态被表示为一个7维向量（3D位置和用于描述3D旋转的四元数）。在送入多层Transformer编码器处理之前，这些姿态序列会先经过嵌入处理，并附加正弦位置编码。对于文本条件化，我们使用BERT对标题进行编码[^5]，随后将文本特征投影到与姿态嵌入相同的潜空间。文本特征与姿态特征会被拼接起来，再由Transformer共同处理。该模型通过独立的头来预测未来的物体姿态：一个头负责预测位置（3D平移），另一个头负责预测旋转（归一化四元数）。我们分别在有/无文本条件化的情况下训练模型，利用30个过去的姿态序列来预测未来30帧或60帧的姿态。我们在测试集序列上评估模型性能，并报告13个物体上的平均平移误差（单位：毫米）。
实验结果。表3展示了不同物体以及两种预测时域下的平均平移误差。在预测未来30帧的场景中，文本条件化将平均误差从42.7毫米降低至30.4毫米，改善了29%。这一提升在几乎所有物体上均保持一致，其中杯子类物体改善幅度达34%，芥末酱瓶类物体更是提升了72%。在更长的60帧预测时域中，文本条件化的优势依然明显，平均误差从46.7毫米降至35.0毫米，改善幅度为25%。
这些结果证明，语义描述能够提供有意义的上下文信息，从而补充纯粹的运动学模式。跨物体和时域的一致改进，验证了我们的文本标注流程的价值，也凸显了语言条件化模型在理解和预测手-物交互方面的潜力。归根结底，SHOW3D的多模态标注为超越纯视觉感知的更多下游应用提供了可能。
---
| # | Training set | Test set | MKPE (mm) $\downarrow$ |
| 1 | UmeTrack | SHOW3D | 22.2 (+55%) |
| 2 | HOT3D | SHOW3D | 19.6 (+37%) |
| 3 | UmeTrack + HOT3D | SHOW3D | 16.4 (+15%) |
| 4 | SHOW3D | SHOW3D | 15.5 (+8%) |
| 5 | UmeTrack + HOT3D + SHOW3D | SHOW3D | 14.3 |
| 6 | HOT3D | HOT3D | 14.0 (+14%) |
| 7 | UmeTrack + HOT3D | HOT3D | 12.7 (+3%) |
| 8 | UmeTrack + HOT3D + SHOW3D | HOT3D | 12.3 |
| 9 | UmeTrack | UmeTrack | 9.7 (+2%) |
| 10 | UmeTrack + HOT3D | UmeTrack | 9.5 |
| 11 | UmeTrack + HOT3D + SHOW3D | UmeTrack | 9.6 (+1%) |
Table 4. Evaluation of 3D hand pose estimation. The reported metric is Mean Keypoint Position Error (MKPE, in mm). Models trained on existing datasets, UmeTrack [^11] and HOT3D [^3], generalize noticeably worse to SHOW3D, highlighting the increased difficulty of in-the-wild data.
#### 5.3. 3D手部姿态估计
实验设置。我们评估了本数据集作为3D手部姿态估计基准的实用性。我们从SHOW3D中选取四名受试者（性别比例均衡）来构建平衡的评价集，并按照第3.2节所述的对估计的手部姿态置信度设定阈值，以此对整个数据集进行筛选，从而得到用于训练和评估的有效帧。我们通过以下方式测试模型的泛化能力：在SHOW3D上训练多视角UmeTrack手部跟踪模型[^11]，同时也在现有的UmeTrack和HOT3D数据集上评估其跨数据集泛化能力。
由于我们的真实野外条件下无标记的真实值生成过程极具挑战性，因此经自动过滤后，SHOW3D中可用于训练的帧（即带有有效手部姿态标注的帧）产出率自然无法达到完美水平。总体而言，SHOW3D为手部姿态估计保留了190万帧高置信度的训练帧。值得注意的是，这一数字超过了UmeTrack和HOT3D——这两个数据集的训练帧数均不足140万帧。
实验结果。如表4所示，在各自所属的数据集上测试时，基于UmeTrack或HOT3D训练的模型能够取得不错的性能（第6行和第9行），但当在SHOW3D上评估时，其性能会显著下降（第1行和第2行）。在SHOW3D上训练的模型（第4行）在SHOW3D上的误差明显低于在UmeTrack、HOT3D或两者组合上训练的模型（第1、2、3行）。我们还发现，将SHOW3D与其他数据集结合使用始终能带来益处。在UmeTrack、HOT3D和SHOW3D的组合上训练的模型，在SHOW3D和HOT3D上评估时表现优于其他模型（第5行和第8行）；在仅在受限环境下采集数据的UmeTrack上，该模型的表现也仅略逊一筹（第10行）。
图5展示了SHOW3D测试集上的定性示例。首先，由于UmeTrack训练集中缺乏物体交互数据，
Figure 5. Hand pose estimation on the SHOW3D test set. From left to right: results from models trained on UmeTrack + HOT3D + SHOW3D, HOT3D, and UmeTrack, respectively. Including training data from SHOW3D significantly improves robustness against object occlusion and background clutter.
在UmeTrack训练集中，由于缺乏物体交互数据，基于该数据集训练的模型在面对物体的轻微遮挡时便显得力不从心。我们观察到，基于HOT3D训练的模型对遮挡的处理能力稍好一些，但其性能仍不尽如人意，尤其是在背景或光照环境较为复杂的场景中。最终，用SHOW3D数据训练的模型在对物体交互和背景杂乱情况的鲁棒性方面有了显著提升。这些结果再次凸显了带有3D真实标注的野外真实数据的独特价值——这类数据能带来在受控环境（如室内摄影棚）中收集的数据所无法提供的鲁棒性优势。
### 6. 结论
我们推出了SHOW3D，这是首个包含3D真实标注、用于手-物交互的以人为中心的感知野外数据集。为了涵盖现实世界的多样性，SHOW3D包含了在30多个不同地点采集的1200多个视频序列。SHOW3D采用轻量级多摄像头装置进行采集，该装置专为高机动性场景优化；同时，通过自动化的自我-外部标注流程来生成精确的手部和物体3D姿态数据。在三个下游任务中的实验表明，SHOW3D能够助力训练出鲁棒且具备泛化能力的模型，这证明了它相较于那些主要在受限环境中采集的现有数据集所具有的优势。
虽然本研究聚焦于手-物交互的视觉理解，但未来的工作将探索整合其他模态，例如触觉传感和测距技术。此外，我们有兴趣拓展我们的数据采集能力在具身应用中的下游用途，比如机器人远程操控。
---
## 参考文献
[^1]: Dimitrios S Alexiadis, Anargyros Chatzitofis, Nikolaos Zioulis, Olga Zoidi, Georgios Louizis, Dimitrios Zarpalas, and Petros Daras. An integrated platform for live 3d human reconstruction and motion capturing. IEEE Transactions on Circuits and Systems for Video Technology, 27(4):798–813, 2016. 2
[^2]: Anthropic. Claude: A family of large language models. 2024. Accessed: 2025-11-14. 5, 6
[^3]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, et al. Hot3d: Hand and object tracking in 3d from egocentric multi-view videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 7061–7071, 2025. 2, 3, 4, 5, 8, 12
[^4]: Woojin Cho, Jihyun Lee, Minjae Yi, Minje Kim, Taeyun Woo, Donghwan Kim, Taewook Ha, Hyokeun Lee, Je-Hwan Ryu, Woontack Woo, et al. Dense hand-object (ho) graspnet with full grasping taxonomy and dynamics. In European Conference on Computer Vision, pages 284–303. Springer, 2024. 5
[^5]: Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 conference of the North American chapter of the association for computational linguistics: human language technologies, volume 1 (long and short papers), 2019. 7
[^6]: Jakob Engel, Kiran Somasundaram, Michael Goesele, Albert Sun, Alexander Gamino, Andrew Turner, Arjang Talatof, Arnie Yuan, Bilal Souti, Brighid Meredith, Cheng Peng, Chris Sweeney, Cole Wilson, Dan Barnes, Daniel DeTone, David Caruso, Derek Valleroy, Dinesh Ginjupalli, Duncan Frost, Edward Miller, Elias Mueggler, Evgeniy Oleinik, Fan Zhang, Guruprasad Somasundaram, Gustavo Solaira, Harry Lanaras, Henry Howard-Jenkins, Huixuan Tang, Hyo Jin Kim, Jaime Rivera, Ji Luo, Jing Dong, Julian Straub, Kevin Bailey, Kevin Eckenhoff, Lingni Ma, Luis Pesqueira, Mark Schwesinger, Maurizio Monge, Nan Yang, Nick Charron, Nikhil Raina, Omkar Parkhi, Peter Borschowa, Pierre Moulon, Prince Gupta, Raul Mur-Artal, Robbie Pennington, Sachin Kulkarni, Sagar Miglani, Santosh Gondi, Saransh Solanki, Sean Diener, Shangyi Cheng, Simon Green, Steve Saarinen, Suvam Patra, Tassos Mourikis, Thomas Whelan, Tripti Singh, Vasileios Balntas, Vijay Baiyya, Wilson Dreewes, Xiaqing Pan, Yang Lou, Yipu Zhao, Yusuf Mansour, Yuyang Zou, Zhaoyang Lv, Zijian Wang, Mingfei Yan, Carl Ren, Renzo De Nardi, and Richard Newcombe. Project aria: A new tool for egocentric multi-modal ai research, 2023. 3
[^7]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12943–12954, 2023. 2, 3, 5, 6, 7, 13
[^8]: Rao Fu, Dingxi Zhang, Alex Jiang, Wanjia Fu, Austin Funk, Daniel Ritchie, and Srinath Sridhar. Gigahands: A massive annotated dataset of bimanual hand activities. In Proceedings
计算机视觉与模式识别会议论文集，第17461–17474页，2025年。2, 3, 5
[^9]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 19383–19400, 2024. 2, 3, 5
[^10]: Shangchen Han, Beibei Liu, Randi Cabezas, Christopher D Twigg, Peizhao Zhang, Jeff Petkau, Tsz-Ho Yu, Chun-Jung Tai, Muzaffer Akbay, Zheng Wang, et al. Megatrack: monochrome egocentric articulated hand-tracking for virtual reality. ACM Transactions on Graphics (ToG), 39(4):87–1, 2020. 1, 2, 3, 13
[^11]: Shangchen Han, Po-chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, et al. Umetrack: Unified multiview end-to-end hand tracking for vr. In SIGGRAPH Asia 2022 conference papers, pages 1–9, 2022. 1, 4, 8, 12, 13, 14
[^12]: Charlie Hewitt, Fatemeh Saleh, Sadegh Aliakbarian, Lohit Petikam, Shideh Rezaeifar, Louis Florentin, Zafirah Hosenie, Thomas J Cashman, Julien Valentin, Darren Cosker, and Tadas Baltrušaitis. Look ma, no markers: holistic performance capture without the hassle. ACM Transactions on Graphics (TOG), 43(6), 2024. 3
[^13]: Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, and Jian Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video, 2025. 3, 5
[^14]: Rawal Khirodkar, Timur Bagautdinov, Julieta Martinez, Su Zhaoen, Austin James, Peter Selednik, Stuart Anderson, and Shunsuke Saito. Sapiens: Foundation for human vision models. In European Conference on Computer Vision, pages 206–228. Springer, 2024. 4, 14
[^15]: Young Min Kim, Christian Theobalt, James Diebel, Jana Kosecka, Branislav Miscusik, and Sebastian Thrun. Multiview image and tof sensor fusion for dense 3d reconstruction. In 2009 IEEE 12th international conference on computer vision workshops, ICCV workshops, pages 1542–1549. IEEE, 2009. 2
[^16]: Viktor Larsson and contributors. PoseLib - Minimal Solvers for Camera Pose Estimation, 2020. 5
[^17]: Lijun Li, Linrui Tian, Xindi Zhang, Qi Wang, Bang Zhang, Liefeng Bo, Mengyuan Liu, and Chen Chen. Renderih: A large-scale synthetic dataset for 3d interacting hand pose estimation. In Proceedings of the IEEE/CVF international conference on computer vision, pages 20395–20405, 2023. 3
[^18]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21013–21022, 2022. 3, 5
## [^19]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. Taco: Benchmarking generalizable bimanual tool-action-object understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision
---
计算机视觉与模式识别会议论文集，第21740–21751页，2024年。3, 5
[^20]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, et al. Nameria: A massive collection of multimodal egocentric daily motion in the wild. In European Conference on Computer Vision, pages 445–465. Springer, 2024. 2, 3
[^21]: Leland McInnes, John Healy, Nathaniel Saul, and Lukas Grossberger. Umap: Uniform manifold approximation and projection. The Journal of Open Source Software, 3(29):861, 2018. 6
[^22]: Gyeongsik Moon, Shoou-I Yu, He Wen, Takaaki Shiratori, and Kyoung Mu Lee. Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image. In European Conference on Computer Vision (ECCV), 2020. 4, 14
[^23]: Franziska Mueller, Florian Bernard, Oleksandr Sotnychenko, Dushyant Mehta, Srinath Sridhar, Dan Casas, and Christian Theobalt. Generated hands for real-time 3d hand tracking from monocular rgb. In Proceedings of Computer Vision and Pattern Recognition (CVPR), 2018. 3
[^24]: Van Nguyen Nguyen, Thibault Groueix, Georgy Ponimatkin, Vincent Lepetit, and Tomas Hodan. Cnos: A strong baseline for cad-based novel object segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 2134–2140, 2023. 2, 4, 5, 17
[^25]: Van Nguyen Nguyen, Christian Forster, Sindi Shkodrani, Vincent Lepetit, Bugra Tekin, Cem Keskin, and Tomas Hodan. Gotrack: Generic 6dof object pose refinement and tracking. arXiv preprint arXiv:2506.07155, 2025. 2, 4, 5, 17
[^26]: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, and Cem Keskin. Assemblyhands: Towards egocentric activity understanding via 3d hand pose estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 12999–13008, 2023. 3, 5
[^27]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, Huy Vo, Marc Szafraniec, Vasil Khalidov, Pierre Fernandez, Daniel Haziza, Francisco Massa, Alaaeldin El-Nouby, et al. DINOv2: Learning robust visual features without supervision. In arXiv preprint arXiv:2304.07193, 2023. 5, 6, 17
[^28]: Evin Pınar Örnek, Yann Labbé, Bugra Tekin, Lingni Ma, Cem Keskin, Christian Forster, and Tomas Hodan. Foundpose: Unseen object pose estimation with foundation features. In European Conference on Computer Vision, pages 163–182. Springer, 2024. 2, 4, 5, 17
[^29]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 1, 13
[^30]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3d hand pose estimation in everyday egocentric images. In European Conference on Computer Vision, pages 183–202. Springer, 2024. 1, 13
[^31]: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle,
Chloe Rolland、Laura Gustafson等. Sam 2：图像和视频中的任意物体分割。arXiv预印本arXiv:2408.00714，2024年。6, 12
[^32]: Patrick Rim, Hyoungseob Park, Ziyao Zeng, Younjoon Chung, and Alex Wong. Protodepth: Unsupervised continual depth completion with prototypes. In Proceedings of the computer vision and pattern recognition conference, pages 6304–6316, 2025. 2
[^33]: Fadime Sener, Dibyadip Chatterjee, Daniel Shelepov, Kun He, Dipika Singhania, Robert Wang, and Angela Yao. Assembly101: A large-scale multi-view video dataset for understanding procedural activities. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21096–21106, 2022. 3
[^34]: Yue Sun, Zhuoming Huang, Honggang Zhang, Zhi Cao, and Deqiang Xu. 3drim: 3d reconstruction and imaging via mmwave radar based on deep learning. In 2021 IEEE International Performance, Computing, and Communications Conference (IPCCC), pages 1–8. IEEE, 2021. 2
[^35]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In European conference on computer vision, pages 581–600. Springer, 2020. 6
[^36]: Jikai Wang, Qifan Zhang, Yu-Wei Chao, Bowen Wen, Xiaohu Guo, and Yu Xiang. Ho-cap: A capture system and dataset for 3d reconstruction and pose tracking of hand-object interaction, 2024. 3, 5
[^37]: Chao Xia, Chenfeng Xu, Patrick Rim, Mingyu Ding, Nanning Zheng, Kurt Keutzer, Masayoshi Tomizuka, and Wei Zhan. Quadric representations for lidar odometry, mapping and localization. IEEE Robotics and Automation Letters, 8(8):5023–5030, 2023. 2
[^38]: Jian Yang, Jiakun Li, Guoming Li, Zhen Shen, Huai-Yu Wu, Zhaoxin Fan, and Heng Huang. Mlphand: Real time multiview 3d hand mesh reconstruction via mlp modeling. arXiv preprint arXiv:2406.16137, 2024. 1, 13
[^39]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 445–456, 2024. 3, 5
### [^40]: Yu Zhang, Chi Xu, and Li Cheng. Learning to search on manifolds for 3d pose estimation of articulated objects. arXiv preprint arXiv:1612.00596, 2016. 1, 13
---
#### SHOW3D：野外手-物3D场景采集补充材料
Figure 6. SHOW3D mobile capture setup. The rig includes eight exocentric fisheye cameras (green) providing wide-baseline views from diverse angles, and two egocentric fisheye cameras (blue) mounted on the headset. This configuration enables full-surround imaging of hand–object interactions. We use monochrome cameras instead of RGB as they are more robust to illumination variability.
#### A. 移动采集装置详情
图6展示了我们的移动采集装置以及各摄像头拍摄的示例图像。所有摄像头数据和动作捕捉数据均通过USB和以太网传输到放置在移动推车上的高性能台式工作站。该工作站的配置为：AMD Ryzen Threadripper PRO 3995WX 64核处理器、128GB内存以及30TB固态硬盘。我们使用一台2048Wh的便携式电站为该工作站供电，可支持长达三小时的连续采集。
我们使用了五台OptiTrack Prime 13W动作捕捉相机来追踪固定在用户佩戴的头戴设备顶部的红外反射标记；这些标记被作为一个刚体整体进行追踪。我们采用定制方案来校准动作捕捉系统、机架相机以及头戴设备相机，使它们都位于同一个三维空间中。随后，通过被追踪刚体的六自由度变换，即可推断出每一帧下头戴设备相机的外部参数，从而能够将由机架相机计算出的三维真实数据精确地投影到每一帧的头戴设备相机图像中。
所有单色鱼眼相机都会实时运行自动曝光策略，以适应多变的光照条件。头戴设备相机由Quest 3的机载自动曝光算法控制，而对于机架相机，我们的采集软件会将其整个图像的平均亮度目标值设定为60。
#### A.1. 通过固定式配置实现包容性设计
为确保我们的数据集能涵盖各类参与者，我们设计了可适配不同身体需求的系统。虽然主要配置是便携式背包式装置，但该机架也可以固定在带轮推车上，并在其内部放置椅子，这样参与者就能保持与佩戴该装置时相同的相对位置（见图7）。
这种配置允许参与者在坐着的状态下执行手部-
---
Figure 7. Stationary configuration for inclusive capture. The rig can be mounted statically to allow for seated data collection. This setup eliminates the weight burden of the backpack, accommodating participants with limited mobility or physical endurance.
Figure 8. SHOW3D dataset statistics. Left: participant distribution. Right: number of recordings per each of the 21 objects.
物体交互操作，完全免除了背负背包式机架带来的身体负担。这种调整对于实现包容性至关重要，因为它能让体力有限、行动不便，或无法长时间承受机架重量的人员也能参与进来。通过这种方式，我们确保数据采集能够覆盖更广泛的人群，且能代表更普遍的用户群体。
#### B. SHOW3D数据集详情
数据集构建与统计信息。我们采集了约20小时、帧率为60Hz的同步自我视角与外部视角视频数据，共产生430万帧独特画面，即来自所有相机的4300万张独特图像。该数据集涵盖了多种室内/室外环境、手部动作以及物体交互场景。在约200万帧的子集中，我们采集了与21个物体的手部-物体交互数据，这些物体取自HOT3D [^3] 所使用的物品列表。数据集的其余部分则包含裸手运动、手-手交互，或是与其他非HOT3D物体（我们目前尚无其三维扫描数据）的手部-物体交互内容。
我们招募了38名人类参与者（24名男性，14名女性）
Figure 9. Examples of contact annotations. Egocentric frames from SHOW3D with annotated contact regions (yellow). For visual clarity, contact annotations are only shown between the left hand and the manipulated object.
他们的手部形状和大小各异。所有参与者均签署了同意书，授权将所采集的数据用于研究目的。此外，我们使用市面上可购得的高分辨率光学扫描系统，为每位参与者获取个性化的手部模型。该个性化模型是UmeTrack [^11] 格式的线性混合蒙皮网格，可通过逆向运动学算法适配检测到的三维关键点。
二维分割掩码。我们利用校准后的内部参数，将标注好的三维网格投影到每个相机视图中，从而自动生成双手和物体的二维分割掩码。我们还能进一步将生成的掩码作为提示词，输入到Segment Anything Model (SAM 2) [^31] 中，以获得高质量、经过优化的二维分割掩码，用于训练二维视觉任务。
接触区域标注。利用我们精确的网格重建结果，通过计算手部网格上每个顶点到物体表面最近点的欧几里得距离，生成详细的接触标注。距离小于某一阈值（如5毫米）的顶点会被标记为接触点。由此可得到连续的、顶点级别的接触图（见图9），这些图像能够反映动态交互过程中的功能性抓握区域。
#### C. 3D手部标注质量
为了验证通过我们的移动式设备经ego-exo流程生成的3D手部姿态的准确性（详见主论文中的图3和图12），我们将自动化标注结果与两种不同的“黄金标准”来源进行对比：固定式多摄像头工作室系统和人工手动标注。
实验设置。我们定义了以下两种评估协议：
---
Figure 10. Simultaneous rig–dome capture for ground truth validation. To evaluate the accuracy of our mobile annotation pipeline, we captured sequences where the subject wears our mobile rig inside a high-fidelity stationary multi-camera dome. This allows for a direct comparison between our mobile-rig-derived annotations and the dome-derived “gold standard.”
- 穹顶场景（室内验证）：我们邀请一名参与者在大型固定式多摄像头穹顶系统中佩戴移动式设备，该系统配备了30个经过校准的摄像头（见图10）。穹顶系统通过大规模多视角三角测量技术提供高精度的自动化3D关键点数据，可作为受控环境下人工标注的基准。为了对齐坐标系，我们在移动式设备上安装了反光标记点，并利用穹顶系统的红外动作捕捉系统将设备校准到穹顶的3D空间中。来自移动式设备和穹顶摄像头的全部数据均实现了高精度同步。
• 人工标注场景（户外验证）：为了在无法使用穹顶系统的真实户外环境中验证性能，我们从户外采集的数据中选取了一部分帧。众包标注员会在所有可用的摄像头视图中手动标注2D关键点。随后，我们通过基于RANSAC的稳健三角测量算法，从这些手动标注的2D点中获取3D基准数据。
结果与分析。表5报告了三种交互复杂度水平下的中位误差和第90百分位数（P90）平均关节位置误差（MPJPE）。
我们发现，人工标注参考组的中位误差低于穹顶组（例如，手与物体交互时的误差分别为6.36毫米和7.90毫米），但P90误差却更高（16.48毫米对比12.53毫米）。我们将这种P90差异归因于基准数据生成方法的独立性。
| Reference | Category | MPJPE (mm) |
| Median $\downarrow$ | P90 $\downarrow$ |
| Dome | No interactions | 6.28 | 7.31 |
| Hand-hand interaction | 7.46 | 8.95 |
| Hand-object interaction | 7.90 | 12.53 |
| Manual (in the wild) | No interactions | 5.65 | 12.35 |
| Hand-hand interaction | 6.03 | 14.63 |
| Hand-object interaction | 6.36 | 16.48 |
Table 5. Quantitative evaluation of our ground-truth hand annotations against two references: a high-coverage 30-camera dome (Dome) and manual annotations (Manual). We report median and 90th percentile per-frame MPJPE (mm).
Figure 11. Examples of manually annotated hand keypoints. Orange: left hand, blue: right hand. Note that the annotators are instructed to annotate only the keypoints that they have high confidence for. During evaluation, we only evaluate against annotated keypoints that have valid 3D triangulation.
穹顶系统采用的是多视角算法流程（自动化关键点检测与三角测量），其方法论与我们自身的ego-exo流程类似。因此，穹顶系统与我们的系统很可能具有相似的失效模式——比如遮挡情况或复杂的光照条件——从而导致相关的误差，这些误差会人为地压低P90数值。相比之下，人工标注者提供的基准数据完全独立：他们不会受到算法偏差的影响，能够准确标注那些自动检测器可能遗漏或误判的复杂视角。因此，人工标注评估是一种更为严格的“压力测试”，能够暴露出我们基于三角测量的方法中所存在的真正异常失效情况，而这些问题在与另一套自动化系统对比时会被掩盖。
重要的是，在两种评估协议和所有交互类型中，我们的流程始终能达到厘米级以下的中位精度。即便在最具挑战性的场景——手与物体的交互中，相对于Dome数据集，我们的中位误差仍低于8毫米；相对于人工标注结果，中位误差则低于7毫米。这些结果证实：我们这套移动式、无需标记点的捕获系统所生成的3D真实数据，其质量足以用于训练后续的以眼为中心的认知模型 [^7] [^10] [^11] [^29] [^30] [^38] [^40]，成功弥合了实验室级精度与真实场景多样性之间的差距。
---
(a) Triangulated Sapiens keypoints: hand joints and forearm.
(b) Inferred crop regions for both hands.
(c) Final hand keypoint detections. Orange: left hand, Blue: right hand.
Figure 12. Our automated pipeline for 3D hand keypoint annotation. (a) Sapiens keypoints: we use the triangulated hand and forearm keypoints to define crop regions for hands. (b) Crop regions are used to generate 256x256 perspective crops [^11] for both hands. (c) We apply InterNet [^22] on the perspective crops, and fuse them with the initial Sapiens detections to obtain final 3D hand keypoints.
#### D. 6自由度物体标注质量
为了定量评估我们的物体姿态标注结果，我们在5个选定物体上粘贴光学标记点，并在它们被手部操控时，利用动作捕捉系统对其进行追踪。我们在表6中将生成的真实物体姿态与动作捕捉系统得到的物体姿态（“黄金标准”）进行对比，评估指标包括标注帧占比、平移误差（TE）以及旋转误差（RE）。除bottle_bbq这一体积较小、因此更难被检测到的物体外，我们生成的真实物体姿态的占比与精度普遍都很高。这些结果使得SHOW3D成为首个针对3D手部姿态和6自由度物体姿态标注结果，以独立参考标准为基准进行定量评估的HOI数据集。
| Object | Yield (%) | P50 TE (mm) $\downarrow$ | P50 RE (deg) $\downarrow$ |
| birdhouse_toy | 89.5 | 3.51 | 1.73 |
| carton_oj | 92.6 | 3.20 | 1.23 |
| dumbbell_51b | 86.1 | 1.53 | 1.63 |
| aria_small | 77.3 | 2.79 | 1.81 |
| bottle_bbq | 53.5 | 2.60 | 5.77 |
Table 6. Quantitative evaluation of our ground-truth object annotations against MoCap-derived poses as an independent reference.
#### E. 真实数据生成流程详情
正如主论文第3.2节所述，我们采用多阶段的自我-外部协同流程来获取3D手部标注数据。我们在图12中对该流程进行了详细说明。
虽然Sapiens [^14]关键点模型在真实场景图像上表现出较强的泛化能力，但我们发现其手部关键点质量往往不尽如人意，这很可能是因为骨干网络的特征分辨率不足以识别更细微的细节。我们的见解是：对裁剪并缩放后的图像应用专门的手部关键点检测器，有助于提升性能；需要注意的是，裁剪能在很大程度上消除背景干扰，从而简化检测任务。另一方面，即便在物体交互过程中存在严重遮挡，Sapiens最初输出的关键点检测结果也足以用来界定双手的大致裁剪区域。
如主论文所述，我们通过稳健的三角测量方法，融合Sapiens和InterNet [^22]输出的手部关键点数据。我们为每个经三角测量得到的3D关键点赋予一个实数型的置信度值：该数值可作为后续逆向运动学（IK）优化中位置约束的权重，用以调整各约束项的贡献程度。
---
| Frames ahead | pouring in | picking up | pouring out | opening | stirring | placing down | raising | shaking | tapping | washing | checking | inspecting | moving | Mean |
| w/o text | 45.8 | 35.7 | 56.1 | 30.4 | 49.9 | 38.2 | 31.0 | 33.8 | 29.3 | 64.5 | 46.8 | 61.9 | 56.2 | 44.6 |
| w/ text | 28.3 | 23.6 | 37.3 | 20.5 | 35.0 | 29.4 | 24.5 | 27.5 | 26.1 | 59.7 | 44.9 | 61.2 | 59.1 | 36.7 |
| Improv. | 38.2% | 33.9% | 33.5% | 32.6% | 29.9% | 23.0% | 21.0% | 18.6% | 10.9% | 7.4% | 4.1% | 1.1% | -5.2% | 17.7% |
| w/o text | 53.1 | 41.8 | 60.6 | 34.4 | 48.4 | 40.1 | 37.8 | 40.9 | 29.9 | 71.6 | 55.7 | 63.8 | 69.7 | 49.8 |
| w/ text | 35.4 | 26.7 | 42.8 | 22.6 | 40.2 | 31.9 | 25.7 | 30.7 | 32.2 | 73.6 | 51.2 | 63.9 | 68.6 | 42.0 |
| Improv. | 33.3% | 36.1% | 29.4% | 34.3% | 16.9% | 20.4% | 32.0% | 24.9% | -7.7% | -2.8% | 8.1% | -0.2% | 1.6% | 15.8% |
Table 7. Per-verb evaluation of text-driven 6DoF object pose forecasting, for a selected set of verbs. Reported are translation errors (mm, $\downarrow$) and the relative percentage improvement provided by text conditioning. The results are sorted by improvement at 30 frames. Our method shows robust gains on predictable actions (pouring, opening), but has limited impact on ambiguous ones (moving, inspecting).
从单个关键点层面来看，我们的置信度公式会依据内点数量较多且重投影误差较低的关键点给予更高奖励。具体而言，给定RANSAC内点计数阈值$i_{T}$和2D重投影误差阈值$e_{T}$，对于一个在多个视图中观测到的内点数为i、平均重投影误差为$e_{rep}$的经三角测量得到的关键点，我们定义其置信度C如下：
$$ E_{\mathrm{r e p}}=\frac{e_{\mathrm{T}}-e_{\mathrm{r e p}}}{e_{\mathrm{T}}}\in(0,1), $$
$$ C=(E_{\mathtt{r e p}})^{\gamma/{m a x}\{1,i-i_{\mathtt{T}}\}}. $$
首先，分数$E_{\text{rep}}$与平均重投影误差成反比，且其取值范围被限定在$(0,1)$之内。接着，我们将$E_{\text{rep}}$的幂次设为小于1的值，以此奖励更高的内点数量，从而使最终的置信度值趋近于1。此外，还可以通过自由参数$\gamma > 0$来进一步调控这一奖励因子。
最后，在求解逆运动学之后，我们为每只手分配一个每帧置信度值。在后续实验中，我们会根据这个每手置信度设定阈值，以判断哪些帧是有效的；该阈值会根据任务的不同而有所变化。我们采用贝叶斯方法来计算每手的置信度，其依据是：手部姿态的最终误差是由关键点检测误差和逆运动学求解误差共同导致的。对于每只手而言，我们只需将以下两者相乘：1）其相关关键点的平均置信度；2）与逆运动学求解残差成反比的项。
#### F. 基于文本驱动的6自由度物体姿态预测额外结果
在主论文的表3中，我们展示了文本条件约束能使预测精度平均提升29%（预测未来30帧）和25%（预测未来60帧），这一结论适用于所有物体类别。然而，按物体汇总结果可能会忽略语言辅助预测的内在机制。我们假设文本描述的“运动学效用”并不取决于物体本身（如哑铃与键盘），而更取决于具体的交互方式（如倾倒与查看）。
为了探究这一点，我们不再按物体类别，而是根据交互动词（从完整文本描述中识别并提取）重新组织评估。表7展示了SHOW3D文本描述中出现的13种不同动词对应的翻译误差，这些误差是按照文本条件约束在预测未来30帧的6自由度物体姿态时带来的相对提升程度排序的。
动作可预测性的影响。结果显示，动作的可预测性与文本条件约束带来的性能提升之间存在强相关性。
我们发现，在涉及特定、结构化三维状态变化的复杂动作中，性能提升最为显著，例如倾倒（提升38.2%）、拾取（33.9%）和打开（32.6%）。在这些场景中，仅凭视觉历史信息可能难以判断意图；例如，手靠近瓶子的动作可能对应提起、打开或滑动等不同操作。文本描述则提供了强有力的先验信息，能够消除歧义，将多模态的未来分布收敛为特定的轨迹（例如手和物体倾倒时通常呈现的弧线轨迹）。
相反，模糊性高或随机性强的动作从文本描述作为额外输入中获益最少。在预测未来30帧的6自由度物体姿态任务中，查看（1.1%）和移动（-5.2%）带来的差异微乎其微，甚至为负。我们将此归因于用户执行这些动作时的多样性：知道用户正在“查看”某个物体仅能预测该物体可能会旋转，但无法确定旋转的轴或幅度。在这类高不确定性场景中，文本虽描述了交互的状态，却未能提供关于手和物体在三维空间中未来轨迹的有效运动学信号。
这一分析表明，在SHOW3D中文本条件约束的价值并非在所有手-物交互中都相同。语言特征作为一种高层控制信号，在语义意图明确指向特定运动学规则时效果最佳，能够有效缩小预测模型的搜索空间。
---
“挤出烧烤瓶里的酱料……”
“$\underline{\text{Dump out}}$咖啡壶里的$\underline{\text{mug}}$……”
“在双手之间传递$\underline{\text{keyboard}}$……”
“把$\underline{\text{Curl and raise}}$朝你$\underline{\text{dumbbell}}$过来……”
“$\underline{\text{Shake down}}$ 强烈地影响 $\underline{\text{birdhouse toy...}}$。”
“$\underline{\text{Tip and pour}}$ 会仔细处理 $\underline{\text{vase}}$ 中的内容……”
“$\underline{\text{Fidget}}$ 还会与 $\underline{\text{dinosaur toy}}$ 互动……”
“如果 $\underline{\text{Check}}$ 内部有液体，那么 $\underline{\text{jar}}$。”
“拧开 $\underline{\text{mustard bottle}}$ 的盖子……”
“$\underline{\text{Clean the lenses}}$ 属于 $\underline{\text{Aria glasses}}$……”
“寻找 $\underline{\text{Inspect}}$ 上的渗漏点，用 $\underline{\text{milk carton}}$……”
“$\underline{\text{Lift and weigh}}$慢慢地，$\underline{\text{birdhouse toy...}}$”
“$\underline{\text{Dump out}}$ 那个又大又重的 $\underline{\text{bowl}}$……”
“$\underline{\text{Take off the cover}}$ 属于 $\underline{\text{container}}$……”
“$\underline{\text{Tie a flower knot}}$ 与 $\underline{\text{both hands...}}$ 结合使用。”
“如果 $\underline{\text{Carefully eye}}$ 里有异物，那么 $\underline{\text{mug}}$。”
Figure 13. Additional ground truth examples from SHOW3D: hand pose (red and blue), object pose (green), and text captions.
---
Figure 14. Hand annotation failure cases. We visualize two common error modes in our automated annotation pipeline. Top row: Examples of inaccurate 3D pose estimation. While all entities are successfully detected, minor errors in the estimated 6DoF pose result in physically implausible interpenetrations (clipping) between the hand and object meshes. Bottom row: Examples of missed hand detections. In scenarios with severe occlusion—where a hand is significantly obstructed by the object or the opposing hand—our pipeline occasionally fails to detect the occluded hand entirely.
Figure 15. Object annotation failure case: Missed object under severe occlusion and outdoor illumination. Left: The raw image from egocentric view. Right: The projected 3D hand meshes (red/blue) overlaying the image. Although the hands are correctly tracked, the object is not detected due to occlusion from both hands and strong outdoor lighting, and thus is entirely not tracked.
#### G. 额外的真实标注示例
我们在图13中提供了更多关于3D真实标注的可视化结果。这些示例进一步展示了我们所采集环境的多样性，以及我们的无标记跟踪流程的高保真度。
失效模式。为了说明这些示例的背景，图——
Figure 16. Object annotation failure case: Rotational ambiguity in symmetric objects. Left: The raw image from egocentric view. Right: The projected 3D object mesh (green) overlaying the image. Note that the pipeline correctly tracks the 3D position but fails to resolve the azimuthal rotation, incorrectly predicting the handle to be visible ("hallucinated") despite not being present in the image.
图14总结了我们的自动手部标注流程中观察到的两种最常见失效类型。上排展示了所有实体均被成功检测到的情形，但由于估计的6自由度手部姿态存在细微误差，导致物体网格之间出现物理上不合理的穿插现象。下排则展示了相反的失效模式：由于物体或另一只手的严重遮挡，手部完全未被检测到。尽管相对于数据集规模而言，这两类问题出现的频率较低，但它们凸显了在 Egocentric 视角下标注精细的手部-物体交互所面临的固有挑战。
我们还观察到了物体跟踪流程的特定失效模式。在图15中，手部虽被成功跟踪，但由于严重遮挡和强烈的户外光照，物体完全未被检测到。在此类场景下，依赖DINOv2 [^27] 特征的物体跟踪流程，在物体特征被严重遮挡或强阳光引发外观变化时便会难以为继，即便物体部分可见，也会被部分或全部摄像头漏检。
第二种失效模式如图16所示：物体跟踪流程能准确确定杯子的3D位置，却无法估算其方位角旋转，导致杯柄在可见位置被“虚构”出来（右侧绿色网格），尽管输入图像中它已被完全遮挡（左侧）。出现这种情况很可能是因为我们流程中使用的DINOv2特征 [^24] [^25] [^28] 语义性强且对局部变化具有鲁棒性。虽然这种鲁棒性有助于在遮挡情况下跟踪主要的圆柱形主体，但基于图像块的特征可能缺乏推断细长杯柄朝向所需的空间敏感度，尤其是当物体看起来大致呈旋转对称时。