# HRDexDB：涵盖人类与多种机器人形态的4D灵巧抓取数据集 Jongbin Lim$^{1,*}$、Taeyun Ha$^{1,*}$、Seongho Cha$^{1}$、Kanghyeon Cho$^{1}$、Mingi Choi$^{1}$、Subin Jeon$^{1}$、Jisoo Kim$^{1}$、Byungjun Kim$^{1}$以及Hanbyul Joo$^{1,2}$ $^{1}$首尔大学，$^{2}$RLWRLD 摘要—我们推出了HRDexDB，这是一个真实场景下的4D灵巧抓取数据集，记录了五种形态下随时间变化的3D手-物体交互轨迹。该数据集包含针对100种不同物体的3200次试验数据。借助同步多摄像头系统和集成的重建流程，HRDexDB提供了多视角及第一人称RGB观测数据、3D手部几何信息、机器人状态以及物体6D位姿轨迹，同时附带成功/失败的标注信息。人类与机器人的手会与相同的物体产生交互，从而能够研究受形态影响的抓取策略与接触模式。我们通过人-机器人接触图迁移、机器人-物体接触估计以及检索辅助抓取任务，验证了该数据集的实用性。这些结果共同证明HRDexDB是研究并学习人类与机器人形态间灵巧交互的重要资源。 ## I. 引言 让机器人具备人类级别的灵巧性，是机器人领域的核心目标之一。灵巧手可以通过多种方式与物体建立并保持接触，但其能力取决于形态、运动学特性以及激活方式。即便抓取同一物体，人类与机器人的手也可能采用不同的手指配置和接触模式来实现稳定的抓取。理解这些差异，对于开发能适配不同手部设计的抓取方法，以及从不同形态下采集的演示数据中学习而言至关重要。这促使我们研究现实世界中人类与机器人的手如何与同一组物体产生交互。 现有数据集为研究灵巧操控的单个方面提供了重要资源，但目前的数据在形态和标注类型上仍较为零散。以人类为中心的数据集要么仅提供没有物体的手部运动数据[^1]，要么记录人类手-物体交互情况[^2]、[^3]、[^4]、[^5]、[^6]、[^7]、[^8]、[^9]、[^10]、[^11]，要么提供没有3D信息的大规模第一人称RGB视频[^12]、[^13]。相比之下，机器人手数据集[^14]、[^15]、[^16]、[^17]、[^18]则侧重于机器人端，且往往只能部分追踪物体的运动。近期有一些方法试图关联不同形态下的演示数据[^19]、[^20]、[^21]，但结合多种灵巧手设计、共享的物体覆盖范围以及详细的多模态观测数据的研究仍然有限。这些缺口使得研究受形态影响的抓取行为变得困难。 为了克服这些局限，我们推出了HRDexDB——一个真实的4D灵巧抓取数据集。该数据集包含来自五种形态手部（包括人手和四种机械手）在100个共享物体上的3.2千次抓取试验。HRDexDB通过同步多视角录制与重建技术，捕捉手-物交互的3D时序演变过程。该数据集提供了统一世界坐标系下的手部几何重建结果及物体6D轨迹数据，同时附带抓取成功/失败的标注信息。HRDexDB是首个利用无标记多视角RGB系统记录人类与多种机械手在共享物体上交互过程的数据集。 为了关联不同形态手部之间的抓取行为，我们采用基于参考的采集协议来匹配人类与机器人的抓取试验：遥操作员先观察人类的抓取方式，再根据其策略进行调整，以适应目标机器人的形态与运动学约束。这种关联体现了共享的抓取意图，而无需假设两者接触点完全一致或时间帧级对齐。 我们通过三项下游任务展示了HRDexDB的实用价值，涵盖人-机器人接触图迁移、视觉接触感知以及检索辅助的抓取合成。首先，在人-机器人接触图迁移任务中，模型会根据人类抓取方式预测特定于机器人的接触模式，同时考虑手部形态的差异；实验表明，无论是仿真还是真实环境，利用迁移后的接触点都能显著提升抓取成功率，优于直接使用人类接触点。其次，我们提出了视觉机器人-物体接触估计方法，利用重建的机器人几何形状与追踪到的物体位姿，为单视角RGB图像生成区域级的接触标签，甚至包括摄像头无法拍摄到的区域。最后，我们研究了检索辅助抓取技术，该技术利用物体的局部几何特征从数据集中检索对应的机器人抓取方案，再通过几何对齐与接触点优化将其适配于未见过的物体。这三项任务共同证明了HRDexDB所包含的执行演示关联信息、几何标注以及记录的机器人抓取数据对下游机器人应用的重要支撑作用。 总而言之，我们的贡献主要有三点：（1）我们推出了HRDexDB，这是一个包含人类与机器人在共享物体上进行灵巧抓取的真实数据集，具备多模态观测数据与详细的3D标注。（2）我们提出了一套用于同步多视角捕获及人类与机器人手-物交互3D重建的统一流程。（3）我们基于HRDexDB建立了下游任务基准测试， --- ![Image](images/c5c3f2a2091882943f49a8ccdd293716ff08757e0989b563719e4cf655b5de57.jpg)
Fig. 1: Overview of HRDexDB. HRDexDB contains 3.2K human and robotic dexterous grasping episodes across 100 objects and multiple hand embodiments. Using a synchronized multi-view capture system, we record human demonstrations and robotic executions with reconstructed 3D hand and robot trajectories, object 6D poses, egocentric observations, and success/failure annotations.
其中包括人-机器人接触图迁移、RGB到机器人-物体二值接触估计以及检索辅助抓取任务。在本文提交时，HRDexDB已收录100个被抓取物体，且正在扩展至1,000个物体。完整的数据集与基准测试协议将公开发布，以推动灵巧操控领域的后续研究。 ### II. 相关工作 人体-物体交互数据集。人体-物体交互数据集在建模手部关节运动及物体接触式操作下的运动方面取得了显著进展。诸如FreiHAND [^4]、HO-3D [^11]和DexYCB [^6]等基准数据集专注于三维手-物姿态估计；而ContactPose [^5]、ARCTIC [^8]、HOT3D [^25]、HOI4D [^7]、GigaHands [^26]、TACO [^23]、Contact4D [^24]、OakInk2 [^9]以及HO-Cap [^10]等其他数据集则进一步拓展了手-物交互采集的规模、视角、物体多样性、接触标注及任务复杂度。这些数据集为理解人类手-物交互提供了丰富的观测数据与标注信息。作为这一研究方向的补充，HRDexDB在同一标定环境下同时采集人类与机器人对共享物体的抓取数据，有助于研究不同实体在抓取配置与接触模式上的差异。 机器人-物体交互数据集。机器人操控数据集在规模与多样性上均取得了长足发展，以服务于机器人学习领域。Open X-Embodiment [^15]和DROID [^17]等大规模数据集汇总了涵盖众多任务与环境的不同演示数据，但其中大部分数据是通过自由度较低的夹爪采集的。AgiBot World [^14]、RoboMIND [^18]以及RoboCOIN [^16]等较新的数据集进一步扩大了数据规模与任务多样性，支持双臂操控，且包含通过夹爪及灵巧手采集的演示数据。在灵巧抓取方面，RealDex [^27]通过遥操作技术采集真实环境下的灵巧机器人抓取轨迹，但仅针对单一机械手进行研究。HRDexDB则对这些资源形成了补充：它为多种灵巧手形态下的机器人手部运动及物体姿态轨迹提供了详细的三维标注，同时配有标定的多视角RGB观测数据。这些标注有助于对抓取序列全过程中的机器人-物体交互进行几何分析。 人机演示数据集。近期的数据集旨在将人类演示与机器人执行过程相关联，以支持跨实体的学习。RH20T [^19]和H&R [^21]提供了任务级或帧级的人机 ---
TABLE I: Comparison of Human-Object Interaction (HOI) and Robotics Datasets with HRDexDB
DatasetType#Emb.DexRobotHandModalityViewsObjsResolutionSeqsFramesMarkerless3DHandObj6D
FPHA[^2]HOI1--RGB-D1261920 \times 10801.2K105K\times✓✓✓✓✓
ContactDB[^3]HOI1--RGB-D9501920 \times 10803.7K375K✓✗✗✓✓✓
FreiHAND[^4]HOI1--RGB8251280 \times 1024-37K✓✓✓✓✓✓
HO-3D[^11]HOI1--RGB-D510640 \times 48068103K✓✓✓✓✓✓
GRAB[^22]HOI1--MoCap-51-1.3K1.6M\times✓✓✓✓✓
ContactPose[^5]HOI1--RGB-D325960 \times 5402.3K2.9M\times✓✓✓✓✓
DexYCB[^6]HOI1--RGB-D820640 \times 4801K582K✓✓✓✓✓✓
HOI4D[^7]HOI1--RGB-D18001280 \times 7204K2.4M✓✓✓✓✓✓
ARCTIC[^8]HOI1--RGB9112800 \times 20003392.1M\times✓✓✓✓✓
TACO[^23]HOI1--RGB/RGB-D131964096 \times 30002.5K5.2M\times✓✓✓✓✓
OakInk2[^9]HOI1--RGB-D1675840 \times 4806271.34M\times✓✓✓✓✓
Contact4D[^24]HOI1--RGB19N.A.3840 \times 21603752M\times✓✓✓✓✓
HOT3D[^25]HOI1--RGB2331408 \times 14084253.7M\times✓✓✓✓✓
GigaHands[^26]HOI1--RGB514171280 \times 72014K183M✓✓✓✓✓✓
HO-Cap[^10]HOI1--RGB-D964640 \times 48064656K✓✓✓✓✓✓
RealDex[^27]ROI1✓✓RGB-D452-2.6K955K✓✓✓✓✓✓
RoboCOIN[^16]ROI15✓✓RGB-D3432-180K-✓✓✓✓✓✓
AgiBotWorld[^14]ROI1✓✓RGB-D83000-1M-✓✓✓✓✓✓
OXE[^15]ROI22\times-RGB-D3--1M130M✓✓✓✓✓✓
DROID[^17]ROI1\times-RGB-D3-1280 \times 72076K56.7M✓✓✓✓✓✓
RoboMIND[^18]ROI4✓-RGB-D396480 \times 640107K-✓✓✓✓✓✓
RH20T[^19]HROI7\times-RGB-D7-1280 \times 720220K50M✓✓✓✓✓✓
DexWild[^20]HROI2✓-RGB-D6180224 \times 22410K-✓✓✓✓✓✓
H&R[^21]HROI2\times-RGB-D1-240 \times 4242.6K1M✓✓✓✓✓✓
HRDexDB (Ours)HROI5✓✓RGB231002048 \times 15363.2K43.5M✓✓✓✓✓✓
对齐数据，但这些数据集主要基于平行夹爪，对多指灵巧操控的覆盖较为有限。DexWild [^20]则扩展了野外环境下的灵巧人类演示数据，并对人类与机器人的观测及动作空间进行了对齐以实现协同训练，但并未建立各次执行之间的参考关联。在HRDexDB中，人类演示为机器人抓取数据的采集提供了指导，同时允许存在特定于手部的配置与接触模式。由此产生的演示-执行关联关系可为后续研究提供支持，例如接触图迁移，而无需假设不同实体间具有相同的接触模式或帧级时间对齐。 合成灵巧抓取数据集。大规模的合成抓取数据集为学习灵巧操作先验提供了补充方向。DexGraspNet [^28] 能在仿真环境中生成稳定的灵巧抓取方案，而GenDex-Grasp/MultiDex [^29] 和CEDex [^30] 则将抓取合成技术拓展到了多种机器人手形态。GraspXL [^31] 实现了人类手与机器人手之间抓取运动的跨形态生成。虽然合成数据集的规模要大得多，但其中生成的抓取方案未必经过物理执行验证。HRDexDB记录了真实的实验数据，在这些实验中，通过让物理机器人提起物体来验证抓取是否成功，从而提供了在记录的执行条件下抓取可行性的实证依据。 ### III. 构建HRDEXDB ### A. 数据集概述 HRDexDB是一套多模态数据集，包含了人类受试者与四种机器人形态的灵巧抓取序列，涉及的机器人包括Allegro Hand V5 Plus、Inspire Hand RH56DFTP和RH56F1，以及Robotiq 2F-85夹爪。该数据集包含4350万帧图像和3200个序列，涵盖100种物体，数据内容包含同步的视觉观测信息、运动学状态、重建的几何结构—— ![Image](images/c128533ac2858dd8056aa20d62ea33beb4fdb2ff3ad20f8ed4536de36695e9ca.jpg)
Fig. 2: Demonstration-guided data acquisition. A human grasp serves as a reference for teleoperated robot executions, with grasp configurations adapted to each embodiment.
物体6D位姿，以及可用的触觉信号。所有空间量都基于我们校准的多摄像头平台所定义的统一世界坐标系进行对齐。 一次人类抓取试验被表示为一个带时间索引的序列 $$ \begin{array}{r}{\mathcal{T}^{\mathrm{h u m a n}}=\left\{\{\mathbf{I}_{t}^{c_{i}}\}_{i=1}^{21},\mathbf{I}_{t}^{\mathrm{e g o}},\mathbf{\theta}_{t}^{\mathrm{h u m a n}},T_{t}^{\mathrm{o b j e c t}},y\right\}_{t=1}^{T_{h}}.}\end{array} $$ 此处，$\{\mathbf{I}_t^{ci}\}_{i=1}^{21}$ 和 $\mathbf{I}_t^{\text{ego}}$ 分别表示同步的外置视角与内置视角RGB观测结果；$\theta_t^{\text{human}} \in \mathbb{R}^{51}$ 代表MANO参数，$\mathbf{T}_t^{\text{object}} \in \text{SE}(3)$ 是物体6D位姿，$y \in \{0,1\}$ 表示抓取是否成功；$T_h$ 则表示人类动作序列的长度。 同理，一次机器人抓取试验可表示为 $$ \mathcal{T}^{\mathrm{r o b o t}}=\left\{\{\mathbf{I}_{t}^{c_{i}}\}_{i=1}^{21},\mathbf{I}_{t}^{\mathrm{e g o}},\boldsymbol{q}_{t}^{\mathrm{r o b o t}},\boldsymbol{T}_{t}^{\mathrm{o b j e c t}},y\right\}_{t=1}^{T_{r}}, $$ 其中，$q_{t}^{robot}$ 表示记录的机器人状态与指令，$T_{r}$ 则是机器人序列的长度。每次机器人试验还包含元数据，用于标识采集过程中作为参考的人类演示样本。这种关联并不意味着两次执行过程在帧级别上时间对齐。对于配备指尖触觉传感器的机器人而言，还会提供触觉信号 $F_{t}^{tactile}$ 作为额外的数据模态。 --- ![Image](images/7f1053024ee96c700fbee11e8ec1ac73c5abf3b6155e1738e3f2e51ad4c0dfeb.jpg)
Fig. 3: Capture and Reconstruction Pipeline. Multi-view recordings are used to reconstruct hand motion and 6D object trajectories, yielding spatially aligned and temporally synchronized 3D annotations.
### B. 数据采集协议 我们通过两阶段流程采集人类与机器人的抓取试验数据，整个流程使用相同的目标物体与工作空间设置。首先由人类参与者演示一次抓取动作，该过程由多视角捕捉系统记录下来。随后，远程操作员观察此次演示，并尝试用目标机器人手重现其中的抓取策略。值得注意的是，由于形态与运动学约束的差异，并非每种人类抓取动作都能被每种机器人手重现。因此，人类演示仅作为参考，机器人执行过程中允许根据具体形态调整手指配置与接触位置。每次机器人试验都被记录为独立的执行过程，包含各自的运动轨迹以及成功/失败结果。我们将每次机器人试验与其对应的参考人类演示之间的关联作为采集元数据予以保留。 ### C. 多模态状态重建 捕获系统。我们的捕获平台（见图3）由环绕工作区的21个RGB摄像头、用于人类演示的立体头盔，以及用于机器人试验的固定式立体自中心摄像头组成。通过ChArUco标记和COLMAP [^32]来校准摄像头的内部参数和外部参数，并通过手眼校准使摄像头框架与机器人框架对齐。对于人类动作序列，通过自外特征匹配和PnP来恢复移动的自中心摄像头位姿。每只机械手都安装在xArm6机械臂上，分别通过Vive腕部追踪器和MANUS手套来控制手腕和手指动作。 人类手部重建。为了重建三维人类手部运动，我们采用了MANO参数化手部模型 [^33]。遵循GigaHands [^26]的多视角拟合策略，我们使用HaMeR [^34]在每个已校准的视角中检测二维手部关键点，进而三角测量出三维关节位置，并为每一帧优化MANO姿态参数。受试者—
TABLE II: Trial counts and success rates by embodiment.
EmbodimentTrialsSuccessesFailuresSuccess (%)
Human5415410100.00
Allegro V55394875290.35
Inspire RH56F174351323069.04
Inspire RH56DFTP79147631560.18
Robotiq 2F-8560147412778.87
Robot subtotal2,6741,95072472.92
Total3,2152,49172477.48
特定的手部形状是通过与SAM3生成的图像掩码进行轮廓对齐来校准的 [^35]，同时应用时间滤波以减少抖动。 机器人手部重建。我们通过正向运动学，利用记录的关节配置及对应的URDF模型来重建机器人手部几何形状。生成的关节化网格会通过记录的机器人位姿被转换到已校准的世界坐标系中。 物体六维姿态跟踪。我们利用基于模型的多视角跟踪流程来估计物体的六维姿态轨迹。给定多视角RGB图像后，SAM3 [^35]会在选定的初始化帧提供物体掩码，以定位被操作的物体。随后，我们利用物体的三维CAD模型，通过FoundPose [^36]来估计其初始六维姿态，再使用GoTrack [^37]在整个序列中跟踪该物体。在每一帧中，来自选定校准视角的观测数据会通过多视角三角测量和刚性姿态拟合进行融合，从而提升系统在严重手-物遮挡或特定视角跟踪失效情况下的鲁棒性。 ### 四、数据集分析 ### A. 数据集统计信息 HRDexDB包含3,215次抓取试验，其中541次为人类演示，2,674次为机器人执行，涵盖四种手型。 --- ![Image](images/5c205f2a726d07dee447e8ec2198428cf6d802b46d866653b6af0f9c12b319d8.jpg)
(b) Object diversity
Fig. 4: Grasp and object diversity in HRDexDB. (a) Human and robotic grasps, colored by grasp type. (b) Object distribution by OBB volume, aspect ratio, and mass. Aspect ratio is the ratio of the longest to shortest OBB dimension.
TABLE III: Object silhouette consistency (mean IoU $\uparrow$) against manually verified SAM3 masks.
EmbodimentFoundationPoseOurs
Human0.8410.915
Allegro V50.7420.905
Inspire RH56F10.8940.942
Inspire RH56DFTP0.7230.908
Robotiq 2F-850.8050.933
Overall0.8010.921
表二总结了每种手型的试验次数及结果。所有人类演示均取得成功，而机器人试验则包括成功和失败的案例。我们发现，Inspire手型拇指活动范围有限，导致某些参考捏握动作在遥操作过程中难以复现，即便对于经验丰富的遥操作员也是如此；这或许可以部分解释为何与其他手型相比，其成功率较低。 ### B. 抓取方式与物体多样性 HRDexDB涵盖了GRASP分类法中定义的33种抓取类型中的23种 [^38]，包括精密球形抓取和掌侧捏握。图4(a)通过代表性的人类与机器人抓取示例展示了这种多样性。我们将随数据集一并发布这些抓取类型标签。 该数据集包含100种日常物品，涵盖厨具、家居用品、玩具、工具以及有机物体。图4(b)展示了它们在有向包围盒体积、长宽比和质量方面的分布情况。有向包围盒体积范围为0.11至8.70升（中位数1.31升），质量范围为3至533克（中位数107克）。 ### C. 物体六维姿态跟踪质量 我们通过测量1,500张图像上的图像空间一致性来评估6D物体姿态跟踪性能，每种实现方式对应300张图像（见表III）。我们将多视角GoTrack流程与基于两视角的FoundationPose [^39]跟踪基线进行比较，两者使用相同的评估图像和遮挡处理方式。我们计算深度感知渲染的物体轮廓与标注所用捕获视图中经人工验证的SAM3掩码之间的IoU。我们的流程平均IoU达到0.921，而FoundationPose仅为0.801，且在所有五种实现方式中均有提升。 ### V. 实验与基准测试 我们通过三项下游任务来评估HRDexDB：人-机器人接触图迁移、视觉机器人-物体接触估计以及检索辅助抓取。 ### A. 人-机器人接触图迁移 任务定义。人类接触模式为机器人抓取提供了有用的参考，但手部形态和运动学的差异可能导致直接模仿效果不佳。我们探究HRDexDB是否能帮助从人类抓取中学习特定于机器人的接触表征。给定一个物体及观测到的人类接触表征，任务是为目标机器人手预测接触图和手部部件映射，进而指导抓取合成。 实验设置。我们利用HRDexDB中的演示-执行关联来监督人-机器人接触图迁移。每个参考人类抓取对应的机器人接触图被用作目标，从而体现不同实现方式在接触位置和手指配置上的差异。 我们用接触图$O \in \mathbb{R}^{N \times 3}$表示物体点云$C \in [0, 1]^N$上的抓取，该图记录了各点的接触概率；用映射P将接触点分配到手部部件。人类部件映射为$P^h \in \mathbb{R}^{N \times 6}$，机器人部件映射为$P^r \in \mathbb{R}^{N \times B}$，其中Inspire手对应$B = 6$，Allegro手对应$B = 5$。以人类表征$[C^h, P^h]$和PointNet++ [^40]提取的物体特征为条件，模型预测机器人表征$[C^r, P^r]$，训练时以接触加权$L_1$损失作用于$C^r$，并以交叉熵损失作用于接触点上的$P^r$。针对每种目标手我们分别训练模型，使用的手型为Inspire RH56F1和Allegro Hand V5 Plus。 根据预测的机器人接触表征，我们使用CEDex [^30]的物理感知优化流程合成抓取，该流程结合了接触、穿透和自碰撞项。我们将针对捕获的人类接触图进行优化的Human-Contact，与针对我们预测的特定于机器人的接触图进行优化的Transferred-Contact进行比较。两种设置下优化器保持一致，从而分离出接触目标的影响。对于四指结构的Allegro手，基线算法会将第四指映射到人类无名指和小指的并集上。 我们利用训练期间见到过的物体的人类抓取样本作为输入，来评估实际抓取的成功率。一次抓取 --- ![Image](images/20cccadf041e9a44a401c9c1ec4abda2c1ceff7f0362616b5e48336db876744b.jpg)
(a) Human-to-robot contact transfer
(b) Real-world execution
Fig. 5: Human-to-robot contact transfer and real-world grasping. (a) Human contact and part maps ( $C^{h}$, $P^{h}$) are transferred to robot-specific maps ( $\hat{C}^{r}$, $\hat{P}^{r}$) for grasp optimization. (b) For the same object and human grasp, transferred contacts yield a successful grasp, whereas direct human contacts fail.
TABLE IV: Real-world grasp success rates (%) for human-to-robot contact map transfer, evaluated over 60 trials per hand and condition. Human and transferred contact maps guide the same grasp optimizer.
MethodInspire $\uparrow$Allegro $\uparrow$
Human-Contact66.760.0
Transferred (Ours)73.370.0
Improvement+6.7+10.0
TABLE V: Contact transfer generalization. Grasp success rate (%) on unseen objects.
MethodDexYCB (20 obj.s.)GRAB (48 obj.s.)
Human-Contact53.6950.74
Transferred (Ours)55.9456.81
Improvement+2.25+6.07
只有在物体被抬起并保持十秒时才算成功。我们使用BODex [^41] 生成抓取前的动作和挤压动作，并用CuRobo [^42] 计算执行轨迹。 结果。图5展示了迁移后的接触图如何将人类的接触分布适配到目标机器人手上。表IV总结了在两种接触目标下的抓取成功率。迁移接触策略相较于直接使用人类接触图能提升成功率，这表明HRDexDB确实能够借助演示引导的机器人抓取数据来学习特定于机器人的接触策略。 我们进一步在仿真环境中，利用Allegro V5对来自DexYCB [^6]的20个未见物体以及来自GRAB [^22]的48个物体进行接触迁移评估。对于每个物体，我们以10种不同的人类抓取方式作为输入，针对每种输入使用八个随机种子生成对应的机器人抓取方案，从而每个物体可得到80个机器人抓取方案。遵循CEDex的方法，我们在Isaac Gym [^43]中沿三个坐标轴的正负方向施加力。在两个数据集上，迁移接触策略的表现均优于人类接触策略（见表V），这证明从HRDexDB学到的接触迁移能力能够泛化到未见物体上。 ### B. 视觉机器人-物体接触估计 任务定义。触觉感知是灵巧操作的重要组成部分 [^44]、[^45]、[^46]，但现有的机器人操作方法大多缺乏可靠的触觉线索，因为可用的可靠传感器十分稀缺。近期，基于视觉的接触与压力估计技术已在人类手部研究中得到探索 [^47]。我们借鉴类似思路 ![Image](images/57e779735869a7b1cb22679ef6acd6df42c0f9239b6e8dff33b1a99e5a45dd0b.jpg)
Fig. 6: Geometry-derived contact annotation. From left to right: RGB observations, reconstructed hand-object geometry, and region-level contact labels for Inspire and Allegro hands. Regions within 3 mm of the object surface are labeled as contacting and highlighted in red.
将其应用于机器人手，直接从视觉观测中预测二元接触状态，这有望减少为每台机器人手设计、安装和校准触觉传感器的需求。我们在Inspire RH56F1和Allegro V5手上，针对单个RGB帧中的60个手部区域进行二元接触预测基准测试；这些手部区域的划分在指尖和远端连杆处更为精细，且具备手部特异性。 接触标注。$^{1}$ 如图6所示，我们根据重建的4D手-物体几何信息得出区域级的接触标签。当某个手部区域与物体表面的距离不超过3毫米时，该区域即被标记为接触状态。这一标注为输入RGB图像中可见及被遮挡的手部区域提供了监督信号。 基线模型与实验设置。我们调整了HOPE [^47]、HACO [^48]和PressureVision [^49]模型，使其能预测60个区域级的接触标签。对于HOPE模型，我们用60个机器人表面区域标记替换人类手部顶点标记，这些标记基于关节化的手掌框架位置以及相机相对手掌姿态确定，同时移除了用于单帧二元接触估计的时间注意力机制和压力预测模块。对于HACO模型，我们用60个机器人表面区域输出替换基于MANO的 [^33] 顶点输出和多分辨率接触映射。PressureVision则利用机器人状态来投影手部网格，以实现密集监督和区域级预测。推理时，我们对每个区域投影顶点处的逻辑值取平均，将图像外或相机背后的样本视为非接触状态。 Inspire RH56F1数据集包含74/18个训练/验证物体，以及56.1K/14.6K张图像；Allegro V5数据集包含72/19个训练/验证物体，以及37.3K/8.2K张图像。HOPE、HACO和PressureVision分别训练20、10和60个周期。我们报告所有有效验证帧-区域配对上的微平均精确度、召回率和F1分数。 $^{1}$Inspire和Allegro手部虽配备了触觉传感器，但其读数过于嘈杂或稀疏，无法作为可靠的接触标签。我们仍会将这些信号随HRDexDB一同发布。 ---
TABLE VI: Region-level contact estimation on two robot-hand embodiments (Inspire RH56F1/Allegro V5).
EmbodimentMethodInputF1PrecisionRecall
Inspire RH56F1PressureVisionRGB + robot state0.5940.7910.476
HACORGB0.4140.2780.810
HOPERGB + robot state0.6790.6890.669
Allegro V5PressureVisionRGB + robot state0.4240.7070.303
HACORGB0.4760.3380.806
HOPERGB + robot state0.6440.6810.612
![Image](images/9782bbb0e4e4625a4bd7c29eca9bb6061126708c4887a6f9a1a7e79bb4832835.jpg)
Fig. 7: Retrieval-Assisted Grasping. Given a human grasp, we retrieve robot grasps from HRDexDB using local object geometry, align them to the target object, and refine hand-object contacts to generate a robot grasp.
实验结果。HACO的召回率较高但精确度较低，而PressureVision则呈现相反的权衡关系。HOPE在两种实现方式下均取得了最高的F1分数，且精确度和召回率之间的权衡较为平衡。这些对比结果反映了经过调整的流水线，包括辅助输入和区域级预测流程方面的差异。总体而言，这些结果为未知物体上的接触点估计建立了基准，同时也证明了HRDexDB的几何标注如何能够在不同机器人手型实现之间提供监督。 ### C. 检索辅助抓取 任务定义。人类的抓取方式为机器人应在何处以及如何抓取物体提供了天然的先验知识。然而，由于手部形态和运动学的差异，人类抓取的动力学重定向可能无法建立稳定的接触点。我们研究了HRDexDB中记录的机器人抓取是否能以形态兼容的先验信息来补充重定向后的抓取结果。给定人类抓取方式和目标物体网格后，我们提出了检索辅助抓取（RAG）方法：通过检索并调整数据库中具有相似局部物体几何特征的抓取结果，从而在演示抓取位置附近生成机器人抓取方案。 方法。RAG结合了几何检索、局部对齐和接触点优化三个步骤（见图7）。我们首先利用AnyTeleop $\mathbf{T}_q$ 根据人类抓取方式获取机器人腕部姿态[^50]。受Robust-DexGrasp [^51] 中以手为中心的物体表示方法的启发，我们为抓取检索构建了局部几何描述符。我们将机器人手置于$\mathbf{T}_q$处，采用固定的标准手指配置$\mathbf{q}_{\text{can}}$，采样$N_h = 168$个手部表面点，并从物体网格中采样$N_o = 4096$个按面积加权的点。对于每一个手部点$\mathbf{x}_i$，我们找到最近的采样物体点$\mathbf{y}_i$，并根据相对向量$\mathbf{y}_i - \mathbf{x}_i$及其欧几里得距离构建描述符。 我们选取数据库中排名前16位的抓取样本，并按排序顺序进行处理。对于每个候选样本，我们会提取手部表面4厘米范围内的物体区域，并将数据库中的该区域
TABLE VII: Grasping success rate on 20 unseen objects.
MethodSuccess Rate $\uparrow$
Sim.Real
Retargeting + Opt.0.500.40
RAG (Ours)0.730.75
Improvement+0.23+0.35
通过FPFH [^52] 匹配、RANSAC以及点对面ICP算法，与查询区域对齐。我们依据估算出的对齐结果来变换数据库中的手腕姿态，同时保留其手指配置。我们会保留最多六个候选样本，这些样本的对齐后手腕姿态偏差在2厘米以内，且 $15^{\circ}$ 属于 $T_{q}$。 对于每一个保留下来的候选样本，我们会将接触锚点定义为数据库中物体表面距离手部5毫米以内的点。我们会同步优化手腕姿态和手指配置，使这些锚点能与查询物体接触，同时会对物体穿透和手部自碰撞的情况加以惩罚。最终选择手物接触点最多的优化后候选样本来执行抓取操作。 实验设置。为了分离检索机制的作用，我们将RAG与运动学重定向+优化方法进行比较——后者将RAG中采用的同类接触感知优化技术直接应用于运动学重定向后的抓取动作，但不涉及数据库检索。所有实验均采用Allegro V5机械手进行。在评估阶段，我们将HRDexDB中的100个物体分为80个数据库物体和20个未见过的测试物体。数据库物体仅用于抓取检索，而评估仅限于这20个未见过的物体。在仿真环境中，我们在MuJoCo中对每个测试物体评估五种人类抓取方式[^53]，共计100次试验。在现实世界评估中，每个物体采用一种人类抓取方式，共计20次试验。在这两种场景下，若机器人能够成功抓取并抬起物体，则视为试验成功。 结果。表七显示，RAG将模拟抓取成功率从50/100（50%）提升至73/100（73%），真实世界中的成功率则从8/20（40%）提高到15/20（75%）。这些结果证明了从HRDexDB中检索到的机器人抓取先验在未知物体上的抓取合成中具有实用性，其价值不仅局限于优化运动学重定向后的抓取方案，同时也凸显了基于检索的先验在提升对新物体几何形状的抓取泛化能力方面的潜力。 ### 六、结论 我们提出了HRDexDB——一个包含人类与机器人灵巧抓取场景的真实世界4D数据集，涵盖多种形态的抓取实例，包含针对100个物体的3.2K条序列数据，并附有详细的3D手部及6D物体标注信息。通过记录不同手部与同一物体的交互情况，HRDexDB为研究依赖身体形态的抓取策略与接触模式提供了支持。我们的实验验证了其在跨形态接触图迁移、视觉接触估计以及检索辅助抓取任务中的实用性。该数据集及基准测试协议将会公开发布。未来，我们计划将HRDexDB的数据规模扩展至包含1000个物体，并覆盖更复杂的功能性操作任务。 --- ## 参考文献 [^1]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee, “Interhand2.6m: A dataset and baseline for 3d interacting hand pose estimation from a single rgb image,” in ECCV, 2020. [^2]: G. Garcia-Hernando, S. Yuan, S. Baek, and T.-K. Kim, "First-person hand action benchmark with rgb-d videos and 3d hand pose annotations," in CVPR, 2018. [^3]: S. Brahmbhatt, C. Ham, C. C. Kemp, and J. Hays, “Contactdb: Analyzing and predicting grasp contact via thermal imaging,” in CVPR, 2019. [^4]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. Argus, and T. Brox, "Freihand: A dataset for markerless capture of hand pose and shape from single rgb images," in ICCV, 2019. [^5]: S. Brahmbhatt, C. Tang, C. D. Twigg, C. C. Kemp, and J. Hays, "ContactPose: A dataset of grasps with object contact and hand pose," in ECCV, 2020. [^6]: Y.-W. Chao, W. Yang, Y. Xiang, P. Molchanov, A. Handa, J. Tremblay, Y. S. Narang, K. Van Wyk, U. Iqbal, S. Birchfield et al., “Dexycb: A benchmark for capturing hand grasping of objects,” in CVPR, 2021. [^7]: Y. Liu, Y. Liu, C. Jiang, K. Lyu, W. Wan, H. Shen, B. Liang, Z. Fu, H. Wang, and L. Yi, “Hoi4d: A 4d egocentric dataset for category-level human-object interaction,” in CVPR, 2022. [^8]: Z. Fan, O. Taheri, D. Tzionas, M. Kocabas, M. Kaufmann, M. J. Black, and O. Hilliges, “Arctic: A dataset for dexterous bimanual hand-object manipulation,” in CVPR, 2023. [^9]: X. Zhan, L. Yang, Y. Zhao, K. Mao, H. Xu, Z. Lin, K. Li, and C. Lu, "Oakink2: A dataset of bimanual hands-object manipulation in complex task completion," in CVPR, 2024. [^10]: J. Wang, Q. Zhang, Y.-W. Chao, B. Wen, X. Guo, and Y. Xiang, "HO-cap: A capture system and dataset for 3d reconstruction and pose tracking of hand-object interaction," in NeurIPS, 2025. [^11]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit, “Honnotate: A method for 3d annotation of hand and object poses,” in CVPR, 2020. [^12]: K. Grauman, A. Westbury, E. Byrne, Z. Chavis, A. Furnari, R. Girdhar, J. Hamburger, H. Jiang, M. Liu, X. Liu et al., “Ego4d: Around the world in 3,000 hours of egocentric video,” in CVPR, 2022. [^13]: D. Damen, H. Doughty, G. M. Farinella, S. Fidler, A. Furnari, E. Kazakos, D. Moltisanti, J. Munro, T. Perrett, W. Price, and M. Wray, "The epic-kitchens dataset: Collection, challenges and baselines," IEEE TPAMI, vol. 43, no. 11, pp. 4125–4141, 2021. [^14]: Q. Bu, J. Cai, L. Chen, X. Cui, Y. Ding, S. Feng, S. Gao, X. He, X. Hu, X. Huang et al., “Agibot world colosseo: A large-scale manipulation platform for scalable and intelligent embodied systems,” arXiv preprint arXiv:2503.06669, 2025. [^15]: A. O'Neill, A. Rehman, A. Maddukuri, A. Gupta, A. Padalkar, A. Lee, A. Pooley, A. Gupta, A. Mandlekar, A. Jain et al., "Open x-embodiment: Robotic learning datasets and rt-x models: Open x-embodiment collaboration 0," in ICRA, 2024. [^16]: S. Wu, X. Liu, S. Xie, P. Wang, X. Li, B. Yang, Z. Li, K. Zhu, H. Wu, Y. Liu et al., “Robocoin: An open-sourced bimanual robotic data collection for integrated manipulation,” arXiv preprint arXiv:2511.17441, 2025. [^17]: A. Khazatsky, K. Pertsch, S. Nair, A. Balakrishna, S. Dasari, S. Karamcheti, S. Nasiriany, M. K. Sriram, L. Y. Chen, K. Ellis et al., "Droid: A large-scale in-the-wild robot manipulation dataset," in RSS, 2024. [^18]: K. Wu, C. Hou, J. Liu, Z. Che, X. Ju, Z. Yang, M. Li, Y. Zhao, Z. Xu, G. Yang et al., “Robomind: Benchmark on multi-embodiment intelligence normative data for robot manipulation,” in RSS, 2025. [^19]: H.-S. Fang, H. Fang, Z. Tang, J. Liu, C. Wang, J. Wang, H. Zhu, and C. Lu, "Rh20t: A comprehensive robotic dataset for learning diverse skills in one-shot," in ICRA, 2024. [^20]: T. Tao, M. K. Srirama, J. J. Liu, K. Shaw, and D. Pathak, “Dexwild: Dexterous human interactions for in-the-wild robot policies,” in RSS, 2025. [^21]: S. Xie, H. Cao, Z. Weng, Z. Xing, H. Chen, S. Shen, J. Leng, Z. Wu, and Y.-G. Jiang, “Human2robot: Learning robot actions from paired human-robot videos,” in AAAI, 2026. [^22]: O. Taheri, N. Ghorbani, M. J. Black, and D. Tzionas, “Grab: A dataset of whole-body human grasping of objects,” in ECCV, 2020. [^23]: Y. Liu, H. Yang, X. Si, L. Liu, Z. Li, Y. Zhang, Y. Liu, and L. Yi, "Taco: Benchmarking generalizable bimanual tool-action-object understanding," in CVPR, 2024. [^24]: J.-T. Song, J. Kim, J. Cao, Y. Lei, T. Yagi, and K. Kitani, “Contact4d: A video dataset for whole-body human motion and finger contact in dexterous operations,” in 3DV, 2026. [^25]: P. Banerjee, S. Shkodrani, P. Moulon, S. Hampali, S. Han, F. Zhang, L. Zhang, J. Fountain, E. Miller, S. Basol et al., "Hot3d: Hand and object tracking in 3d from egocentric multi-view videos," in CVPR, 2025. [^26]: R. Fu, D. Zhang, A. Jiang, W. Fu, A. Funk, D. Ritchie, and S. Sridhar, "Gigahands: A massive annotated dataset of bimanual hand activities," in CVPR, 2025. [^27]: Y. Liu, Y. Yang, Y. Wang, X. Wu, J. Wang, Y. Yao, S. Schwertfeger, S. Yang, W. Wang, J. Yu, X. He, and Y. Ma, “RealDex: Towards human-like grasping for robotic dexterous hand,” in IJCAI, 2024. [^28]: R. Wang, J. Zhang, J. Chen, Y. Xu, P. Li, T. Liu, and H. Wang, "Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation," in ICRA, 2023. [^29]: P. Li, T. Liu, Y. Li, Y. Geng, Y. Zhu, Y. Yang, and S. Huang, “Gendexgrasp: Generalizable dexterous grasping,” in ICRA, 2023. [^30]: Z. Wu, R. A. Potamias, X. Zhang, Z. Zhang, J. Deng, and S. Luo, "Cedex: Cross-embodiment dexterous grasp generation at scale from human-like contact representations," in ICRA, 2026. [^31]: H. Zhang, S. Christen, Z. Fan, O. Hilliges, and J. Song, “GraspXL: Generating grasping motions for diverse objects at scale,” in ECCV, 2024. [^32]: J. L. Schönberger and J.-M. Frahm, "Structure-from-motion revisited," in CVPR, 2016. [^33]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM TOG (SIGGRAPH Asia), vol. 36, no. 6, pp. 245:1–245:17, Nov. 2017. [^34]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik, "Reconstructing hands in 3d with transformers," in CVPR, 2024. [^35]: N. Carion, L. Gustafson, Y.-T. Hu, S. Debnath, R. Hu, D. Suris, C. Ryali, K. V. Alwala, H. Khedr, A. Huang et al., “Sam 3: Segment anything with concepts,” arXiv preprint arXiv:2511.16719, 2025. [^36]: E. P. Örnek, Y. Labbé, B. Tekin, L. Ma, C. Keskin, C. Forster, and T. Hodağ, “Foundpose: Unseen object pose estimation with foundation features,” in ECCV, 2024. [^37]: V. N. Nguyen, C. Forster, B. Tekin, S. Shkodrani, V. Lepetit, C. Keskin, and T. Hodağ, "Gotrack: Generic 6dof object pose refinement and tracking," in CVPRW, 2025. [^38]: T. Feix, J. Romero, H.-B. Schmiedmayer, A. M. Dollar, and D. Kragic, "The grasp taxonomy of human grasp types," IEEE Transactions on human-machine systems, vol. 46, no. 1, pp. 66–77, 2016. [^39]: B. Wen, W. Yang, J. Kautz, and S. Birchfield, "Foundationpose: Unified 6d pose estimation and tracking of novel objects," in CVPR, 2024. [^40]: C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “Pointnet++: Deep hierarchical feature learning on point sets in a metric space,” in NeurIPS, 2017. [^41]: J. Chen, Y. Ke, and H. Wang, “Bodex: Scalable and efficient robotic dexterous grasp synthesis using bilevel optimization,” in ICRA, 2025. [^42]: B. Sundaralingam, A. Murali, and S. Birchfield, “curobov2: Dynamics-aware motion generation with depth-fused distance fields for high-dof robots,” arxiv preprint arXiv:2603.05493, 2026. [^43]: V. Makoviychuk, L. Wawrzyniak, Y. Guo, M. Lu, K. Storey, M. Macklin, D. Hoeller, N. Rudin, A. Allshire, A. Handa, and G. State, “Isaac gym: High performance gpu-based physics simulation for robot learning,” arXiv preprint arXiv:2108.10470, 2021. [^44]: K.-W. Lee, Y. Qin, X. Wang, and S.-C. Lim, “Dextouch: Learning to seek and manipulate objects with tactile dexterity,” IEEE RA-L, vol. 9, no. 12, pp. 10772–10779, 2024. [^45]: L. Mack, F. Grüninger, B. A. Richardson, R. Lendway, K. J. Kuchenbecker, and J. Stueckler, “Visuo-tactile object pose estimation for a multi-finger robot hand with low-resolution in-hand tactile sensing,” in ICRA, 2025. [^46]: E. Miller, T. McInroe, D. Abel, O. Mac Aodha, and S. Vijayakumar, “Enhancing tactile-based reinforcement learning for robotic control,” in NeurIPS, 2025. [^47]: S. Jeon, B. Kim, and H. Joo, “Hope: Hand-object pressure estimation from monocular videos,” in arXiv preprint arXiv:2608.06192, 2026. [^48]: D. S. Jung and K. M. Lee, “Learning dense hand contact estimation from imbalanced data,” in NeurIPS, 2025. ## [^49]: P. Grady, C. Tang, S. Brahmbhatt, C. D. Twigg, C. Wan, J. Hays, and C. C. Kemp, “Pressurevision: estimating hand pressure from a single rgb image,” in ECCV, 2022 --- [^50]: Y. Qin, W. Yang, B. Huang, K. Van Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox, “Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system,” in RSS, 2023. [^51]: H. Zhang, Z. Wu, L. Huang, S. Christen, and J. Song, “RobustDex-Grasp: Robust dexterous grasping of general objects,” in Conference on Robot Learning (CoRL), 2025. [^52]: R. B. Rusu, N. Blodow, and M. Beetz, "Fast point feature histograms (fpfh) for 3d registration," in ICRA, 2009. [^53]: E. Todorov, T. Erez, and Y. Tassa, “Mujoco: A physics engine for model-based control,” in IROS, 2012.