# RoboWheel：一种基于真实人类演示、用于跨形态机器人学习的数据引擎张宇宏 $^{1*}$ 高子涵 $^{1,*}$ 李圣鹏 $^{2}$ 陈凌浩 $^{1}$ 刘凯升 $^{2}$ 程润庆 $^{2}$ 林晓 $^{2\dagger}$ 刘俊佳 $^{2,3}$ 李卓恒 $^{4}$ 冯静怡 $^{5}$ 何子妍 $^{2}$ 林锦添 $^{2}$ 黄哲言 $^{1}$ 刘志芳 $^{1}$ 王浩谦 $^{1\dagger}$ $^{1}$清华大学 $^{2}$Synapath $^{3}$香港中文大学 $^{4}$香港大学 $^{5}$香港理工大学 {dsyuhong, gaozihanthu, adreamob, thu.lhchen}@gmail.com 项目页面： ![Image](images/d78c3366b1b2fa2cf076b62cb5f9e1577698fdd69ccc8123e86daf1dfae43a7b.jpg)

Figure 1. The RoboWheel data engine. Our pipeline could process hand-object interaction (HOI) videos from diverse sources (e.g., recordings and public datasets) through high-fidelity reconstruction to recover physically consistent trajectories. The reconstructed motions are retargeted to cross-domain robotic embodiments (e.g., arms, dexterous hands, humanoids), and enhanced with multi-modal data augmentations (e.g., object retrieval, texture, trajectories). This generates a large-scale dataset with multimodal observations, supporting training for various vision-language-action (VLA) and imitation learning models (e.g., ACT, Diffusion Policy).

## 摘要我们提出了RoboWheel，这是一种数据引擎，可将人类手-物体交互（HOI）视频转化为适用于跨形态机器人学习的、可直接用于训练的监督数据。针对单目RGB/RGB-D输入，我们执行高精度的HOI重建，并通过强化学习（RL）优化器在接触与穿透约束下优化手-物体的相对位姿，以确保物理合理性。随后，这些富含接触信息的重建轨迹会被重新映射到不同形态的机器人上，包括配备简单末端执行器的机械臂、灵巧手以及类人机器人，最终生成可执行的动作序列。为了扩大数据覆盖范围，我们在Isaac Sim上构建了模拟增强框架。 --- 该框架采用了多样化的域随机化策略（涵盖不同机器人形态、轨迹、物体检索、背景纹理以及手部动作镜像），在保留空间关系与物理合理性的同时，丰富了轨迹与观测数据的分布。整个数据流水线构成了从视频→重建→重新映射→增强→数据采集的端到端流程。我们在主流的视觉-语言-动作（VLA）及模仿学习架构上对这些数据进行了验证，结果表明，由我们的流水线生成的轨迹与遥操作生成的轨迹一样稳定，且能带来相近的持续性能提升。据我们所知，这是首个证明HOI模态可作为机器人学习有效监督依据的定量证据。与遥操作相比，RoboWheel的成本更低：仅需一台单目RGB(D)摄像头即可提取通用的、与机器人形态无关的运动表征，且该表征可灵活应用于不同形态的机器人。我们还整合了一个大规模多模态数据集，结合了多摄像头拍摄数据、单目视频以及公开的HOI语料库，用于具身模型的训练与评估。 ### 1. 引言具身智能体在学习时，若其接收到的监督信息与人类与世界的互动方式相匹配，学习效果最佳。然而，大规模获取机器人可直接使用的监督数据颇具挑战性。现有的数据收集流程主要依赖遥操作或演播室动作捕捉，这类方法需要专门的硬件与精细的策划，因此限制了动作行为的多样性，以及其在不同机器人形态与任务间的迁移能力。与此同时，多种数据源提供了海量的手-物体交互（HOI）信息，其中蕴含着丰富且符合现实世界的操控策略，但由于重建噪声、物理合理性不足以及机器人形态不匹配等问题，这些信息很少能被转化为机器人可直接用于训练的数据。近期在人体和物体感知领域的研究进展，为填补这一空白提供了契机。基于SMPL-H/MANO [^46] [^48] [^50]以及6D物体姿态或网格追踪技术 [^39] [^40] [^47]的方法，能够从单目RGB/RGB-D输入中恢复出详细的几何结构与运动信息。然而，接触点的估计往往并不一致，在遮挡情况下会出现手与物体的相互穿透现象，运动轨迹缺乏时间上的平滑性，且恢复出的运动通常还违反运动学与动力学约束。要弥合这一差距，需要构建一个实用且可扩展的处理流程，以满足三项关键要求：(i) 能够在现实世界的操作空间中大规模、连续地采集机器人-物体交互轨迹，同时确保物理合理性；(ii) 支持将这些轨迹灵活迁移到各类机器人本体上——甚至跨越不同领域——同时保留交互语义；(iii) 通过有效组合数据增强策略来维持可扩展性。现有的机器人数据采集方式——遥操作与模拟数据生成——无法同时满足这些要求：遥操作成本高昂且具有硬件依赖性，而纯合成模拟数据往往无法反映现实世界中的感知与接触分布特征。我们借助RoboWheel解决了这些难题。RoboWheel是一款数据引擎，可将现实世界中的手-物体演示转化为跨本体机器人学习的监督信号。RoboWheel以单目RGB(D) HOI视频为起点，将最先进的手部、身体及物体运动估计算法整合到一个统一的重建框架中。随后，通过多阶段的物理合理性优化来精炼这些轨迹：基于有向距离函数（SDF）的惩罚项可防止相互穿透并促进接触形成；而残余强化学习（RL）策略则会在可达性与稳定性约束下进一步调整手-物体的相对姿态。最终生成的轨迹会被映射到规范的动作空间中，并迁移到各类异质机器人形态上——包括配备平行夹爪的6/7自由度机械臂、灵巧手以及人形机器人，同时输出可在操作空间与关节空间中执行的控制序列。为了在扩大覆盖范围的同时保留交互语义，我们在模拟环境中利用GPU加速的并行逆运动学算法，在多种机器人机械臂上回放这些迁移后的轨迹。在此环境中，我们对观测数据与机器人动作施加域随机化及多样化的增强处理，包括本体形态变化、轨迹分布扩充、物体检索与替换、背景纹理随机化、杂乱桌面配置、手部镜像处理等等。基于这一引擎，我们构建了HORA（手-物体到机器人动作数据集），这是一套源自三个来源的大规模多模态数据集：定制的带触觉传感器手套的多视角动作捕捉系统、RGB(D) HOI录制设备，以及多个公开的HOI数据集。作为多模态数据集，HORA融合了HOI语料库与具身机器人数据集的数据模态，既可用于HOI相关分析，也能支持后续的机器人学习任务。综上所述，我们的主要贡献如下。 - 物理合理的HOI重建与跨域迁移。我们提出了一种单目RGB/RGB-D HOI重建框架，该框架将最先进的手部、身体及物体运动估计技术与基于物理的优化方法相结合。该框架支持灵活的跨本体迁移，能输出可执行的运动轨迹，并为后续学习提供可扩展的监督信号。 • 仿真增强型数据飞轮。我们基于HOI数据在仿真环境中实施丰富的增强技术和域随机化操作。该数据飞轮已在主流的VLA及模仿学习模型上得到验证，我们对它的质量和效果进行了定量评估。 --- HOI转化与增强策略均具有显著效果。 - 大规模多模态数据集。我们利用多视角动作捕捉数据、公开HOI数据集以及录制视频，构建了一个包含超过15万条序列的多模态数据集。该数据集涵盖了身体运动轨迹、观测结果、资产信息、HOI标注以及任务描述；其中基于动作捕捉的子集还提供了触觉信号，为机器人学习和下游HOI相关任务提供了丰富且可扩展的资源。 ### 2. 相关工作 HOI数据集与单目重建。高精度的HOI标注成本较高，因为大多数公开的3D HOI数据集都依赖多视角设备或者动作捕捉（MoCap）系统来获取精确的手部与物体几何信息 [^5] [^14] [^15] [^33] [^37]。像[^13]这类大型第一人称视频语料库采用头戴式摄像头来规避动作捕捉需求，但缺乏用于重建的帧级精确3D HOI几何信息 [^12]。近期出现的全身动作数据集如[^49]虽能涵盖数百万帧SMPL-X数据，但它们并非专门的HOI数据集，且对手部与物体的接触监督信息有限。从算法层面来看，[^8]通过融合像素对齐特征与3D手部几何信息，利用基于Transformer的粗到细点云解码器来重建物体，从而生成帧保真度高的密集物体几何结构；而[^11]则利用复合SDF和接触约束来共同重建关节化的手部与物体。不过这些方法通常仅适用于单帧或接触场景，在处理接近/脱离阶段、泛化能力、遮挡问题、低视频分辨率以及不同手部运动速度等情况时存在局限。最近，一些泛化能力更强的方法 [^30] [^31] [^43] 采用了数据驱动的先验；例如，[^43]引入了基于扩散模型的逐视频优化技术，以提升在遮挡情况下的鲁棒性，不过这会带来更高的计算开销，且需要短片段的视频输入。基于人类演示的机器人学习：早期基于视觉的编程研究直接将人类手部姿态从图像映射到机器人抓取动作，从而建立了从抓取识别到基于示例的机器人执行流程[^20]。更先进的系统则利用更丰富的HOI信号：[^53]从人类视频中提取双目手部运动线索，将轨迹压缩为带有协调掩码的关键帧，对演示进行几何增强，并训练出能够执行长时程双臂任务且能跨场景泛化的双臂扩散策略。与之互补的是，[^38]将人类手势视为结构化先验，从HOI记忆中检索抓取可供性并将其迁移到新物体上，从而在单物体及杂乱环境中实现稳健的性能。在更大规模上，跨本体语料库和模型（Open X-Embodiment/RT-X）展示了在异构机器人间的正向迁移能力，这推动了从人类交互中获取可重定向监督的思路[^36]。专门的迁移框架通过残差学习将这一理念扩展到灵巧的双臂操控[^23]；而全身人形机器人的控制则受益于被提炼为引导式扩散策略的运动跟踪流程，从而实现多样化的后续行为[^35]。总体而言，这些研究方向指明了一条从人类HOI视频到机器人可用策略的可行路径，该路径涉及重建、重定向和增强。用于通用操控的具身模型与可扩展数据：在大型视频和机器人语料库上预训练的通用视觉-语言-动作策略，能够实现跨任务和跨本体的指令跟随及分布外泛化[^2] [^3] [^19] [^54]。与此同时，基于模仿学习和扩散的视觉运动学习强调稳定的训练过程以及多模态动作分布，从传统的动作扩散策略到可扩展至双臂控制的大规模扩散基础模型皆是如此[^9] [^26]。为降低数据和硬件门槛，低成本的双臂遥操作系统能为精细技能提供密集的演示[^51]；而以物体/姿态为中心的表征和语义流则能提升跨物体泛化能力和姿态感知能力[^7]。在数据集/基准测试层面，双臂生成器和域随机化平台提供了具备统一评估标准的可扩展监督[^6] [^27]；开放式指令重排基准测试则探究了语言引导下的6自由度推理能力[^10]；视频驱动的流程则能直接从互联网视频中合成长时程任务[^44]。近期关于以任务为中心的潜动作的研究进一步通过学习可在不同机器人间迁移的、受指令约束的动作空间，缓解了本体不匹配问题[^4]。 ### 3. 方法 #### 3.1. 系统概述我们构建了一套系统化的流程，将野外拍摄的手部-物体交互（HOI）视频转化为机器人可用的监督数据。我们的流程概览如图2所示。 #### 3.2. 基于RGB(D)视频的HOI重建问题设定：给定视频帧$\{I_t\}_{t=1}^T$，我们的目标是恢复在统一世界坐标系下具有度量一致性的轨迹，同时得到手部的参数化表示以及被操控物体的网格模型，且需满足：(i)防止手与物体相互穿透；(ii)确保物理上合理且时间上稳定的接触。具体而言，时间t时的手部姿态状态为： $$ \mathbf{h}_{t}\;=\;(\theta_{h}(t),\mathbf{R}_{h}^{w}(t),\mathbf{t}_{h}^{w}(t)), $$ 其中，$\theta_h(t)$ 表示手部姿态，$\mathbf{R}_h^w(t)$ 和 $\mathbf{t}_h^w(t)$ 分别表示世界坐标系下手部的全局变换和腕部位置。物体状态是指与其（已确定尺寸的）几何形状绑定的刚性6D姿态，$\mathbf{p}_t = T_o^w(t) \in \mathrm{SE}(3)$ 用于定义物体的位置和旋转。 --- ![Image](images/cfcdea431a617e57175458c5626e69b12cf5eae5bc3fa7db87695bdd658ac988.jpg)

Figure 2. Given monocular RGB(-D) input, we first estimate the motion of the hand or wholebody and the manipulated object. We then perform a joint optimization, guided by TSDF and reinforcement learning, to improve physical plausibility and ensure robotic reachability. The resulting trajectories are retargeted to heterogeneous embodiments—including arms, dexterous hands, and humanoids. Finally, domain randomization for both observation and trajectories in Isaac Sim is applied to enrich observational diversity for robotic arms, and the generated embodied data is validated across both VLA and IL policy benchmarks.

人体与手部运动恢复。我们的方法首先判断一段视频片段属于仅涉及手部运动还是全身运动。对于仅涉及手部运动的情况，我们利用 $\mathbf{h}_{t}$ 逐帧估计 [^28]。而对于全身运动情况，我们通过 [^49] 估计SMPL-H参数，直接生成世界坐标系下的身体姿态 $\theta_{b}(t)$ 以及形状 $\beta_{b}$，进而提取出手部状态 $\mathbf{h}_{t}$。物体重建与姿态估计。我们先定位被操控的物体，获取视频中每帧的掩码 $m_t$ 和深度图 $D_t$（由 [^29] 或RGB-D预测）。在语义线索的指导下，我们使用多视角3D生成器 $\mathcal{G}$ [^52] 来生成未缩放的带纹理网格 $\hat{M}_o$。接着，通过将掩码内的深度图反投影为点集 $\mathcal{P}_t = \{X_c(p) = D_t(p) K^{-1} \tilde{p} \mid p \in m_t\}$ 并聚合得到 $\mathcal{P} = \bigcup_t \mathcal{P}_t$，从而恢复被操控物体的实际尺寸。我们通过 $M_o$ 获得缩放后的物体网格 $M_o = s_o \hat{M}_o$，其中 $s_o$ 表示 $\mathcal{P}$ 与 $\hat{M}_o$ 的包围盒对角线之比。借助 $(M_o, M_t, D_t)$，基于对应关系的跟踪器 $\mathcal{F}(\cdot)$ [^39] 就能估计出摄像头帧中物体的姿态序列 $T_o^c(t)$。为了消除真实世界HOI视频中因视角不同导致的不一致性，我们首先利用 $T_c^w = (R_{wc}, t_{wc})$ 估计相机内参K以及相机到世界的变换 [^34]。这样就能将所有重建的手部-物体交互数据转换到世界坐标系下。随后，我们基于身体关节位置构建参考框架，将得到的轨迹对齐到规范动作空间 $\mathcal{A}$，从而确保不同来源数据的一致性。具体的变换步骤详见附录。物理合理性优化。设 $\phi_o(\mathbf{x}; t)$ 为一个闭合的物体截断有向距离函数（TSDF，外部为正），$V_h$ 为手部顶点。首先，我们优化手部参数 $t_h^w$，通过最小化 $\phi_o^2(V_h^{palm}, t)$ 来避免物体与手掌之间的穿透现象。如图2右上角所示，我们接着优化手部参数 $\mathbf{R}_{\mathrm{wrist}}^{\mathrm{w}}, \mathbf{t}_{\mathrm{wrist}}^{\mathrm{w}} \in \theta_{h}$，以防止手部与物体相互穿透。详细的碰撞优化策略在补充材料中有所描述。在完成了无碰撞的HOI初始化后，我们引入残差RL策略 [^22]，以在确保机器人可到达性的前提下获得物理上合理的手部-物体姿态。具体而言，采用残差学习策略来细化手部和物体的轨迹。RL策略会鼓励精准跟踪这些细化后的轨迹，同时一旦手部和物体间的距离低于阈值，就促进物理上一致的接触。RL处理后的状态记为 $s_t = (h_t, p_t, \hat{h}_t, \dot{p}_t, \mathcal{C}_t)$。这里，$h_t$ 和 $p_t$ 分别表示手部姿态和物体姿态，以及它们对应的 --- ![Image](images/9ed4d03aee15ed44a706c3ef5824bfaeae1b587b9dbb0351b4202ca19c93eacb.jpg)

Figure 3. Map the hand's joints to the gripper's end-effector pose, including the corresponding mapping of the gripper's opening and closing state.

速度和 $C_{t}$ 表示接触力。奖励函数 $r_{t}$ 定义如下： $$ \begin{align*}r_{t}&=\lambda_{\mathrm{geo}}\Phi_{\mathrm{geo}}\left(\left\|\Delta h_{t}\right\|+\left\|\Delta p_{t}\right\|\right)\\&\quad\lambda_{\mathrm{dyn}}\Phi_{\mathrm{dyn}}\left(\left\|\Delta\dot{h}_{t}\right\|+\left\|\Delta\dot{p}_{t}\right\|\right)+\lambda_{\mathrm{con}}\Phi_{\mathrm{con}}\left(\mathcal{C}_{t}\right),\end{align*} $$ 其中，$\Phi$ 表示奖励函数，而 $\Delta$ 则表示结果状态 $s_t$ 与目标状态之间的误差。 #### 3.3. 跨本体重定向基于第3.2节中物理上合理的关节HOI重建结果，我们获得了物理上合理的轨迹 $\{h_t, p_t\}_{t=1}^T$，并确保了手部与物体之间的稳定接触。我们的目标是将这些轨迹重定向到不同类型的机器人本体上——包括工业机械臂、灵巧手以及人形机器人。机器人机械臂。在获得精确的3D手部关节数据后，我们将手部姿态重新定位为可执行的末端执行器姿态 $\{T_g(t), g(t)\}_{t=1}^T$，以适配平行夹爪（见图3）。受 [^21] 的启发，我们根据整个手部（包含手掌）还是仅指尖主导接触几何形状，采用了两种互补的方向构建方法。我们使用kNN分类器来确定手势类别。全手重定向会基于掌指关节构建一个稳定的手掌坐标系，以抑制指尖抖动；而仅手指映射则对齐到手部固有坐标系，并利用食指与拇指连线的方向来定义夹爪轴线。有关详细的重定向算法，请参阅附录。为了评估夹爪的状态，我们采用CoTracker [^17] 来跟踪被操纵物体上关键点的运动轨迹。夹爪状态是根据这些关键点的位移来判定的：如果这些点保持静止，则夹爪被判定为打开状态；否则，即为闭合状态。由于该方法关注的是关键点而非物体的掩码，因此能够有效应对操作过程中因严重遮挡引发的视觉歧义问题。随后，我们在配备平行夹爪的UR5机器人机械臂上开展了实际机器人实验，以验证这种重定向方法的有效性。灵巧手与人形机器人。除了将动作重定向到简单的夹爪式机械臂外，我们的高保真HOI重建技术还为将人类演示转移到更复杂的本体上提供了可能，包括灵巧手和人形机器人。对于灵巧手，我们利用运动学相似性和接触约束，将重建的手部动作映射到目标机器人手的关节空间。对于全身人类演示，我们通过利用完整的SMPL-H人体模型估计值，将重定向扩展到人形机器人平台。生成的运动序列会通过逆运动学和动力学感知优化来调整为人形机器人的关节树结构，从而确保动作的物理合理性与意图的完整性。初步验证结果详见附录。回放评估与语言描述：在仿真环境中回放轨迹时，由于精度问题或物理引擎中的非物理性碰撞，可能会导致执行失败。为缓解这一问题，我们采用Qwen2.5 VL [^1] 来进行自动化的二元任务评估（成功/失败）。该模型以任务描述以及腕部视角和第三视角下的仿真观测结果作为输入，以此判断动作是否成功完成。对于判定为成功的轨迹，我们会进一步利用 [^16] 来生成并优化细粒度的语言指令。 #### 3.4. 仿真中的数据增强在保留对本体控制至关重要的接触语义与物理合理性前提下，我们进行了大量的基于仿真的数据增强，以丰富视觉观测与运动轨迹的多样性。所有增强策略均在规范动作空间A内应用，以应对不同的操作方向。更多可视化结果请参阅附录。不同类型的机械臂重定位。给定由我们的重定位方法生成的可执行末端执行器（EE）轨迹$\{T_g(t)\}$，我们为异构机械臂生成观测数据，如图4所示。在Isaac Sim中，我们将五种常用的6/7自由度机械臂作为仿真资产实例化，包括UR5/UR5e、Franka Emika Panda、KUKA LBR iiwa 7、Kinova Gen3和Rethink Robotics Sawyer。将HOI衍生的6D EE轨迹$T_g(t) \in \text{SE}(3)$、$t = 1, \ldots, T$通过cuRobo的GPU加速逆运动学（IK）后端[^32]映射为可行的关节轨迹。对于每台机械臂，在每个时间步都会调用IK求解器，输入目标位姿$T_g(t)$。求解器会返回一组可行的关节配置： $$ q_{t}=\arg\min_{q}\mathcal{C}_{goal}(T_{g}(t),q) $$ $$ \begin{array}{r}{\mathrm{s}.\mathrm{t}.q_{\mathrm{m i n}}\preceq q\preceq q_{\mathrm{m a x}},\;\mathcal{C}_{\mathrm{c o l l}}(q)\leq0,}\end{array} $$ 其中$C_{goal}$是cuRobo的位姿到达代价，$C_{coll}$是自碰撞约束。为确保时间一致性，我们在调用求解器时，会将前一个解$q_{t-1}$作为IK的初始值。通过回放检查的片段会保留原始的HOI意图（如抓取/放置/倾倒），同时体现原始角色的特征。 --- 实现关节空间的多样性。我们导出关节空间指令$\{q_t\}_{t=1}^T$（包含机械臂和夹爪指令）以及每台机器人对应的操作空间标签，从而能够基于同一HOI源进行多形态策略训练。物体检索与替换。我们通过结合[^52]生成的模型与内部扫描数据来构建大型物体库；每个物体资源都包含封闭网格、纹理、类别标签以及标准位姿。对于包含物体网格$M_o$和物体位姿流$\{T_o(t)\}$的源片段，我们利用融合相似性算法检索出前K个替代物$\tilde{M} = \{\tilde{M}_k\}$。 $$ \begin{aligned}\mathcal{S}(M_{o},\tilde{M})=&\alpha\operatorname{C D}\big(\hat{M}_{o},\tilde{\hat{M}}\big)+\beta\left(1-\operatorname{I o U}_{\mathrm{A A B B}}\right)\\&+\gamma\left\langle\phi_{\operatorname{s e m}}(M_{o}),\phi_{\operatorname{s e m}}(\tilde{M})\right\rangle,\end{aligned} $$ 其中$\hat{\cdot}$表示单位AABB归一化，CD是基于表面样本的对称Chamfer距离，$\mathrm{IoU}_{AABB}$用于衡量粗略形状兼容性，$\phi_{sem}$则是文本-形状嵌入向量。为确保能在检索到的替代物上兼容回放，我们会对齐主轴，并采用与源物体$M_o$相同的最大AABB和标准位姿定义。在这种绑定关系下，原始的EE运动规划以及手-物交互几何结构保持一致，因此控制轨迹可以直接在几何/语义匹配的新物体上回放（如带把手的杯子$\leftrightarrow$、盒子$\leftrightarrow$纸盒）。轨迹增强。参考[^41]并结合我们的场景需求，我们将每个演示表示为一条轨迹$\tau = \{(T_g(t), g(t))\}_{t=1}^{T}$，其中$T_g(t) = (R(t), p(t)) \in \text{SE}(3)$表示带有方向$R(t)$和平移$p(t)$的EE位姿，$g(t)$则是夹爪指令。该轨迹被划分为以物体为中心的片段$\{\tau^{(k)}\}$，每个片段都标注有接触状态$c^{(k)} \in \{\text{hold, open}\}$。我们并非重新规划轨迹，而是按如下方式对其进行增强。 (i) 对于交互片段$(c^{(k)} = \text{hold})$，我们对每个路径点应用物体坐标系下的刚体变换$T_o \in \text{SE}(3)$： $$ \tilde{T}_{g}(t)=T_{o}T_{g}(t),\qquad\tilde{g}(t)=g(t). $$ 设$R_{\Delta} := \text{Rot}(T_o)$。为保持连续性而无需重新生成运动规划，同样的方向变化也会应用于非交互片段（见(ii)），且由$R_{\Delta}$引起的方向变化会被控制在较小范围，以确保IK的可行性和执行的可重复性。 (ii) 对于每个非交互段 $(c^{(k)} = \text{open})$，我们会对平移路径进行线性重映射，并将EE方向设置为 $\tilde{R}(t) = R_{\Delta}R(t)$。设 $p_s, p_e$ 为原始端点，$\hat{p}_s, \hat{p}_e$ 为重映射后的锚点：与变换后的交互段相邻的锚点由该交互段固定，而另一个锚点则从预定义的可达集合中选择。用 $\alpha_t \in [0,1]$ 表示沿原始线段从 $p_s$ 到 $p_e$ 的归一化进度， $$ \tilde{p}_{t}\;=\;\hat{p}_{s}\;+\;\alpha_{t}(\hat{p}_{e}-\hat{p}_{s})\;+\;\Big[p_{t}-\big(p_{s}+\alpha_{t}(p_{e}-p_{s})\big)\Big]. $$ ### 4. 数据集我们利用RoboWheel流程构建了一个大规模多模态HOI机器人数据集HORA。该数据集整合了多种数据源，并利用RoboWheel的各个阶段将异构输入转换为统一的hoi表示，随后进行跨本体重定向和多样化数据增强。数据源包括：(i)配备触觉传感器手套的定制多视角动作捕捉系统；(ii)多个公开的HOI数据集；(iii)定制的RGB(D)视频采集装置。对于数据源(i)，通过三角测量和FoundationStereo $^{[40]}$ 获取高精度的HOI信号，其余与机器人相关的模态则通过RoboWheel的重定向和增强流程生成。对于数据源(ii)，公开数据集中现有的HOI模态直接转换为规范动作空间A，然后以相同方式进行重定向和增强。对于数据源(iii)，完整的RoboWheel流程会处理原始视频以提取HOI和具身模态。关于各子集所含任务的详细信息，请参阅我们的附录。以下章节将详细介绍HORA的模态组成和统计数据，以及动作捕捉子集的采集系统。 #### 4.1. 模态组成和统计数据如表1所示，RoboWheel为HORA的三个子集生成了统一的多模态表示。这些模态大致可分为两类：用于HOI下游任务的模态和用于机器人相关任务的模态。HOI模态包括来自原始数据源的世界坐标系下的手部MANO参数序列（姿态/形状、全局方向和平移）、物体6自由度位姿、物体模型以及手-物接触标注。机器人相关模态包括机器人腕部和第三人称视角的观测数据，以及机械臂的末端执行器位姿轨迹。所有轨迹均被转换到规范动作空间 $\mathcal{A}$ 中。动作捕捉子集提供了触觉信号、机器人观测数据和HOI标注。具体来说，我们发布了6自由度物体位姿、物体模型以及手部和物体的密集触觉图。录制子集提供了相同的HOI和机器人模态，但不包括触觉信号，因为采集装置中并未配备相关硬件。公开HOI子集由现有的HOI数据集 [^5] [^15] [^24] [^33] [^37] 构建而成，目前包含重定向到不同机械臂（6/7自由度）的跨本体模态。这三个子集总共包含约15万条轨迹，分布如图5所示。 #### 4.2. 定制动作捕捉系统采集系统我们的高精度动作捕捉子集是通过同步的多传感器采集装置获得的，数据采集装置和触觉手套如图6所示。 --- ![Image](images/3dd71ee56305451085be7a6bd2d6bb247187c0d1ac4a5d0fedb15ffb0635469d.jpg)

Figure 4. RoboWheel diverse augmentation in simulation.

Dataset	Tactile	Robotic data	HOI data	# Trajectories	Object Info Granularity
GRAB [^33]	✗	✗	✓	1334	6-DoF pose & Contact maps
HO3D (v3) [^15]	✗	✗	✓	68	6-DoF pose & Assets
DexYCB [^5]	✗	✗	✓	1,000	6-DoF pose & Assets
HO-Cap [^37]	✗	✗	✓	~64	6-DoF pose & Assets
TACO [^24]	✗	✗	✓	2,500	Assets
DROID [^18]	✗	✓	✓	76,000	Assets
LIBERO [^25]	✗	✓	✗	366	Assets
UCSD Kitchen [^42]	✗	✓	✗	150	■
HORA (Recordings)	✗	✓	✓	23560	6-DoF object pose & Assets
HORA (Mocap)	✓	✓	✓	63141	6-DoF object pose & Assets & Tactile map
HORA (Public Dataset)	✗	✓	✓	66924	■

![Image](images/9f971c088b127a06342e8911182c4a5626e9352195e2a825a9b5f6c7fd071f51.jpg)

Table 1. Modalities and scale comparison. For HORA, the first three rows correspond to our mocap, recorded RGB(D), and public HOI subsets. “X” and “✓” denote absence and presence, respectively.

Figure 5. Composition of the three subsets in HORA.

![Image](images/e00d8af8b6d8813ea5091abe8fbccb6e3a04b70f83a1ed7deb3c3b4cad78b6bc.jpg) ![Image](images/4666ce828d6335539f7cad2d00c4dd63d22d85ca6c05ee88e6f53a7cd4f18420.jpg)

Data Collection Setup Tactile Signal for hand and object Figure 6. Data collection setup and tactile information.

手部运动和触觉感知是使用Paxini开发的EVT2记录的。该手套集成了我们使用三台通过硬件同步线连接的Intel RealSense D455 RGB-D相机，从多个视角获取时间对齐且具备度量精度的深度数据，另外还有八台RGB相机，从而为每次交互提供多达十一个视角的图像。所有相机均经过外部校准，统一到同一个世界坐标系下，并与手部传感器设备保持时间同步。 • 手部运动链（腕部、手掌和指骨）上共分布有29个磁编码器，可提供关节级的姿态测量数据。 - 关键接触区域（指尖、指腹和手掌）上共安装了16个第三代触觉传感器，用于测量局部正压力。这些信号既用于拟合MANO参数，也用于生成触觉与接触标注信息，我们已将这些标注作为数据集的一部分予以发布。基于触觉信号的MANO模型拟合：我们开发了一种以触觉为导向的多约束优化方案，用于运动映射。通过将手套测量数据与MANO手部模型（或目标机器人URDF模型）进行配准，同时强制满足触觉接触状态、腕部姿态校准、关节平滑度以及解剖学先验等约束条件， --- 系统会并行优化所有帧，从而生成时空一致、触觉同步且符合物理规律的运动轨迹。关于该映射算法的实现细节，请参阅附录。 ### 5. 实验 #### 5.1. HOI重建质量我们在[^37]上按照第5.1节和图7中的常用指标评估HOI重建质量。为保证对比公平性，所有方法均采用相同的相机参数和物体网格模型。我们将RoboWheel分别与HORT [^2025]、HOLD [^2023]以及DiffHOI [^2023]进行比较。 #### 5.2. HORA数据的验证在此我们展示HORA数据如何支撑下游任务，以及借助数据增强后学习到的技能迁移效果如何。不同VLA/IL模型上的性能表现：为研究RoboWheel的重建结果如何应用于下游控制任务，我们针对难度分为简单/困难两类的八项家务任务进行基准测试，并评估多种VLA/IL算法（ACT、DP、RDT、Pi0）。我们在三种训练方案下对每种算法进行评估：(i) 基于10次遥操作演示数据进行微调（tele.）；(ii) 基于10条HORA轨迹数据进行微调（HORA）；(iii) 采用两阶段课程学习策略，先基于5000条HORA轨迹进行预训练，再基于10条HORA轨迹进行微调（分别记为RDT+5kHORA和Pi0+5kHORA）。第三种训练方案仅适用于RDT和Pi0，因为其他算法不支持预训练。表3中报告了在相同真实场景下各任务的成功率（%）。每个难度组内的宏观平均值也已列出。更多结果请参阅附录。如表3和图8所示，使用5k条HORA数据预训练的VLA策略（Pi0和RDT）取得了最高的成功率，其性能提升效果明显优于未经预训练的策略。这种改进在更复杂的任务中表现得更为显著。值得注意的是，当使用相同数量的遥操作或HORA训练样本对这些VLA/IL方法进行训练或微调时，仅基于HORA训练的策略就能达到与基于遥操作数据训练的策略相当的性能，尽管存在仿真到现实环境的差异。其原因主要有两个方面：首先，RoboWheel能够提供精确的HOI重建结果，从而生成精度接近遥操作的轨迹，确保从仿真环境到真实世界的有效迁移；其次，HORA采用了数据增强技术，其更广泛的数据分布有助于策略减轻视觉域差异带来的负面影响，进而赋予策略更强的鲁棒性。 HORA对模型鲁棒性的影响为了评估HORA中的数据增强策略是否能提升VLA的鲁棒性，我们比较了仅在HORA上微调的RDT（HORA）与经过增强处理的HORA（HORA-aug）。具体而言，我们选取了四项任务，并在三种分布偏移条件下开展真实机器人实验：未见过的物体、未见过的背景以及杂乱场景。如表4所示，每个单元格记录了两次独立实验的成功次数/总尝试次数。当在未经增强的HORA上训练时，微调后的RDT在遇到未见过的物体或杂乱环境时仍能取得一些成功；然而，一旦背景发生变化导致观测信息显著改变，模型的性能便会出现灾难性下降。相比之下，经过HORA增强数据训练的微调RDT在处理新观测信息方面表现显著提升，尤其是在未见过的背景条件下，成功率提高了25%。这些结果表明，在HORA上训练，尤其是采用增强数据，能够大幅增强VLA模型对视觉变化的鲁棒性。 #### 5.3. 真实机器人回放性能对比在输入相同的手部关节序列条件下，我们采用现有方法以及第3.3节中提出的方法来将动作重定向到两指夹爪上，执行同一组任务并测量成功率，以此定量评估每种映射方案的鲁棒性。如表5所示，我们的重定向方法在所有操控任务中均取得了更高的成功率。其对夹爪方向的精细化表述更具鲁棒性，能够在多样且动态的手部姿态下实现稳定而灵活的执行。 ### 6. 结论与讨论结论。我们的数据引擎RoboWheel通过将高保真的手-物体重建、物理上合理的轨迹优化以及跨本体重定向技术相结合，能够将现实世界的HOI视频转化为适用于跨本体机器人学习的监督数据。借助对现有本体差异具有内在鲁棒性的统一HOI表示，RoboWheel提供了一个可扩展的机器人训练数据生成框架。该框架还配备了丰富的基于仿真的数据增强策略，进一步强化了其功能。基于两个自主研发的硬件平台及现有的公开HOI数据集，我们构建了大规模HOI-to-Robot数据集HORA，该数据集可为VLA模型和模仿学习方法提供支持。此外，本研究首次提供了定量验证的证据，证明HOI数据可作为有效的上游模态，用于训练能够应对各种下游、特定本体任务的模型。局限性与未来工作。我们在现实世界中的跨本体实验——尤其是涉及灵巧手和人形机器人的实验——范围仍然有限。未来，在现实世界和模拟环境中扩展跨领域验证将是一个重要方向。 ---

Method	Object			Hand		Rel. pose consistency $\downarrow$
Method	CD (cm) $\downarrow$	F5 (%) $\uparrow$	F10 (%) $\uparrow$	Hand jitter (cm/s $^{2}$) $\downarrow$	W-MPJPE (mm) $\downarrow$	Trans (cm) $\downarrow$	Rot (deg) $\downarrow$
HORT	8.9	55.0	83.0	3.35	19.92	3.54	-
DiffHOI	7.2	59.6	78.1	4.59	20.21	4.51	-
HOLD	7.5	53.2	77.9	3.47	20.59	2.44	-
Ours	5.1	63.4	89.1	0.92	7.81	0.26	1.9

Table 2. HOI reconstruction quality comparison. Object surface: CD (cm) = bidirectional Chamfer distance; F5/F10 (%) = F-score at 5/10 mm. Hand: Hand jitter (cm/s²) = time-avg. norm of frame-to-frame wrist/palm acceleration (30 FPS, 2nd-order diff.); W-MPJPE (mm) = world frame MPJPE. Rel. pose consistency: std of $T_{rel}(t) = T_{h}^{-1}(t)T_{o}(t)$ in translation (cm) / rotation (deg).

![Image](images/070a3e34cf080ad5a06558c6631253082857e6c873c8b52d91651538c5c89861.jpg)

Figure 7. HOI reconstruction results of RoboWheel. Whether the data comes from public HOI datasets (e.g., DexYCB) or not, RoboWheel can achieve high-precision HOI reconstruction.

Real-world Tasks	ACT		DP		RDT		Pi0		RDT+5kHORA	Pi0+5kHORA
Real-world Tasks	Diff.	tele.	HORA	tele.	HORA	tele.	HORA	tele.	HORA	HORA
Pick up milk	Easy	15.0	0.0	20.0	15.0	55.0	30.0	70.0	65.0	70.0
Lift wooden cup		0.0	0.0	45.0	25.0	75.0	45.0	65.0	55.0	70.0
Place milk		35.0	0.0	50.0	35.0	70.0	50.0	80.0	55.0	85.0
Restore bowl		0.0	0.0	5.0	0.0	65.0	65.0	60.0	60.0	75.0
Average		12.5	0.0	30.0	18.8	66.3	47.5	68.8	58.8	75.0
Move banana	Hard	0.0	0.0	5.0	0.0	55.0	20.0	40.0	15.0	65.0
Upright milk		0.0	0.0	0.0	15.0	45.0	30.0	60.0	50.0	60.0
Pour cola		0.0	0.0	0.0	10.0	35.0	35.0	25.0	35.0	40.0
Tip teacup		0.0	0.0	0.0	0.0	5.0	15.0	35.0	25.0	25.0
Average		0.0	0.0	1.3	6.3	35.0	25.0	40.0	31.3	47.5

Table 3. Real-world task performance (%) grouped by difficulty.

## 致谢本研究得到了国家重点研发计划（项目编号：2022YFB36066）的部分资助，以及深圳市科技计划项目（Grant KJZD20240903103210014）的支持。 ---

Real-world Tasks	Unseen Object		Clutter Objects		Unseen Background
Real-world Tasks	HORA	HORA-aug	HORA	HORA-aug	HORA	HORA-aug
Lift wooden cup	4/10	5/10	4/10	4/10	0/10	4/10
Place milk	5/10	6/10	5/10	6/10	1/10	3/10
Upright milk	3/10	3/10	4/10	4/10	3/10	5/10
Pour cola	3/10	3/10	3/10	4/10	2/10	4/10
Average	3.75/10	4.25/10(+0.5)	4.00/10	4.50/10(+0.5)	1.50/10	4.00/10(+2.5)

Table 4. Task performance in unseen scenarios with RDT.

Task	Ours	GAT-Grasp	yoto
Lift wooden cup	87.5	25.0	75.0
Place bowl	100	62.5	100
Upright milk	100	50.0	62.5
Pour cola	100	62.5	75.0
move banana	87.5	62.5	87.5
Tip teacup	87.5	37.5	00.0
Macro avg	91.7	50.0	66.7

Table 5. Robot direct replay success rate $\uparrow$ (%).

![Image](images/0e281724468a02a7bbd0a769041f540378cecd4a9731570a80a8624b6af0835c.jpg)

Figure 8. Real-world Performance on 4 Tasks.

## 参考文献 [^1]: Shuai Bai, Keqin Chen, Xuejing Liu, Jialin Wang, Wenbin Ge, Sibo Song, Kai Dang, Peng Wang, Shijie Wang, Jun Tang, et al. Qwen2.5-vl technical report. arXiv preprint arXiv:2502.13923, 2025.5 [^2]: Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Manuel Y Galliker, et al. $\pi$0. 5: a vision-language-action model with open-world generalization. arXiv preprint arXiv:2504.16054, 2025. 3 [^3]: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, et al. Rt-1: Robotics transformer for real-world control at scale. arXiv preprint arXiv:2212.06817, 2022. 3 [^4]: Qingwen Bu, Yanting Yang, Jisong Cai, Shenyuan Gao, Guanghui Ren, Maoqing Yao, Ping Luo, and Hongyang Li. Univla: Learning to act anywhere with task-centric latent actions. arXiv preprint arXiv:2505.06111, 2025. 3 [^5]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9044–9053, 2021. 3, 6, 7 [^6]: Tianxing Chen, Zanxin Chen, Baijun Chen, Zijian Cai, Yibin Liu, Qiwei Liang, Zixuan Li, Xianliang Lin, Yiheng Ge, Zhenyu Gu, et al. Robotwin 2.0: A scalable data generator and benchmark with strong domain randomization 用于实现稳健的双臂机器人操控。arXiv预印本arXiv:2506.18088，2025年。3 [^7]: Tianxing Chen, Yao Mu, Zhixuan Liang, Zanxin Chen, Shijia Peng, Qiangyu Chen, Mingkun Xu, Ruizhen Hu, Hongyuan Zhang, Xuelong Li, et al. G3flow: Generative 3d semantic flow for pose-aware and generalizable object manipulation. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 1735–1744, 2025. 3 [^8]: Zerui Chen, Rolandos Alexandros Potamias, Shizhe Chen, and Cordelia Schmid. Hort: Monocular hand-held objects reconstruction with transformers. arXiv preprint arXiv:2503.21313, 2025. 3, 8 [^9]: Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, and Shuran Song. Diffusion policy: Visuomotor policy learning via action diffusion. The International Journal of Robotics Research, page 02783649241273668, 2023. 3 [^10]: Yufei Ding, Haoran Geng, Chaoyi Xu, Xiaomeng Fang, Jiazhao Zhang, Songlin Wei, Qiyu Dai, Zhizheng Zhang, and He Wang. Open6dor: Benchmarking open-instruction 6-dof object rearrangement and a vlm-based approach. In 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 7359–7366. IEEE, 2024. 3 [^11]: Zicong Fan, Maria Parelli, Maria Eleni Kadoglou, Xu Chen, Muhammed Kocabas, Michael J Black, and Otmar Hilliges. Hold: Category-agnostic 3d reconstruction of interacting hands and objects from video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 494–504, 2024. 3 ## [^12]: Kristen Grauman, Michael Wray, Adriano Fragomeni, Jonathan P. N. Munro, Will Price, Pablo Arbelaez, David Crandall, Dima Damen, Giovanni Maria Farinella, Bernard --- Ghanem, C. V. Jawahar, Kris M. Kitani, Aude Oliva, Hyun Soo Park, James M. Rehg, Yoichi Sato, Mike Zheng Shou, Antonio Torralba, Jitendra Malik等。Ego4d：基于3000小时第一人称视频的全球场景记录。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第18973–18990页，2022年。3 [^13]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 19383–19400, 2024. 3 [^14]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Honnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. 3 [^15]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. Ho-3d_v3: Improving the accuracy of hand-object poses in the ho-3d dataset. arXiv preprint arXiv:2107.00887, 2021. 3, 6, 7 [^16]: Aaron Hurst, Adam Lerer, Adam P Goucher, Adam Perelman, Aditya Ramesh, Aidan Clark, AJ Ostrow, Akila Welihinda, Alan Hayes, Alec Radford, et al. Gpt-4o system card. arXiv preprint arXiv:2410.21276, 2024. 5 [^17]: Nikita Karaev, Iurii Makarov, Jianyuan Wang, Natalia Neverova, Andrea Vedaldi, and Christian Rupprecht. C-tracker3: Simpler and better point tracking by pseudolabelling real videos. arXiv preprint arXiv:2410.11831, 2024. 5 [^18]: Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, Soroush Nasiriany, Mohan Kumar Srirama, Lawrence Yunliang Chen, Kirsty Ellis, et al. Droid: A large-scale in-the-wild robot manipulation dataset. arXiv preprint arXiv:2403.12945, 2024.7 [^19]: Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan Foster, Grace Lam, Pannag Sanketi, et al. Openvla: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246, 2024. 3 [^20]: Hedvig Kjellstrom, Javier Romero, and Danica Kragic. Visual recognition of grasps for human-to-robot mapping. In 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 3192–3199. IEEE, 2008. 3 [^21]: Hedvig Kjellstrom, Javier Romero, and Danica Kragic. Visual recognition of grasps for human-to-robot mapping. In 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, pages 3192–3199. IEEE, 2008. 5 [^22]: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, and Siyuan Huang. Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 6991–7003, 2025. 4 [^23]: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, and Siyuan Huang. Maniptrans: Efficient dexterous bimanual manip- 通过残差学习实现仿真到现实的迁移。载于计算机视觉与模式识别会议论文集，第6991–7003页，2025年。3 [^24]: Rongao Li, Jie Fu, Bo-Wen Zhang, Tao Huang, Zhihong Sun, Chen Lyu, Guang Liu, Zhi Jin, and Ge Li. Taco: Topics in algorithmic code generation dataset. arXiv preprint arXiv:2312.14852, 2023. 6, 7 [^25]: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, and Peter Stone. Libero: Benchmarking knowledge transfer for lifelong robot learning. Advances in Neural Information Processing Systems, 36:44776–44791, 2023. 7 [^26]: Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, and Jun Zhu. Rdt-1b: a diffusion foundation model for bimanual manipulation. arXiv preprint arXiv:2410.07864, 2024. 3 [^27]: Yao Mu, Hanxing Chen, Sijia Feng, Zanxin Chen, Zeyu Gao, Yude Zou, Lunkai Lin, Zhiqiang Xie, and Ping Luo. Robotwin: Dual-arm robot benchmark with generative digital twins. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. 3 [^28]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9826–9836, 2024. 4 [^29]: Luigi Piccinelli, Christos Sakaridis, Yung-Hsu Yang, Mattia Segu, Siyuan Li, Wim Abbeloos, and Luc Van Gool. Unidepthv2: Universal monocular metric depth estimation made simpler. arXiv preprint arXiv:2502.20110, 2025. 4 [^30]: Aditya Prakash, Matthew Chang, Matthew Jin, and Saurabh Gupta. Learning hand-held object reconstruction from in-the-wild videos. arXiv preprint, 2023. 3 [^31]: Wentian Qu, Zhaopeng Cui, Yinda Zhang, Chenyu Meng, Cuixia Ma, Xiaoming Deng, and Hongan Wang. Novel-view synthesis and pose estimation for hand-object interaction from sparse views. In Proceedings of the IEEE/CVF international conference on computer vision, pages 15100–15111, 2023. 3 [^32]: Balakumar Sundaralingam, Siva Kumar Sastry Hari, Adam Fishman, Caelan Garrett, Karl Van Wyk, Valts Blukis, Alexander Millane, Helen Oleynikova, Ankur Handa, Fabio Ramos, et al. Curobo: Parallelized collision-free robot motion generation. In 2023 IEEE International Conference on Robotics and Automation (ICRA), pages 8112–8119. IEEE, 2023. 5 [^33]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In European conference on computer vision, pages 581–600. Springer, 2020. 3, 6, 7 [^34]: Zachary Teed and Jia Deng. Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras. Advances in neural information processing systems, 34:16558–16569, 2021. 4, 3 ### [^35]: Takara E. Truong, Qiayuan Liao, Xiaoyu Huang, Guy Tevet, C. Karen Liu, and Koushil Sreenath. Beyondmimic: From motion tracking to versatile humanoid control via guided diffusion. arXiv preprint, 2025. 3 --- [^36]: Quan Vuong, Sergey Levine, Homer Rich Walke, Karl Pertsch, Anikait Singh, Ria Doshi, Charles Xu, Jianlan Luo, Liam Tan, Dhruv Shah, et al. Open x-embodiment: Robotic learning datasets and rt-x models. In Towards Generalist Robots: Learning Paradigms for Scalable Skill Acquisition@ CoRL2023, 2023. 3 [^37]: Jikai Wang, Qifan Zhang, Yu-Wei Chao, Bowen Wen, Xiaohu Guo, and Yu Xiang. Ho-cap: A capture system and dataset for 3d reconstruction and pose tracking of hand-object interaction. arXiv preprint arXiv:2406.06843, 2024. 3, 6, 7, 8 [^38]: Ruixiang Wang, Huayi Zhou, Xinyue Yao, Guiliang Liu, and Kui Jia. Gat-grasp: Gesture-driven affordance transfer for task-aware robotic grasping. arXiv preprint arXiv:2503.06227, 2025. 3 [^39]: Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17868–17879, 2024. 2, 4 [^40]: Bowen Wen, Matthew Trepte, Joseph Aribido, Jan Kautz, Orazio Gallo, and Stan Birchfield. Foundationstereo: Zero-shot stereo matching. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 5249–5260, 2025. 2, 6 [^41]: Zhengrong Xue, Shuying Deng, Zhenyang Chen, Yixuan Wang, Zhecheng Yuan, and Huazhe Xu. Demogen: Synthetic demonstration generation for data-efficient visuomotor policy learning. arXiv preprint arXiv:2502.16932, 2025. 6 [^42]: Ge Yan, Kris Wu, and Xiaolong Wang. ucsd kitchens dataset. 2023. 7 [^43]: Jie Yang, Bingliang Li, Fengyu Yang, Ailing Zeng, Lei Zhang, and Ruimao Zhang. Boosting human-object interaction detection with text-to-image diffusion model. arXiv preprint arXiv:2305.12252, 2023. 3 [^44]: Weirui Ye, Fangchen Liu, Zheng Ding, Yang Gao, Oleh Rybin, and Pieter Abbeel. Video2policy: Scaling up manipulation tasks in simulation through internet videos. arXiv preprint arXiv:2502.09886, 2025. 3 [^45]: Yufei Ye, Poorvi Hebbar, Abhinav Gupta, and Shubham Tulsiani. Diffusion-guided reconstruction of everyday hand-object interaction clips. In Proceedings of the IEEE/CVF international conference on computer vision, pages 19717–19728, 2023. 8 [^46]: Wanqi Yin, Zhongang Cai, Ruisi Wang, Fanzhou Wang, Chen Wei, Haiyi Mei, Weiye Xiao, Zhitao Yang, Qingping Sun, Atsushi Yamashita, et al. Whac: World-grounded humans and cameras. In European Conference on Computer Vision, pages 20–37. Springer, 2024. 2 [^47]: Jiyao Zhang, Weiyao Huang, Bo Peng, Mingdong Wu, Fei Hu, Zijian Chen, Bo Zhao, and Hao Dong. Omni6dpose: A benchmark and model for universal 6d object pose estimation and tracking. In European Conference on Computer Vision, pages 199–216. Springer, 2024. 2 [^48]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. Hawor: World-space hand motion 基于第一人称视频的重建。载于计算机视觉与模式识别会议论文集，第1805–1815页，2025年。2 [^49]: Yuhong Zhang, Jing Lin, Ailing Zeng, Guanlin Wu, Shunlin Lu, Yurong Fu, Yuanhao Cai, Ruimao Zhang, Haoqian Wang, and Lei Zhang. Motion-x++: A large-scale multimodal 3d whole-body human motion dataset. arXiv preprint arXiv:2501.05098, 2025. 3, 4 [^50]: Yuhong Zhang, Guanlin Wu, Ling-Hao Chen, Zhuokai Zhao, Jing Lin, Xiaoke Jiang, Jiamin Wu, Zhuoheng Li, Hao Frank Yang, Haoqian Wang, et al. Humanmm: Global human motion recovery from multi-shot videos. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 1973–1983, 2025. 2 [^51]: Tony Z Zhao, Vikash Kumar, Sergey Levine, and Chelsea Finn. Learning fine-grained bimanual manipulation with low-cost hardware. arXiv preprint arXiv:2304.13705, 2023. 3, 8 [^52]: Zibo Zhao, Zeqiang Lai, Qingxiang Lin, Yunfei Zhao, Haolin Liu, Shuhui Yang, Yifei Feng, Mingxin Yang, Sheng Zhang, Xianghui Yang, et al. Hunyuan3d 2.0: Scaling diffusion models for high resolution textured 3d assets generation. arXiv preprint arXiv:2501.12202, 2025. 4, 6 [^53]: Huayi Zhou, Ruixiang Wang, Yunxin Tai, Yueci Deng, Guiliang Liu, and Kui Jia. You only teach once: Learn one-shot bimanual robotic manipulation from video demonstrations. arXiv preprint arXiv:2501.14208, 2025. 3 ### [^54]: Brianna Zitkovich, Tianhe Yu, Sichun Xu, Peng Xu, Ted Xiao, Fei Xia, Jialin Wu, Paul Wohlhart, Stefan Welker, Ayzaan Wahid, et al. Rt-2: Vision-language-action models transfer web knowledge to robotic control. In Conference on Robot Learning, pages 2165–2183. PMLR, 2023. 3 --- ### RoboWheel：基于现实世界人类演示的跨本体机器人学习数据引擎补充材料目录 A 符号说明 2 B 转换为标准动作空间 3 C 手势到机械臂的映射 4 C.1. 映射算法 4 C.2. 不同方法的回放对比 4 C.3. 跨机械臂重定向性能 4 D 实验细节 6 D.1. VLA/IL策略的实现与超参数 6 D.2. 在Maniptrans上训练HORA 6 D.3. 现实世界验证结果 6 E 数据集详情 8 E.1. HORA动作捕捉硬件设置 8 E.2. 从手套适配到MANO参数 8 E.3. HORA的任务描述 9 F. 数据增强 11 F.1. 跨本体增强 11 F.2. 背景变化处理 12 F.3. 物体检索增强 12 F.4. 手部镜像处理 12 --- #### A. 符号说明

Symbol	Meaning	Notes / Space
$\{I_t\}_{t=1}^T$	Input frame sequence	RGB / RGB-D
K	Camera intrinsics	Known or estimated
$T_c^w$	Camera pose in world frame	$SE(3)$; often $(R_{wc}, t_{wc})$
$\Pi(\cdot)$	Pinhole projection operator	3D $\rightarrow$ pixel coordinates
$\mathbf{h}_t$	Hand state at time t	$(\theta_h(t), R_h^w(t), t_h^w(t))$
$\theta_h(t)$	Hand(MANO) parameters	Joint angles
$R_h^w(t), t_h^w(t)$	Wrist pose in world (rot/trans)	$SO(3)$ and $\mathbb{R}^3$
$\mathbf{p}_t$	Object state at time t	$T_o^w(t) \in SE(3)$
$T_o^w(t) = (R_o(t), t_o(t))$	Object pose in world (rot/trans)	$SE(3)$
$M_o, \hat{M}_o$	Object mesh (metric / up-to-scale)	Triangle mesh + texture
$s_o$	Object scale factor	From depth-mesh alignment
$m_t, D_t$	Object mask and depth map at t	Segmentation and depth
$P_t, P$	Back-projected points (per-frame / global)	From $D_t$ and K
$\text{AABB}(\cdot)$	Axis-aligned bounding box	Use diagonal via $\text{diag}(\cdot)$
$\mathbf{A}$	Canonical action space	Unified by C2W and facing origin
$T_w^A = (R^{w \to A}, t^{w \to A})$	World-to-action-space transform	Coordinate re-alignment
$\Delta^2(\cdot)$	Second-order temporal difference	Jitter suppression
$\rho(\cdot)$	Robust loss (e.g., Geman-McClure)	For reprojection errors
$d(\cdot, \cdot)$	Point-set / point-surface distance	For proximity/attraction
$V_h, V_o$	Hand mesh vertices / object surface points	Geometry sets
$\phi_h(\mathbf{x}; t)$	Hand signed distance field (SDF)	Positive outside (as used here)
$TSDF_o$	object truncated signed distance function	negative inside and zero else
$\mathbf{\tilde{q}}_i(t)$	World coord s of sampled object surface point	$R_o(t) \mathbf{q}_i^{loc} + t_o(t)$
$\mathcal{N}_t$	Near-contact candidate set	$\|\phi_h\| < \tau_{band}$ or Top-K
$\\|\cdot\\|_F$	Frobenius norm	For rotation log etc.
$\log_{SO(3)}(\cdot)$	Lie-group log map on $SO(3)$	Rotation discrepancy
$d_{SE(3)}(\cdot, \cdot)$	Geodesic distance on $SE(3)$	Pose discrepancy
$\mathbb{E}_{\pi}[\cdot]$	Expectation under policy $\pi$	RL objective
$r_t$	Instantaneous reward	Weighted components
$\psi_{\text{limits}}(\cdot)$	Joint-limit margin reward	Prefer mid-range
$\pi_\theta$	Residual policy network	Added to $a^{IK}$
$T_{\text{rel}}(t)$	Relative pose $T_h^{-1}(t) T_o(t)$	Hand-object relative pose
$R_g, p_g$	Gripper pose (rot/trans)	From hand keypoints
$q_t^{(r)}$	Joint configuration of robot r at t	From bounded-rate IK
$\phi_{\text{lim}}(q)$	Joint-limit penalty	IK constraint term
$S = \text{diag}(-1, 1, 1)$	Left-right mirror matrix	About sagittal plane
$R_y(\pi)$	Rotation about y by $\pi$	Used with S to set facing
$\varphi_{\text{sem}}(\cdot)$	Semantic embedding (text-shape)	For semantic similarity
$\gamma^t$	Discount factor power	RL return discounting

--- ![Image](images/76ad0f9918ecc9836f3446fc8edec400d84cd0b04d8314cb11a1c33ca1594c95.jpg)

Figure 9. Our pipeline decouples the reconstructed hand-object motions from the specific camera viewpoint of the source video. We first lift the reconstructions to a consistent world frame using the camera-to-world transformation $T_{c2w}$. Subsequently, we normalize these trajectories into a canonical action space via $T_{w2A}$. This two-step alignment ensures that the retargeted actions maintain a consistent approach direction and kinematic interpretation across all robotic embodiments.

#### B. 转换为标准动作空间现实世界中的HOI视频是在任意视角下拍摄的，这会导致手和物体的重建结果依赖于观测视角。为了消除这种不一致性，我们采用了一种提升算法，如图9所示。第一步，将所有重建的HOI结果从各自的相机坐标系转换到同一个世界坐标系中。第二步，进一步将世界坐标系中的轨迹标准化到一个统一的规范动作空间中，从而确保来自不同数据源的交互轨迹能够被重新映射。步骤1：估计$(K, T_c^w)$并将其提升到世界坐标系。我们假设相机是静止的，利用DROID-SLAM $T_c^w = (R_{wc}, t_{wc})$来估计相机内参K以及（随时间不变的）相机到世界的变换矩阵[^34]，同时优化稀疏/半密集的重投影效果以及时间平滑性： $$ \begin{align*}\min_{K,T_{c}^{w}}&\sum_{t,i}\left\|\Pi\big(K,(T_{c}^{w})^{-1};X_{i}\big)-u_{i,t}\right\|_{2}^{2}\\&+\lambda\Big(\|\Delta t_{wc}\|_{2}^{2}+\left\|\log_{\mathrm{SO}(3)}(R_{wc}^{\top}R_{wc}^{+})\right\|_{2}^{2}\Big),\end{align*} $$ 其中$(\cdot)^{+}$表示下一个关键帧。我们采用关键帧解决方案作为片段级的$T_{c}^{w}$。我们也评估了DPVO和COLMAP，但发现DROID-SLAM在我们的实验设置中更为稳定。确定了每个片段的固定$T_{c}^{w}$后，我们就可以将估计出的$h_{t}$、$p_{t}$投影到世界坐标系中：步骤2：对齐到规范动作空间$\mathcal{A}$。给定世界坐标系中的左右髋部和肩部位置$p_{\mathrm{hip}}^{L/R}$、$p_{\mathrm{sho}}^{L/R}$（$\{\mathcal{Z}\}$），我们首先在xz平面上计算一个横向参考向量： $$ \begin{array}{c} v_{lat}~=~\Pi_{xz}\big(\big(p^{L}_{hip}-p^{R}_{hip}\big)+\big(p^{L}_{sho}-p^{R}_{sho}\big)\big). \end{array} $$ 接着我们按照以下约定构建规范坐标系A： --- • $z_{A}$与场景的上方向（重力/地面法线）对齐。 $$ y_{A} $$ $x_{A}$通过右手定则确定，以保证正交性。经过正交化后，这些轴就构成了旋转矩阵$R_{w \to \mathcal{A}} \in \mathrm{SO}(3)$。最后，我们将动作轨迹以物体位置为中心进行居中处理（默认以第一个显著帧$t_0$为准），从而得到平移量$t_{w \to \mathcal{A}} = -R_{w \to \mathcal{A}} t_o^w (t_0)$以及最终的刚体变换$T_w^{\mathcal{A}} = (R_{w \to \mathcal{A}}, t_{w \to \mathcal{A}})$。 #### C. 手势到机械臂的映射 ### C.1. 映射算法针对整手手势和仅手指手势这两种不同类型的手势，我们设计了相应的映射方案，以便将手部动作转换为双指夹爪的动作。对于整手手势，我们的方法主要利用手掌平面上的3D关节来定义夹爪的方向和空间位置；对于仅手指手势，我们则结合指尖位置以实现更精细的操作。两种手势下的详细映射算法伪代码如图10所示。 ```pseudo // Algorithm 1: Whole-Hand (Palm-Involved) Gripper Pose Construction Input: wrist $k_{wri}$, index MCP $k_{ind}^{mcp}$, ring MCP $k_{ring}^{mcp}$ Output: Gripper pose $(R_g, p_g)$. ``` $\mathbf{w} \leftarrow \mathbf{k}_{wri}, \mathbf{i} \leftarrow \mathbf{k}_{ind}^{mcp}, \mathbf{r} \leftarrow \mathbf{k}_{ring}^{mcp}$ // 提取关键点 $\mathbf{o} \leftarrow (\mathbf{w} + \mathbf{i} + \mathbf{r})/3$ // 手掌原点 $\mathbf{v}_x \leftarrow (\mathbf{r} - \mathbf{w})$ // X轴方向 $\tilde{\mathbf{x}} \leftarrow v_x / (\text{NORMALIZE}(v_x) + 10^{-8})$ // 归一化的X轴 $\mathbf{v}_z \leftarrow \text{CROSS\_PRODUCT}(\mathbf{i} - \mathbf{w}, \mathbf{r} - \mathbf{w})$ // Z轴（手掌法线） $\tilde{\mathbf{z}} \leftarrow v_z / (\text{NORMALIZE}(v_z) + 10^{-8})$ // 归一化的Z轴 $\tilde{\mathbf{y}} \leftarrow \text{CROSS\_PRODUCT}(\tilde{\mathbf{z}}, \tilde{\mathbf{x}})$ // Y轴方向 $\tilde{\mathbf{z}} \leftarrow \text{SIGN}(\mathbf{\phi}) \cdot \tilde{\mathbf{z}}$ $R_g \leftarrow \text{CONCATENATE}([\tilde{\mathbf{x}}, \tilde{\mathbf{y}}, \tilde{\mathbf{z}}])$ // 旋转矩阵 $\mathbf{p}_g \leftarrow \mathbf{o} + d_z \tilde{\mathbf{z}}$ // 位置返回$(R_g, p_g)$ ```pseudo // Algorithm 2: Finger-Only (Pinch/Precision) Gripper Pose Construction Input: index TIP $k_{ind}^{tip}$, index MCP $k_{index}^{mcp}$, thumb tip $k_{thumb}^{tip}$, thumb MCP $k_{thumb}^{mcp}$ Output: Gripper pose $(R_g, p_g)$. ``` $\mathbf{i} \leftarrow \mathbf{k}_{ind}^{tip}, \mathbf{m} \leftarrow \mathbf{k}_{ind}^{mcp}, \mathbf{t} \leftarrow \mathbf{k}_{thumb}^{tip}, \mathbf{r} \leftarrow \mathbf{k}_{thumb}^{mcp}$ // 提取关键点 $\mathbf{o} \leftarrow (\mathbf{t} + \mathbf{i})/2$ // 手掌原点 $\tilde{\mathbf{v}}_z \leftarrow (\mathbf{i} - \mathbf{m})$ // Z轴方向 $\tilde{\mathbf{z}} \leftarrow v_z / (\text{NORMALIZE}(v_z) + 10^{-8})$ // 归一化的Z轴 $\mathbf{v}_y \leftarrow \text{CROSS\_PRODUCT}(\mathbf{i} - \mathbf{m}, \mathbf{m} - \mathbf{r})$ // Y轴（手掌法线） $\tilde{\mathbf{y}} \leftarrow v_y / (\text{NORMALIZE}(v_y) + 10^{-8})$ // 归一化的Y轴 $\tilde{\mathbf{x}} \leftarrow \text{CROSS\_PRODUCT}(\tilde{\mathbf{y}}, \tilde{\mathbf{z}})$ // X轴方向 $\tilde{\mathbf{z}} \leftarrow \text{SIGN}(\mathbf{\phi}) \cdot \tilde{\mathbf{z}}$ $R_g \leftarrow \text{CONCATENATE}([\tilde{\mathbf{x}}, \tilde{\mathbf{y}}, \tilde{\mathbf{z}}])$ // 旋转矩阵 $\mathbf{p}_g \leftarrow \mathbf{o} + d_z \tilde{\mathbf{z}}$ // 位置返回$(R_g, p_g)$ 返回$(R_g, p_g)$

Figure 10. Following our gesture classification scheme, we divide grasping into two categories and combine them into the final two-finger gripper pose based on the hand joint space orientation.

#### C.2. 不同方法的回放对比不同方法的回放对比：我们将RoboWheel的映射方法与YOTO和GAT-Grasp进行了比较。YOTO和GAT-Grasp在夹持器位置或姿态映射上存在差异，从而导致抓取失败；而RoboWheel则能提供更准确、更合理的映射，如图11所示。 #### C.3. 跨机械臂重定位性能表5中，我们报告了不同映射方法在UR5上的真实世界成功率（SR）。为了进一步评估我们方法的泛化能力和可扩展性，我们在仿真环境中将相同的映射算法部署到多种机械臂上（UR5、Gen3、iiwa7、Sawyer和Franka）。如表6所示，我们的方法在所有机械臂上均表现出稳定的高性能，成功率 --- ![Image](images/060940f03f1d6152cb1eeeb5a85ce71893af5f5599049d78b14544798cc259b3.jpg)

Figure 11. Replay Comparison by Different Methods: We compared the mapping method of RoboWheel with YOTO and GAT-Grasp. YOTO and GAT-Grasp result in discrepancies in gripper position or orientation mapping, leading to failure, while RoboWheel provides more accurate and reasonable mapping.

Task	UR5	Gen3	iiwa7	Sawyer	Franka
flip_milk	10/10 (100%)	10/10 (100%)	7/10 (70%)	10/10 (100%)	7/10 (70%)
place_milk	10/10 (100%)	10/10 (100%)	10/10 (100%)	10/10 (100%)	10/10 (100%)
pour_cola	10/10 (100%)	10/10 (100%)	10/10 (100%)	10/10 (100%)	10/10 (100%)

Table 6. Scaled success rates for 10 trials per task using the same retarget method.

尽管这些机械臂的运动学和结构存在差异，成功率仍保持稳定。这表明所提出的映射方法在跨实体迁移中具有鲁棒性和可扩展性。 --- #### D. 实验细节我们使用HORA数据集训练了四种VLA/IL策略，即ACT、DP、RDT-1B和Pi0，以验证我们数据的有效性。在训练这些模型之前，我们先将数据预处理为观测值、动作以及指令（如需）的格式，以便用于模型训练。 ### D.1. VLA/IL策略的实现与超参数设置对于ACT，我们为每个任务训练20,000次迭代，其中90%的数据用于训练，剩余10%用于验证。训练DP时，我们采用了与ACT相同的训练步数、学习率和数据块大小。具体的超参数值列于表7中。

ACT		DP
Hyperparameter	Value	Hyperparameter	Value
Chunk size	16	Chunk size	16
Hidden dim	512	Action horizon	8
Batch size	16	Batch size	16
Learning rate	1e-5	Learning rate	1e-5
Dim feedforward	3200	Observation horizon	8
Training steps	20000	Training steps	20000

Table 7. Hyperparameters used to train ACT and DP.

RDT在4块GPU上以每块GPU 8的批量大小预训练了100,000步；所有单任务微调均在单块GPU上以每块GPU 8的批量大小进行，训练10,000步。Pi0在8块GPU上以每块GPU 32的批量大小预训练了100,000步；所有微调均在单块GPU上以相同的批量大小进行，训练30,000步。 RDT和Pi0的所有其余超参数均按照其官方文档进行设置。 #### D.2. 在Maniptrans上训练HORA 我们将手势映射到灵巧手上，并在仿真环境中完成训练。训练结果如图12所示。 ![Image](images/3ab1337a4107b6f465cf425f3899b972a2ead44f9a7b82d39fcc8d7d8b42159e.jpg)

Figure 12. Visualization results of maniptrans

#### D.3. 真实世界验证结果此处我们展示了在实体机器人（UR5）上执行所有设计任务的实验结果，如图13所示。 --- ![Image](images/7616fe770615d57f75a3ce4058f3ecc766e18e639e4bd3a8d327c98b450dbbb5.jpg)

Figure 13. Visualization of eight tasks on real robot

--- #### E. 数据集详情我们构建了一个大规模数据集（HORA），包含三个子集：HORA-Mocap（带触觉手套的多视角动作捕捉数据）、HORA-Recordings（无触觉数据的内部RGB(D)录制数据）以及HORA-Public（经过重定位的公共HOI数据集）。 ### E.1. HORA动作捕捉硬件配置手套：该手套配备了16个Gen3触觉传感器和29个磁编码器。它佩戴在单只手上，能够采集高频触觉数据。触觉传感器可检测压力、力和振动，而磁编码器则用于捕捉手指的精确关节角度和运动情况。这种组合能够以高时间分辨率收集详细的手-物体交互数据。动作捕捉硬件配置及仿真中的手套可视化效果如图14所示。 ![Image](images/95bfb41d96576db7cf9a2786b3d59163f9dd5d31c733109dc887d960226a26c2.jpg)

Figure 14. Visualization of the Mocap Hardware setup and gloves in simulation.

RGBD相机：三台Intel RealSense D455 RGBD相机用于同时采集深度数据和RGB数据。这些相机被安装在关键位置，以确保最佳的覆盖范围与精确的3D空间数据。深度相机可提供高分辨率的深度图，而RGB相机则能输出高质量的彩色图像。为了实现同步数据采集，采用同步电缆将三台相机连接起来，从而确保所有设备间的时间对齐精度。 RGB相机：共有八台高分辨率RGB相机用于精细的视觉跟踪。这些相机被布置在不同角度，以便全面捕捉环境及物体的信息。它们为RGBD相机所提供的深度信息补充了相应的视觉数据。 #### E.2. 从手套拟合到MANO参数我们通过统一的可微优化方法，将基于手套的运动学拟合结果映射到MANO手部模型上。由于手套和MANO均采用可微正运动学（FK）算法，因此能够实现平滑过渡，同时保留全局姿态与局部接触几何特征。手套域拟合：我们首先利用多视角约束对手套进行校准。为确保对应关系的一致性，我们定义了：(i) 手套关节与MANO关节之间的链接级映射；(ii) 分配给各手套链接的触觉传感器点。仅当链接上作用有非零力时，才会激活接触约束；若某链接上无作用力，则其位置/法向约束将被禁用。对于受力链接，我们采用基于力的权重设置：强受力传感器点的权重设为1.0，其他激活点的权重则为0.3。手套拟合的目标函数为 $$ \mathcal{L}_{\mathrm{g l o v e}}=\mathcal{L}_{\mathrm{c o n t a c t}}+\mathcal{L}_{\mathrm{w r i s t}}+\mathcal{L}_{\mathrm{j l i m}}+\mathcal{L}_{\mathrm{s m o o t h}}+\mathcal{L}_{\mathrm{a n a t}}, $$ 其中 $\mathcal{L}_{contact}$ 用于对齐触觉点处的位置与法向，$\mathcal{L}_{wrist}$ 用于约束腕部姿态，$\mathcal{L}_{jlim}$ 用于惩罚超出关节极限的情况，$\mathcal{L}_{smooth}$ 用于保证时间上的平滑性，而 $\mathcal{L}_{anat}$ 则用于规范解剖学上的合理性。所有坐标系均并行优化。为解决腕部浮动问题，我们在手套腕部基座前添加一个自由的6自由度变换。映射初始化：优化后的手套运动数据被用来初始化MANO模型。我们将手套的全局腕部变换（包括6自由度浮动姿态）复制到MANO的根节点姿态中，并根据预定义的对应关系，将每个手套关节的旋转映射到对应的MANO关节上。这样便得到了与接触一致的手套拟合结果相近的初始MANO姿态。 --- MANO精细化：以映射初始化得到的姿态为起点，我们在相同的约束条件下对MANO参数进行精细化调整，此时约束条件是基于MANO的关节与顶点来表述的。MANO姿态由16个关节参数化描述，每个关节具有3自由度的轴角旋转，即 $$ \boldsymbol{\theta}\in\mathbb{R}^{16\times3}, $$ 再加上一个全局腕部姿态。我们最小化以下目标函数： $$ \mathcal{L}_{\mathrm{m a n o}}=\mathcal{L}_{\mathrm{c o n t a c t}}+\mathcal{L}_{\mathrm{w r i s t}}+\mathcal{L}_{\mathrm{j l i m}}+\mathcal{L}_{\mathrm{s m o o t h}}+\mathcal{L}_{\mathrm{a n a t}}, $$ 该函数使用从手套链接处继承来的、基于力的接触权重。这种精细化处理能够生成符合解剖学结构的有效MANO姿态，同时保留触觉交互的几何特征。 #### E.3. HORA的任务描述 HORA-Mocap子集旨在提供一套紧凑但种类丰富的日常家居操作技能，这些技能是通过高保真动作追踪技术采集的。我们挑选的任务范围广泛，从简单的原子级基本动作（如拾取与放置、按压、倾倒、插入以及开合）到需要多步骤协调和以物体为中心的推理的中长期任务（如将水倒入杯子、收纳积木、清理桌面、用夹子取物以及安装灯泡）。为了反映人类手部的实际使用方式，任务分类被简化为单手和双手两类，涵盖了单手操作以及协作性双手行为，例如旋转瓶盖、叠衣服、扫描物品以及布置餐桌。有关详细任务描述和可视化内容，请参阅表8和图15。最终形成的任务套件为在各类物体类型、动作基本形式和时间跨度下，学习和评估灵巧操作策略提供了一个结构化的基准。

#	Task type	Primitive / skill	Manipulated objects	Task description
1	One-handed	pick&place	Coconut water bottle (350 ml)	Pick up and place the object.
2	One-handed	pick&place	Black marker	Pick up and place the object.
3	One-handed	pick&place	Lidded ceramic mug (white)	Pick up and place the object.
4	One-handed	pick&place	Claw hammer	Pick up and place the object.
5	One-handed	press	Remote control	Press buttons on the remote control.
6	One-handed	pour	Kettle	Pick up the kettle and perform a pouring motion.
7	One-handed	insert	Gel pen + pen holder	Insert the pen into the pen holder.
8	One-handed	open-close	Tea gift box	Open the tea gift box and then close it.
9	One-handed	pouring water	Kettle + cup	Place the cup at a fixed position, pick up the kettle to pour water, put down the kettle, then deliver the cup to a target position.
10	One-handed	block storage	Blocks + block box	Store blocks of different shapes into the block box.
11	One-handed	tabletop wiping	Cleaning sponge	Hold the sponge and wipe the tabletop.
12	One-handed	vacuum cleaning	Handheld vacuum	Use the handheld vacuum to clean the tabletop.
13	One-handed	tong picking	Baking tongs + bun-shaped object	Use tongs to pick up the bun-shaped object.
14	One-handed	bulb installation	Light bulb + bulb socket	Screw the light bulb into the socket.
15	Two-handed	pick&place	Large plate	Pick up and place the object with both hands.
16	Two-handed	pick&place	Large juice bottle	Pick up and place the object with both hands.
17	Two-handed	rotate	Bottle with cap	Cooperatively unscrew the cap with both hands, then re-tighten it.
18	Two-handed	clothes folding	T-shirt	Fold the T-shirt and place it at a fixed position.
19	Two-handed	item scanning	Scanner gun + items to scan	Pick up an item and scan it with the scanner gun.
20	Two-handed	table setting	Tableware set	Set the table following Western-style table-setting rules.

Table 8. HORA-Mocap subset task list.

--- ![Image](images/928e57052735b71e43745491a3bdea106e846476b0a89a945a2a8f6f9f1027c2.jpg)

Figure 15. HORA-Mocap Overview.

--- #### F. 数据增强在本节中，我们将介绍应用于更多任务的各种数据增强策略和额外细节。 #### F.1. 跨本体在此，我们展示数据增强模块的其他结果，体现了为不同机械臂进行HOI重建的动作重定向。图16和图17分别展示了“翻转牛奶盒”“倒水”和“放置牛奶盒”这些任务在UR5/UR5e、Franka Emika Panda、KUKA LBR iiwa 7、Kinova Gen3以及Rethink Robotics Sawyer机械臂上的重定向动作。 ![Image](images/632c31ee76d888ffef88172f095ff5acb52ec48ecbedb400d91692ab16e05000.jpg)

Pour Cola

Figure 16. Visualization of robot arm augmentation: flip milk and pour Water

--- ![Image](images/435638f7dda7535dfb1e4a37238ef92ab3d804d50ac03af903627c792fae4de2.jpg)

Place milk

Figure 17. Visualization of robot arm augmentation: place milk

#### F.2. 背景变化如图18所示，我们应用场景级的视觉随机化来丰富像素分布，同时保持任务动态和接触语义不变：i) 通过纹理和法线贴图替换以及调整基本的PBR参数（反照率/粗糙度），实现工作区和背景外观的随机化（如桌面、防溅板）；ii) 使用参数化光源进行照明随机化，这些光源在空间位置、强度、颜色、色温以及发射半径上均存在变化，从而能够模拟多种多样的合理光照条件；iii) 杂乱程度从空场景到大量干扰物不等，通过拒绝采样在机器人扫掠体积之外无碰撞地随机放置物体的位置和朝向；iv) 与之前的校准结果一致的轻微相机内参/外参抖动，用于模拟合理的视角变化。 #### F.3. 物体检索我们的物体检索增强策略成功实现了在仿真环境中将操作技能迁移到新物体上。通过将原始物体替换为几何和语义相似性高的检索到的对应物体，并将其初始化为相同的标准姿态，机器人就能可靠地执行相同的动作轨迹。图19、图20和图21直观展示了包括“倒水”“倾斜茶杯”和“放置盒子”在内的任务效果。 #### F.4. 手部镜像动机。许多日常操作在矢状面反射下具有左右对称性；镜像处理能在不改变任务语义的前提下增加轨迹多样性。运算符。设矢状面反射为 $S = \mathrm{diag}(-1, 1, 1)$。对于位置而言，$p'(t) = S p(t)$。单纯的反射不适用于方位，因此我们需要围绕y轴进行 $\pi$ 旋转以得到正确的方位： $$ R^{\prime}(t)\;=\;S\,R(t)\,S\cdot R_{y}(\pi),\qquad\det\bigl(R^{\prime}(t)\bigr)=+1. $$ 我们将手和物体关于同一平面进行镜像处理，从而确保$T_{\mathrm{rel}}^{\prime}(t) = T_{h}^{\prime}(t)^{-1}T_{o}^{\prime}(t) = T_{\mathrm{rel}}(t)$，同时保留接触坐标系和接近矢量。夹持器的手性以及手指轴的符号也会保持一致地翻转。安全防护措施：我们会排除那些手性会体现语义的动作（例如螺纹紧固件相关操作），这类动作可通过任务坐标系中z轴上非零的螺旋分量是否超过$\tau_{screw}$来识别。经过镜像处理的方案在采纳前，必须通过参考机械臂的重放测试。 --- ![Image](images/2bc79c0aa4724ba40ab10d5f5ea18025324353320da7e055526199cc1cce5933.jpg)

Figure 18. Diverse background texture augmentation in RoboWheel.

--- ![Image](images/3e5adcec6f23d97a91a94956f709855824264dd8a577cd20743bdf09795a86e4.jpg)

Figure 19. Object Retrieval augmentation

![Image](images/50568de83cfc120dbe54631ea64454c3d4dce3ca9a8afb496a0e63465edae086.jpg)

Figure 20. Object Retrieval augmentation

--- ![Image](images/ba0c918ff320a6f0dcc0656534599e9f7ed101d9f99dd6af0ab9fd2340fd74e6.jpg)

Figure 21. Object Retrieval augmentation