Fig. 1. Our CosmoH2G is a data-driven framework that transfers human hand motions to robot gripper actions. Given monocular RGB videos of human demonstrations — including hand rotations and object flips in cluttered scenes — it converts observed hand trajectories into executable gripper motions, supporting stable execution even for intricate spatial movements.
将人类手部演示迁移到机器人夹持器上，近年来已成为一种成本效益较高的机器人学习解决方案。然而，现有方法大多局限于简单的平面任务，无法处理复杂的空间运动（例如涉及旋转或翻转的复杂轨迹），而这些运动对于机器人操控而言至关重要。针对这一缺口，我们采用了一种以细粒度手部姿态运动为导向的隐式数据驱动方法。为此，我们引入了一套可扩展的数据采集流程来收集手部与夹持器的配对演示数据，该流程遵循严格的协议，优先保证运动复杂性，并利用手持式夹持器实现无缝的动作模仿。最终得到的大规模配对数据集包含1,254个独特物体上的6,189个演示片段，其空间复杂性显著高于现有的基准数据集。不过，学习此类复杂的映射关系仍颇具挑战性。我们发现，直接端到端生成完整的夹持器姿态序列并不够，因为在复杂的动力学环境下，微小的轨迹偏差会迅速累积。为解决这一问题，我们提出了一种两阶段框架：第一阶段预测稀疏的夹持器关键帧（初始帧和终端帧）以简化映射目标；第二阶段则基于这些关键帧生成完整的连续动作序列。此外，为缓解累积漂移问题，我们在学习夹持器朝向的同时，根据抓取启发式和运动学一致性对夹持器的平移位置进行后续优化。在仿真和真实机器人实验中，我们的框架都能实现稳定、精准的复杂空间运动手到夹持器转移，性能显著优于传统基准方法。项目页面：。
其他关键词：机器人操控、从人类演示中学习、人形机器人转移
## 1 引言
Fig. 2. Histogram of Orientation Ranges Across Datasets
虽然高效的机器人学习依赖于大规模、高质量的动作数据，但获取这类数据集既耗时又
---
在任务多样性方面存在局限。近年来，利用人类演示——其本身就能捕捉到关键的操控动态——已成为一种更高效且成本更低的替代方案[Bharadhwaj et al. 2024a; Chen et al. 2025b; Dessalene et al. 2025; Park et al. 2025; Tang et al. 2025a; Wang et al. 2023; Zhao et al. 2025]。然而，由于形态、运动学和实体化方面的根本差异，现有研究大多局限于相对简单或平面的物体操控（例如拾取放置、推动）。它们往往无法支持复杂的空间运动（例如带有旋转或翻转的复杂轨迹），而这类运动在人类日常演示中十分常见，对于执行需要大量三维移动和方向调整的复杂机器人任务而言也至关重要（如图2所示）。
Fig. 3. Point tracking fundamentally fails under complex spatial movements, which severely occlude tracked points. When tracking objects in manipulation videos, large rotations occlude tracked side points, forcing the tracker to drift onto the bottleneck. This occlusion-induced drift constitutes tracking failure, severely degrading the resulting flows.
具体而言，现有方法通常遵循两种范式。第一种是基于规则的重定向方法[Dessalene et al. 2025; Lepert et al. 2025b; Zhou et al. 2025]，它根据人工设计的运动学启发式规则，将人类手部的关键点映射到机器人夹爪上。然而，当在复杂的空间运动中形态差异尤为显著时（如图4所示），这些人工设计的映射往往无法弥补巨大的实体差异。第二种方法是基于轨迹的条件化方法（包括基于优化的方法[Tang et al. 2025c; Zhi et al. 2025]和基于学习的方法[Bharadhwaj et al. 2024b; Xu et al. 2024]），它们试图利用从人类演示中提取的与实体无关（即以物体为中心）的运动路径来引导机器人。不过，在杂乱的环境中很难可靠地提取这些轨迹。更重要的是，它们未能编码人类手部姿态中固有的细微动态信息，而这些信息对于复杂的操作至关重要。这种手部姿态引导对于需要精确空间运动的任务而言必不可少——例如，调整夹爪方向以避免碰撞，或旋转工具以保持有效接触（如图3所示）。
为了克服这些现有范式的局限性，从而实现复杂空间操作中的有效手部到夹爪的映射，我们提出了两点关键见解：i) 从人工设计到数据驱动的映射：我们不再依赖僵化、显式的运动学规则，而是转向隐式的、数据驱动的映射方式。这种方法使模型能够从大规模数据中自然学习人类手部与机器人夹爪之间的复杂对应关系。ii) 从仅依赖轨迹到采用手部姿态引导：我们认识到，仅靠夹爪或物体中心的轨迹不足以完成复杂任务，因此认为人类手部姿态引导不可或缺，主张利用手部与夹爪配对的数据来促进细微姿态动态的学习。
Fig. 4. Failed results of rule-based retargeting methods when applied to natural hand grasping.
基于这两点见解，我们提出了一个可扩展的手部与夹爪配对数据采集流程，专注于复杂的空间运动。在手部层面，我们设计了严格的协议，以优先考虑空间运动的多样性和复杂性。具体而言，每次操作过程都包含多种轨迹和方向变换——比如水平旋转和垂直翻转——这些变换由工作区域内的空间标记引导，以确保涵盖全面的复杂性。此外，针对每个物体，我们通过在不同功能区域采用不同的抓取姿势来增加运动多样性。在夹爪层面，我们采用手持式夹爪（如UMI [Chi et al. 2024]）进行数据采集。这种接口易于控制和操作，能使夹爪无缝模仿复杂的人类手部动作。为了高效获取动作标注，我们利用深度相机拍摄单目RGB-D视频。随后，借助最先进的姿态估计与跟踪模型[Wen et al. 2024; Yan 2025]，我们提取高保真的3D动作数据——包括6自由度夹爪姿态、手部及物体点云，以及注册在同一全局坐标系下的接触图。这有效地避免了在不同交互环境间切换时需要频繁重新校准的问题。利用该流程，我们收集了一个包含1,254个独特物体、共计6,189个操作片段的数据集。正如第3.3节所总结的，与现有的手部到机器人映射基准数据集相比，我们的数据集展现出更为复杂的空间运动特征。
基于该数据集，我们探索了一种数据驱动的方法来学习手与夹持器之间的转换。初步实验表明，暴力式的端到端学习方法——即直接将物体和手部关键点映射到夹持器动作——无法达到可靠抓取所需的精度，表3便证明了这一点。为解决这一问题，我们采用了一种两阶段框架（见图6）：第一阶段通过为起始帧和终止帧生成特定的夹持器姿态来简化学习目标；第二阶段则基于这些稀疏的帧级生成结果，输出完整的连续动作序列。此外，为减少生成的夹持器序列中的累积偏差，我们采用了解耦策略来处理第二阶段的生成过程：首先，夹持器的中心平移轨迹是根据手部操作序列推导而来，并基于运动学一致性以及“抓取区域应同时适配手部和夹持器”这一启发式规则进行优化。
---
夹持器的朝向则是从配对数据中隐式学习得到的，因为它缺乏简单的几何启发式规则，且代表了手到夹持器转换过程中的核心复杂性。
借助这种两阶段设计，我们的框架可直接从单目手部RGB-D操作视频中推断信息，其中的深度数据既可通过真实场景采集获得，也可通过模型预测得到[Chen et al. 2025a]。在仿真和真实机器人实验中，我们将该框架与基于优化的方法和基于学习的方法进行了全面对比，发现在涉及复杂空间运动的任务中，我们的方法均展现出稳定的性能提升。
我们的贡献可总结如下：
- 据我们所知，这是首个专注于复杂空间运动的手-夹持器数据集。
- 我们构建了一套可扩展的配对手-夹持器数据采集流程，该流程优先考虑操作的复杂性，配有严谨的UMI采集协议和高效的标注方案。
- 我们提出了一种两阶段数据驱动框架，能够针对复杂的操作运动学习有效的手到夹持器转换方法。我们认为这是依托我们的配对数据得以实现的一种实用设计方案。
我们的数据集、流程及算法都将公开发布。
## 2 相关工作
### 2.1 基于人类的跨本体学习
从人类演示中学习提供了一种成本效益高且可扩展的替代方案，能够避免对昂贵的机器人采集数据的依赖。虽然近期有一些研究尝试利用以人类为中心的视频演示来训练机器人策略 [Haldar和Pinto 2025；Lepert等人 2025a,b；Ren等人 2025]，但另一些研究旨在让机器人能够在单次人类演示的指导下完成新任务，这类方法被称为一次性模仿学习 [Bharadhwaj等人 2024a；Chen等人 2025b；Dessalene等人 2025；Park等人 2025；Tang等人 2025a；Wang等人 2023]。在这些一次性模仿学习方法中，一种常见做法 [Dessalene等人 2025；Lepert等人 2025b；Zhou等人 2025] 是在每个时间步将人类手部姿态通过运动学映射转换为机器人末端执行器姿态。尽管这种方法实现起来较为简单，但由于人机形态差异导致的误差，其效果并不理想。另一种常用方法是基于轨迹的条件化策略 [Xu等人 2024；Yuan等人 2024；Zhi等人 2025]，这类方法能够提供与实体无关的、以物体为中心的表征，但它们仍存在局限性：二维轨迹 [Xu等人 2024] 无法感知方向变化；而三维轨迹 [Zhi等人 2025] 仍需通过基于流跟踪点的SVD运算来还原姿态，在复杂的空间运动中容易出现偏差。因此，采用数据驱动的方法是一种颇具前景的替代方案。虽然Human2Robot [Xie等人 2025] 构建了配对数据集，但其中的机器人数据是通过繁琐的遥操作方式采集的，导致演示任务仅限于环境整洁、空间运动简单的场景。这严重限制了其可扩展性，基于此数据训练的模型也无法推广到现实世界中随意的人类演示。为克服这些局限，我们利用UMI [Chi等人 2024] 构建了可扩展且高质量的人机配对数据，重点涵盖物体操控中的复杂空间运动。
### 2.2 机器人学习的数据采集
采集机器人演示的传统方法是遥操作 [Fu等人 2024；Mandlekar等人 2018；Wu等人 2024；Zhao等人 2023]，即由人类操作员直接控制机器人来生成任务数据。越来越多的基于虚拟现实的研究侧重于高效的机器人控制 [Ding等人 2024；Iyer等人 2024]，而另一类研究则主要利用虚拟现实来获取配对的人机演示数据，以支持模仿学习 [Xie等人 2025]。然而，遥操作本质上耗时费力，难以用于复杂任务的采集。近年来，手持式数据采集设备UMI [Chi等人 2024] 的开发，使得机器人数据的采集变得更加便捷且可扩展。多项研究通过为UMI集成额外的传感器来增强其功能，以获取更丰富的多模态观测数据，例如触觉传感器 [Zhu等人 2025] 以及用于捕捉点云的深度传感器 [Huang等人 2025b；Zhaxizhuoma等人 2025]。我们利用UMI来高效采集专注于复杂物体运动的、配对完美的人机数据集。此外，深度相机用于提取三维动作数据，从而无需在更换交互环境时频繁重新校准。
### 2.3 基于手部条件的抓取检测与生成
近期关于平行夹爪的面向任务抓取生成研究，越来越侧重于直接从人类手部演示中学习。早期端到端的映射方法[Dessalene等人，2025年；Lepert等人，2025b；Yuan等人，2025年；Zhou等人，2025年]往往依赖人工制定的规则。例如，Phantom[Lepert等人，2025b]采用了固定的映射方式——比如将拇指与食指之间的中点作为抓取点——这种方式无法应对人类抓取的多样性，还可能导致机器人抓取不稳定。相比之下，后来的基于学习的方法[Cai等人，2024年；Dong等人，2024年；Heppert等人，2024年；Ju等人，2024年]将抓取生成分为两个阶段：它们首先采样与任务无关的候选方案[Fang等人，2020年；Sundermeyer等人，2021年]，然后利用源自人类的约束条件对它们进行筛选，比如区域约束[Ju等人，2024年；Tang等人，2025b]或区域-方向组合约束[Dong等人，2024年]。尽管这种方法很有效，但为了满足稳定性和任务要求，它需要大量的采样，从而限制了效率。更近期的研究探索了单阶段生成模型[Huang等人，2025a；Shi等人，2025年]，这些模型能够根据手部观测直接生成抓取姿态，将生成过程与任务对齐统一起来。我们将这一思路拓展到动作序列生成领域，因为任务指令往往是通过手部操作序列来表达的。
## 3 数据集
在我们的数据集中：(1)我们采用了高度可扩展的采集策略，包括使用手持式夹爪UMI[Chi等人，2024年]，且仅从固定视角录制配对的RGB-D视频（第3.1节）；(2)我们从原始RGB-D视频中提取3D运动数据，用于跨本体学习（第3.2节）；(3)与其他数据集相比，我们所设计的任务的空间运动更加多样且复杂（第3.3节）。
---
### 3.1 数据采集
我们数据集的丰富多样性体现在两个关键方面：一是人类视频中的自然抓取类型——通过涵盖广泛的自然手部抓取类型（不局限于捏取），显著提升了模型在野外人类演示数据上的泛化能力；二是多样的方向变换——纳入复杂的手部旋转动作，能够助力模型学习超越简单平移的复杂操控技能。为了实现上述目标，我们采取了以下策略：(1)如图5(L)所示，在手部操作过程中，采集者会主动改变手势以及物体上的接触区域，不受任何限制；(2)如图5(L)所示，我们数据集中的每个任务都包含复杂的方向变换——包括平面内旋转和垂直翻转——旨在实现杂乱环境中的精准放置；(3)为了高效采集配对的夹爪视频，采集者会使用手持式夹爪UMI[Chi等人，2024年]来完成相同的任务。具体而言，UMI的操作旨在精确模仿人类演示视频中出现的接触区域、抓取方向和操控动作；(4)录制完成后，我们会验证人类演示与UMI演示在起始帧和终止帧的物体姿态是否一致。那些存在明显偏差的试验会被过滤掉，仅保留一致的配对数据。采用这一策略，我们最终收集到了包含1,254个不同物体实例、共计6,189个操控片段的数据集。
### 3.2 3D运动数据的提取
为了提升可扩展性，我们直接从录制的RGB-D视频中提取3D运动数据，而非采用复杂的基于校准的采集方法。我们的提取流程分为四个步骤：(1) 利用ReconViaGen [Chang et al. 2025]从多视角图像中重建物体网格；(2) 在3D场景中注册物体；(3) 在3D场景中重建并注册手部网格；(4) 在3D场景中注册并跟踪UMI。在整个过程中，我们采用FoundationPose++ [Yan 2025]，以RGB-D帧、对应的网格以及初始掩码图像作为输入来进行注册和跟踪。最终，如图5(R)所示，我们获得了包含物体点云、手部网格序列以及UMI 6自由度位姿序列的3D运动数据集，该数据集足以用于手爪抓取学习。我们也在附录A.1中展示了一些可视化结果。
物体与手部。由于首帧和尾帧不存在手部和UMI的遮挡，我们利用这些帧进行注册。具体而言，我们使用手-物体检测器 [Shan et al. 2020]来检测目标物体的边界框，进而通过SAM2 [Ravi et al. 2024]预测其掩码图像。对于手部而言，由于操作过程中手部姿态存在细微变化，我们放弃跟踪方式，转而采用Wilor [Potamias et al. 2025]为每个采样帧重建手部网格和掩码，随后直接将其注册到3D场景中。
UMI的注册与跟踪。对于UMI操作视频，我们首先标注起始帧（UMI最初抓住物体的时刻）和终止帧（UMI完成操作并放置物体的时刻）。接着，我们通过基于点击的交互方式，利用SAM2 [Ravi et al. 2024]预测起始帧的掩码图像。最后，我们利用预测的掩码和UMI CAD网格来注册并跟踪整个操作序列，从而得到可直接用作机器人动作数据的6自由度位姿序列。
数据集配对。为确保空间对齐，我们计算每对手部-UMI对的3D轨迹相似度得分（详情见附录D.1），用以衡量手部与UMI轨迹之间的空间对齐程度，仅保留相似度超过0.9的对。这一流程产生了高质量的数据对，其平均相似度为0.957（中位数0.958），表明保留的数据对匹配度很高。保留数据对的相似度分布详见附录（图13）。
### 3.3 数据集统计信息
在我们的数据集中，每个物体对应收集3到5个配对的操作片段。总体而言，我们的数据集涵盖了1,254个独特物体，共包含6,189个操作片段。我们的数据集具有复杂的空间运动特征，可通过操作过程中的总旋转角度等指标来衡量。这与常见的真实世界机器人数据集（如Robosuite [Zhu et al. 2020]、MimicPlay [Wang et al. 2023]和RT-1 [Brohan et al. 2023]）形成鲜明对比，后者主要由推动、滑动或拾取放置等以平移动作为主、重新定位较少的动作组成。如图2所示，我们数据集中的方向变化幅度明显大于以往的数据集。
Table 1. Distribution of Object Categories in Data Collection
| Food | Decor | Beauty | Necessities | Toys |
| 23.03% | 27.88% | 3.64% | 12.12% | 33.33% |
为了提升模型对未见物体的泛化能力，我们收集了一组多样化且全面的物体（如表1所示）。具体而言，这五类物体及其对应的类型如下：F（食物）涵盖蛋挞、油条、牛奶吐司和冰淇淋等可食用物品，包括烘焙食品和零食；D（装饰品）包括青铜枪形摆件、九瓣花瓣装饰、金马雕像以及贝壳装饰等各种装饰性工艺品；B（美妆用品）由浅紫色化妆刷和哑光红色口红等美容及个人护理产品组成；N（生活必需品）包含三层蓝色抽屉、实木黑色表架和海蓝色喷瓶等日常用品和收纳工具；T（玩具）则涵盖各种模型玩具，包括白色相机模型、绿色火车模型、黄色挖掘机模型以及《植物大战僵尸》中的僵尸人偶。
## 4 方法
我们的目标是将人类视频中的手部动作转化为机器人动作，这些动作通常表现为末端执行器的6自由度位姿序列。以往基于优化的方法[Dessalene等人，2025年；Lepert等人，2025b年；Zhi等人，2025年；Zhou等人，2025年]以及基于轨迹的方法[Bharadhwaj等人，2024b年；Xu等人，2024年]在复杂的空间运动场景下性能均会下降。因此，我们采用纯数据驱动的方法来学习这一转换函数。
---
Fig. 5. Dataset collection and processing. (L) We record paired RGB-D videos of human hand and gripper manipulation under diverse grasping poses, providing paired data for hand-to-gripper learning. (R) From RGB-D videos and multi-view object captures, we extract registered 3D motion data — including object point clouds, hand meshes, and gripper actions — sufficient for hand-to-gripper learning.
该方法无需依赖任何预定义的对齐方式，即可直接利用我们的配对数据集进行训练。为了提升性能，我们采用了两阶段框架：（1）第一阶段预测起始和终止状态的6自由度夹爪位姿（见4.2节）；（2）第二阶段生成整个操作过程的位姿序列（见4.3节）。我们的框架概览如图6所示。
### 4.1 问题表述
给定一段单目RGB-D人类演示视频（深度数据可来自真实采集或模型预测），我们的目标是让机器人能够学习并执行所演示的任务。具体来说，人类执行某项操作任务时，会录制一系列RGB-D帧，$V^h = \{I_i^h\}_{i=0}^{N^h-1}$，其中$N^h$表示总帧数。通过数据处理（如3.2节所述），我们可以获得相应的3D数据，包括：（1）起始帧$p_i^o$和终止帧$p_{i=-1}^o$处的物体点；（2）从手部MANO [Romero等人，2022年]网格中采样得到的手部点序列$\{p_i^h\}_{i=0}^{N^h-1}$。在第一阶段，模型独立生成起始帧（$g_{i=0} \in SE(3)$）和终止帧（$g_{i=-1} \in SE(3)$）的单帧6自由度抓取位姿，每一帧的生成都依赖于手部点、物体点及其对应的接触图（详见附录A.3）。在第二阶段，模型旨在生成夹爪的位姿序列，该序列的生成依赖于手部点序列、物体点、它们对应的接触图以及第一阶段的生成结果。随后，基于抓取区域大致对齐的先验，从手部点序列中计算出夹爪的位置序列，并对其进行优化。
### 4.2 第一阶段：生成起始和终止动作
在第一阶段，我们训练一个去噪Transformer [Peebles和Xie，2023年]，使其能够根据手部点、物体点及其对应的接触图，独立生成起始帧和终止帧的单帧6自由度夹爪位姿。如图6(L)所示，为了更好地建模，我们分别将手部点和物体点编码为各自的特征向量，将它们与含噪声的动作数据拼接起来，并表示为单个标记。随后，这些标记会被送入去噪Transformer，通过多步去噪生成干净的动作数据。
点特征。我们采用两个独立的点变换器编码器[Zhao et al. 2021]，分别由$\theta_1$和$\theta_2$参数化，用于从物体和点云以及手部点云中提取全局特征。具体而言，物体编码器$\mathcal{E}_{\theta_1}^o$接收物体点$p^o \in \mathbb{R}^{M_0 \times 3}$及其相关的接触图$m \in \mathbb{R}^{M_0}$（作为可选的逐点特征通道），从而生成物体特征$f^o = \mathcal{E}_{\theta_1}^o(p^o, m) \in \mathbb{R}^d$。手部编码器$\mathcal{E}_{\theta_2}^h$仅处理手部点$p^h \in \mathbb{R}^{M_h \times 3}$，输出手部特征$f^h = \mathcal{E}_{\theta_2}^h(p^h) \in \mathbb{R}^d$。此处，$M_0$和$M_h$分别表示物体和点云中的点数，d为特征维度。值得注意的是，我们的方法仅需粗略的接触区域信息，而非精确的手指级接触信息，原因有二：首先，现成手部估计器（如WiLoR）产生的接触误差主要集中在手指区域，而我们的方法只需知道哪些物体区域被抓取；其次，由于五指手与两指夹持器之间存在结构差异，精细的手指位置对迁移而言并无意义。
---
Fig. 6. Overview of the framework. CosmoH2G consists of a two-stage framework: (L) the model generates single-frame action conditioned on given HOI point clouds. During inference, the model generates poses for the starting and terminal frames, respectively, (R) the model generates orientation sequence conditioned on object points, hand points sequence and Stage-I generation. During inference, the pose sequence is produced by combining the generated orientation sequence with the position sequence calculated from the hand sequence, under the prior that the grasping regions (shown as the small yellow circle) are approximately aligned. Additionally, we further optimize the sequence by considering contact-map alignment, trajectory smoothness, and physical plausibility.
动作表示。以往的研究通常利用齐次变换矩阵或四元数-平移对来表示机器人动作。受HGDiffuser[Huang et al. 2025a]的启发，我们使用夹持器的三个关键点（夹持器中心以及左右手指尖）来参数化其SE(3)姿态（详见附录A.2的可视化结果）。该方法的一个关键优势在于，条件化和生成过程共享同一三维点空间，从而消除了跨域映射问题并简化了学习过程。为了使动作能够与其他条件化特征标记一同被处理，我们通过线性层将关键点的坐标投影到特征空间中；去噪后，再通过另一个线性层将特征映射回动作空间。
我们通过优化均方误差目标函数来训练该模型，记为$G_{\eta_1}$：
$$ {\cal L}_{M S E}=\mathbb{E}_{a_{0},t}\left[\left\|a_{0}-{\cal G}_{\eta_{1}}(a_{t},t,f^{o},f^{h})\right\|_{2}^{2}\right], $$
其中，$a_0 \in \mathbb{R}^{3 \times 3}$表示以三个关键点形式表示的真实（干净）动作，$a_t$是其在扩散时间步t下的含噪声版本，对应$T = 1000$；$f^o, f^h$则分别代表物体和点云特征。
### 4.3 第二阶段：预测动作序列
在第二阶段，我们的目标是生成完整的夹持器动作序列。一种直接的方法是训练一个去噪Transformer来直接生成包含位置和方向的姿态序列。为了减轻生成的夹持器序列中出现的累积漂移现象，我们采用了分解式建模：模型仅被训练用于学习方向映射，而位置序列则源自手部操作视频，并通过优化进一步细化。
方向序列的生成。如第4.2节所述，我们使用关键点的绝对坐标来表示机器人动作。具体而言，夹爪位置由中心关键点确定，而方向则根据左右手指关键点相对于该中心的位置来推导得出。因此，在第二阶段中，模型仅学习方向映射关系。真实标签是通过直接从夹爪关键点计算这些相对坐标获得的，模型被训练以生成采用相同表示形式夹爪方向序列。为此，模型以物体点、接触图、手部关键点序列以及第一阶段生成的起始和终止姿态为条件。如图6（R）所示，手部关键点序列的每一帧以及含噪声的方向序列的每一帧都被编码为独立的标记。同样，起始和终止姿态也分别被视为独立的标记。所有这些标记被输入到Transformer中，后者通过逐步去噪来生成干净的方向序列。
我们通过优化均方误差目标函数来训练该模型，记为$G_{\eta_2}$：
$$ {\cal L}_{M S E}=\mathbb{E}_{s_{0},t}\left[\|s_{0}-{\cal G}_{\eta_{2}}(s_{t},t,f^{o},\{f_{i}^{h}\}_{i=1}^{N_{h}},\hat{a}_{0},\hat{a}_{-1})\|^{2}\right], $$
其中$s_{0}$表示采用三点表示形式的真实方向序列，$s_{t}$是扩散时间步t下的含噪声版本，而$\hat{a}_{0}, \hat{a}_{-1}$则是第一阶段生成的起始和终止动作。
位置序列的优化。在推理过程中，我们根据手部轨迹初始化夹爪位置序列，前提是假设它们的接触区域在空间上对齐。这样得到的初始化结果不受物理约束限制，我们再通过三步优化来细化它。首先，我们优化起始帧和终止帧处的夹爪位置，以确保抓取过程稳定。其目标函数表述如下：
---
$$ \Delta x^{*}=\arg\min_{\Delta x}\ \bigg[L_{contact}+\lambda_{pen}L_{pen}+\lambda_{reg}\|\Delta x\|^{2}\bigg], $$
其中$\Delta x$表示应用于起始帧和终止帧夹爪位置的修正量，$L_{contact}$促使夹爪靠近手部接触区域，$L_{pen}$用于惩罚物体穿透现象，而$\lambda_{pen}$和$\lambda_{reg}$则为权重系数。其次，在固定好优化后的起始和终止位置后，我们细化中间帧，以确保轨迹平滑且贴近初始状态：
$$ \{x_{i}^{*}\}=\arg\min_{\{x_{i}\}}\lambda_{smooth}L_{smooth}+\lambda_{ref}L_{ref}, $$
其中$L_{smooth} = \sum_i \|x_{i-1} - 2x_i + x_{i+1}\|^2$用于惩罚突然的动作变化，$L_{ref} = \sum_i \min_{s \in [0,1]} \|x_i - C_{ref}(s)\|^2$则将每一帧拉向由初始位置插值得到的参考曲线$C_{ref} : [0, 1] \to \mathbb{R}^3$，这里$s \in [0, 1]$为归一化的曲线参数，$\min_s$用于选取曲线上最近的点。第三，为确保运动学上的可行性，我们通过IK求解器优化每个夹爪姿态。该优化目标旨在最小化末端执行器的残差和关节极限违反情况，同时约束姿态使其贴近初始状态：
$$ a_{i}^{*}=\arg\min_{a_{i}}\Big[L_{i k}(a_{i})+\lambda_{r e g}\|a_{i}-\bar{a}_{i}\|^{2}\Big], $$
其中$\bar{a}_i$是第i帧的初始姿态，它由优化后的位置$x_i^*$（公式4）和生成的方向组成；$L_{ik}$用于惩罚IK解与目标姿态之间的误差以及关节极限违反情况，第二项则用于约束姿态使其贴近初始状态。
### 4.4 实现细节
这两个阶段均采用基于Transformer的扩散模型[Peebles和Xie 2023]，并分别使用Point Transformer编码器[Zhao等人，2021]来处理物体和点云以及手部点云，从而生成256维特征。夹持器的姿态由三个关键点参数化，并通过线性层投影到词元空间中。我们使用AdamW优化器从头开始训练这两个去噪Transformer，学习率固定为$10^{-4}$，批量大小为32，在单张NVIDIA A100显卡上训练20,000步。扩散过程采用1000个时间步，并使用余弦调度；推理时，我们采用500步的DDPM采样。
## 5 评估
我们设计了全面的实验来评估所提出的CosmoH2G在以下方面的表现：(1) 基于人类演示的定向抓取能力，(2) 轨迹遵循度与最终放置精度，(3) 目标物定向放置精度。
### 5.1 实验设置
实验设置。为了评估CosmoH2G对新物体和新环境的泛化能力，我们按物体对数据集进行划分。最终的测试集包含186个案例，涉及40种训练期间未出现过的物体。值得注意的是，我们重点关注带有未见过的手部动作的抓取与放置任务，而更广泛类型的任务则留作未来研究。我们分别在仿真环境和真实机器人上进行评估：在仿真环境中，我们在GalaxeaManipSim[Team 2025]上使用R1 Lite实体进行评估。我们在模拟器中重构了完整的测试集场景，确保物体的几何形状、初始配置以及目标放置位置与数据集中记录的手部演示完全一致；在真实机器人上，我们在Galaxea R1 Lite上评估相同的测试集任务（如图12所示）。更多细节详见附录A.5。
评估指标。针对上述三个方面，我们采用以下指标进行评估（更多细节见附录D）：
(1) 基于人类演示的定向抓取能力。我们旨在评估机器人复制演示抓取姿态的能力，因为这反映了一种可行的选择。评估方法是计算实际执行的抓取姿态与真实抓取姿态之间的角度偏差（抓取姿态准确度，GOA）。
(2) 轨迹遵循度与最终放置精度。以手部动作为条件，我们基于两个指标来评估机器人的操作表现：TS（轨迹相似度）和成功率（SR）。这种双重评估既考查机器人对演示动作的跟随程度，也考查其完成任务的精确度。
(3) 目标物定向放置精度。我们通过所操纵物体的实际取向与期望取向之间的角度误差来衡量定向精度，数值越小说明精度越高。该指标被称为目标物定向放置精度（TOPA）。
基线方法。由于手部姿态重定位方法在我们的任务中甚至无法完成抓取操作（如图4所示），因此我们直接将其与基于轨迹的方法进行比较：
(1) 基于优化的方法：这些方法首先通过手部姿态重定位[Dessalene等人，2025；Lepert等人，2025b；Zhou等人，2025]或直接应用物体的相对变换[Tang等人，2025c；Zhi等人，2025]来计算动作序列，随后对其进行优化。其中，我们选择MimicFunc[Tang等人，2025c]和3DFlowAction[Zhi等人，2025]作为基线方法。
(2) 基于学习的方法：这类方法总是根据人类演示中追踪到的二维轨迹流直接生成机器人动作。其中，我们选择Im2Flow2Act [Xu et al. 2024]和Track2Act [Bharadhwaj et al. 2024b]作为基线模型。具体而言，由于Track2Act并未公开发布相应的预训练权重文件，我们便在自己的数据集上重新训练它以便进行对比。
### 5.2 实验结果
与基线模型的定量对比。相较于基线模型，我们的CosmoH2G在仿真实验和真实机器人实验中均展现出更优越的性能。真实机器人实验中的性能略低，主要源于两个物理因素：(a)物体在大角度旋转时偶尔会打滑，导致方向偏移或掉落；(b)物体在被完全从桌面上抬起前就已被移动，从而产生过大摩擦力并引发掉落。
对于Mimicfunc [Tang et al. 2025c]而言，CoTracker在复杂的空间运动场景下跟踪效果会变差（见图3），进而导致动作生成错误。类似地，3DFlowAction [Zhi et al. 2025]以及
---
Table 2. Quantitative Comparison to Baselines in Simulation and Real-World Experiments.
| Methods | GOA $\downarrow$ | Simulation | Real Robot |
| SR $\uparrow$ | TS $\uparrow$ | TOPA $\downarrow$ | GOA $\downarrow$ | SR $\uparrow$ | TS $\uparrow$ | TOPA $\downarrow$ |
| ReTargeting-Optimization-based |
| MimicFunc | $19.37^\circ$ | 56.45% | 0.7673 | $32.47^\circ$ | $19.37^\circ$ | 43.01% | 0.7714 | $44.84^\circ$ |
| 3DFlowAction | $20.84^\circ$ | 44.62% | 0.6752 | $29.17^\circ$ | $20.84^\circ$ | 36.02% | 0.7936 | $47.27^\circ$ |
| Learning-based |
| Im2Flow2Act | $29.86^\circ$ | 57.53% | 0.7835 | $50.27^\circ$ | $29.86^\circ$ | 51.61% | 0.7381 | $57.89^\circ$ |
| Track2Act | $10.67^\circ$ | 77.42% | 0.9015 | $12.48^\circ$ | $10.67^\circ$ | 60.22% | 0.8732 | $20.58^\circ$ |
| Ours | $7.53^\circ$ | 83.87% | 0.9672 | $10.27^\circ$ | $7.53^\circ$ | 70.43% | 0.9413 | $19.34^\circ$ |
| Human Demonstrations |  |  |  |  | |
| Ours Success! |  |  |  |  | |
| MimicFunc Wrong Orientation |  |  |  |  |  |
| 3DFlowAction Incomplete |  |  |  |  |  |
| m2Flow2Act Wrong Orientation |  |  |  |  |  |
| Track2Act Wrong Position |  |  |  |  |  |
Fig. 7. Quantitative Comparison with Baselines in real-robot experiments.
---
im2flow2act [Xu et al. 2024]依赖二维跟踪，这种误差会导致其性能下降。尽管我们在自己的数据集上对Track2Act [Bharadhwaj et al. 2024b]进行了微调，但其计算与优化框架仍会产生次优预测结果，尤其是当计算结果与期望动作偏差较大时——这在我们所处理的任务中十分常见。我们还注意到，所有基线模型均未将接触图作为输入，因此我们的性能提升并非源于这一额外信息：即便不使用接触图，CosmoH2G的表现仍优于所有基线模型（表4，“无接触图”列）。这些结果证实，性能提升源自我们的模型设计而非接触图输入本身，从而确保了与各基线模型对比的公平性。
### 5.3 消融实验结果
单阶段与双阶段对比。我们开展了消融研究以验证双阶段框架的必要性，如表3所示。对于单阶段模型，我们采用了三种不同的架构：Diffusion Transformer [Peebles and Xie 2023]、Diffusion Policy [Chi et al. 2023]以及ACT [Zhao et al. 2023]。所有变体的精度均不足，这印证了性能下降是所评估的单阶段模型设计的固有局限。
Table 3. Ablation Study: Single-Stage Versus Two-Stage (in simulation).
| Methods | GOA $\downarrow$ | SR $\uparrow$ | TS $\uparrow$ | TOPA $\downarrow$ |
| Single-Stage |
| Denoising Transformer | 15.28 $^{\circ}$ | 62.90% | 0.8542 | 47.83 $^{\circ}$ |
| Diffusion Policy | 12.36 $^{\circ}$ | 58.60% | 0.8157 | 52.84 $^{\circ}$ |
| ACT | 14.58 $^{\circ}$ | 64.52% | 0.8732 | 49.27 $^{\circ}$ |
| Ours (Two-Stage) | 7.53 $^{\circ}$ | 83.87% | 0.9672 | 10.27 $^{\circ}$ |
模型条件设置。我们开展了消融研究以验证我们所设计的条件设置的作用，如表4所示。对于接触图（两个阶段的条件），移除它会略微降低性能，这表明它为可靠且精准的抓取提供了重要的几何线索。对于终止动作（第二阶段的条件），虽然起始动作为初始化提供了运动学先验，但加入终止动作对于实现最高精度至关重要，因为它能约束末端姿态以确保放置方向的准确性。
Table 4. Ablation Study: Model Condition (in simulation).
| Methods | GOA $\downarrow$ | SR $\uparrow$ | TS $\uparrow$ | TOPA $\downarrow$ |
| w/o contact map | 9.58 $^{\circ}$ | 80.11% | 0.9117 | 11.96 $^{\circ}$ |
| w/o ending action | 9.48 $^{\circ}$ | 76.34% | 0.8932 | 21.79 $^{\circ}$ |
| Ours | 7.53 $^{\circ}$ | 83.87% | 0.9672 | 10.27 $^{\circ}$ |
机器人动作的表示方式。不同于自然格式（即齐次变换矩阵或四元数-平移对），我们采用夹爪的三个关键点来表示机器人动作。我们针对此开展了消融研究，以评估不同动作表示方式对迁移性能的影响。如表5所示，性能提升源于关键点表示的显式空间特性——这三个点可直接反映夹爪的接触区域和方向。
Table 5. Ablation Study: Representation of robot action (in simulation).
| Methods | GOA $\downarrow$ | SR $\uparrow$ | TS $\uparrow$ | TOPA $\downarrow$ |
| Matrix | 13.17 $^{\circ}$ | 69.89% | 0.8868 | 28.47 $^{\circ}$ |
| Quat | 11.34 $^{\circ}$ | 72.58% | 0.8984 | 24.63 $^{\circ}$ |
| Ours(keypoints) | 7.53 $^{\circ}$ | 83.87% | 0.9672 | 10.27 $^{\circ}$ |
优化后结果。为了验证优化后取得的改进效果，我们在表6中对比了三种变体。Direct基线模型采用端到端方式训练，以生成完整的姿态序列。Computed变体则完全基于几何启发式方法和优化算法来推导位置和朝向。如表中所示，由于配对数据中的手-夹持器轨迹对齐不完美，Direct基线模型会出现轻微误差。此外，由于缺乏可靠的几何先验导致初始化效果不佳，Computed变体产生的朝向也不够准确；而高维的姿态空间更是让优化过程极具挑战性。
Table 6. Ablation on Stage-II Generation Strategy (in simulation).
| Variant | GOA $\downarrow$ | SR $\uparrow$ | TS $\uparrow$ | TOPA $\downarrow$ |
| Direct (pos + ori) | 8.50 $^{\circ}$ | 81.72% | 0.9176 | 13.23 $^{\circ}$ |
| Computed (pos + ori) | 16.83 $^{\circ}$ | 67.20% | 0.8742 | 26.78 $^{\circ}$ |
| Ours (gen. ori + opt. pos) | 7.53 $^{\circ}$ | 83.87% | 0.9672 | 10.27 $^{\circ}$ |
## 6 结论
我们提出了CosmoH2G，这是一种面向复杂空间运动物体操控的数据驱动型手-夹持器解决方案。在数据层面，我们引入了具备严格协议的可扩展采集流程，该流程优先保障运动的复杂性。最终我们获得了大规模的手-夹持器配对数据集，包含1254个独特物体的6189个样本片段，其在操控复杂性方面显著超越了现有基准数据集。此外，我们采用了两阶段学习框架，通过先预测关键帧姿态再生成连续动作序列来简化转移过程。实验表明，我们的方法能够实现复杂空间操控下精准且稳定的手-夹持器转移。
## 7 局限性与未来工作
虽然我们的两阶段框架能够有效处理空间转移问题，但随着配对数据规模的扩大，统一的一阶段直接转移方案也将愈发可行。我们计划通过所提出的可扩展流程扩充数据集，并优化架构以提升泛化能力。此外，目前我们的框架采用开环控制方式，
---
Fig. 8. Quantitative Comparison with Baselines in simulation experiments.
## 致谢
缺乏实时误差校正和显式的碰撞规避机制。集成闭环反馈与碰撞感知的运动规划是未来的重要研究方向。我们相信，我们的数据集和框架将为未来数据驱动的跨实体学习及复杂机器人操控研究奠定宝贵基础。
本研究部分得到了广东省科技计划项目（项目编号：2024B0101030002）、河套深港科技创新合作区基础研究项目（项目编号：HZQB-KCZYZ-2021067）、国家自然科学基金（项目编号：62293482）、广东省杰出青年科学基金（项目编号：2023B1515020055）、深圳市杰出人才培育基金（202002）、广东省未来网络智能重点实验室（项目编号：2022B1212010001）、深圳市大数据与人工智能重点实验室（项目编号：SYSPG20241211173853027）、广东省射电科学数据中心（项目编号：2025B1212070001）以及国家重点研发计划（项目编号：2018YFB1800800）的支持。
---
## 参考文献
Homanga Bharadhwaj、Debidatta Dwibedi、Abhinav Gupta、Shubham Tulsiani、Carl Doersch、Ted Xiao、Dhruv Shah、Fei Xia、Dorsa Sadigh和Sean Kirmani。2024a。Gen2Act： novel scenarios中的人类视频生成助力通用机器人操控。arXiv:2409.16283 [cs.RO]
Homanga Bharadhwaj、Roozbeh Mottaghi、Abhinav Gupta和Shubham Tulsiani。2024b。Track2Act：从互联网视频中预测点轨迹以实现通用机器人操控。arXiv:2405.01527 [cs.RO]
Anthony Brohan、Noah Brown、Justice Carbajal、Yevgen Chebotar、Joseph Dabis、Chelsea Finn、Keerthana Gopalakrishnan、Karol Hausman、Alex Herzog、Jasmine Hsu、Julian Ibarz、Brian Ichter、Alex Irpan、Tomas Jackson、Sally Jesmonth、Nikhil J Joshi、Ryan Julian、Dmitry Kalashnikov、Yuheng Kuang、Isabel Leal、Kuang-Huei Lee、Sergey Levine、Yao Lu、Utsav Malla、Deeksha Manjunath、Igor Mordatch、Ofir Nachum、Carolina Parada、Jodilyn Peralta、Emily Perez、Karl Pertsch、Jornell Quiambao、Kanishka Rao、Michael Ryoo、Grecia Salazar、Pannag Sanketi、Kevin Sayed、Jaspiar Singh、Sumedh Sontakke、Austin Stone、Clayton Tan、Huong Tran、Vincent Vanhoucke、Steve Vega、Quan Vuong、Fei Xia、Ted Xiao、Peng Xu、Sichun Xu、Tianhe Yu以及Brianna Zitkovich。2023年。RT-1：用于大规模现实世界控制的机器人Transformer。arXiv:2212.06817 [cs.RO]
Yichen Cai、Jianfeng Gao、Christoph Pohl和Tamim Asfour。2024年。面向任务的物体抓取与重排的视觉模仿学习。arXiv:2403.14000 [cs.RO]
Jiahao Chang、Chongjie Ye、Yushuang Wu、Yuantao Chen、Yidan Zhang、Zhongjin Luo、Chenghong Li、Yihao Zhi和Xiaoguang Han。2025年。ReconViaGen：通过生成实现精准的多视角3D物体重建。arXiv:2510.23306 [cs.CV]
Haonan Chen、Cheng Zhu、Shuijing Liu、Yunzhu Li和Katherine Driggs-Campbell。2025b。工具即界面：通过观察人类使用工具来学习机器人策略。arXiv:2504.04612 [cs.RO]
Sili Chen、Hengkai Guo、Shengnan Zhu、Feihu Zhang、Zilong Huang、Jiashi Feng和Bingyi Kang。2025a。Video Depth Anything：针对超长视频的一致性深度估计。arXiv:2501.12375 [cs.CV]
Cheng Chi、Siyuan Feng、Yilun Du、Zhenjia Xu、Eric Cousineau、Benjamin Burchfiel和Shuran Song。2023年。Diffusion Policy：通过动作扩散进行视觉运动策略学习。载于《机器人：科学与系统会议（RSS）》论文集。
Cheng Chi、Zhenjia Xu、Chuer Pan、Eric Cousineau、Benjamin Burchfiel、Siyuan Feng、
Russ Tedrake和Shuran Song。2024年。通用操控接口：实时——
无需真实机器人即可实现的野外机器人教学。arXiv:2402.10329 [cs.RO]
Shengliang Deng、Mi Yan、Songlin Wei、Haixin Ma、Yuxin Yang、Jiayi Chen、Zhiqi Zhang、Taoyu Yang、Xuheng Zhang、Wenhao Zhang、Heming Cui、Zhizheng Zhang和He Wang。2025年。GraspVLA：在十亿级合成动作数据上预训练的抓取基础模型。arXiv:2505.03233 [cs.RO]
Eadom Dessalene、Pavan Mantripragada、Michael Maynord和Yiannis Aloimonos。2025年。EmbodiSwap：用于零样本机器人模仿学习的方法。arXiv:2510.03706 [cs.RO]
Runyu Ding、Yuzhe Qin、Jiyue Zhu、Chengzhe Jia、Shiqi Yang、Ruihan Yang、Xiaojuan Qi和Xiaolong Wang。2024年。Bunny-VisionPro：用于模仿学习的实时双腕灵巧遥操作技术。arXiv:2407.03162 [cs.RO]
Wenlong Dong、Dehao Huang、Jiangshan Liu、Chao Tang和Hong Zhang。2024年。RTAGrasp：通过检索、迁移和对齐从人类视频中学习面向任务的抓取技术。arXiv:2409.16033 [cs.RO]
Hao-Shu Fang、Chenxi Wang、Hongjie Fang、Minghao Gou、Jirong Liu、Hengxu Yan、Wenhai Liu、Yichen Xie和Cewu Lu。2023年。AnyGrasp：在空间和时间域中具备鲁棒性与高效性的抓取感知技术。arXiv:2212.08333 [cs.RO]
方浩树、王晨曦、苟明浩和卢策吾。2020年。GraspNet-1Billion：一个面向通用物体抓取的大规模基准测试。载于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第11444–11453页。
付子鹏、赵Tony Z.和Chelsea Finn。2024年。Mobile ALOHA：利用低成本全身遥操作技术实现双臂移动操控。arXiv:2401.02117 [cs.RO]
Siddhant Haldar和Lerrel Pinto。2025年。Point Policy：基于关键点统一观测与动作以实现机器人操控。arXiv:2502.20391 [cs.RO]
Nick Heppert、Max Argus、Tim Welschehold、Thomas Brox和Abhinav Valada。2024年。DITTO：通过轨迹变换实现演示模仿。载于2024年IEEE/RSJ智能机器人与系统国际会议（IROS）论文集，IEEE出版社，第7565–7572页。doi:10.1109/iros58592.2024.10801982
黄德豪、董文龙、唐超和张宏。2025a。HGBDiffuser：借助人类引导的抓取扩散模型实现高效的任务导向型抓取生成。arXiv:2503.00508 [cs.RO]
黄燕、李守杰、李星婷和丁文博。2025b。UMIGen：一种用于单目点云生成与跨本体机器人模仿学习的统一框架。arXiv:2511.09302 [cs.RO]
Aadhithya Iyer、彭卓然、戴银龙、Irmak Guzey、Siddhant Haldar、Soumith Chintala和Lerrel Pinto。2024年。OPEN TEACH：一种功能多样的机器人操控遥操作系统。arXiv:2403.07870 [cs.RO]
巨元辰、胡凯哲、张国伟、张顾、蒋明润和徐华哲。2024年。Robo-ABC：借助语义对应关系实现超越类别的机器人操控可操作性泛化。arXiv:2401.07487 [cs.RO]
Marion Lepert、方佳颖和Jeannette Bohg。2025a。Masquerade：利用数据编辑技术从野外拍摄的人类视频中学习。arXiv:2508.09976 [cs.RO]
Marion Lepert、方佳颖和Jeannette Bohg。2025b。Phantom：仅利用人类视频即可训练机器人，无需真实机器人参与。arXiv:2503.00779 [cs.RO]
Ajay Mandlekar、Yuke Zhu、Animesh Garg、Jonathan Booher、Max Spero、Albert Tung、Julian Gao、John Emmons、Anchit Gupta、Emre Orbay、Silvio Savarese和李飞飞。2018年。RoboTurk：一个通过模仿学习实现机器人技能训练的众包平台。arXiv:1811.02790 [cs.RO]
朴成宰、Homanga Bharadhwaj和Shubham Tulsiani。2025年。DemoDiffusion：利用预训练的扩散策略实现单次人类动作模仿。arXiv:2506.20668 [cs.RO]
William Peebles和谢赛宁。2023年。基于Transformer的可扩展扩散模型。arXiv:2212.09748 [cs.CV]
Rolandos Alexandros Potamias、张静玲、邓建康和Stefanos Zafeiriou。2025年。WiLoR：野外环境下的端到端手部定位与重建。arXiv:2409.12259 [cs.CV]
尼基拉·拉维。卷—
Hu 'ang、Chaitanya Ryali、Tengyu
Gustafson、Eric Mintun、
吴、Ross Girshick、
其中的内容在
任俊涛、普丽娅·桑达拉森、多尔萨·萨迪格、桑吉班·乔杜里和珍妮特·博格。2025年。Motion Tracks：少样本模仿学习中人机交互的统一表示。arXiv:2501.06994 [cs.RO]
哈维尔·罗梅罗、迪米特里奥斯·齐奥纳斯和迈克尔·J·布莱克。2022年。具身化手部：手部与身体的联合建模与捕捉。arXiv预印本arXiv:2201.02610（2022年）。
单丹丹 $^{7}$
胡尔 $^{8}$
$^{9}$0. 理解
$^{10}$0s://arxiv
史一恬、郭子程、罗莎·沃尔夫、埃德加·韦尔特和拉尼娅·雷耶斯。2025年。HOGraspFlow：基于视觉的生成式抓取合成研究，结合手物先验与分类意识。arXiv:2509.16871 [cs.RO]
马丁·桑德迈尔、阿尔萨拉恩·穆萨维安、鲁道夫·特里贝尔和迪特尔·福克斯。2021年。Contact-GraspNet：杂乱场景中高效的6自由度抓取生成。arXiv:2103.14127 [cs.RO]
唐超、肖安星、邓玉红、胡天润、董文龙、张汉波、许大卫和张宏。2025b。FUNCTION：以功能为中心的工具操作单次模仿学习。arXiv:2502.11744 [cs.RO]
唐超、肖安星、邓玉红、胡天润、董文龙、张汉波、许大卫和张宏。2025c。MimicFunc：通过功能对应关系从单个人类视频中模仿工具操作。arXiv:2508.13534 [cs.RO]
唐宇航、楼一轩、韩鹏飞、宋浩明、叶欣怡、王东和赵斌。2025a。轨迹条件下的跨本体技能迁移。arXiv:2510.07773 [cs.RO]
Galaxea团队。2025年。Galaxea操控模拟器。
王晨、范林熙、孙建凯、张若涵、李飞飞、徐丹菲、朱宇科和阿尼玛·阿南德库马尔。2023年。MimicPlay：通过观察人类游戏实现长时序模仿学习。arXiv:2302.12422 [cs.RO]
温博文、杨伟、扬·考茨和斯坦·伯奇菲尔德。2024年。FoundationPose：新型物体的统一6D姿态估计与跟踪。arXiv:2312.08344 [cs.CV]
菲利普·吴、申图伊·伊德、易忠科、林星宇和皮特·阿贝尔。2024年。GELLO：一种通用、低成本且直观的机器人机械臂遥操作框架。arXiv:2309.13037 [cs.RO]
吴仁杰和伊蒙·J·基奥。2020年。FastDTW是一种近似算法，通常比它所近似的算法更慢。《IEEE知识与数据工程交易》第34卷第8期（2020年），第3779–3785页。
谢思成、曹海东、翁泽佳、邢振、陈浩然、沈世伟、冷嘉琪、吴祖轩和蒋宇刚。2025年。Human2Robot：从配对的人机视频中学习机器人动作。arXiv:2502.16587 [cs.RO]
徐梦达、徐振佳、徐英豪、迟成、戈登·韦茨斯坦、曼努埃拉·韦洛索和宋舒然。2024年。Flow作为跨域操控接口。arXiv:2407.15208 [cs.RO]
---
严文浩。2025年。FoundationPose++：简单技巧即可提升FoundationPose在高动态场景中的性能。
袁承波、文川、张彤和高阳。2024年。通用Flow作为可扩展机器人学习的基础可供性。arXiv:2401.11439 [cs.RO]
袁浩奇、黄子烨、王烨、毛川、徐超毅和卢宗庆。2025年。DemoGrasp：基于单次演示的通用灵巧抓取。arXiv:2509.22149 [cs.RO]
赵恒双、蒋力、贾佳亚、Philip Torr和Vladlen Koltun。2021年。Point Transformer。arXiv:2012.09164 [cs.CV]
赵宏翔、刘星辰、许沐天、郝一鸣、陈伟凯和韩晓光。2025年。TASTE-Rob：推进面向通用机器人操控的任务导向型手-物交互视频生成。arXiv:2503.11423 [cs.CV]
Tony Z. Zhao、Vikash Kumar、Sergey Levine和Chelsea Finn。2023年。利用低成本硬件学习细粒度双臂操控。arXiv:2304.13705 [cs.RO]
扎西卓玛、刘可辉、关楚月、贾中杰、吴子牛、刘鑫、王天宇、梁帅、陈鹏安、张平瑞、宋浩明、曲德林、王东、王志刚、曹宁青、丁燕、赵斌和李学龙。2025年。FastUMI：一种具备可扩展性且独立于硬件的通用操控接口及数据集。arXiv:2409.19499 [cs.RO]
支洪艳、陈沛豪、周思远、董玉波、吴全喜、韩雷和谭明魁。2025年。3D Flow Action：基于3D流世界模型学习跨本体操控。arXiv:2506.06199 [cs.RO]
周华毅、王瑞祥、邰云鑫、邓月慈、刘贵良和贾奎。2025年。只需教导一次：从视频演示中学习一次性双臂机器人操控。arXiv:2501.14208 [cs.RO]
朱欣月、黄秉豪和李赟竹。2025年。Touch in the Wild：利用便携式视觉触觉夹爪学习细粒度操控。arXiv:2507.15062 [cs.RO]
朱玉科、Josiah Wong、Ajay Mandlekar、Roberto Martin-Martín、Abhishek Joshi、Soroush Nasiriany和Yifeng Zhu。2020年。robosuite：一个用于机器人学习的模块化仿真框架与基准测试。arXiv:2009.12293 [cs.RO]
---
## A 实现细节
### A.1 注册与跟踪的可视化
Fig. 10. Visualization of registering and tracking. In UMI registration, we directly register the UMI base into the 3D scene, and its resulting 6-DOF pose is treated as the gripper pose.
### A.2 夹爪关键点可视化
Fig. 11. Visualization of gripper keypoints.
### A.3 手-物交互接触图
给定处于同一参考坐标系下的手部点云$\{p_i^h\}_{i=1}^{N_h}$和物体点云$\{p_j^o\}_{j=1}^{N_o}$，我们会在物体表面计算出逐点的HOI接触图m。为此，我们首先对手部点构建KD树，并查询每个物体点$p_j^o$的最近邻距离，从而得到$d_j = \min_{1 \leq i \leq N_h} \|p_i^h - p_j^o\|_2$。接着，我们利用预定义的最大交互半径$d_{\max}$（例如根据典型的手指接触范围确定）将该距离转换为归一化的软接触概率：$m_j = \text{clip}\left(1 - \frac{d_j}{d_{\max}}, 0, 1\right)$。其中$m_j = 1$表示直接接触，该值会在超出$d_{\max}$后线性衰减至0。最后，我们通过设定固定阈值$\mathcal{V}$对接触图进行筛选，提取出有效接触点集$\tau$，仅保留置信度较高的候选点：$\mathcal{V} = \{p_j^o \mid m_j > \tau\}$。
### A.4 位置序列优化
初始化。在推理过程中，夹持器位置序列是根据给定的手部序列计算得出的。基于手部与夹持器的接触区域在空间上对齐这一前提，我们以接触区域中心为锚点来计算夹持器位置。我们首先定义接触区域中心。手部接触区域中心：如果某个手部点到物体点的最小距离低于预设的接触阈值，则该点被归类为接触区域的一部分。
$$ d^{h}=\min_{\mathbf{p}^{o}\in O}||\mathbf{p}^{h}-\mathbf{p}^{o}||, $$
其中，$d^h$ 表示手部点 $p^h$ 到物体点的最小距离，O 代表物体点的集合。随后，手部接触中心被计算为这些接触点的质心。夹持器接触区域中心：对于夹持器而言，我们将左右手指关键点的中点定义为接触区域中心。尽管这种定义可能并非完全精确，但它能提供良好的初始值，后续还会通过优化进一步细化。接着，我们假设手部与夹持器的接触区域中心是对齐的，并据此推导出夹持器位置序列。
抓取优化。我们通过以下方式优化起始帧和终止帧处的夹持器位置：
$$ \Delta t^{*}=\arg\min_{\Delta t}\Big[L_{contact}(\Delta t)+\lambda_{\Delta}L_{reg}(\Delta t)+\lambda_{pen}L_{pen}(\Delta t)\Big], $$
其中
$$ {\cal L}_{{c o n t a c t}}(\Delta t)=\sum_{k\in\{L,R\}}\operatorname*{m i n}_{\mathbf{v}\in\mathcal{V}}\big|(\mathbf{p}_{k}(\Delta t)-\mathbf{v})\cdot\mathbf{d}\big|, $$
$$ L_{\mathrm{r e g}}(\Delta t)=\frac{1}{3}\|\Delta t\|_{2}^{2}, $$
$$ L_{\mathrm{p e n}}(\Delta t)=\sum_{\mathbf{g}\in\mathcal{G}(\Delta t)}\max\big(0,-d_{\mathrm{s i g n e d}}(\mathbf{g},O)\big)^{2}. $$
$\Delta t \in \mathbb{R}^3$ 表示夹持器位置的修正量；$\mathbf{p}_L(\Delta t)$ 和 $\mathbf{p}_R(\Delta t)$ 分别是左右手指关键点的绝对坐标。$\mathcal{V}$ 表示已接触的物体点集合（由接触图标识），$\mathbf{d}$ 是从 $\mathbf{p}_L(\Delta t)$ 指向 $\mathbf{p}_R(\Delta t)$ 的单位方向向量。第一项 $L_{\text{contact}}$ 用于惩罚每个手指关键点与 $\mathcal{V}$ 中接触点之间的垂直距离，从而促使夹持器靠近并与手部接触区域对齐。第二项 $L_{\text{reg}}$ 通过 $L_2$ 正则化项来惩罚单次优化步骤中的大幅位置修正。$\mathcal{G}(\Delta t)$ 表示应用位置修正 $\Delta t$ 后的夹持器点云，$d_{\text{signed}}(\mathbf{x}, \mathcal{O})$ 是点 $\mathbf{x}$ 到物体表面 $\mathcal{O}$ 的有符号距离（外部为正，内部为负）。第三项 $L_{\text{pen}}$ 会惩罚任何位于物体内部的夹持器点（即满足 $d_{\text{signed}}(\mathbf{g}, \mathcal{O}) < 0$ 的情况），从而防止整个夹持器本体与物体发生碰撞，确保抓取配置在物理上可行。权重 $\lambda_\Delta$ 和 $\lambda_{\text{pen}}$ 用于平衡位置修正的正则化约束与穿透惩罚项。
逆运动学优化。为确保优化后的夹持器姿态能够实际执行，我们采用逆运动学（IK）优化。具体而言，针对每一帧，我们向IK求解器输入当前的6自由度姿态，并评估末端执行器的残差以及关节极限违例情况。随后调整6自由度姿态以最小化该IK损失，从而保证最终得到的配置既精确又具备物理可行性。其目标函数表述如下：
$$ a_{i}^{*}=\arg\min_{a_{i}}\Big[L_{\mathrm{ik}}(a_{i})+\lambda_{\mathrm{reg}}\|a_{i}-\hat{a}_{i}\|_{2}^{2}\Big], $$
---
Fig. 9. More results in real-robot experiments.
其中
$$ \begin{array}{r}{L_{\mathrm{i k}}(a_{i})=\|\mathrm{F K}_{\mathrm{p o s}}(q_{i}^{*})-\mathbf{t}_{i}\|_{2}^{2}+\lambda_{\mathrm{o r i}}\|\mathrm{L o g}(\mathbf{R}_{i}^{\top}\mathrm{F K}_{\mathrm{r o t}}(q_{i}^{*}))\|_{2}^{2}+L_{\mathrm{j o i n t}}(q_{i}^{*}),}\end{array} $$
$$ q_{i}^{*}=\operatorname{I K}(a_{i}), $$
$$ L_{joint}(q_{i}^{*})=\sum_{j=1}^{J}\max\left(0,q_{i,j}^{*}-\bar{q}_{j},\underline{q}_{j}-q_{i,j}^{*}\right)^{2}. $$
$a_i$ 是要优化的六自由度夹持器姿态，而 $\hat{a}_i$ 则是上一阶段得到的初始姿态。$q_i^* = \mathrm{IK}(a_i)$ 表示给定姿态目标 $a_i$ 时，逆运动学求解器返回的关节角度。因此，第一项 $L_{\mathrm{ik}}$ 用于惩罚逆运动学解与目标姿态之间的末端执行器残差，以及关节极限违例情况。$\mathrm{FK}_{\mathrm{pos}}(\cdot)$ 和 $\mathrm{FK}_{\mathrm{rot}}(\cdot)$ 分别将关节角度映射为末端执行器的位置和朝向。$\tilde{q}_j$ 和 $\tilde{q}_j$ 分别表示第 j 个关节的上下界。第二项 $\|a_i - \hat{a}_i\|_2^2$ 用于约束优化后的姿态，使其尽可能接近原始姿态。$\lambda_{\mathrm{reg}}$ 则用于平衡逆运动学可行性与姿态生成分布。
---
Fig. 12. Real-robot experimental setup. We deploy our framework on a Galaxea R1 Lite equipped with two Galaxea A1X arms. A binocular camera is mounted at a fixed viewpoint to capture the workspace and human demonstrations. During evaluation, the object position is computed relative to the position anchor (yellow circle), and its orientation is estimated via FoundationPose++ [Yan 2025].
我们的实际评估实验使用的是配备两只7自由度A1X机械臂和平行夹爪G1的Galaxea R1 Lite机器人。世界坐标系定义在桌面上，其原点位于桌角处（如图12中的黄色圆圈所示），x轴沿桌边向前延伸，y轴指向右侧，z轴垂直向上。机器人基座位于该原点中心，机械臂对称地分布在两侧。双目相机被固定在原点上方0.4米处，朝下对准桌面中心以捕捉操作区域。每次数据采集前，都会先将相机与外部参数校准到机器人基座坐标系。为确保比较公平，所有试验中机器人均从固定的初始配置开始。在计算指标时，物体位置是相对于位置锚点计算的，而物体朝向则由FoundationPose++ [Yan 2025]预测得出。
### A.6 仿真设置
在评估过程中，我们在仿真平台上保持了一致的物体物理属性。每个物体的质心都固定在其网格几何中心，质量由约1000 kg/m³的均匀密度隐式确定（这一数值代表了常见塑料材料的性质）。与GraspVLA [Deng et al. 2025]的做法一致，我们为所有接触交互设定了0.15的低摩擦系数。这种标准化的物理配置与GraspVLA [Deng et al. 2025]、Im2Flow2Act [Xu et al. 2024]等先前研究中广泛采用的设置相符。
## B 基线方法详情
对于基于优化的方法，我们选择MimicFunc [Tang et al. 2025c]和3DFlowAction [Zhi et al. 2025]作为基线。它们首先利用GraspNet [Fang et al. 2020]或AnyGrasp [Fang et al. 2023]采样出初始的六自由度抓取姿态，再通过物体变换计算出完整动作序列。我们未将基于规则的重定向方法纳入比较范围，因为这类方法主要针对捏取手势设计。如图4所示，这种局限性导致它们在我们的任务中表现不佳。
为了进行公平比较，我们使用手部3D流作为输入，在我们的数据集上重新训练Track2Act。具体来说，我们用3D手部点序列替换其原有的2D轨迹，并通过基于规则的手部姿态重定向来计算初始动作序列。尽管Track2Act获得了这些超出其原始设计假设的丰富3D信息，但其性能仍不如我们的CosmoH2G，这凸显了其底层框架的局限性。
## C 计算变体的详细信息
在Computed变体中，我们构建了一个无需生成的基线模型，该模型通过计算和优化来得出夹持器姿态序列。在这个基线模型中，直接将演示中的手部姿态作为夹持器方向的优化目标是不可靠的，因为两者在形态、运动结构和接触拓扑上存在差异。因此，我们重新构思了方法：引入被操纵物体作为中间几何锚点。其6D姿态序列可作为一个与任务无关的共享参考：手部驱动物体的运动，而夹持器的任务就是复制这一运动。
通过手部网格序列诱导物体姿态。在整个操纵过程中，由于人手会持续遮挡物体，因此无法直接对物体进行视觉跟踪。于是我们重建完整的手部网格序列，并利用初始帧建立的刚性接触关系来推导物体的6D姿态轨迹。具体来说，在第一帧中我们获取初始物体姿态$O_1$，并从重建的手部网格中提取手部接触姿态$C_1$。随后我们计算恒定的相对变换$T_c^o = (O_1)^{-1}C_1$。基于“操纵过程中手与物体的相对姿态保持刚性”这一稳定抓取前提，第t帧的物体姿态可推导为：
$$ O_{t}=C_{t}T_{c}^{o}=C_{t}C_{1}^{-1}O_{1}, $$
其中$C_t$是从第t帧重建的网格中得到的手部接触姿态。由此产生的物体轨迹$\{O_t\}_{t=1}^T$随后便成为夹持器姿态序列的统一优化目标。
位置与方向序列的计算。在优化之前，我们分两个阶段得出完整的夹持器姿态序列。
边界姿态初始化。在起始帧和终止帧，我们通过GraspNet [Fang et al. 2020]从物体点云中采样K个候选的6自由度抓取姿态$\{G^{(k)}\}_k=1$。每个候选姿态会根据三个标准打分：(i)接触区域一致性——我们计算候选夹持器的手指接触区域与演示中的接触图之间的重叠程度；(ii)方向对齐度——候选姿态的接近轴与手部功能方向（即接触中心的掌心法线）之间的角度偏差；(iii)抓取质量——来自GraspNet的置信度得分。
---
得分最高的候选姿态被选为初始边界姿态。
中间帧合成。位置序列的计算方式与我们提出的方法一致。对于方向而言，我们直接在SO(3)空间上采用球面线性插值（SLERP）来对起始方向和终止方向进行插值。
完整姿态序列的优化。给定初始位置序列后，我们通过在起始帧和终止帧进行接触图对齐（公式3）以及时间平滑正则化（公式4）来对其进行优化，这一过程与我们提出的方法相同。对于方向部分，源自GraspNet投票结果的边界姿态保持不变，中间帧则根据三个目标进行优化。首先，通过对$SO(3)$上的二阶测地差异进行惩罚来确保角度平滑性：
$$ L_{\mathrm{o r i\_{s} m o o t h}}=\sum_{i=1}^{T-2}\left\|\mathrm{L o g}(R_{i-1}^{\top}R_{i})-\mathrm{L o g}(R_{i}^{\top}R_{i+1})\right\|_{2}^{2}, $$
其中$\mathrm{Log}(\cdot)$将相对旋转映射为轴角表示，以此避免突然的运动。其次，完整的夹持器姿态序列会被联合优化，使得夹持器诱导出的物体姿态与目标物体轨迹保持一致。跟踪损失会对二者之间的偏差进行惩罚：
$$ L_{\mathrm{t r a c k}}=\sum_{i=1}^{T-2}\left(\left\|\mathbf{t}_{i}^{o,\mathrm{t a r g e t}}-\tilde{\mathbf{t}}_{i}^{o}\right\|_{2}^{2}+\lambda_{\mathrm{o r i}}\left\|\mathrm{L o g}\left((R_{i}^{o,\mathrm{t a r g e t}})^{\top}\tilde{R}_{i}^{o}\right)\right\|_{2}^{2}\right), $$
其中，$\tilde{\mathbf{t}}_i^o = \mathbf{t}_i^g - R_i^g \overline{\mathbf{d}}_{rel}$ 和 $\tilde{R}_i^o = R_i^g \overline{R}_{rel}^\top$ 是根据当前夹持器姿态（$R_i^g, \mathbf{t}_i^g$）以及边界帧处观测到的平均相对变换（$\overline{R}_{rel}, \overline{\mathbf{d}}_{rel}$）重建出的物体位置和朝向。这种损失函数促使夹持器所达到的姿态所对应的物体位置（在固定相对变换下）与演示轨迹保持一致。第三，$\mathbf{I}\mathbf{K}$ 阶段通过公式5中的完整残差，将位置和朝向共同投影到机器人可行的关节空间中。
失败案例。然而，Computed变体在处理涉及复杂空间运动的任务时（如翻转操作）总是会失败。首先，SLERP插值初始化只能提供一个粗略的初始猜测值；中间朝向与真实旋转相差甚远，导致优化器在庞大的搜索空间中迷失方向。其次，同时优化位置和朝向会产生许多同样有效但差异极大的解，这种不确定性往往会破坏时间连续性，从而引发突兀的跳跃或不自然的运动。这些问题共同表明：准确的朝向轨迹必须直接从数据中学习获得。
## D 评估指标
本节将给出评估指标的形式化定义及实现细节。
### D.1 轨迹相似性
轨迹相似性是通过比较真实轨迹（GT）与执行路径之间的三维位置轨迹来定量评估的。具体而言，我们采用FastDTW算法[Wu and Keogh 2020]计算两者间的动态时间规整（DTW）距离，并依据序列长度对其进行归一化处理。为了将原始距离转换为可解释的相似性得分$S \in [0,1]$，我们将度量距离$D_{metric}$除以特定任务的容忍阈值$\tau$（设定为桌面宽度的20%）：
$$ S=1-\min\left(\frac{D_{metric}}{\tau},1\right). $$
按照这种定义，处于容忍范围内的偏差会导致相似性成比例下降；而一旦偏差超过$\tau$，相似性便被直接归零。
实现细节。为了计算手部位置轨迹，我们以每个重建手模型的接触区域中心作为位置点，并将这些点按序列拼接起来。类似地，对于夹持器位置轨迹，我们选取末端执行器的接触区域中心作为位置点。在实际机器人上，该轨迹是通过执行过程中的传感器反馈（关节编码器和正运动学数据）获得的；而在仿真环境中，则通过每个时间步的末端执行器链接状态直接从物理引擎中查询得到。
### D.2 成功率
借鉴先前的研究[Xu et al. 2024]，我们采用成功率来评估位置层面的任务完成情况，其定义为最终放置位置与目标位置之间的距离。设W表示桌面的宽度，d代表最终放置位置与目标之间的欧几里得距离。如果这一距离超过了桌面宽度的10%，则该次放置被视为失败。对于共N次放置试验，成功率R计算如下：
$$ R=\frac{N_{success}}{N}\times100\%, $$
其中，$N_{success}$ 表示满足以下条件的试验次数：
$$ d\leq0.1\times W. $$
### D.3 目标朝向放置精度
我们采用目标方向放置精度（TOPA）来评估方向层面的放置精确度，该指标由最终放置方向与期望目标方向之间的角度偏差来定义。设 $\theta$ 表示最终方向与目标方向之间的角度误差，单位为度。对于一系列共 N 次放置试验，TOPA 得分即为平均角度误差：
$$ TOPA=\frac{1}{N}\sum_{i=1}^{N}\theta_{i}\quad(in degrees), $$
其中 $\theta_{i}$ 代表第 i 次试验的角度误差。在实际机器人实验中，物体方向是通过 FoundationPose++ [Yan 2025] 来估算的。
---
Table 8. Generalization across camera viewpoints (in simulation). Since our input is 3D data extracted from videos, performance remains stable across all viewpoints.
| Viewpoint | First-person | Ego. top-down | Third-person | Exo. top-down |
| GOA (sim) $\downarrow$ | 6.73 $^{\circ}$ | 6.21 $^{\circ}$ | 9.58 $^{\circ}$ | 7.94 $^{\circ}$ |
| SR (sim) $\uparrow$ | 90% | 85% | 75% | 90% |
| TS (sim) $\uparrow$ | 0.9617 | 0.9479 | 0.9032 | 0.9681 |
| TOPA (sim) $\downarrow$ | 11.02 $^{\circ}$ | 10.73 $^{\circ}$ | 19.17 $^{\circ}$ | 10.49 $^{\circ}$ |
Table 7. Generalization across Demonstrators (in simulation). The model generalizes well across adult hands, while performance degrades on children's hands, whose scales fall outside the training distribution.
| Test set | Original | Adult males | Adult females | Children |
| GOA $\downarrow$ | 7.53 $^{\circ}$ | 6.74 $^{\circ}$ | 7.89 $^{\circ}$ | 18.67 $^{\circ}$ |
| SR $\uparrow$ | 83.87% | 83.33% | 91.67% | 33.33% |
| TS $\uparrow$ | 0.9672 | 0.9638 | 0.9728 | 0.8215 |
| TOPA $\downarrow$ | 10.27 $^{\circ}$ | 12.32 $^{\circ}$ | 9.93 $^{\circ}$ | 51.80 $^{\circ}$ |
Fig. 13. Similarity distribution of retained hand-UMI pairs. The similarity scores (mean = 0.957, median = 0.958) concentrate well above the 0.9 retention threshold.
## E 泛化能力分析
除了新物体和新动作外，我们还进一步评估了 CosmoH2G 在演示者和摄像头视角方面的泛化范围。
演示者方面：我们的数据集来源于多名男性和女性参与者。为了进一步检验手部尺寸的泛化能力，我们额外构建了一个测试集，包含 4 名成年男性、4 名成年女性和 2 名儿童。如表 7 所示，CosmoH2G 在不同尺寸的成人手部上均表现出良好的泛化能力（成年男性和女性的成功率为 83.33% 和 91.67%，与原始测试集上的 83.87% 相当）。但在儿童手部上的表现较差（成功率仅为 33.33%），因为儿童手部的尺寸超出了训练分布范围，这也揭示了手部尺寸泛化能力的边界。
摄像头视角方面：由于我们的输入是从视频中提取的 3D 数据，因此 CosmoH2G 对所评估的四种摄像头视角均不敏感。我们收集了从四种不同视角拍摄的 20 个未见过的案例，包括第一人称视角、以身体为中心的俯视视角、第三人称视角以及以外部为中心的俯视视角。如表 8 所示，在所有视角下性能均保持稳定（成功率介于 75% 到 90% 之间）。