{
  "paper_id": "6b97bfe56e0680894ddf9b02547ae5df",
  "paper_title": "CosmoH2G: A Hand-to-Gripper Transfer Dataset and Baseline Method for Object Manipulation with Complex Spatial Movements",
  "paper_authors": [
    "HONGXIANG ZHAO",
    "MUTIAN XU",
    "ZEYU JIN",
    "YIMING HAO",
    "SHUGUANG CUI",
    "XIAOGUANG HAN"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "将人手演示迁移到机器人夹爪最近成为机器人学习的一种高性价比方案。然而，现有方法大多局限于简单的平面任务，无法处理对机器人操作至关重要的复杂空间运动，例如涉及旋转或翻转的复杂轨迹。针对这一差距，本文采用由细粒度手部姿态运动引导的隐式数据驱动方法。为此，作者提出可扩展的手部-夹爪配对演示采集流程：通过优先保证运动复杂性的严格协议，并借助手持夹爪无缝模仿动作，构建了包含6189个操作回合、覆盖1254个独特物体的大规模配对数据集，其空间复杂性显著高于现有基准。由于朴素地端到端生成完整夹爪姿态序列会使微小轨迹偏差在复杂动力学中快速累积，本文进一步提出两阶段框架：第一阶段预测起始和终止稀疏夹爪关键帧以简化映射目标，第二阶段在关键帧条件下生成完整连续动作序列；同时让模型学习夹爪朝向，并基于抓取启发式和运动学一致性后优化平移，以缓解累积漂移。仿真与真实机器人实验表明，该框架能够稳定、精确地实现复杂空间操作的手到夹爪迁移，并显著优于传统基线。\n",
  "keywords": [
    "机器人操作",
    "从人类演示中学习",
    "人到机器人迁移"
  ],
  "paper_institutions": [
    "SSE, CUHKSZ, China",
    "GenuX, China",
    "FNii-Shenzhen, China"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:20.645416Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有从人类演示到机器人夹爪的迁移多局限于平面抓取、推送或简单拾放，难以处理旋转、翻转等复杂三维空间运动的问题，本文指出规则式重定向会受手与夹爪形态、运动学和接触拓扑差异影响，而基于2D/3D轨迹流的方法又会在遮挡和点漂移时失效，因此提出以细粒度手部姿态引导的隐式数据驱动方案。作者设计基于UMI手持夹爪的可扩展配对采集流程，要求采集者使用自然抓握手势、不同功能接触区域，并在每个回合中加入平面旋转、竖直翻转等变换，再用固定视角RGB-D相机记录人手与夹爪完成同一任务；数据经ReconViaGen物体重建、FoundationPose++注册跟踪、WiLoR手部网格重建等步骤提取统一全局坐标系下的物体点云、手部网格和夹爪6-DoF轨迹，并仅保留3D轨迹相似度超过0.9的配对，最终得到6189个回合、1254个未见训练物体实例的数据集，保留配对平均相似度为0.957。方法上，CosmoH2G用夹爪中心和左右指尖三个关键点参数化SE(3)姿态：第一阶段使用去噪Transformer分别根据手部点云、物体点云和接触图生成起始与终止夹爪姿态；第二阶段仅生成连续朝向序列，平移序列则按人手与夹爪接触区域近似对齐的假设初始化，并通过核心优化Δx* = argmin [L_contact + λ_pen L_pen + λ_reg‖Δx‖²]修正起止位置，再施加轨迹平滑、参考曲线约束和逆运动学优化，从而避免端到端生成完整位姿时的累积漂移。模型采用两个Point Transformer分别编码手和物体、特征维度256，两个去噪Transformer均从头训练，使用AdamW、学习率1e-4、批大小32、单张A100训练20000步，扩散过程为1000步余弦调度、推理采用500步DDPM。评估按物体划分出包含40个未见物体、186个案例的测试集，既能在GalaxeaManipSim中精确复现物体几何、初始状态和目标放置以验证算法，又在Galaxea R1 Lite真实双臂机器人上验证仿真到真实的可执行性；指标包括抓取朝向误差GOA、任务成功率SR、轨迹相似度TS和目标朝向放置误差TOPA。CosmoH2G在仿真中取得GOA 7.53°、SR 83.87%、TS 0.9672、TOPA 10.27°，真实机器人上取得SR 70.43%、TS 0.9413、TOPA 19.34°，显著优于MimicFunc、3DFlowAction、Im2Flow2Act和重新训练的Track2Act，支持了两阶段关键帧、三关键点表示、末端动作条件、接触图以及“学习朝向+优化平移”等设计的有效性。该方法适用于杂乱场景中需要重新定向、避碰和工具功能接触保持的拾放类空间操作，但真实系统仍受大旋转时物体滑动、未完全抬起时摩擦拖拽、开环执行缺少实时纠错和显式避障、儿童手部尺度分布外以及任务类型仍主要限于拾放等约束；未来可扩大配对数据、探索统一一阶段直接迁移、加入闭环反馈与碰撞感知规划，并扩展到更广泛任务。\n\n### 关键要点\n\n- CosmoH2G数据集包含6189个手部-夹爪配对操作回合和1254个独特物体，每个物体采集3至5个回合，覆盖食品、装饰、美妆、日用品和玩具五类物体。\n- 采集协议要求自然抓握类型、不同接触区域以及平面旋转和竖直翻转等复杂朝向变换，并用UMI手持夹爪复现人手演示的接触区域、抓握朝向和操作运动。\n- 数据处理从RGB-D视频中重建物体、注册三维场景、重建手部网格并跟踪UMI，最终获得统一坐标系下的物体点云、手部网格序列和夹爪6-DoF姿态序列。\n- 配对数据需通过3D轨迹相似度检查，仅保留相似度超过0.9的人手-UMI对，保留数据的平均相似度为0.957、中位数为0.958。\n- 第一阶段模型以手部点云、物体点云和物体表面接触图为条件，用去噪Transformer独立生成起始帧和终止帧的单帧6-DoF夹爪姿态。\n- 夹爪动作由夹爪中心、左指尖和右指尖三个关键点表示，使条件与生成共享三维点空间，避免齐次矩阵或四元数表示中的跨域映射困难。\n- 第二阶段不直接生成完整位姿，而是在起始、终止关键帧和手部序列条件下生成夹爪朝向序列，平移序列由人手接触区域初始化并进行后优化。\n- 平移后优化依次考虑接触区域对齐、物体穿透惩罚、位移正则、轨迹二阶平滑、靠近初始化参考曲线以及逆运动学可行性。\n- 测试集按物体划分，包含40个训练未见物体和186个案例，仿真平台为GalaxeaManipSim，真实平台为配备两个7-DoF A1X臂和G1平行夹爪的Galaxea R1 Lite。\n- 主实验中，CosmoH2G仿真SR为83.87%、TS为0.9672、TOPA为10.27°，真实机器人SR为70.43%、TS为0.9413、TOPA为19.34°，均优于所选优化式和学习式基线。\n- 消融显示两阶段结构优于Denoising Transformer、Diffusion Policy和ACT的单阶段方案，三关键点表示、接触图、终止动作条件以及“生成朝向+优化平移”均带来性能提升。\n- 模型在成年男性和女性演示者以及四种相机视角下表现稳定，但儿童手部尺度会明显降低性能，且当前系统为开环执行，尚缺少实时纠错和显式碰撞避免。"
}