{
  "paper_id": "e93e01d5ff1effe7cc2318097837738d",
  "paper_title": "DEXCANVAS: BRIDGING HUMAN DEMONSTRATIONS AND ROBOT LEARNING FOR DEXTEROUS MANIPULATION",
  "paper_authors": [
    "Xinyue Xu",
    "Jieqiang Sun",
    "Jing (Daisy) Dai",
    "Siyuan Chen",
    "Lanjie Ma",
    "Ke Sun",
    "Bin Zhao",
    "Jianbo Yuan",
    "Sheng Yi",
    "Haohua Zhu",
    "Yiwen Lu"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "DexCanvas 是一个大规模真实—合成混合的人类灵巧操作数据集，包含 7000 小时手物交互，种子数据来自 70 小时真实人类演示，并按 Cutkosky 分类法组织为 21 种基础操作类型。每条数据结合同步多视角 RGB-D、带 MANO 手部参数的高精度动捕数据，以及具有物理一致力剖面的逐帧接触点。真实到仿真管线用强化学习训练策略，在物理仿真中控制可驱动 MANO 手复现人类演示，并发现产生所观察物体运动的潜在接触力。DexCanvas 首次将大规模真实演示、基于成熟分类法的系统技能覆盖和物理验证接触标注结合起来，可促进机器人操作学习、接触丰富控制和跨手部形态技能迁移研究。\n",
  "keywords": [
    "灵巧操作",
    "人类演示",
    "混合数据集",
    "接触力标注",
    "强化学习",
    "MANO",
    "真实到仿真",
    "机器人学习",
    "接触丰富控制"
  ],
  "paper_institutions": [
    "DexRobot Co. Ltd.",
    "University of Michigan",
    "Shanghai Jiao Tong University",
    "Chongqing University",
    "East China University of Science and Technology"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:39:01.773559Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对高自由度仿人灵巧手难以在非结构化环境中获得大规模、物理可信接触数据的问题，指出遥操作机器人数据存在带宽低、成本高和动作不自然等限制，纯合成抓取常违反生物力学合理性且绑定特定机器人形态，而视频、视觉重建和动捕数据又分别面临遮挡、三维姿态噪声或仅有几何轨迹而缺少接触力的问题；直接使用传感器测力则会干扰自然操作。为此，作者提出 DexCanvas 真实—合成混合数据集，以 70 小时真实人类光学动捕演示为种子，扩展成 7000 小时、约 30 亿帧的物理验证数据，并依据 Cutkosky 分类法系统覆盖力量抓取、中间抓取、精确抓取和手内操作四大类共 21 种操作。数据采集使用 22 台红外相机和两台同步 RGB-D 相机，在右手上布置 14 个反光标记点、每个物体布置 4 个标记点；30 个物体包含多种尺寸几何体、标为 H 的不同重量副本以及 YCB 物体，分别用于验证尺度适应、力调节和复杂任务抓取，5 名操作者对每个可行操作—物体对重复 50 次，最终得到 12000 条序列。处理管线先将标记点拟合为包含 10 维形状参数、腕部姿态和 45 维手指关节的 MANO 表示，再在 IsaacGym 中为每个物体—操作对单独训练 PPO 策略；其核心机制是把接触力重建转化为闭环轨迹跟踪控制，策略观察手部、物体和未来目标物体状态并输出关节残差 a_t ~ πθ(a_t | s_t)，残差经 u_t = τu_{t-1} + a_t 指数滤波后执行，奖励同时约束物体位置/旋转跟踪和动作偏移，而接触点、力向量、力矩与物体旋量并非由策略推测，而是在成功物理滚动中由仿真器直接测量。该设计选择 32 个代表性物体—操作对、每对滚动 100 次，并以位置误差不超过 5 厘米且完成轨迹为成功标准，结果表明标称条件下成功率为 80.15%，当初始物体位姿按物体尺寸扰动至 20% 时成功率仍为 62.54%，仅下降 17.61 个百分点，支持了单条真实演示可生成多样有效数据、实现 100 倍扩展的核心创新；力曲线还显示各手指力随时间平滑变化，力峰与实际接触区域对应，力量抓取在多关节上分布较均匀，精确操作则集中于特定指尖。该数据集可用于接触丰富控制、强化学习奖励塑形、模仿学习、视觉—语言—动作模型预训练和跨形态重定向，但当前仍受限于基础几何体与 YCB 物体、操作原语范围、逐任务策略扩展性、发布内容以人手为主以及语言标注较少，未来方向包括统一策略学习、复杂长序列技能组合、跨机器人手部形态迁移、RGB-D 与语言等多模态标注，以及面向真实自由场景的物理感知合成。\n\n### 关键要点\n\n- DexCanvas 包含 7000 小时、约 30 亿帧真实—合成混合手物交互数据，种子为 70 小时真实人类演示，并按 21 种基础操作类型组织。\n- 真实采集系统使用 22 台红外动捕相机和两台同步 RGB-D 相机，右手布置 14 个标记点，每个物体布置 4 个标记点，RGB-D 为 30Hz，动捕与仿真为 120Hz。\n- 数据集使用 30 个物体，包括多尺寸几何基元、标为 H 的重量变体以及电钻、水罐等 YCB 物体，以测试尺度适应、力调节和任务相关抓取。\n- 5 名操作者对每个可行操作—物体对执行 50 次标准化重复，剔除掉落和严重遮挡试次后共获得 12000 条、70 小时真实演示序列。\n- 每条轨迹同步提供 MANO 形状与关节参数、6 自由度腕部和物体姿态、逐帧接触点、三维力向量以及 6 维物体旋量。\n- 强化学习阶段为每个物体—操作对训练独立 PPO 策略，策略输出叠加在拟合 MANO 关节角上的残差，并可在训练时观察未来物体位姿等特权信息。\n- 动作采用指数滤波，公式为 u_t = τu_{t-1} + a_t，其中 τ 位于 0.8 到 0.95，用于减少抖动并维持抓取接触稳定。\n- 奖励由物体距离奖励 exp(-60·goal_dist)、旋转奖励 exp(-10·rot_error) 和动作惩罚 ‖a_t‖² 组成，以同时保证轨迹跟踪和人类手势保真。\n- 在 32 个代表性操作—物体对、每对 100 次仿真滚动中，标称成功率为 80.15%，初始位姿按物体尺寸扰动 20% 后成功率为 62.54%。\n- 力标注实验显示不同操作具有 distinct 的接触特征：力量抓取覆盖更多关节，精确操作的接触力集中于指尖，且力峰与手部接触区域在时空上对应。\n- 当前局限包括物体和技能仍偏基础、逐物体—操作训练策略难以扩展、尚未直接提供机器人形态数据且语言标注较少，后续将探索统一模型、跨形态重定向和更多模态标注。"
}