{
  "paper_id": "157cbf40f3e9e85a97c00e1468a5e7c6",
  "paper_title": "HAND2ROBOT: OBJECT-CENTRIC 4D HAND RECONSTRUCTION FROM HUMAN DEMONSTRATIONS FOR ROBOTICS",
  "paper_authors": [
    "Zetao Du",
    "Weiqing Wang",
    "Hanbing Zhang",
    "Yimiao Zhou",
    "Ye Shi",
    "Liang Wang",
    "Jingya Wang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "人类演示能够在不使用目标机器人的情况下捕获与任务相关的操作，但录制的手部运动不能直接作为机器人动作监督。手部重建与运动重定向为生成这种监督提供了直接路径，然而仅恢复手部运动并不能保证物理一致的手物交互。为此，本文提出 Hand2Robot，一种用于机器人策略后训练、以物体为中心的4D手部重建框架。给定人类执行目标任务的视频，Hand2Robot 提取交互片段、重建物体几何，并通过手物交互优化和运动重定向生成机器人动作监督。在物体跟踪方面，该方法将观测置信度与时间运动约束相结合，从逐帧姿态候选中选择全局一致的物体姿态轨迹；在手部细化方面，以物体几何和运动为参考，结合分阶段2D对齐与物体局部接触约束来细化手部轨迹和手指关节构型。DexYCB 和 HO3D-v3 上的实验表明，该方法提升了物体姿态精度和手物交互质量；三个真实机器人灵巧操作任务上的实验进一步表明，经重建和重定向的人类演示能够有效补充有限的机器人数据，用于目标任务策略后训练。\n",
  "keywords": [
    "以物体为中心的4D手部重建",
    "人类演示",
    "手物交互",
    "机器人灵巧操作",
    "动作监督",
    "运动重定向",
    "策略后训练",
    "物体姿态跟踪",
    "接触约束"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:05.423280Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向目标机器人灵巧操作演示成本高、依赖硬件和熟练遥操作员的问题，研究如何把人类操作视频转化为可靠的机器人动作监督。已有工作利用人类视频学习视觉表示、奖励信号或潜在动作，也有工作通过手部运动恢复和重定向连接人机形态，但仅恢复手部运动或只做局部几何、接触优化，仍会因物体位姿不可靠、遮挡、物体对称、接触歧义和时间不连续而产生手物穿透、缺失接触或接触漂移。Hand2Robot 以 RGB-D 人类演示视频和相机内参为输入，先用视觉语言模型切分交互片段并标注任务与物体，再通过 Rex-Omni、SAM3 和 MapAnything 完成物体定位、逐帧掩码与相机外参恢复，使用 SAM 3D 重建度量尺度物体网格；对 FoundationPose 提供的每帧多个姿态候选，方法以渲染物体掩码与观测掩码的 IoU 和逐帧归一化 ScoreNet 分数构成一元权重 u，并用相邻候选之间的平移与旋转代价 d 约束时间连续性，通过 max_z[Σu_t^(z_t)−Σd(P_t^(z_t),P_(t+1)^(z_(t+1)))] 的分层图最长路径问题和 Viterbi 解码选择全局物体轨迹。随后，方法固定物体几何与位姿，以 WiLoR 给出的 MANO 估计为初始化，依据物体运动和手物接近度划分抓取与交互阶段，联合优化手部全局轨迹及手指关节构型；目标函数结合2D SoftIoU对齐、射线2D到3D接触匹配、物体坐标系下的时间接触稳定、SDF穿透惩罚、运动平滑和初始化正则，最后用 GeoRT 重定向到目标灵巧手，并通过代表性初始物体位姿估计世界到机器人的坐标变换，生成与视频观测时间对齐的机器人动作标签。实验选择 DexYCB 和 HO3D-v3，是因为二者能在统一协议下检验物体位姿、物体几何、手部运动、物理交互和时间稳定性；真实机器人实验采用 Franka 机械臂和12自由度 xHand，在放置花瓶、打开盒子、插入吐司三项任务中使用固定侧视相机控制观测差异，并把处理后的人类演示与少量机器人演示混合后对 π0.5 进行后训练。在 DexYCB 上，全局轨迹选择将物体平移误差从6.80 cm降至3.44 cm、旋转误差从27.14°降至18.47°，ADD 和 ADD-S AUC分别提升至99.48和99.62；相比 WiLoR，DexYCB 上 MRPE 从97.31 mm降至38.49 mm，HO3D-v3 上 IV-mean 从20.11 cm³降至3.42 cm³、JM 从0.86降至0.34，支持了全局物体跟踪和观测到接触细化的有效性。真实任务中，20条机器人演示加100条 Hand2Robot 处理的人类演示取得80.0%的平均成功率，显著高于仅用20条机器人演示的48.3%，并接近60条机器人演示的81.7%，而仅用100条人类演示只有8.3%，说明人类数据可显著补充但不能完全替代机器人数据。该框架当前受固定视角、手遮挡、物体对称、接触歧义、刚体对象和坐标标定限制，适用于可获得RGB-D人类演示并能进行手眼标定的桌面操作场景；未来工作将扩展到可变形物体以及更动态、更富接触的操作。\n\n### 关键要点\n\n- Hand2Robot 将人类执行目标任务的 RGB-D 视频转换为与观测对齐的机器人动作序列，用于补充有限机器人演示并进行灵巧操作策略后训练。\n- 视频解析阶段使用视觉语言模型切分交互片段并标注任务和被操作物体，再由 Rex-Omni 定位物体、SAM3 生成逐帧物体掩码、MapAnything 恢复相机外参。\n- 物体几何由 SAM 3D 从RGB图像和物体掩码重建为度量尺度3D网格，作为姿态跟踪和手物接触优化的固定几何参考。\n- 物体跟踪保留 FoundationPose 的每帧多个姿态候选，并通过包含观测一元权重和相邻帧平移、旋转过渡代价的全局目标选择整条轨迹。\n- 一元权重由渲染掩码与观测掩码的 IoU 乘以逐帧最小最大归一化 ScoreNet 分数得到，可降低掩码不一致候选的影响，并在观测不可靠时增强时间约束的相对作用。\n- 全局轨迹选择被建模为分层有向无环图中的最长路径问题，可由 Viterbi 解码在 O(TN²) 时间内求解，从而减少遮挡漂移和对称物体等价姿态频繁切换。\n- 手部细化以 WiLoR 的 MANO 估计为初始化，将动作划分为抓取和交互阶段，并在固定物体位姿的情况下联合优化尺度、平移、朝向、关节和形状参数。\n- 抓取阶段强调权重更高的2D SoftIoU手部掩码对齐，交互阶段使用射线2D到3D接触匹配、物体局部接触锚点、SDF穿透惩罚、平滑项和正则项共同约束手物关系。\n- 时间接触稳定项把接触点变换到物体坐标系，用停止梯度的相邻帧射线交点均值作为局部锚点，减少同一手指在相邻帧跳到不同物体区域的问题。\n- 重定向阶段使用 GeoRT 生成目标灵巧手关节构型，并依据人类与机器人演示中的代表性初始物体位姿估计世界到机器人变换，使人类动作标签与机器人动作表示一致。\n- 重建实验在 DexYCB 的1000个序列上评估物体位姿、120个序列上评估手部，并在 HO3D-v3 的12个长序列上评估，指标包括平移和旋转误差、ADD/ADD-S AUC、MPJPE、MRPE、穿透体积和抖动幅度。\n- 真实机器人在放置花瓶、打开盒子和插入吐司任务上每项评估20次，20R+100H 的 Hand2Robot 条件取得80.0%平均成功率，高于20R的48.3%、40R的60.0%，并接近60R的81.7%，但100H单独仅为8.3%。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}