{
  "paper_id": "687197446df5057b26ad7d8398bc13c5",
  "paper_title": "RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning",
  "paper_authors": [
    "Seungjun Moon",
    "Subin Jeon",
    "Sangwoo Kim",
    "Hanbyul Joo",
    "Jinwoo Shin"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "近来，利用人类视频训练机器人策略的方法日益普遍，但多数现有手部跟踪器从裁剪帧中回归姿态，对手部运动和手物交互的先验有限，导致估计不准确且物理不一致；接触、力等物理线索的缺失也限制了人类视频在机器人策略训练中的应用。为此，本文提出 RLHND，这是一种基于视频基础模型的手部跟踪模型，可从单目第一视角视频中联合估计手部姿态和真实触觉信息。RLHND 通过干净潜变量条件化，将预训练的 Cosmos 3 视频扩散骨干转化为确定性的片段级特征提取器，把其学到的手部运动和手物交互先验引入跟踪。姿态估计方面，RLHND 预测具有解剖学合理关节角的手部姿态，并支持可选的形状参数条件化，以在同一视频内、甚至同一操作者录制的不同视频间保持一致手形。触觉估计方面，独立的触觉专家流在姿态流冻结的情况下进行训练，预测手部表面的稠密接触和力。本文还采用基于 LBS 的特征扩散，以较低成本实现逐顶点特征提取。RLHND 在多个姿态估计基准上达到最先进性能，同时在接触和力估计上也达到最先进水平，并通过重定向结果和真实机器人实验展示了其在机器人学习中的效用。\n",
  "keywords": [
    "手部跟踪",
    "视频基础模型",
    "触觉估计",
    "接触估计",
    "力估计",
    "机器人学习",
    "第一视角视频",
    "MANO",
    "动作重定向",
    "Cosmos 3"
  ],
  "paper_institutions": [
    "RLWRLD",
    "KAIST",
    "Seoul National University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:45.870854Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n人类第一视角视频易于采集且能覆盖遥操作难以演示的任务，但将其用于机器人策略训练时，现有基于裁剪帧的手部跟踪器往往缺乏手部运动和手物交互先验，产生深度抖动、手形随帧波动、解剖学上不合理的三维轨迹，并且通常缺少接触和力等物理信息。RLHND 以预训练 Cosmos 3 Nano 视频扩散模型为基础，使用 Wan2.2 VAE 将片段编码为干净潜变量，并通过 Cosmos 3 预训练时用于接收干净上下文帧的条件帧接口输入，配合可训练 patch embedding 和 LoRA 适配器形成确定性时空特征；姿态专家输出 MANO 形状、全局腕部旋转、解剖学约束关节角和度量相机空间平移，触觉专家则在姿态流冻结后独立训练，从 16 个骨骼令牌经 MANO 线性混合蒙皮权重扩散到 778 个顶点，其核心读取机制可概括为 h_{t,v}=Σ_j W_{lbs,vj}[X_B^L]_{t,j}+m_v，从而避免昂贵的逐顶点注意力。RLHND 还将首个充分可见片段估计的形状缓存为整个视频共享的 β_cache，或直接注入操作者一次性校准的 β，并把 MANO 的 45 个旋转自由度压缩为符合人手结构的 29 个自由度。训练上，第一阶段混合第一视角和第三视角手部视频，第二阶段使用 OpenTouch 手套和 PressureVisionDB 压力垫的力标签，以及由手物网格有符号距离生成的接触标签；运动重建在留出的 HOT3D、ARCTIC 第一视角划分和对所有方法均零样本的 EgoDex 上评估，触觉在 OpenTouch、PVDB、DexYCB、HOT3D 和 ARCTIC 上评估，机器人效用通过五个灵巧手重定向以及 Dexterous Point Policy 真实实验验证。评价指标包括 F_Acc、MPJPE-p、PA-p、MPJPE+OOS、EPE2D-p、Jitter、σ_shape、接触 F1/AUROC、力 MAE/RMSE、重定向 Q-err/Jerk 和真实任务成功率；RLHND 在 HOT3D 上取得 0.996 的 F_Acc 和 13.01 mm 的 MPJPE-p，显著优于 ACE-Ego-Hand 的 0.928 和 24.41 mm，在 EgoDex 上 F_Acc 为 1.000，在四个接触数据集的 F1 和 AUROC 上均最佳，OpenTouch 力 MAE 为 0.489 kPa，PVDB RMSE 为 2.066，并在五种灵巧手上取得最低或接近最低的 Q-err 和很低的指令抖动，DPP+RLHND 的总真实机器人成功率从 80.8% 提升到 87.5%。这些结果支持了视频基础模型先验、形状缓存、解剖学姿态参数化和解耦触觉专家的作用。后续方向包括融合更多异构触觉传感器、提高首次可见形状缓存的鲁棒性、改进跨运动学和柔顺性差异的手到机器人映射、利用预测力的大小而非二值接触，以及降低离线计算成本和实现实时推理。该方法适用于拾取放置、物流塑料袋翻转分拣和纸巾装配等场景，但接触与力属于推断而非硬件测量，部署时需要关节力矩或电流限制、人工监督，并注意公共数据在主体、手形和肤色上的多样性限制。\n\n### 关键要点\n\n- RLHND 将 Cosmos 3 Nano 视频扩散骨干通过干净潜变量条件帧接口改造成确定性片段级特征提取器，而不是把干净视频以噪声水平 σ=0 送入去噪接口。\n- 形状缓存机制把首个充分可见片段输出的 β 作为整个视频的 β_cache，使同一记录内的手形标准差 σ_shape 降为 0，也支持注入预先校准的操作者手形。\n- RLHND 按解剖轴分解 MANO 关节旋转，禁用 PIP 和 DIP 关节上不可行的扭转与外展自由度，将原始 45 个旋转自由度约束为 29 个自由度。\n- 触觉专家在第二阶段单独训练，且第一阶段姿态流完全冻结，因此稀缺触觉数据的监督不会干扰姿态精度。\n- 基于 LBS 的顶点读取用固定 MANO 蒙皮权重把 16 个骨骼级特征扩散到 778 个顶点，避免逐帧对所有顶点执行高成本注意力。\n- 运动重建评估覆盖 HOT3D、ARCTIC ego 和训练中未见的 EgoDex；触觉评估结合 OpenTouch、PressureVisionDB 以及网格派生接触标签。\n- 在 HOT3D 上，RLHND 的 F_Acc 为 0.996、MPJPE-p 为 13.01 mm、EPE2D-p 为 6.84 像素，整体显著优于 HaMeR、WiLoR、HaWoR、HaPTIC、HandFlow 和 ACE-Ego-Hand。\n- RLHND 在 OpenTouch、DexYCB、HOT3D 和 ARCTIC 的接触 F1 与 AUROC 上均取得最佳结果，并在 OpenTouch 力 MAE 和 PVDB RMSE 上表现出竞争力。\n- 使用同一 DexPilot 求解器重定向到 Sharpa Wave、WUJI v2、Shadow、Inspire RH56 和 ALLEX 时，RLHND 在五种灵巧手上均取得最低或接近最低的 Q-err，并产生很平滑的关节指令。\n- 在真实 RB-Y1 双臂机器人上，DPP+RLHND 的总成功率为 87.5%，高于原始 DPP 的 80.8%，其中双手任务平均成功率从 64.1% 提升到 75.0%。\n- 主要限制包括力监督来源较少、触觉传感器标签难以统一、手到机器人动作仍依赖固定逆运动学和启发式接触偏移、模型较大且当前为离线处理，推断的接触和力不能替代真实力测量与安全约束。"
}