{
  "paper_id": "687197446df5057b26ad7d8398bc13c5",
  "paper_title": "RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning",
  "paper_authors": [
    "Seungjun Moon",
    "Subin Jeon",
    "Sangwoo Kim",
    "Hanbyul Joo",
    "Jinwoo Shin"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "近来，利用人类视频训练机器人策略的方法日益普遍，但多数现有手部跟踪器从裁剪帧中回归姿态，对手部运动和手物交互的先验有限，导致估计不准确且物理不一致；接触、力等物理线索的缺失也限制了人类视频在机器人策略训练中的应用。为此，本文提出 RLHND，这是一种基于视频基础模型的手部跟踪模型，可从单目第一视角视频中联合估计手部姿态和真实触觉信息。RLHND 通过干净潜变量条件化，将预训练的 Cosmos 3 视频扩散骨干转化为确定性的片段级特征提取器，把其学到的手部运动和手物交互先验引入跟踪。姿态估计方面，RLHND 预测具有解剖学合理关节角的手部姿态，并支持可选的形状参数条件化，以在同一视频内、甚至同一操作者录制的不同视频间保持一致手形。触觉估计方面，独立的触觉专家流在姿态流冻结的情况下进行训练，预测手部表面的稠密接触和力。本文还采用基于 LBS 的特征扩散，以较低成本实现逐顶点特征提取。RLHND 在多个姿态估计基准上达到最先进性能，同时在接触和力估计上也达到最先进水平，并通过重定向结果和真实机器人实验展示了其在机器人学习中的效用。\n",
  "keywords": [
    "手部跟踪",
    "视频基础模型",
    "触觉估计",
    "接触估计",
    "力估计",
    "机器人学习",
    "第一视角视频",
    "MANO",
    "动作重定向",
    "Cosmos 3"
  ],
  "paper_institutions": [
    "RLWRLD",
    "KAIST",
    "Seoul National University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:45.870854Z",
  "template_tag": "deep_read",
  "summary": "# RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning\n\n\n**作者 / Authors:** Seungjun Moon, Subin Jeon, Sangwoo Kim, Hanbyul Joo, Jinwoo Shin\n\n\n**单位 / Institutions:** RLWRLD, KAIST, Seoul National University\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：文档包含正文、图1–15、表1–11及附录A–C，覆盖方法、训练细节、评测指标、消融与限制；未提供可核验的代码仓库内容、数据集原始页面或正式出版信息。文档称代码将公开于项目页，但当前仅见声明，需外部核验。\n论文类型判定：method（方法论文）。核心贡献是一个可训练的手部跟踪模型与两阶段训练流程，而非综述或纯系统描述；因此按“机制—训练/推理—评测条件—部署成本”的方式阅读。\n影响解释的材料缺口：正式发表信息、代码/权重实际可获得性、外部基准的当前SOTA状态均未在文档内确认；触觉监督仅来自少量力标注数据源，作者也在限制部分承认这一点。\n\n\n\n\n\n### 问题\n\n问题：用人类第一视角视频训练机器人策略时，需要把人的手部动作转成机器人可用的3D动作标签，并希望同时获得接触/力等物理信息；但现有手部跟踪器多从裁剪帧逐帧回归MANO参数，缺乏手部运动与手物交互先验。\n为何重要：机器人学习对动作标签的3D稳定性很敏感，深度方向的小误差会变成不可行或不同的机器人动作；同时，缺少接触与力线索会限制从人类视频学习精细操作。\n现有方法主要不足：其一，逐帧或裁剪框方法继承检测框抖动，3D轨迹在深度轴抖动/漂移明显，且透视投影的尺度—深度歧义会把深度误差吸收到手形估计中，导致同一视频内手尺寸波动（图1）；其二，多数方法只输出姿态，缺少稠密接触与力估计。\n形式化目标（简述）：给定单目视频片段，估计双手的MANO姿态、形状与度量相机平移，并在手表面每顶点输出接触概率与力。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话概览：RLHND把预训练视频扩散模型Cosmos 3改造成确定性的片段级特征提取器，在统一框架中联合估计度量准确的双手动捕与稠密接触/力。\n核心思路与相对已有工作的贡献：用Cosmos 3的干净潜变量条件接口接收干净视频帧，保持与预训练接口一致，并提取片段级时空特征；姿态专家流采用缓存手形参数β、解剖学约束的29 DoF姿态参数化和基于射线的混合PnP求解；触觉专家流在冻结姿态流后单独训练，并用MANO线性混合蒙皮权重把骨骼级特征扩散到778个顶点，避免逐顶点注意力。相对ACE-Ego-Hand等基线，关键区别是固定/可注入手形、解剖约束姿态、解耦触觉专家与LBS特征扩散。\n最重要结果与条件：作者声称并在表1报告在HOT3D、ARCTIC ego及零样本EgoDex上取得最优或接近最优运动重建，例如HOT3D MPJPE-p为13.01 mm，低于ACE-Ego-Hand的24.41 mm；表2报告在OpenTouch、DexYCB、HOT3D、ARCTIC接触估计及OpenTouch/PVDB力估计上整体最优；表3显示五种灵巧手上的重定向Q-err最低或接近最低；表4显示DPP+RLHND在真实机器人任务上平均成功率87.5%对80.8%。这些是作者在既定评测协议、官方基线权重和特定数据划分下的主张；零样本EgoDex与触觉结果受标签来源和传感器差异限制，外推需谨慎。\n优先阅读部分：第3.1节干净潜变量编码器、第3.2节形状缓存与解剖约束、第3.3节触觉专家与LBS读出、第4.1–4.3节表1–4、第4.4节表5消融、附录A.1–A.4的β缓存流程、伪标签与指标定义、附录B.2的抖动分解、附录C的限制。\n下一轮问题：Cosmos 3条件接口相较去噪接口的增益是否被消融充分隔离？β缓存只改善尺寸一致性而不改善抖动的结论是否稳健？触觉专家的接触提升有多少来自额外接触-only数据？重定向Q-err与真实任务成功率之间的关系是否充分？\n下面进入第二轮，重点拆解干净潜变量编码器、姿态/触觉两条专家流及其证据链。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入与输出。输入为单目视频，切成 W 个片段 C_w=(I_t)_{t=1}^T，T=81；输出每帧每手的 MANO 形状 β̂（10维）、29 DoF 关节角 θ̂_t（含全局腕旋转）、度量相机平移 τ̂_t∈R^3、存在/可见标志；触觉输出 778 个顶点上的接触概率 ĉ_t∈[^0] [^1]^778 与力 f̂_t∈R^778。整体由三部分组成：干净潜变量编码器、姿态专家流、触觉专家流（图2）。\n(1) 干净潜变量编码器。用 Wan2.2 VAE 把 C_w 编码为 z=E_VAE(C_w)，送入 Cosmos 3 Nano 的 conditioning-frame 接口（预训练时用于干净上下文帧），而不是像 ACE-Ego-Hand 那样把干净视频从去噪接口以 σ=0 注入；只训练 patch embedding 与 LoRA（rank 64），得到确定性特征网格 F∈R^{T'×h×w×D_f}。动机：保持微调与预训练输入分布一致；空 prompt，因为视频已由干净帧条件化。这里没有扩散采样，VAE 加骨干是一次前向，故称“确定性”。\n(2) β 缓存与手令牌。X_H^w=q_H+g_β(β_cache)，g_β 零初始化；β_cache 取第一个可见比例 v^w>T_v 的片段的形状估计，若不存在则用当前片段形状；之前片段在形状确定后重解码（算法1、图5）。作用：同一视频或同一演员固定手尺寸，消除尺度—深度歧义下“深度误差被吸收进形状”的波动；也允许外部标定直接注入 β。训练时以0.5概率教师强制 GT β 并关闭 β 头损失，使测试时无 β 条件也能工作。\n(3) 解剖约束姿态。标准 MANO 15 个关节乘3轴为45 DoF；按 Yang et al. 2021 的 twist/spread/bend 轴分解 R_j=exp(φ_j^twist [a_j^twist]_×) exp(φ_j^spread [a_j^spread]_×) exp(φ_j^bend [a_j^bend]_×)，并约束非拇指 PIP/DIP 的 twist=spread=0（式3），拇指因鞍状腕掌关节不约束，剩29 DoF。训练标签由原始45 DoF通过 IK 投影到可行集 C：Θ̂_c=argmin_{Θ_c∈C} ||J(Θ_c;β)-J(Θ;β)||_2^2（式4），用阻尼 Gauss–Newton φ←φ+(G^T G+λI)^{-1}G^T ε（式5，λ=1e-3，3次迭代）求解。作用：去掉解剖不可行自由度，提升关节角可跟踪性；代价是标签转换有0.5–1 mm残差，且评测仍用原始关键点以避免改 GT。\n(4) 位姿读出头与平移。F 加空间位置编码和 Fourier 射线嵌入，经空间交叉注意力与双向时间自注意力解码；头输出姿态、形状、深度、存在。平移用 ACE 的 ray-based mixed-PnP：深度头给 τ_z，固定每个关节深度 z；由2D锚点反投影得 bearing b=Π_K^{-1}(â)，闭式最小二乘解 τ_x,τ_y=argmin Σ_j w_j ||(J_xy^can+(τ_x,τ_y))/z_j-b_j||^2，w_j=z_j^{-2}；投票不足或残差大时退化为把腕放在其 bearing 上。得到 J^cam=J^can+τ。\n(5) 触觉专家。姿态流冻结后单独训练。每手16个骨骼 token X_B∈R^{2|B|×D}，不做778顶点注意力；时间推理在骨骼级，输出时用固定 MANO LBS 权重 W_lbs∈R^{778×16} 扩散：h_{t,v}=Σ_{j∈B} W_lbs,vj [X_B^L]_{t,j}+m_v（式6），其中 X_B^L 由 T' 插值到 T。两个小 MLP 读接触 logit 与力分布 logit；每手总力 F̂_t 由手 token 经 softplus 得到，逐顶点力 f̂_t,v=F̂_t softmax_v(·)。作用：把稀缺触觉监督与位姿解耦，避免触觉梯度扰动姿态；LBS 把复杂度从逐顶点注意力降到 O(V|B|)。\n(6) 训练目标。Stage-1：L_pose=λ_rot L_rot+λ_β L_β+λ_3D L_3D+λ_2D L_2D+λ_τ L_τ+λ_pres L_pres+λ_tmp L_tmp+λ_ray L_ray（式7）。Stage-2：L_tactile=λ_c BCE_w(ĉ,c)+λ_F (1/|V|)|Σ f̂-Σ f|+λ_π CE(f̂/Σ f̂, f/Σ f)（式8），接触正样本加权10。\n\n\n\n\n\n### 评测设置\n\n数据。Stage-1 混合 ARCTIC、HOT3D、H2O、OakInk2、DexYCB、HO3D、HRDexDB；Stage-2 力标签来自 OpenTouch（16×16 taxel，169 active，映射到205/778顶点）和 PressureVisionDB（421掌侧顶点），接触-only 几何标签来自 ARCTIC/HOT3D/DexYCB/HO3D/HRDexDB/OakInk2。接触标签用 signed distance d=±dist(x,S_obj)，c=1[d≤5mm]，穿透顶点仍标接触（图6）；无符号距离会漏掉抓握最紧的指尖。力标签遵循 HOPE 的修订与门控。\n评测。HOT3D test 210k手帧、ARCTIC egocentric val 53k、EgoDex test 174k；EgoDex 对本文和所有基线均零样本。指标：FAcc、MPJPE-p、PA-p、MPJPE+OOS、EPE2D-p、Jitter、σ_shape；触觉 F1/AUROC（阈值0.8）、力 MAE/RMSE（kPa）；重定向 Q-err（度）与 Jerk（度/frame²）；真机成功率。检测门控的 “-p” 指标对漏检手施加固定惩罚，防止丢帧刷分。\n训练与推理。T=81，输入高480；解码器 D=384、4层、8头、4 register tokens；LoRA rank64；AdamW，lr 2e-4（decoder/ray/tactile）、1e-4（LoRA）、2e-5（patch embedding）；stage-1 20k steps、8×H100、每卡2 clip、梯度累积2（有效batch 32）；stage-2 20k steps、单A100、batch2，冻结stage-1。推理 7.8B 参数，6.9 ms/帧（H100，双手，144.5 FPS），不含视频解码（表9）。\n基线与公平性。所有基线用官方权重/代码在同一批帧重跑，crop 方法共用 WiLoR 检测器与 HaWoR 检测逻辑，故 FAcc 相同；ACE 用官方 checkpoint 单次前向。注意：表2各列接触 GT 定义不同（OpenTouch 由手套压力>1kPa，DexYCB/HOT3D/ARCTIC 由网格距离5mm），不能简单横向平均；力只有两个源；ARCTIC 无 test GT，用 val；HOPE 结果由作者按同一帧重跑而非引用原文。真机 DPP：200人类演示加200遥操作机器人 episode，6任务，16 trials/条件；两行仅手部关键点标签不同，接触标签都用 RLHND（HaWoR无接触头）；人类关键点都做同样的立体深度对齐与清理。缺失：各源确切帧数/数据配比权重、ACE 训练成本、触觉数据传感器差异的校准细节未完全给出；未报告跨肤色/手型鲁棒性与随机种子方差。\n\n\n\n\n\n### 结果与证据\n\n位姿重建的证据较强（表1）。HOT3D：MPJPE-p 13.01 vs ACE-Ego-Hand 24.41 mm，PA-p 6.72 vs 8.60，EPE2D-p 6.84 vs 38.09，Jitter 4.38 vs 6.48；FAcc 0.996 vs 0.928。ARCTIC ego：MPJPE-p 13.36 vs 14.86，Jitter 4.19 vs 3.52（此处 RLHND 略差），FAcc 0.993 vs 0.994（略差）。EgoDex 零样本：MPJPE-p 19.90 vs 20.95，Jitter 2.93 vs 3.01。β-cache 把 σ_shape 降到0.00，但 Jitter 基本不变（4.39/4.18/2.94），说明它解决尺寸一致性而非抖动；无缓存时 HOT3D σ_shape 1.30 反而略高于 ACE 的1.22，作者也承认缓存只改善尺寸一致性（4.1、B.2）。\n触觉（表2）。接触在四个数据集上均为最佳：OpenTouch F1 0.696、AUROC 0.980；DexYCB 0.572/0.915；HOT3D 0.589/0.959（HOPE 仅0.197/0.762）；ARCTIC 0.602/0.935。力：OpenTouch MAE 0.489、RMSE 2.508，明显优于 HOPE 1.781/5.388；但 PVDB MAE 0.274 差于 HOPE 0.236 和 PressureVision++ 0.248，仅 RMSE 2.066 略优于 HOPE 2.091。因此摘要在“force estimation 全面SOTA”上的表述过强，至少 PVDB MAE 不支持。\n重定向与机器人（表3、表4）。五种灵巧手平均 Q-err 均最低：12.7/16.1/9.6/6.0/10.2 度，ACE 为14.0/17.4/10.8/7.4/12.0；Jerk 也更低或相当。真机 DPP+RLHND 平均成功率87.5% vs 80.8%，拾放平均93.8% vs 89.1%，双臂平均75.0% vs 64.1%，其中塑料袋59.4% vs 53.1%、装纸巾90.6% vs 75.0%；增益主要来自双臂任务，且每条件16次试验，未报告置信区间。\n消融（表5）支持“编码器最重要、其余是增量”的解读。A0 去掉 Cosmos 3 后 ARCTIC/EgoDex MPJPE 退化到16.62/21.57；A1 去掉约束姿态为14.26/19.91；A2 去掉 β 条件为14.87/20.06；完整模型13.36/19.90。A4 用 GT β 在 ARCTIC 降到13.15，但 EgoDex 未报告。触觉侧 B0 去掉 Cosmos 3、B1 用可学习778×16扩散矩阵，均有退化；B2 去掉 contact-only 数据造成接触 F1 崩到0.047/0.145/0.117，而力几乎不变（MAE 0.500 vs 0.489），说明接触性能高度依赖网格几何伪标签，不能全部归因于专家结构。总体：位姿与重定向证据较强，触觉接触证据强但受标签来源影响，力估计并非全面最佳，真机证据显示可用性但样本量有限。\n\n\n\n\n\n### 相关工作\n\n最接近的工作是 ACE-Ego-Hand（Liu et al., 2026），RLHND 明确以其为基座：同样把整段视频而非裁剪帧送入视频骨干，联合推断双手，并用空间交叉注意力、双向时间自注意力与 ray-based mixed-PnP 解平移。实际差异有三点。其一，输入接口：ACE 把干净视频从 Wan2.2 去噪接口以 σ=0 注入并使用固定 caption；RLHND 改用 Cosmos 3 的 conditioning-frame 接口接收干净上下文帧、空 prompt，只训练 patch embedding 与 LoRA，作者称这样更贴合预训练分布（3.1）。其二，手令牌与姿态参数化：ACE 用固定可学习手令牌并回归标准 MANO；RLHND 用 β_cache 注入手形（式1），并把 45 DoF 约束为 29 DoF 解剖可行角（式2–5）。其三，RLHND 增加冻结姿态流后单独训练的触觉专家与 LBS 顶点读出（3.3），ACE 不输出接触/力。代价：RLHND 推理 7.8B 参数、6.9 ms/帧（H100，双手），ACE 3.0B、1.8 ms/帧，约慢4倍；但 HOT3D MPJPE-p 13.01 vs 24.41 mm（表1、表9）。\n与 HOPE（Jeon et al., 2026）相比：两者都采用统一的 MANO 表面接触/力标签，但 HOPE 是独立的顶点 transformer，RLHND 把触觉作为姿态模型的第二专家，用16个骨骼 token 加固定 LBS 权重扩散到778顶点，避免逐顶点注意力；表2中 OpenTouch 力 MAE 0.489 vs 1.781 kPa，但 PVDB MAE 0.274 vs 0.236 kPa，说明“全面SOTA”不成立，优势依赖数据集与传感器。\n与 HaWoR/HaPTIC 等 crop/跟踪式方法相比：后者逐帧或逐裁剪回归，继承检测框抖动；RLHND 片段级解码，表1的 Jitter 4.38 vs 26.13/38.27（HOT3D），β-cache 进一步把 σ_shape 降到0。与 Wang et al. (2026) 的“视频扩散先验”路线相比，RLHND 的关键差别是 clean-latent conditioning 而非去噪接口，以及显式手形缓存与触觉头。上述均为论文自述与论文内重跑结果；正式发表、代码/权重实际可用性待外部核验。\n\n\n\n\n\n### 关键图表解读\n\n图1（引言）：左图 ARCTIC test clip 850帧的腕深度，右图每视频估计手尺寸的标准差；基线在深度轴振荡/漂移，同一视频内手尺寸约8 mm波动。它支撑“现有跟踪器 3D 不稳定、尺度—深度歧义”的问题动机，但只是单个片段/统计示例，不能单独证明所有基线在所有数据上的失败模式。\n表1（4.1）：核心位姿证据，三个测试集、同一批评测帧、含 β-cache 两行。它支撑“片段级+手形缓存+约束姿态”在 MPJPE/PA/EPE2D/Jitter 上整体优于 crop 方法与 ACE；但 β-cache 只把 σ_shape 归零，Jitter 不变，且 ARCTIC 的 FAcc 与 Jitter 并非全面胜出，解释时不能把增益全归给 β-cache。\n表2（4.2）：接触与力证据。接触四列均最佳，支撑触觉头；力在 OpenTouch 大幅领先，但 PVDB MAE 落后 HOPE，且各列接触 GT 定义不同（压力阈值 vs 网格距离），所以“全面SOTA”应降级为“多数设置最佳、力估计依赖数据集”。\n表5（4.4）： leave-one-out 消融。A0 去掉 Cosmos 3 退化最大，说明视频骨干是主因；A1/A2 的退化较小，说明解剖约束与 β 条件是增量而非主导。B2 去掉 contact-only 数据后接触 F1 崩落而力不变，说明接触头的表现很大程度来自几何伪标签，不能只归功于 LBS/专家结构。\n表4（4.3）：真机 DPP 结果。它支撑“自动关键点+接触标签可用于策略学习”，平均87.5% vs 80.8%，但增益集中在双臂任务，且两行都用 RLHND 接触标签、仅换关键点，每条件16次试验，不能据此分离位姿精度与接触标签各自的贡献。\n过渡：这些证据总体上支持方法有效，但把“最佳”拆成编码器、手形、解剖约束、触觉数据与专家结构后，强项与边界并不相同，下面进入评测性总结。\n\n\n\n\n\n### 术语表\n\nMANO：常用参数化手模型，提供形状 β、姿态 θ、16个关节的 kinematic tree 与778个顶点；本文所有位姿/接触/力输出都在 MANO 表面上定义。\nβ：10维手形参数，控制手骨长度与手掌尺度；本文用 β_cache 在整段视频固定一个值。\nθ：关节旋转参数；标准 MANO 为15关节×3轴=45 DoF，本文约束为29 DoF。\ntwist/spread/bend：把每个关节旋转分解为沿解剖轴的扭转、张开、弯曲三个角，用于禁用人类手指不可行的轴。\nβ-cache：从第一个足够可见的片段取 β 并复用于全视频；也允许外部标定直接注入。作用是消除手尺寸漂移，不直接消除关节抖动。\nclean-latent conditioning：把干净视频经 VAE 编码后的潜变量送入 Cosmos 3 的“条件帧”接口，而不是走扩散去噪接口；使微调输入与预训练接口一致。\nLoRA：低秩适配器，本文 rank 64，只训练 patch embedding 与 LoRA，冻结大部分骨干。\nWan2.2 VAE：Cosmos 3 使用的视频 tokenizer，把片段压成时空潜变量。\nCosmos 3 Nano：本文的视频基础模型骨干，约7.8B 参数（表9）。\nray-based mixed-PnP：深度头给 τ_z，2D 锚点给 bearing，闭式最小二乘解 τ_x、τ_y；投票不足时回退到腕部 bearing。\nbearing：像素坐标经内参反投影得到的归一化视线方向。\nLBS：linear blend skinning，MANO 的固定顶点—骨骼权重矩阵；本文用它把16个骨骼 token 扩散到778顶点。\nbone token：每手16个骨骼级 token，代替逐顶点 token 做时间推理。\ncontact：逐顶点接触概率/二值标签；几何标签由 MANO 顶点到物体网格的 signed distance ≤5 mm 定义。\nforce：逐顶点压力，单位 kPa；本文用力分布 softmax 与每手总力 softplus 表示。\nF1/AUROC：接触的阈值化 micro-F1 与排序指标；F1 阈值0.8，AUROC 用20k bin 直方图近似。\nMPJPE-p/PA-p/EPE2D-p：检测门控的3D关节误差、Procrustes 对齐误差、2D重投影误差；漏检手施加固定惩罚。\nJitter：相机坐标系关节二阶时间差分的平均范数，单位 mm/frame²，衡量抖动而非精度。\nσ_shape：同一录制内估计手尺寸（中指骨链长度）的标准差；单一 β 时为0。\nQ-err：重定向关节命令相对“用 GT 关节跑同一 solver”的平均绝对角偏差，单位度。\nJerk：重定向命令的二阶差分中位数，单位度/frame²；本文禁用 DexPilot 低通以反映跟踪器噪声。\nDPP：Dexterous Point Policy，用关键点与接触标签从人类演示训练灵巧手策略。\nDexPilot：本文统一使用的重定向 solver，wrist-relative 目标。\nzero-shot：EgoDex 不参与训练，本文与所有基线均直接评测。\n\n\n\n\n\n### 全部图表索引\n\n材料含图1–15、表1–11、附录A–C；图像本身在文本中只有占位与图注，以下按图注/正文定位，视觉细节未直接核验。\n图1：3D 手运动重建的深度不稳定与手尺寸波动；引言；支撑问题动机（模块_d）。\n图2：RLHND 总览，Cosmos 3 conditioning-frame 接口、姿态专家与触觉专家；第3节；对应 module_c3 的三段式结构。\n图3：HOT3D/ARCTIC/EgoDex 位姿定性比较；4.1；支撑轨迹与网格 overlay 的改进。\n图4：OpenTouch/PVDB 接触与力定性比较；4.2；支撑接触区域与压力图。\n图5：β-cache 推理流程（HOT3D Aria，81帧窗口，窗口1–3回解码）；A.1；解释式1与算法1。\n图6：无符号距离 vs 有符号距离的接触标签（DexYCB 两个抓握）；A.2；说明穿透顶点漏标问题。\n图7：DPP 训练数据示例，人类演示与机器人 episode；A.5；说明真机实验数据。\n图8：RLHND 自动接触标签示例；A.5；支撑 DPP 的自动标注。\n图9：RB-Y1 + WUJI 手真机平台；A.5；说明机器人硬件。\n图10：DPP+RLHND 六任务 rollout；A.5/B.1；定性支撑表4。\n图11：DPP 微调损失与关键点位移误差，三种 human:robot 比例；A.5/B.1；支撑 RLHND 标签更易训练。\n图12：人类手腕深度 vs 立体深度，raw 与对齐后；B.1；支撑 RLHND 深度误差更小（中位2.3 cm，比 HaWoR 低17.8%）。\n图13：吞吐 vs 精度，气泡大小为参数量；B.3；支撑表9的部署成本比较。\n图14：更多 EgoDex 位姿定性结果；B.5；补充图3。\n图15：更多 OpenTouch/PVDB 触觉定性结果；B.5；补充图4。\n表1：运动重建定量比较，含 β-cache 两行；4.1；核心位姿证据（模块_d）。\n表2：接触与力定量比较；4.2；核心触觉证据，注意各列 GT 定义不同。\n表3：五种灵巧手平均重定向 Q-err/Jerk；4.3；支撑动作空间可用性。\n表4：DPP 真机成功率；4.3；支撑机器人学习效用。\n表5：leave-one-out 消融 A0–A4、B0–B3；4.4；支撑组件归因。\n表6：约束标签拟合 solver 比较（DexYCB/ARCTIC，4057/4089帧）；A.2；说明式5的选择与代价。\n表7：stage-1 损失权重；A.5；对应式7。\n表8：Jitter 分解为 Jitter_z/Jitter_xy；B.2；解释 β-cache 为何不改抖动。\n表9：推理成本（参数量、检测器/模型 ms、FPS、HOT3D MPJPE-p）；B.3；支撑部署成本讨论。\n表10：分数据集重定向结果（HOT3D/ARCTIC/EgoDex × 五种手）；B.4；表3的细分。\n表11：one-way pose attention 消融；B.6；说明直接 attends 姿态 token 无稳定增益。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n**可信结论（论文内证据）。** 位姿主结果较强：表1 HOT3D MPJPE-p 13.01 vs ACE-Ego-Hand 24.41 mm，EgoDex 零样本 19.90 vs 20.95；但 ARCTIC 的 Jitter 4.19 vs 3.52、FAcc 0.993 vs 0.994 并不占优，因此应表述为“多数指标/多数数据集更优”，而非所有指标全面 SOTA。表5 A0 去掉 Cosmos 3 后退化最大，A1/A2 退化较小，支持“视频骨干是主因，解剖约束与 β 条件是增量”。表8 表明 β-cache 使 σ_shape=0，但 Jitter_z/Jitter_xy 基本不变，支持“β-cache 解决尺寸一致性而非抖动”。触觉接触在表2 四个数据集上 F1/AUROC 均最佳，但 B2 去掉 contact-only 数据后 F1 崩到 0.047/0.145/0.117，说明接触性能高度依赖网格几何伪标签，不能全部归功于 LBS/专家结构。力估计只有 OpenTouch 明显领先（MAE 0.489 vs HOPE 1.781），PVDB MAE 0.274 差于 HOPE 0.236 和 PressureVision++ 0.248，故“force estimation 全面 SOTA”支持不足。重定向表3 五种手平均 Q-err 最低，但表10 显示 EgoDex 差异很小、部分手并非最低，只能支持“动作空间可用性较好”。真机表4 平均 87.5% vs 80.8%，每条件 16 trials、无置信区间，且两行都用 RLHND 接触标签、只换关键点，不能分离位姿与接触的贡献；增益主要集中在双臂任务。\n**关键假设、失败场景与后果。** 其一，假设 Cosmos 3 的 conditioning-frame 接口与预训练分布对齐；但 A0 用 Wan2.2 替换整个骨干，未在同一 Cosmos 3 上单独比较 conditioning 与去噪接口，因此“接口本身带来增益”未被因果隔离。若接口不匹配，微调可能损失预训练先验，核心新颖性被高估。其二，假设首个足够可见窗口的 β 能代表整个录制/操作者；Limitations 承认公共基准无外部标定，A4 仅在 ARCTIC 用 GT β，EgoDex 未报告。若首窗遮挡或手形变化，深度与尺度会被固定错值污染，进而影响重定向。其三，假设 signed-distance 接触标签与 HOPE 力标签可迁移；Fig. 6 和 B2 支持 signed distance 的必要性，但物体网格穿插、手套漂移和传感器差异仍会制造标签噪声；后果是接触 F1 可能被几何标签质量主导，力估计跨传感器泛化未证。其四，假设 16 个骨骼 token 加固定 LBS 足以表达顶点级触觉；B1 去掉 LBS 有退化，但未与全顶点注意力在同等算力下比较，细粒度接触可能被平滑。其五，假设冻结姿态流可保护位姿；但触觉专家无法纠正位姿错误，位姿误差会直接成为触觉条件误差。\n**复现计划。** 必需制品：Cosmos 3 Nano 与 Wan2.2 VAE 权重/接口、MANO 模型与 LBS 权重、Stage-1 七个数据集及官方划分、OpenTouch/PVDB 与 HOPE 标签协议、ACE-Ego-Hand/HOPE/HACO/HaMeR/WiLoR/HaWoR/HaPTIC/HandFlow 官方权重与代码、DexPilot、以及可选的 DPP checkpoint 与 RB-Y1/WUJI 平台。关键设置：T=81、输入高 480、解码器 D=384、4 层、8 头、4 register tokens、LoRA rank 64；AdamW，lr 2e-4（decoder/ray/tactile）、1e-4（LoRA）、2e-5（patch embedding）；Stage-1 20k steps、8×H100、有效 batch 32，Stage-2 20k steps、单 A100、batch 2；损失权重按 Table 7，接触正样本权重 10，IK 用阻尼 Gauss–Newton、λ=1e-3、3 次迭代，接触阈值 δ_c=5 mm；触觉 λ_c=λ_F=λ_π=1。验证步骤：先复现标签管线（29-DoF IK、signed-distance 接触、OpenTouch/PVDB 力映射与门控），再复现表1 的 per-window 与 β-cache 两行；随后跑表5 A0–A4、B0–B3，重点检查 A0 是否显著退化、β-cache 是否只把 σ_shape 归零、B2 是否只崩接触而不崩力；再做表2 触觉与表3/10 重定向；若有条件，按表4 做 2×2 真机因子实验。成功标准：不必逐位复现，但应保持报告的关键排序——A0 明显差于完整模型、β-cache 不改善 Jitter、B2 接触 F1 大幅下降、OpenTouch 力明显优于 HOPE 而 PVDB MAE 不优于 HOPE；若 MPJPE 差距达到数毫米或排序反转，应优先排查数据帧列表、接口实现与 β 协议。阻塞项：代码/权重仅声明“将公开”，尚未可核验；Cosmos 3/Wan2.2 的访问与许可证、HOPE checkpoint（作者称按请求共享）、OpenTouch allowlist、DPP 预训练 checkpoint 与真机平台均为外部依赖。\n\n\n\n\n\n### 应用约束\n\n**数据约束。** Stage-1 混合 ARCTIC、HOT3D、H2O、OakInk2、DexYCB、HO3D、HRDexDB，标签类型和 MANO 拟合质量不一；Stage-2 的力监督只有 OpenTouch（16×16 taxel，169 active，映射到 205/778 顶点）与 PressureVisionDB（421 掌侧顶点），接触-only 几何标签来自六个带物体网格的数据源。复现需要处理各数据集许可、taxel-to-vertex 对应、HOPE 的漂移门控与 OpenTouch allowlist（1469 clips）。公共基准不提供操作者手形标定，β-cache 只能从首个足够可见窗口估计。\n**计算与延迟。** 推理为 7.8B 参数、6.9 ms/帧（H100，双手，144.5 FPS，不含视频解码；Table 9），按 81 帧 clip 约 0.56 s 模型前向，仍需加解码与可能的检测/跟踪逻辑；Stage-1 为 8×H100、20k steps、有效 batch 32，Stage-2 为单 A100、20k steps、batch 2。部署需要 GPU，不适合边缘实时闭环；论文明确说 RLHND 是离线 clip 处理，而非实时跟踪器。\n**鲁棒性与适用边界。** ARCTIC 上 Jitter 4.19 vs ACE 3.52、FAcc 0.993 vs 0.994，说明并非所有指标全面胜出；EgoDex 零样本增益较小。跨肤色、手型、手大小和随机种子方差未报告（Ethics/Limitations 也承认数据多样性有限）。接触/力是推断值而非测量值；用于机器人时应加关节力矩/电流限制与人类监督。重定向使用固定 DexPilot、锁定 abduction、启发式接触偏移，不能保证跨手运动学与柔顺性最优。\n**演示部署 vs 推断。** 真机演示是 RB-Y1 + WUJI Hand 2、6 个任务、每条件 16 trials，策略用 6 个 Euler steps，对象点以 5 Hz 在线提取；这是“策略可用性”的演示，不是跟踪器在机器人上实时运行的证明。H100 吞吐是离线推断成本；Table 4 的两行都使用 RLHND 接触标签，仅关键点来源不同，因此不能把成功率增益单独归因于位姿精度或接触估计。\n\n\n\n\n\n### 探索问题\n\n1. **clean-latent conditioning 是否独立带来增益？** 验证：固定同一 Cosmos 3 骨干、同一数据与训练步数，只切换“conditioning-frame 接口 + 空 prompt”与“去噪接口 σ=0 + 固定 caption”，并加入同参数量 Wan2.2 对照，比较表1指标与收敛速度。可能收益：把当前 A0 中“换骨干”和“换接口”的混淆拆开，确认论文最核心的接口主张。风险：两种接口的预处理、位置编码和可训练模块难以完全对齐，容易出现实现差异而非机制差异。\n2. **β-cache 在无外部标定、首窗质量差时是否稳健？** 验证：在 HOT3D/ARCTIC/EgoDex 上人为选择低可见度、遮挡、快速运动的首个合格窗口，比较首窗 β、全视频 GT β、逐窗 β 三种设置下的 MPJPE、σ_shape、Q-err 与深度偏差；并在真实采集流程中测量一次手形标定的收益。可能收益：判断“固定手形”在机器人数据采集中的实际价值，而不只是把 σ_shape 归零。风险：公开基准缺少 per-subject 标定，首窗选择会引入数据泄漏或不可比；β 与深度存在尺度—深度耦合，指标可能被重定向前的对齐步骤掩盖。\n3. **触觉监督跨传感器、跨标签定义能否扩展，真机增益能否归因？** 验证：做 leave-one-sensor-out（OpenTouch、PVDB，若可得再加入 EgoPressure/EgoTactile），统一到 MANO 顶点与 kPa 后比较接触 F1 与力 MAE；真机上做 2×2 因子实验（关键点：原跟踪器/RLHND × 接触标签：无/RLHND），每条件增加 trials 并报告置信区间。可能收益：区分“接触头结构贡献”与“几何伪标签/传感器先验贡献”，并判断力估计是否可跨手套与压板泛化。风险：传感器校准、顶点对应和接触阈值不一致，统一标签本身可能改变结论；真机试验成本高且任务方差大。\n\n\n\n\n\n### 引用与核验\n\n**核验范围。** 本次只阅读提供的论文文本，未访问外部网页、代码仓库或参考文献原文；因此 publication_date/publication_venue、代码与权重实际可用性、基线官方权重、以及“当前 SOTA”状态均待外部核验。论文内定位可核对到表1–11、附录A–C和脚注式链接。\n**重点核验的引用与依赖。** 新颖性最依赖 ACE-Ego-Hand（Liu et al., 2026，文档链接 arXiv:2608.20308）：论文称以其为基座，差异在 conditioning-frame 接口、β_cache、29-DoF 约束和触觉专家；但 A0 用 Wan2.2 替换 Cosmos 3，无法单独隔离接口贡献，需查原文确认 ACE 的注入方式与基线设置。触觉标签与最强力对比依赖 HOPE（Jeon et al., 2026）：Table 2 的 HOPE 数字是作者用官方代码/checkpoint 重跑，且 A.5 称 checkpoint“按请求共享”，并非完全公开可复现；OpenTouch/PVDB 的标签修订、门控和测试帧需按 HOPE 原文核验。HACO、PressureVision/++、OpenTouch、PVDB 是接触/力基线或标签源，论文称使用公开 release，但本次未打开仓库核验版本。Cosmos 3 Nano（NVIDIA, 2026）与 Wan2.2 是复现的硬依赖，其权重访问、许可证和接口语义未在文档内充分展开。DPP（Kim et al., 2026a）和 DexPilot 是重定向/真机实验依赖，DPP checkpoint 与机器人设置未外部核验。Yang et al. (2021) 的解剖轴分解、MANO、以及 ARCTIC/HOT3D/H2O/OakInk2/DexYCB/HO3D/HRDexDB/EgoDex 的划分与许可也需按原始页面核对。\n**外围引用。** 机器人基础模型、VLA、egocentric 数据集等背景引用（如 RT-2、OpenVLA、π0、Ego4D、EgoMimic 等）未逐条核验，不能据此认为其结论已确认；它们主要支撑动机，不直接决定 RLHND 的核心证据。\n**结论。** 论文内部的表1–5、表8–10 与附录协议足以支持“方法在该设定下有效”的局部判断，但外部优先核验顺序应为：ACE-Ego-Hand 的接口与基线、HOPE 的标签/权重与力对比、Cosmos 3/Wan2.2 可用性、DPP 真机协议，最后才是项目页代码是否实际发布。\n\n\n\n\n\n### 最终判断\n\n作为方法论文，最可信的是“片段级视频骨干 + 手形缓存 + 解剖约束”在 3D 手部轨迹稳定性上的工程组合，以及接触估计在统一 MANO 表面上的可用性；表1、表5 和表8 对“骨干是主因、β-cache 只解决尺寸一致性而非抖动”给出了较清楚的证据。最需要打折的是“力估计全面 SOTA”、clean-latent 接口的独立因果贡献、以及真机成功率增益的归因：PVDB 力 MAE 不支持全面领先，A0 把骨干与接口一起替换，真机两行共享接触标签且样本量有限。适合把 RLHND 当作离线人类视频到机器人动作/接触标签的候选管线；上线前应补外部 β 标定、跨传感器触觉校准、实时性与安全限制验证。下一步先复现表1与表5 的 A0–A2、B2，确认 β-cache 只改变 σ_shape 且接触性能高度依赖几何标签，再决定是否投入真机。"
}