# RLHND：作为机器人学习中的物理基础手部追踪器的视频基础模型文俊·穆恩 $^{1,2}$ 素彬·全 $^{3}$ 尚宇·金 $^{1}$ 韩彬尔·朱 $^{3}$ 晋宇·申 $^{1,2}$ $^{1}$RLWRLD $^{2}$KAIST $^{3}$首尔大学 ## 摘要近年来，利用人类视频数据集进行机器人策略训练的方法越来越普遍。然而，大多数现有的手部追踪器仅从裁剪后的帧中回归手部姿态，对手部运动及物体交互的先验信息利用有限，因此得到的估计结果既不准确又不符合物理规律。此外，由于缺乏接触、力等物理线索，人类视频在机器人策略训练中的应用也受到限制。针对这一问题，我们提出了RLHND——一种基于视频基础模型的手部追踪模型，它能够从单目自中心视频中同时估计手部姿态和逼真的触觉信息。通过“干净隐变量条件化”技术，RLHND将预训练的Cosmos 3视频扩散主干网络转化为确定性的片段级特征提取器，从而将所学习到的关于手部运动和手-物交互的先验知识应用到追踪任务中。在姿态估计方面，RLHND能够：(i) 预测具有解剖学上合理的关节角度的手部姿态；(ii) 支持可选的形状参数条件化，以确保同一视频内甚至同一操作者拍摄的不同视频中手部形状的一致性。在触觉估计方面，我们在姿态流参数固定的前提下，训练一个独立的触觉专家流，用于预测手部表面的密集接触点和受力情况。我们还采用了基于LBS的特征传播技术，无需昂贵的逐顶点注意力机制即可实现逐顶点特征提取。在各种姿态估计基准数据集上，RLHND均取得了最先进的性能；在接触点和受力估计任务中同样表现优异。此外，我们通过重定位结果和真实世界机器人实验，证明了RLHND在机器人学习中的实用性。相关代码将在上公开提供。 ## 1 引言随着视觉语言模型的快速发展（OpenAI, 2023; Liu et al., 2023; Gemini Team, 2023; Bai et al., 2025），机器人基础模型近年来也取得了显著进展（Brohan et al., 2023; Octo Model Team et al., 2024; Kim et al., 2024; Black et al., 2024; Physical Intelligence et al., 2025; Bjorck et al., 2025; Kim et al., 2026b）。不过，机器人数据集的规模仍远小于视觉语言数据集，且收集成本也更高。近期，研究人员发现了人类自中心视频的潜力：这类视频相对容易采集，且能涵盖许多难以通过遥操作演示的任务。因此，人类数据集（Grauman et al., 2022; Banerjee et al., 2024; Hoque et al., 2026）越来越多地被用于训练机器人基础模型（Ye et al., 2025a; Kareer et al., 2024; Yang et al., 2025; Luo et al., 2025; Kim et al., 2026b）。然而，利用人类视频进行机器人训练需要填补人类视频与真实世界机器人场景之间的两大鸿沟。首先是人类与机器人之间的动作空间差异。现有研究通过以下方式解决这一差异：将人类手部动作重新映射到特定的机器人形态（Handa等人，2020年；Qin等人，2023年；Shaw等人，2022年；Lepert等人，2025年）；定义同时包含人类和机器人关节动作的协同动作空间（Kareer等人，2024年；Luo等人，2025年；Li等人，2025年）；或者采用以末端执行器为基础的动作空间，即手腕姿态和关键点（Haldar & Pinto，2025年；Liu等人，2025年；Kim等人，2026a；Cai等人，2025年）。 --- ![Image](images/c060100ec287c853ee19d8301398b20ad692d5ca8ec2a1125634ab9653bcbc3b.jpg) ![Image](images/f0890e12dec08338fa48eff0be6baba8cd36dda811335eb7cc3c26a045ecf9f3.jpg)

Figure 1: 3D instability of hand motion reconstruction methods. Left: Wrist depth over 850 frames from an ARCTIC test-set clip. Baselines exhibit severe oscillation or drift relative to the ground-truth depth. Right: Per-video standard deviation of the estimated hand size. Even within a single video, existing hand motion estimators exhibit $\sim$8 mm variation in estimated hand size.

无论选择哪种动作空间，这些方法都需要能够提供3D手部关节位置的人类动作标签。然而，现有的手部运动重建方法往往主要针对2D投影或图像空间对齐进行优化，这导致其3D预测结果在用于机器人动作标注时并不可靠。如图1所示，现有的手部重建结果在深度轴上存在严重抖动现象（左图），而同一只手的大小在不同帧间也会发生显著波动（右图）。后者源于透视投影下固有的尺度-深度歧义性，此时深度误差可能会被吸收进估计的手部形状中。这种时间上不一致且不符合物理规律的3D轨迹对机器人学习而言是个难题，因为运动估计中的微小误差就可能导致截然不同的或无法执行的动作。第二个鸿沟是物理信息的缺失。近年来，视觉-语言-动作模型越来越多地将触觉输入与视觉信息结合使用（Zhang等人，2026a；Niu等人，2026年；Chen等人，2026年；Zhang等人，2026b），因为触觉信息能够区分成功的抓取动作与仅仅是悬停在物体上方的动作。不过，除使用压力板（Grady等人，2022年）或可穿戴触觉手套（Song等人，2025年）采集的数据集外，人类数据集通常无法提供触觉信息。为此，出现了几种基于视觉的接触与力估计模型（Jeon等人，2026年；Jung & Lee，2025年），但与手部姿态估计相比，这些模型仍未被充分研究。在本文中，我们提出了RLHND模型，它能够从单目人类视频中生成度量精确且符合解剖学原理的3D双手法部运动数据，以及手部表面的密集接触与力估计结果。由于近期的研究（Wang等人，2026年；Liu等人，2026年）表明预训练的视频扩散模型内置了对手-物交互的强先验知识，因此RLHND选用Cosmos 3 Nano（NVIDIA，2026年）作为视频特征编码器。与Liu等人（2026年）直接将干净视频输入去噪骨干网络的做法不同，我们将视频通过Cosmos 3的条件帧接口传入，该接口在预训练阶段被设计为接收干净的上下文帧。这种设计使我们的微调过程与骨干网络的预训练接口保持一致。在Cosmos 3编码器的基础上，我们基于实际部署需求做出了三项设计选择。(i) 手部形状缓存。RLHND会缓存手部形状参数，并在整个视频中使用同一数值。这不仅消除了图1中所示的手部大小波动问题，还能直接注入预先校准好的$\beta$；在操作者手部形状已知的实际数据采集场景中，这一特性尤为实用。(ii) 解剖学姿态参数化。我们并未直接回归MANO模型中的45个旋转自由度，而是将每个关节与其解剖学轴线对齐，并固定人类手指无法绕其旋转的轴线，最终仅回归29个自由度。(iii) 解耦的触觉专家模块。接触状态与受力情况由第二个专家流来预测，且该流在训练时姿态流保持冻结状态，因此触觉监督永远不会干扰姿态预测。为了获取逐顶点特征，我们引入了基于LBS的特征扩散机制，利用MANO模型的线性混合蒙皮权重，将骨骼级特征扩散到778个MANO顶点上，从而无需使用计算成本较高的逐顶点注意力机制。在运动重建方面，我们在HOT3D、ARCTIC以及训练阶段未参与训练的EgoDex数据集上对RLHND进行了评估。在这三个基准数据集上，RLHND的性能始终优于所有基线模型。在触觉估计方面，RLHND在各类基准测试中的接触状态与受力估计表现均最为出色。最后，我们通过将RLHND的人体演示数据重新映射到五种灵巧手上，并据此训练Dexterous Point Policy（Kim等人，2026a），证明了RLHND在机器人学习领域的实用性。与基线模型相比，RLHND生成的关节动作更精准且抖动更少；利用RLHND提供的关键点进行训练，能显著优化Dexterous Point Policy的性能。 --- 主要贡献。我们现将本研究的主要贡献概述如下： • 我们将基于视频基础模型的手部追踪技术拓展到了姿态估计之外：RLHND利用Cosmos 3的干净隐变量调节接口，从单目视频中提取丰富的时空表征，能够同时估算出具有精确度量精度的双手法部运动，以及手表面的密集接触与受力信息。 - 凭借包括手部形状缓存、解剖学约束姿态以及采用基于LBS的特征扩散机制的解耦触觉专家在内的符合物理规律的设计选择，我们在手部运动重建与触觉估计两个领域均取得了业界领先的性能。 - 我们验证了RLHND在机器人学习中的实用性：其输出结果能在五种灵巧手上生成精准且平滑的重新映射指令，还能基于人体演示数据自动标注接触信息，进而用于训练Dexterous Point Policy。 ## 2 相关工作手部运动重建。为了提升姿态精度和时序一致性，人们开发了多种手部运动重建方法。主要方法是基于图像的方法（Pavlakos等人，2024年；Potamias等人，2024年），这类方法通过手部检测模型对裁剪后的图像进行处理，从而回归出MANO（Romero等人，2017年）参数（Potamias等人，2024年）。由于这些方法独立处理每一帧，因此无法考虑帧与帧之间的时序一致性。相比之下，基于视频的方法（Zhang等人，2025年；Ye等人，2025b；Xu等人，2026年）会通过融合多帧的裁剪特征（Ye等人，2025b）或在世界坐标系下追踪手部与相机的位置（Zhang等人，2025年；Xu等人，2026年）来引入时序上下文信息。即便如此，由于它们依赖逐帧裁剪，仍会继承检测器框的抖动问题，导致时序一致性较差。最近，基于视频基础模型构建的模型会将整个视频片段作为输入，并同时推断双手的姿态（Wang等人，2026年；Liu等人，2026年），这显著提升了时序连贯性。不过，即使这些模型也是按时间窗口回归手部形状，仍会导致估计出的手部尺寸出现时序变化；同时，透视投影中的尺度-深度歧义会使深度误差表现为形状估计的变化。RLHND保留了视频片段级的建模方式，但为每段视频固定单一的手部形状，并将姿态约束在解剖学允许的自由度范围内，从而消除了这两种缺陷。手部接触与力估计。与运动重建不同，力标签需要专门的硬件支持，例如压力板（Grady等人，2022年）或触觉手套（Song等人，2025年）。Pressure-VisionDB（Grady等人，2022年）记录了裸手按压平面电容垫时的RGB视频，可提供密集且分辨率高的压力图，不过其空间范围仅限于手掌与垫子的接触区域。OpenTouch（Song等人，2025年）则将传感器安装在手上，将自然场景下的第一人称视角视频与可穿戴手套掌侧面的$16 \times 16$触觉单元网格相结合，从而能够在操作各类物体时进行力测量。EgoPressure（Zhao等人，2025年）将压力传感技术拓展到配备多视角MANO拟合结果的第一人称视频中，而EgoTactile（Zeng等人，2026年）则提供了63种日常物品以及裸手样本上的全手手套压力数据。然而，由于传感器校准方式和手表面对应关系存在差异，若不将标签转换为统一表示，就很难整合这些数据集。对于接触估计而言，无需触觉硬件：HACO（Jung和Lee，2025年）利用HOI数据集中手部与物体网格之间的距离生成手部接触标签，并用其训练接触估计模型。但对于力估计来说，这种几何层面的监督并不充分，必须依赖包含物理力测量值的数据集。HOPE（Jeon等人，2026年）将压力板和触觉手套在MANO表面上采集的接触与力标签统一起来，从而实现接触与力估计的联合学习。RLHND采用了HOPE的统一标签格式，同时引入了解耦的触觉专家模块，进而提升了触觉估计的性能。 ## 3 方法给定单目视频后，RLHND会同时估计手部姿态和触觉信号。该视频被划分为W个视频片段$\mathcal{C}_1, \ldots, \mathcal{C}_W$，每个片段包含T个连续帧$\mathcal{C}_w = (\mathbf{I}_t)^T_{t=1}$。输出的姿态数据由MANO（Romero等人，2017年）参数构成，即手部形状$\hat{\boldsymbol{\beta}}^w \in \mathbb{R}^{10}$以及 --- ![Image](images/ecd526ed27fa3f361f40b63c4b18dbe30fd000bcc93261e8800d83f0e104999e.jpg)

Figure 2: RLHND overview. A pre-trained Cosmos 3 backbone receives the clip through its conditioning-frame interface and is adapted with a trainable patch embedding and LoRA adapters. The pose expert stream, trained in stage-1, yields MANO parameters and a metric camera-space translation while the tactile expert stream is trained in stage-2 with the pose stream frozen.

受解剖结构限制的关节运动$\hat{\theta}_t$与手腕的整体旋转相关，还包括度量相机空间的平移$\hat{\tau}_t \in \mathbb{R}^3$以及每帧的手部存在状态和可见性。触觉输出由逐顶点的触觉信号组成：接触概率$\hat{c}_t \in [0,1]^{|V|}$和作用力$\hat{\mathbf{f}}_t \in \mathbb{R}^{|V|}$，其中$|V| = 778$表示MANO模型的顶点数量。RLHND架构包含三个部分：干净隐变量编码器将预训练的视频扩散模型骨干网络转换为确定性的视频特征提取器；姿态专家流从视频特征中预测MANO参数形式的姿态、形状和平移；触觉专家流利用自身权重从相同的视频特征中估计接触情况和作用力，且训练时冻结姿态流，从而将触觉预测与姿态预测解耦。图2展示了所提方法的整体流程。 ### 3.1 干净隐变量视频扩散编码器由于视频扩散模型被证实能够内化关于手部运动和物体交互的强先验知识（Wang等人，2026年），我们采用了Cosmos 3（NVIDIA，2026年）中预训练的编码器。其视频分词器，即Wan2.2 VAE（Wan团队，2025年），会将每个视频片段编码为干净的隐变量$\mathbf{z} = \mathcal{E}_{\mathrm{VAE}}(\mathcal{C}_w)$。我们通过LoRA（Hu等人，2022年）对补丁嵌入层和生成路径进行微调，从而得到确定性的时空特征网格$\mathbf{F} \in \mathbb{R}^{T'} \times h \times w \times D_f$。我们使用的预训练VAE与以往的研究（Wang等人，2026年；Liu等人，2026年）有所不同：以往研究通过设定分布外噪声水平$\sigma = 0$，将干净视频输入Wan2.2的去噪接口；而我们则利用Cosmos 3的条件化接口来处理干净的上下文帧，使输入方案与预训练阶段保持一致。我们还会输入空提示词，因为视频流已经基于干净帧进行了条件化，而Liu等人（2026年）则使用了固定的描述文本。 ### 3.2 姿态专家流借鉴ACE-Ego-Hand（Liu等人，2026年）的做法，我们对F进行分词处理，加入空间位置信息和傅里叶编码的光线嵌入，再通过交替的空间交叉注意力和双向时间自注意力对得到的词元进行解码。我们在两方面对该设计做了改进：一是如何利用形状条件来形成两个手部词元$X_{H}$；二是手部关节运动的参数化方式。形状条件化。我们利用缓存的MANO形状参数$\mathbf{X}_H$来构建两个手部词元$\beta_{\mathrm{cache}}$，这一做法能确保整个视频中手部几何形状的一致性，且该参数也可通过一次演员手部校准获得。与ACE-Ego-Hand（Liu等人，2026年）从固定的可学习参数初始化手部词元不同，我们的模型可以直接纳入这种预先测量的形状信息。设$v^w$表示在$\mathcal{C}_w$中预测到手部存在的帧数占比。手部词元由可学习的查询向量$\mathbf{q}_H$和初始化为零的MLP$g_\beta$构成： $$ \mathbf{X}_{H}^{w}=\mathbf{q}_{H}+g_{\beta}(\boldsymbol{\beta}_{\mathrm{c a c h e}}),\qquad\boldsymbol{\beta}_{\mathrm{c a c h e}}=\begin{cases}{\hat{\boldsymbol{\beta}}^{w^{*}},}&{w^{*}=\operatorname*{m i n}\{\mathit{w^{\prime}}:\mathit{v}^{w^{\prime}}>T_{v}\}\;\mathrm{e x i s t s},}\\ {\hat{\boldsymbol{\beta}}^{w},}&{\mathrm{o t h e r w i s e},}\\ \end{cases} $$ 从第一个足够清晰的视频片段中估计出的形状会在整个视频中被共享，一旦该片段可用，早期的片段会被重新解码。$g_{\beta}$ 的零初始化会逐渐引入 --- 训练过程中缓存的形状。我们以 0.5 的概率使用真实的 $\beta$，并对这些样本禁用形状头损失函数。由于公开基准测试并未提供预先校准的手部形状，我们会从第一个足够清晰的视频片段中估计 $\beta$，并在整个视频中重复使用它。受约束的姿势参数化。为了更精确地追踪真实的手部关节运动，我们依据解剖结构对MANO模型（Yang等人，2021年）的自由度进行了限制。虽然MANO模型在其15个关节处均允许三个轴向的旋转，共计45个自由度，但人类手部实际仅有21个自由度。因此，我们将旋转轴与解剖结构对齐，并禁用不可行的旋转轴。遵循Yang等人（2021年）提出的解剖学感知运动学原理，关节j的旋转$R_j \in SO(3)$是围绕其解剖学定义的扭转轴、展开轴和弯曲轴进行的分解（$\mathbf{a}_{\text{twist},j}, \mathbf{a}_{\text{spread}}, \mathbf{a}_{\text{bend}}$）： $$ \begin{array}{c} \mathbf{R}_{j}\;=\;\exp\bigl(\varphi_{j}^{\mathrm{twist}}\left[\mathbf{a}_{j}^{\mathrm{twist}}\right]_{\times}\bigr)\;\exp\bigl(\varphi_{j}^{\mathrm{spread}}\left[\mathbf{a}_{j}^{\mathrm{spread}}\right]_{\times}\bigr)\;\exp\bigl(\varphi_{j}^{\mathrm{bend}}\left[\mathbf{a}_{j}^{\mathrm{bend}}\right]_{\times}\bigr), \end{array} $$ 其中$[\cdot]_{\times}$表示斜对称算子。随后，可行集合C定义如下： $$ {\mathcal{C}}=~\Big\{\Theta~:~{\varphi}_{j}^{\mathrm{t w i s t}}={\varphi}_{j}^{\mathrm{s p r e a d}}=0~\forall j\in\mathrm{P I P}\cup\mathrm{D I P}\Big\}. $$ 我们不对拇指进行约束，因为其腕掌关节属于鞍状关节，其旋转轴既不正交也不固定，扭转-展开-弯曲分解无法从中识别出不可行的轴。在约束其余关节后，剩余自由度为29。为了用这种表示方式训练模型，我们通过逆运动学方法将现有的45自由度MANO标签拟合到可行集合C中，从而得到受约束的29自由度标签（Zhou等人，2020年；Li等人，2021年）： $$ \widehat{\mathbf{\Theta}}_{c}\:=\:\mathop{\operatorname{a r g}\operatorname*{m i n}}_{\mathbf{\Theta}_{c}\in\mathcal{C}}\:\left\|\mathbf{J}(\mathbf{\Theta}_{c};{\boldsymbol{\beta}})-\mathbf{J}(\mathbf{\Theta};{\boldsymbol{\beta}})\right\|_{2}^{2}, $$ 其中$J(\cdot; \beta)$会根据标签所携带的形状$\beta$返回正向运动学下的关节位置。我们使用阻尼高斯-牛顿迭代法在解剖结构对齐的欧拉坐标系下求解方程(4)： $$ \varphi\leftarrow\varphi+\left(\mathbf{G}^{\top}\mathbf{G}+\lambda\mathbf{I}\right)^{-1}\mathbf{G}^{\top}\boldsymbol{\epsilon}, $$ 其中$\varphi$包含优化后的手指自由度，G表示关节位置关于$\varphi$的雅可比矩阵，而$\epsilon$则汇总了关节和指尖的残差。更多细节详见附录A.2。输出头。读取头会将手部标记解码为姿势、形状、深度和存在性预测结果。随后利用ACE-Ego-Hand中的基于光线的混合PnP求解器（Liu等人，2026年）恢复度量相机空间的平移信息。详情请参阅附录A.3。 ### 3.3 触觉专家流与姿势监督相比，触觉监督数据要稀缺得多，因为带有压力标注的数据集往往只提供受限的或没有姿势标签（Grady等人，2022年；2024年；Song等人，2025年）。因此，我们将触觉估计与姿势估计分离，避免此类训练影响姿势预测结果。骨骼标记。由于逐帧处理所有$|V|$个顶点在计算上成本过高，我们选择在手部骨骼层面进行触觉估计。设$\mathcal{B}$表示MANO运动树中的$|\mathcal{B}| = 16$个关节。每个关节通过线性混合蒙皮权重驱动骨骼的一部分，因此我们为每个关节和手部对应设置一个骨骼标记，最终得到$\mathbf{X}_B \in \mathbb{R}^{2|\mathcal{B}| \times D}$，其中包含$|\mathcal{B}| \ll |V|$。每个骨骼标记代表了蒙皮到该骨骼上的顶点的特征。基于LBS的顶点读取。我们将时间推理保留在骨骼层面，仅在输出时将特征扩展到顶点，这一过程借助MANO线性混合蒙皮（LBS）权重$\mathbf{W}_{\text{lbs}} \in \mathbb{R}^{|V| \times |\mathcal{B}|}$实现——该权重是MANO模型中用于将特征映射到顶点的固定矩阵。结合学习得到的顶点嵌入$\mathbf{m}_v$，每个顶点的触觉特征计算如下： $$ \mathbf{h}_{t,v}\:=\:\sum_{j\in\mathcal{B}}\mathbf{W}_{\mathbf{l b s},v j}\left[\mathbf{X}_{B}^{L}\right]_{t,j}+\mathbf{m}_{v}, $$ 其中$[\mathbf{X}_B^L]_{t,j}$是在$\mathbf{X}_B^L$中、帧t时节点j对应的标记，它是通过从$T'$插值到T得到的。两个小型MLP头会从$\mathbf{h}_{t,v}$中读取每个顶点的接触对数以及力分布对数；而每只手的总作用力$\hat{F}_{t}$则是通过软plus函数从专家的手部标记中读取的。每个顶点所受的力等于总力在顶点间的分配值，再经过$\hat{f}_{t,v} = \hat{F}_{t}$的softmax运算得到$_{v}(\cdot)$。 --- ![Image](images/98870830fa746f3e59c7d7d88ac3d73115e15cb674e4152d9d87765549d3a0a5.jpg)

Figure 3: Qualitative comparison of hand motion reconstruction. We visualize the reconstruction results from HOT3D (top), ARCTIC (middle), and EgoDex (bottom), with mesh overlays and trajectory visualizations. Extensive visualization results can be found on the project page.

### 3.4 训练在第一阶段训练中，我们仅对姿态专家流进行训练，具体设置如下： $$ \mathcal{L}_{\mathrm{p o s e}}=\lambda_{\mathrm{r o t}}\mathcal{L}_{\mathrm{r o t}}+\lambda_{\beta}\mathcal{L}_{\beta}+\lambda_{\mathrm{3D}}\mathcal{L}_{\mathrm{3D}}+\lambda_{\mathrm{2D}}\mathcal{L}_{\mathrm{2D}}+\lambda_{\tau}\mathcal{L}_{\tau}+\lambda_{\mathrm{p r e s}}\mathcal{L}_{\mathrm{p r e s}}+\lambda_{\mathrm{t m p}}\mathcal{L}_{\mathrm{t m p}}+\lambda_{\mathrm{r a y}}\mathcal{L}_{\mathrm{r a y}}. $$ 在第二阶段训练中，姿态专家流被冻结，仅对触觉专家流进行训练： $$ \begin{array}{r l}&{\mathcal{L}_{\mathrm{t a c t i l e}}=\lambda_{c}\mathrm{B C E}_{w}(\hat{c}_{t,v},c_{t,v})+\lambda_{F}\frac{1}{|V|}\Big|\sum_{v}\hat{f}_{t,v}-\sum_{v}f_{t,v}\Big|+\lambda_{\pi}\mathrm{C E}\Big(\hat{\mathbf{f}}_{t}/\sum_{v}\hat{f}_{t,v},\mathbf{f}_{t}/\sum_{v}f_{t,v}\Big).}\end{array} $$ 由于接触顶点比非接触顶点稀少得多，我们采用了一种正向加权后的二元交叉熵损失函数，即$BCE_{w}$。力的监督信息来自每只手的总作用力（按顶点数归一化），以及力在顶点间的分布情况，分别由$\lambda_{F}$和$\lambda_{\pi}$进行加权。各损失项的细节在附录A.4中有详细说明。 ## 4 实验实验设置：第一阶段训练使用以自我为中心的手部视频数据集和以物体为中心的手部视频数据集的加权混合数据；第二阶段训练则使用带有力标签的手套和压力垫记录数据，以及从手-物体网格中生成的仅含接触信息的标签，这些标签仅用于监督接触头模块。数据集和标签生成方法详见附录A.2，训练计划和超参数见附录A.5，评估指标见附录A.4。运动重建任务在保留的HOT3D和ARCTIC自我中心子集上进行评估；对于我们的方法和所有基线模型，零样本测试则在EgoDex上进行。触觉估计任务在HOPE（Jeon等人，2026年）的OpenTouch和PressureVisionDB（PVDB）测试子集上进行评估；仅涉及接触估计的任务则在HOT3D、DexYCB和ARCTIC上评估，这些数据集使用基于网格的接触标签。所有基线模型均使用其官方权重和推理代码。 ### 4.1 手部姿态估计从图3可以看出，基于裁剪的模型生成的手部轨迹噪声较大且网格叠加效果不佳，虽然ACE-Ego-Hand的表现稍好，但仍存在手部检测错误（第一行中的左手）、运动不真实（第二行中手指扭曲）以及手部尺度不准确（第三行的叠加结果）等问题。相比之下，我们的方法能够生成稳定的网格叠加效果和平滑的手部轨迹。 --- ![Image](images/579f20a8c2d58d2b8f174fef1041253232c89ec16d5da0d6f7eebf276034a0c8.jpg)

Figure 4: Qualitative comparison of contact and force estimation. We visualize the contact (left) and force (right) estimation from OpenTouch (first to third row) and PVDB (fourth row).

Test set	Method	$F_{Acc} \uparrow$	MPJPE-p $\downarrow$	PA-p $\downarrow$	MPJPE+OOS $\downarrow$	EPE2D-p $\downarrow$	Jitter $\downarrow$	$\sigma_{shape} \downarrow$
HOT3D	HaMeR (Pavlakos et al., 2024)	0.743	65.53	11.42	66.85	130.33	25.40	1.17
	WiLoR (Potamias et al., 2024)	0.743	44.89	9.71	46.23	134.89	22.17	1.90
	HaWoR (Zhang et al., 2025)	0.743	41.53	10.15	42.99	126.10	26.13	7.37
	HaPTIC (Ye et al., 2025b)	0.743	62.42	11.26	63.70	130.40	38.27	3.20
	HandFlow (Xu et al., 2026)	0.729	39.90	9.50	24.87	127.85	16.99	3.68
	ACE-Ego-Hand (Liu et al., 2026)	0.928	24.41	8.60	20.30	38.09	6.48	1.22
	RLHND (Ours)	0.996	13.01	6.72	13.08	6.84	4.38	1.30
	RLHND (Ours) ( $\beta$-cache)	0.996	13.00	6.68	13.07	6.89	4.39	0.00
ARCTIC ego	HaMeR (Pavlakos et al., 2024)	0.887	31.76	9.72	52.99	86.30	21.73	0.52
	WiLoR (Potamias et al., 2024)	0.887	24.05	7.49	46.33	87.66	25.92	6.15
	HaWoR (Zhang et al., 2025)	0.886	31.72	9.55	52.88	82.72	29.34	5.44
	HaPTIC (Ye et al., 2025b)	0.886	24.72	7.92	46.88	84.05	51.09	6.19
	HandFlow (Xu et al., 2026)	0.918	40.03	9.91	47.47	74.09	13.47	5.12
	ACE-Ego-Hand (Liu et al., 2026)	0.994	14.86	7.50	16.86	11.76	3.52	1.91
	RLHND (Ours)	0.993	13.36	6.42	15.40	12.19	4.19	0.96
	RLHND (Ours) ( $\beta$-cache)	0.993	13.44	6.44	15.46	12.28	4.17	0.00
EgoDex	HaMeR (Pavlakos et al., 2024)	0.970	45.97	11.79	45.90	66.31	15.48	0.43
	WiLoR (Potamias et al., 2024)	0.970	42.57	10.87	42.50	67.68	13.05	0.22
	HaWoR (Zhang et al., 2025)	0.970	27.76	11.22	27.73	54.20	16.94	4.58
	HaPTIC (Ye et al., 2025b)	0.970	40.92	11.29	40.85	65.38	25.81	2.33
	HandFlow (Xu et al., 2026)	0.978	24.60	11.45	22.34	41.44	10.89	3.57
	ACE-Ego-Hand (Liu et al., 2026)	0.999	20.95	10.99	20.85	22.26	3.01	0.59
	RLHND (Ours)	1.000	19.90	10.12	19.89	20.72	2.93	0.71
	RLHND (Ours) ( $\beta$-cache)	1.000	19.93	10.14	19.91	20.72	2.94	0.00

Table 1: Quantitative comparison of motion reconstruction. RLHND outperforms baselines on nearly every metric on every benchmark consistently. We denote best and second best values.

行），不现实的动作（第二行的扭曲手指）以及不准确的手部比例（第三行的叠加效果）。相比之下，我们的方法能生成稳定的网格叠加效果和平滑的手部轨迹。表1给出了定量比较结果，其中涉及每个时间窗口的$\beta$估计以及$\beta$缓存技术——该技术从第一个输出窗口提取$\beta$并在整个视频中重复使用。我们的方法在所有测试集上均表现优异，包括在零样本的EgoDex测试中，其$F_{Acc}$值也高于HaMeR、WiLoR、HaWoR和HaPTIC所使用的外部手部检测器，同时在3D和2D投影指标上也表现突出。尽管$\beta$缓存技术消除了$\sigma_{shape}$的影响，但如附录B.2所分析，它并未改善抖动问题。 ---

	Contact (vertex-level)							Force (kPa)
	OpenTouch		DexYCB		HOT3D		ARCTIC		OpenTouch		PVDB
Method	F1 $\uparrow$	AUROC $\uparrow$	F1 $\uparrow$	AUROC $\uparrow$	F1 $\uparrow$	AUROC $\uparrow$	F1 $\uparrow$	AUROC $\uparrow$	MAE $\downarrow$	RMSE $\downarrow$	MAE $\downarrow$	RMSE $\downarrow$
PressureVision (Grady et al., 2022)	-	-	-	-	-	-	-	-	1.930	6.190	0.471	3.726
PressureVision++ (Grady et al., 2024)	-	-	-	-	-	-	-	-	1.920	6.200	0.248	3.025
HACO (Jung & Lee, 2025)	0.373	0.541	0.543	0.883	0.244	0.749	0.580	0.907	-	-	-	-
HOPE (Jeon et al., 2026)	0.663	0.894	0.506	0.868	0.197	0.762	0.591	0.914	1.781	5.388	0.236	2.091
RLHND (Ours)	0.696	0.980	0.572	0.915	0.589	0.959	0.602	0.935	0.489	2.508	0.274	2.066

Table 2: Quantitative comparison of contact and force estimation. RLHND outperforms baselines on nearly every benchmark consistently. We denote best and second best values.

Method	Sharpa Wave (22 DoF)		WUJI v2 (20 DoF)		Shadow (24 DoF)		Inspire RH56 (12 DoF)		ALLEX (15 DoF)
Method	Q-err $\downarrow$	Jerk $\downarrow$	Q-err $\downarrow$	Jerk $\downarrow$	Q-err $\downarrow$	Jerk $\downarrow$	Q-err $\downarrow$	Jerk $\downarrow$	Q-err $\downarrow$	Jerk $\downarrow$
Oracle (GT joints)	0.0	0.34	0.0	0.33	0.0	0.35	0.0	0.18	0.0	0.36
HaMeR (Pavlakos et al., 2024)	16.6	1.45	19.4	1.31	12.6	1.31	8.1	0.90	14.1	1.19
WiLoR (Potamias et al., 2024)	14.2	1.48	17.0	1.34	10.2	1.20	6.3	0.90	11.2	1.18
HaWoR (Zhang et al., 2025)	15.0	0.61	18.0	0.47	12.2	0.50	8.9	0.39	14.4	0.50
HaPTIC (Ye et al., 2025b)	14.9	1.39	17.6	1.27	11.9	1.10	7.0	0.87	12.7	1.21
HandFlow (Xu et al., 2026)	18.7	0.58	21.8	0.55	14.2	0.52	9.9	0.49	17.8	0.53
ACE-Ego-Hand (Liu et al., 2026)	14.0	0.20	17.4	0.21	10.8	0.21	7.4	0.11	12.0	0.20
RLHND (Ours)	12.7	0.18	16.1	0.16	9.6	0.19	6.0	0.07	10.2	0.17
RLHND (Ours) ( $\beta$-cache)	12.8	0.17	16.3	0.17	9.5	0.20	6.0	0.07	10.3	0.17

Table 3: Retargeting quality on five dexterous right hands (DexPilot, wrist-relative targets), averaged over the HOT3D, ARCTIC ego and EgoDex test sets; per-dataset results are in Appendix B.4. Q-err is the mean absolute deviation ( $^{\circ}$) of the joint command from the one the same solver produces on the ground-truth joints, and Jerk the median frame-to-frame command noise ( $^{\circ}/\text{frame}^{2}$); see Appendix A.4. The grey Oracle row retargets the ground-truth joints.

### 4.2 触觉估计图4对比了在OpenTouch和PressureVisionDB数据集上预测的接触图和压力图。RL-HND能够生成定位准确的接触区域以及手部表面的精确压力模式，而HACO则会过度预测接触区域，HOPE生成的接触区域较为零散且压力值被低估。PressureVision++仅能在其原生的平面传感器表示下预测压力。表2量化了在OpenTouch、HOT3D、DexYCB和ARCTIC数据集上的接触指标（F1和AUROC）以及OpenTouch和PVDB上的力指标；PressureVision系列模型（Grady等人，2022年；2024年）预测的是图像平面上的压力而非手部表面的压力，因此其接触指标未被列入报告。RLHND在这四个数据集的两种指标上均取得了最佳接触得分，其力估计能力也颇具竞争力。 ### 4.3 在机器人学习中的有效性真实机器人实验。灵巧点策略（Kim等人，2026a），即DPP，利用关键点位置和指尖接触标签从人类演示中训练机器人策略以实现力的施加，其中接触标签需针对每次演示手动标注。而RLHND仅需单个模型即可自动提供这两类信息：其姿态流可提供指尖关键点，接触头可生成接触标签。表4对比了采用DPP + RLHND方案的部署结果；由于原始追踪器无法预测接触情况，因此两行数据均采用RLHND的接触标签，仅在手部关键点上存在差异。DPP + RLHND在各类测试任务中的表现均有提升，在复杂的双臂任务中提升幅度更大。映射到机器人手。我们在表3中评估了追踪器输出作为机器人动作空间的适用程度。我们使用相同的DexPilot（Handa等人，2020年）求解器，将每帧预测结果映射到五种灵巧右手上，并以腕部相对目标为参照，最终报告HOT3D、ARCTIC ego和EgoDex数据集上的Q误差及关节抖动平均值。无论是否使用$\beta$缓存，RLHND在所有五种手部模型上的平均Q误差均为最低，且生成的指令最为平滑。 ---

Method	Human : Robot episodes	Pick and Place					Bimanual			All $\uparrow$
Method	Human : Robot episodes	Bottle	Box	Ball	Bird	Avg. $\uparrow$	Plastic bag	Assemble tissue	Avg. $\uparrow$	All $\uparrow$
DPP (Kim et al., 2026a)	100 : 100	93.8	100.0	81.3	81.3	89.1	53.1	75.0	64.1	80.8
DPP + RLHND (Ours)	100 : 100	93.8	100.0	87.5	93.8	93.8	59.4	90.6	75.0	87.5

Table 4: Real-robot success rate of Dexterous Point Policy. DPP is trained on human demonstrations labeled by its original tracker, and DPP + RLHND on the same demonstrations labeled by RLHND.

Pose variant	ARCTIC ego				EgoDex
Pose variant	MPJPE-p $\downarrow$	PA-p $\downarrow$	EPE2D-p $\downarrow$	Q-err $\downarrow$	MPJPE-p $\downarrow$	PA-p $\downarrow$	EPE2D-p $\downarrow$	Q-err $\downarrow$
A0: w/o Cosmos 3	16.62	7.55	13.40	12.48	21.57	10.63	22.45	15.64
A1: w/o constrained pose	14.26	6.52	12.33	10.85	19.91	10.38	20.76	15.31
A2: w/o $\beta$-conditioning	14.87	6.72	12.27	10.48	20.06	10.33	20.95	15.29
A3: Full model	13.36	6.42	12.19	10.12	19.90	10.12	20.72	15.22
A4: Full model + GT $\beta$	13.15	6.45	12.21	9.69	-	-	-	-
Tactile variant	DexYCB		HOT3D		ARCTIC		OpenTouch force (kPa)
Tactile variant	F1 $\uparrow$	AUROC $\uparrow$	F1 $\uparrow$	AUROC $\uparrow$	F1 $\uparrow$	AUROC $\uparrow$	MAE $\downarrow$	RMSE $\downarrow$
B0: w/o Cosmos 3	0.549	0.900	0.548	0.940	0.557	0.919	0.490	2.686
B1: w/o LBS spread	0.532	0.892	0.569	0.948	0.557	0.913	0.537	2.623
B2: w/o contact-only data	0.047	0.683	0.145	0.616	0.117	0.755	0.500	2.524
B3: Full tactile expert	0.572	0.915	0.589	0.959	0.602	0.935	0.489	2.508

Table 5: Leave-one-out ablations of RLHND. Top (pose): variants A0-A4, evaluated on ARCTIC ego and EgoDex. Bottom (tactile): variants B0-B3, evaluated on contact benchmarks and OpenTouch.

### 4.4 消融研究我们通过从完整模型中移除构成RLHND与其基础追踪器差异的三个组件，并在相同的2万步训练计划和数据组合下重新训练，来开展消融研究（见表5）。变体（A0）用遵循ACE-Ego-Hand方案的Wan2.2骨干网络替换Cosmos 3 Nano编码器；（A1）用基于16个自由6D旋转的参数化方式替换第3.2节所述的解剖学约束参数化方式，这些旋转参数基于原始的45自由度MANO标签进行监督学习；（A2）则禁用外部$\beta$注入和教师强制机制，使得形状仅由形状头预测，无需像完整模型（A3）那样进行第3.2节所述的一次性手部校准。编码器是起主导作用的因素，A0在所有指标和测试集上的性能均出现下降，这证实了强大的视频骨干网络能带来显著的性能提升。移除解剖学约束的姿态表示（A1）或形状缓存（A2）也会降低ARCTIC数据集上的MPJPE值，而两者的结合在完整模型中能带来更大的改进。使用真实$\beta$的完整模型（A4）在关节级指标上并无提升，但Q误差却有所改善，这表明固定的手部形状或许能稳定映射过程。每种触觉变体均在冻结的完整姿态模型上重新训练第二阶段专家模型：B0采用A0中的Wan2.2第一阶段模型；B1将公式(6)中的固定MANO蒙皮权重$W_{1bs}$替换为可学习的$778 \times 16$扩散矩阵；B2则仅在OpenTouch和PVDB数据集上训练。B0和B1的性能均出现下降，而移除仅包含接触数据的训练集（B2）会导致接触指标大幅下降，力指标却无明显变化。 ## 5 结论我们提出了RLHND——一种基于预训练视频基础模型构建的物理感知手部追踪器，专用于机器人学习领域。它在运动重建和触觉估计方面达到了最先进的水平，能为五种灵巧手生成平滑的映射指令，还能使灵巧点策略无需手动标注即可超越其原始追踪器的性能。 --- ## 可重复性声明相关架构与训练流程详见第3.1–3.4节，实现细节、标签构建方式、损失函数、评估指标、训练计划以及基线协议则收录于附录A。所有训练与评估数据均源自公开可用的数据集，重定位求解器及其参数设置则在第4.3节中予以说明。我们将发布RLHND的实现代码以及预训练权重。 ## 伦理声明 RLHND仅使用在相应许可与知情同意程序下公开发布的人手交互数据集。我们不会收集新的人类数据，也不会公开原始视频。由于该方法能够从普通影像（包括包含旁观者的第一人称录像）中还原精细的手部活动，因此仅建议将其用于基于自愿演示者的机器人学习场景，不鼓励将其用于监控用途。该方法仅为推断而非直接测量接触力与作用力，因此在部署重定位指令时，建议设置关节扭矩或电流限制，并安排人员监督。最后，公开数据集的多样性有限，可能导致不同受试者、手型及肤色下的性能存在差异，而我们的评估集并未涵盖这些情况。作者声明不存在利益冲突。 ## 人工智能使用声明我们使用生成式AI工具辅助图表编辑与常规编码工作。经作者审核与测试，所有AI辅助生成的代码均可靠有效，且文中报告的所有结果均由作者独立生成并验证。所有AI辅助生成的文本与图表均经过与底层实验及数据的核对。本文内容由作者全权负责。 ## 参考文献白帅、陈克勤、刘雪静、王佳林、葛文斌、宋思博、党凯、王鹏、王世杰、唐军等。Qwen2.5-VL技术报告。arXiv预印本arXiv:2502.13923，2025年。1 Prithviraj Banerjee、Sindi Shkodrani、Pierre Moulon、Shreyas Hampali、张帆、Jade Fountain、Edward Miller、Selen Basol、Richard Newcombe、Robert Wang等。隆重推出HOT3D：一个用于3D手部与物体跟踪的第一人称数据集。arXiv预印本arXiv:2406.09598，2024年。1、17、18、21 Johan Bjorck、Fernando Castañeda、Nikita Cherniadev、Da Xingye、丁润宇、范林熙、方宇、Fox Dieter、胡丰元、黄斯宾塞等。GR00T N1：一种面向通用人形机器人的开源基础模型。arXiv预印本arXiv:2503.14734，2025年。1 Kevin Black、Noah Brown、Danny Driess、Adnan Esmail、Michael Equi、Chelsea Finn、Niccolo Fusai、Lachy Groom、Karol Hausman、Brian Ichter等。$\pi_{0}$：一种用于通用机器人控制的视觉-语言-动作流模型。arXiv预印本arXiv:2410.24164，2024年。1 Anthony Brohan、Noah Brown、Justice Carbajal、Yevgen Chebotar、陈曦、Krzysztof Choromanski、丁天利、Danny Driess、Avinava Dubey、Chelsea Finn等。RT-2：将网络知识迁移至机器人控制的视觉-语言-动作模型。arXiv预印本arXiv:2307.15818，2023年。1 蔡雄毅、邱日兆、陈庚、韦来、刘伊莎贝拉、黄天舒、程旭欣、王晓龙。In-N-On：利用野外数据与任务相关数据扩展第一人称操控能力。arXiv预印本arXiv:2511.15704，2025年。1 Nicolas Carion、Laura Gustafson、胡远亭、Debnath Shoubhik、Hu Ronghang、Suris Didac、Chaitanya Ryali、Kalyan Vasudev Alwala、Haitham Khedr、Andrew Huang等。SAM 3：基于概念的图像分割模型。arXiv预印本arXiv:2511.16719，2025年。23、26 赵宇伟、杨伟、向宇、帕夫洛·莫尔恰诺夫、安库尔·汉达、乔纳森·特伦布莱、亚什拉杰·S·纳朗、卡尔·范·维克、乌马尔·伊克巴尔、斯坦·伯奇菲尔德等。DexYCB：一个用于捕捉物体抓取行为的基准测试。 --- 该文发表于2021年IEEE/CVF计算机视觉与模式识别会议，页码9044–9053。参考文献编号：16、17、18、21。陈百俊、万伟杰、陈天行、郭先达、徐从胜、齐元阳、张浩杰、吴龙燕、徐天灵、李子轩、吴一哲、李瑞、杨晓康、罗平、隋伟、穆瑶。UniVTAC：一个用于视觉触觉操控数据生成、学习与基准测试的统一仿真平台。arXiv预印本arXiv:2602.10093，2026年。参考文献编号：2。范子聪、奥米德·塔赫里、迪米特里奥斯·齐奥纳斯、穆罕默德·科卡巴斯、曼努埃尔·考夫曼、迈克尔·J·布莱克、奥特马尔·希利格斯。ARCTIC：一个用于灵巧双手法-物体操控的数据集。发表于2023年IEEE/CVF计算机视觉与模式识别会议，页码12943–12954。参考文献编号：16、17、18、21。 Gemini团队。Gemini：一系列高性能多模态模型。arXiv预印本arXiv:2312.11805，2023年。帕特里克·格雷迪、唐成程、萨马斯·布拉姆巴特、克里斯托弗·D·特威格、万成德、詹姆斯·海斯、查尔斯·C·肯普。PressureVision：从单张RGB图像估算手部压力。发表于2022年欧洲计算机视觉会议（ECCV）。参考文献编号：2、3、5、8、19。帕特里克·格雷迪、杰里米·A·赵、唐成程、阿迪蒂亚·库马尔、克里斯托弗·D·特威格、叶雅菲、艾蒂安·武加、查尔斯·C·肯普。PressureVision++：从各类RGB图像估算指尖压力。发表于2024年IEEE/CVF计算机视觉应用冬季会议，页码8698–8708。参考文献编号：5、8。克里斯滕·格劳曼、安德鲁·韦斯特伯里、尤金·伯恩、扎卡里·查维斯、安东尼诺·弗尔纳里、罗希特·格尔达尔、杰克逊·汉堡、姜浩、刘淼、刘星宇等。Ego4D：基于3000小时第一视角视频的全球场景数据集。发表于2022年IEEE/CVF计算机视觉与模式识别会议。参考文献编号：1。西德汉特·哈尔达尔、勒雷尔·平托。Point Policy：利用关键点统一观测与动作以实现机器人操控。发表于2025年机器人学习会议。参考文献编号：1。施雷亚斯·汉帕利、马赫迪·拉德、马库斯·奥伯韦格、文森特·勒佩蒂。Honnotate：一种用于手部和物体姿态的3D标注方法。发表于2020年IEEE/CVF计算机视觉与模式识别会议，页码3196–3206。参考文献编号：17、18。安库尔·汉达、卡尔·范·维克、杨伟、梁杰基、赵宇伟、万倩、斯坦·伯奇菲尔德、内森·拉特利夫、迪特尔·福克斯。DexPilot：基于视觉的灵巧机械手-臂系统远程操控技术。发表于2020年IEEE国际机器人与自动化会议。参考文献编号：1、8、23。瑞安·霍克、黄培德、大卫·J·尹、穆利·西瓦普拉普、张健。EgoDex：从大规模第一视角视频中学习灵巧操控技术。发表于2026年国际学习表征会议。参考文献编号：1、17。胡爱德华·J、沈永龙、沃利斯·菲利普、朱泽元、李远志、王申、王璐、陈伟柱。LoRA：大语言模型的低秩适配技术。发表于2022年国际学习表征会议。参考文献编号：4。全秀彬、金秉俊、朱汉彪。HOPE：从单目视频中估算手-物体压力。arXiv预印本arXiv:2608.06192，2026年。参考文献编号：2、3、6、8、18、22、23、33。丹尼尔·荣格、李京模。从不平衡数据中学习密集手部接触估算技术。《神经信息处理系统进展》第38卷：120351–120384页，2025年。参考文献编号：2、3、8、18、22、23。 Simar Kareer、Dhruv Patel、Ryan Punamiya、Pranay Mathur、Shuo Cheng、Chen Wang、Judy Hoffman和Danfei Xu。EgoMimic：通过以自我为中心的视频扩展模仿学习。arXiv预印本arXiv:2410.24221，2024年。1 Beomjun Kim、Seong Hyeon Park、Seunghoon Sim、Seungjun Moon、Sanghyeok Lee和Jinwoo Shin。灵巧点策略：从人类演示中学习基于点的灵巧手策略。arXiv预印本arXiv:2606.10614，2026a年。1、2、8、9 --- Dongyoung Kim、Huiwon Jang、Myungkyu Koo等。RLDX-1技术报告。arXiv预印本arXiv:2605.03269，2026b年。1 Moo Jin Kim、Karl Pertsch、Siddharth Karamcheti、Ted Xiao、Ashwin Balakrishna、Suraj Nair、Rafael Rafailov、Ethan Foster、Grace Lam、Pannag Sanketi等。OpenVLA：一种开源的视觉-语言-动作模型。arXiv预印本arXiv:2406.09246，2024年。1 Taein Kwon、Bugra Tekin、Jan Stühmer、Federica Bogo和Marc Pollefeys。H2O：两只手操纵物体以实现第一人称交互识别。载于IEEE/CVF国际计算机视觉会议论文集，第10138–10148页，2021年。17 Marion Lepert、Jiaying Fang和Jeannette Bohg。Phantom：仅利用人类视频即可训练机器人，无需真实机器人。载于机器人学习会议，2025年。1 Jiefeng Li、Chao Xu、Zhicun Chen、Siyuan Bian、Lixin Yang和Cewu Lu。HybrIK：一种用于3D人体姿态与形状估计的混合解析-神经逆运动学解决方案。载于IEEE/CVF计算机视觉与模式识别会议论文集，第3383–3393页，2021年。5 Qixiu Li、Yu Deng、Yaobo Liang、Lin Luo、Lei Zhou、Chengtang Yao、Lingqi Zeng、Zhiyuan Feng、Huizhi Liang、Sicheng Xu、Yizhong Zhang、Xi Chen、Hao Chen、Lily Sun、Dong Chen、Jiaolong Yang和Baining Guo。VITRA：利用现实生活中的人类活动视频进行机器人操控的可扩展视觉-语言-动作模型预训练。arXiv预印本arXiv:2510.21571，2025年。1 Jongbin Lim、Taeyun Ha、Mingi Choi、Jisoo Kim、Byungjun Kim、Subin Jeon和Hanbyul Joo。HRDexDB：用于跨本体灵巧抓取的人机配对数据集。arXiv预印本arXiv:2604.14944，2026年。17、18 Haotian Liu、Chunyuan Li、Qingyang Wu和Yong Jae Lee。视觉指令调优。载于神经信息处理系统进展，2023年。1 Vincent Liu、Ademi Adeniji、Haotian Zhan、Siddhant Haldar、Raunaq Bhirangi、Pieter Abbeel和Lerrel Pinto。EgoZero：基于智能眼镜的机器人学习。arXiv预印本arXiv:2505.20290，2025年。 Yufei Liu、Xixi Wang、Hao Li、Ganlong Zhao、Kaitong Cai、Chengkai Jin、Chunxiao Liu、Jianbo Liu、Siyuan Huang、Xingang Pan和Hongsheng Li。ACE-Ego-Hand：重新利用视频扩散模型实现遮挡鲁棒的自我中心3D手部运动恢复，2026年。网址：，3、4、5、7、8、19、20、23、33 Hao Luo、Yicheng Feng、Wanpeng Zhang、Sipeng Zheng、Ye Wang、Haoqi Yuan、Jiazheng Liu、Chaoyi Xu、Qin Jin和Zongqing Lu。Being-H0：基于大规模人类视频的视觉-语言-动作预训练。arXiv预印本arXiv:2507.15597，2025年。1 单彤·牛、卓阳·刘、泽凯·王、博宁·邵、赵恒·尹、阿尼鲁德·派、尤万·夏尔马、斯特凡诺·萨拉瓦莱、瑞杰·郑、王静、瑞安·普纳米亚、孟达·徐、宇琪·谢、云帆·蒋、乐天·傅、康斯坦丁诺斯·卡利德罗米蒂斯、马泰奥·乔亚、俊毅·张、佳欣·葛、海文·冯、法比奥·加拉索、詹伟、大卫·M·陈、虞童·白、罗伊·赫齐格、雷佳辉、李飞飞、肯·戈德堡、吉滕德拉·马利克、皮特·阿贝尔、余柯·朱、许丹飞、林曦·范和特雷弗·达雷尔。T-Rex：触觉响应式灵巧操控。arXiv预印本arXiv:2606.17055，2026年。2 英伟达。Cosmos 3：一种用于物理人工智能的混合Transformer通用基础模型。arXiv预印本arXiv:2606.02800，2026年。2, 4 Octo模型团队、迪比亚·戈什、霍默·沃尔克、卡尔·佩尔奇、凯文·布莱克、奥耶尔·梅斯、苏迪普·达萨里、乔伊·赫贾纳、托比亚斯·克雷曼、查尔斯·徐等。Octo：一种开源通用机器人策略。arXiv预印本arXiv:2405.12213，2024年。1 OpenAI。GPT-4技术报告。arXiv预印本arXiv:2303.08774，2023年。1 乔治奥斯·帕夫拉科斯、单丹丹、伊利贾·拉多萨沃维奇、安吉乌·卡纳扎瓦、大卫·福伊和吉滕德拉·马利克。利用Transformer重建3D手部模型。载于IEEE/CVF计算机视觉与模式识别会议论文集，第9826–9836页，2024年。3, 7, 8, 23, 33 --- Physical Intelligence团队、凯文·布莱克、诺亚·布朗、詹姆斯·达尔皮尼亚、卡兰·达巴利亚、丹尼·德里斯、阿德南·埃斯梅尔、迈克尔·埃基、切尔西·芬恩、尼科洛·富萨伊等。$\pi_{0.5}$：一种具备开放世界泛化能力的视觉-语言-动作模型。arXiv预印本arXiv:2504.16054，2025年。罗兰多斯·亚历山德罗斯·波塔米亚斯、张静蕾、邓建康和斯特凡诺斯·扎费里欧。Wilor：野外环境下的端到端3D手部定位与重建，2024年。3, 7, 8, 23, 33 秦玉哲、杨伟、黄秉豪、卡尔·范·韦克、苏浩、王晓龙、赵宇伟和迪特尔·福克斯。AnyTeleop：一种基于视觉的通用灵巧机械臂-手部遥操作系统。载于机器人科学与系统会议，2023年。1 哈维尔·罗梅罗、季米特里奥斯·齐奥纳斯和迈克尔·J·布莱克。具身手部：手部与身体的联合建模与捕捉。ACM图形学交易，36(6)：1–17，2017年。3 肯尼斯·肖、希卡尔·巴尔和迪帕克·帕塔克。VideoDex：从互联网视频中学习灵巧操控能力。载于机器人学习会议，2022年。1 宋宇欣·雷、李金洲、付饶、德文·墨菲、周凯辰、里希·希夫、李雅琪、熊浩宇、克里斯托尔·伊莱恩·欧文斯、杜一伦等。OpenTouch：将全手触觉功能引入现实世界交互。arXiv预印本arXiv:2512.16842，2025年。2, 3, 5, 18, 21 Wan团队。Wan：开放且先进的大规模视频生成模型。arXiv预印本arXiv:2503.20314，2025年。4 王宇希、金承凯、刘宇飞、欧阳文琦、魏天一、曾志伟、黄思远、沈志奇和潘星刚。视频扩散模型在手部运动重建中的惊人效果。arXiv预印本arXiv:2606.30308，2026年。2, 3, 4 温博文、绍里亚·德万和斯坦·伯奇菲尔德。Fast-foundation立体视觉：实时零样本立体匹配技术。arXiv预印本arXiv:2512.11130，2025a年。23, 26 温博文、马修·特雷普特、约瑟夫·阿里比多、扬·考茨、奥拉齐奥·加洛和斯坦·伯奇菲尔德。FoundationStereo：零样本立体匹配技术。载于计算机视觉与模式识别会议论文集，2025b年。26 徐明鑫等。HandFlow：基于流匹配的完全生成式4D手部恢复模型。，2026年。V1开源版本。3, 7, 8, 23, 33 杨立新、詹欣宇、李凯琳、徐文强、李杰峰、卢策吾。CPF：学习接触势场以建模手与物体的交互。载于《IEEE/CVF国际计算机视觉会议论文集》，第11097–11106页，2021年。5 杨瑞涵、虞秦希、吴烨成、闫瑞、李博瑞、郑安杰、邹雪燕、方云浩、尹宏旭、刘思飞等。EgoVLA：从第一人称视角的人类视频中学习视觉-语言-动作模型。arXiv预印本arXiv:2507.12440，2025年。1 叶圣熙、张乔尔、全秉旭、朱世俊、杨建伟、彭保林、曼德尔卡尔·阿杰伊、谭如本、赵宇伟、林柏辰等。基于视频的潜在动作预训练。载于《国际学习表征会议》，2025a年。1 叶宇飞、冯瑶、塔赫里·奥米德、冯海文、图尔萨尼·舒巴姆、布莱克·迈克尔·J.。从单目视频预测4D手部轨迹，2025b年。3、7、8、23、33 曾元、史玉佳、谭涛、李星婷、秦雅琪、陆宗庆、杨文明、薛景豪、廖庆敏。EgoTactile：从第一人称视角视频中学习日常物体的抓取压力。载于《国际机器学习会议》，2026年。3 詹欣宇、杨立新、赵一菲、毛康瑞、徐汉林、林泽南、李凯琳、卢策吾。OakInk2：一个关于双手法与物体在复杂任务中交互的数据集。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第445–456页，2024年。17、18 张驰、蔡鹏林、习子恒、袁浩奇、罗浩、张万鹏、郑思鹏、徐超毅、陆宗庆。面向灵巧机器人操控的人体中心可迁移触觉预训练。arXiv预印本arXiv:2607.01067，2026a年。2、17 --- 张京雷、邓建康、马超、波塔米亚斯·罗兰多斯·亚历山德罗斯。HaWoR：从第一人称视角视频中重建世界坐标系下的手部运动。载于《计算机视觉与模式识别会议论文集》，第1805–1815页，2025年。3、7、8、23、33 张希东、张一驰、史佳欣、朱福才、朱思宇、王明宇、吴晓军、袁伟豪。UniTacVLA：视觉-语言-动作模型中统一的触觉理解与预测。arXiv预印本arXiv:2606.31723，2026b年。2 赵一鸣、权泰仁、斯特雷利·保罗、波莱费斯·马克、霍尔兹·克里斯蒂安。EgoPressure：一个用于第一人称视觉中手部压力与姿态估计的数据集。载于《计算机视觉与模式识别会议论文集》，2025年。3、34 周宇晓、哈伯曼·马克、徐伟鹏、哈比比·伊克桑努尔、特奥鲍尔特·克里斯蒂安、徐峰。利用多模态数据实现单目实时手部形状与运动捕捉。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第5346–5355页，2020年。5 --- ## 附录内容 A 实现细节 16 A.1 $\beta$-缓存推理流程 ..... 16 A.2 伪标签生成 ..... 16 A.3 基于射线的相机求解器 ..... 19 A.4 目标函数与评估指标 ..... 19 A.5 训练与评估 ..... 22 B 额外的实验结果 27 B.1 基于DPP的真实机器人实验 ..... 27 B.2 $\beta$-缓存对抖动的影响 ..... 28 B.3 推理成本 ..... 29 B.4 各数据集的重定向结果 ..... 29 B.5 额外的定性结果 ..... 30 B.6 额外的消融实验结果 ..... 30 C 局限性 34 --- ## A 实现细节 ### A.1 $\beta$-缓存推理流程 ```pseudo // Algorithm 1: $\beta$-cache inference for one video, run per hand Require: clips $C_1, \ldots, C_W$; visibility threshold $T_v$; decoder $\mathcal{D}$ 1: $\beta_{cache} \leftarrow \emptyset$, $\mathcal{P} \leftarrow [$] $\triangleright$ no shape yet; no clips held back 2: for $w = 1$ to W do 3: if $\beta_{cache} \neq \emptyset$ then 4: output $\mathcal{D}(w \mid \beta_{cache})$ $\triangleright$ shape known: decode once 5: else 6: $(\hat{\beta}^w, v^w) \leftarrow \mathcal{D}(w)$ $\triangleright$ probe: shape-head output and visible fraction 7: if $v^w > T_v$ then 8: $\beta_{cache} \leftarrow \hat{\beta}^w$ $\triangleright$ $C_w$ is the first well-visible clip, i.e., $w^*$ 9: for all $u \in \mathcal{P} \cup \{w\}$ do 10: output $\mathcal{D}(u \mid \beta_{cache})$ $\triangleright$ re-decode the held-back clips 11: end for 12: $\mathcal{P} \leftarrow [$] 13: else 14: append w to $\mathcal{P}$ $\triangleright$ hold back until the shape is known 15: end if 16: end if 17: end for 18: for all $u \in \mathcal{P}$ do 19: output $\mathcal{D}(u \mid \hat{\beta}^u)$ $\triangleright$ no clip qualified: fall back to per-clip shapes 20: end for ``` ```pseudo // Algorithm 1: details the inference-time shape protocol of Section 3.2. Videos are decoded clip by clip until the first sufficiently visible clip $c_{w^*}$ is found, whose shape-head output becomes $\beta_{cache}$ and is reused for all clips; previously probed clips are then decoded again with the cached shape. If no clip qualifies, each clip retains its own shape estimate, corresponding to the per-clip setting in Table 1. With an externally calibrated shape, the algorithm starts with $\beta_{cache}$ initialized and decodes every clip once without probing. Figure 5 illustrates this procedure on a test recording, where the first well-visible window supplies the shape shared by the entire video. ``` ### A.2 伪标签生成姿态标签转换。表6对比了不同求解器将原始的45自由度MANO标签转换为式(3)中定义的受限集合C的效果，这些求解器通过最小化式(4)中的拟合目标来实现转换。所有求解器都从投影到C上的初始状态开始，优化相同的20个活动手指自由度，即每个非拇指MCP关节的三个轴向自由度，以及每个非拇指PIP和DIP关节的弯曲自由度。我们评估了转换后的姿态与原始标签在15个手部关节和5个指尖处的平均关节距离，其中标签的形状由$\beta$表示；所用帧数据来自DexYCB（Chao等人，2021年）和ARCTIC（Fan等人，2023年），成本列则记录了在相同帧上相对于我们的算法所需的耗时。迭代次数较多的Adam算法是最精确的求解器，例如迭代200次后，在DexYCB数据集上的中位误差可降至0.34毫米，在ARCTIC数据集上降至0.65毫米，但所需成本高达$283\times$。由于这种转换需要针对每个训练集的每一帧进行，因此我们排除了该算法，因为此类预处理成本会阻碍训练语料库的进一步扩展。在剩余的求解器中，我们首先排除那些最坏情况误差不可接受的算法，比如无阻尼高斯-牛顿步长法：当手指伸展时，其雅可比矩阵接近奇异，导致ARCTIC数据集上第99百分位误差升至13.2毫米，最差帧误差更是达到25.0毫米。接着我们排除了循环坐标下降法和从根到尖的顺序求解法，虽然它们的误差与我们算法的误差相差不到0.05毫米，但所需成本分别达到$3\times$和$8\times$。最终剩下的是式(5)中的阻尼高斯-牛顿步长法，我们采用有限差分雅可比矩阵，迭代三次，每次迭代成本为$\lambda=10^{-3}$。当阻尼值处于$10^{-3}$到$10^{-5}$之间时，拟合效果不受显著影响；若保留残差中的指尖部分，可降低接触相关顶点的误差，例如在DexYCB数据集上误差可从0.66毫米降至0.47毫米。每个转换后的标签都会存储其残差，整个数据集中的残差范围在0.5到1毫米之间。 --- ![Image](images/cfefa342c9b45aebfd4b83cabe50be6efe3dcf19b34888a03e762e199546dd22.jpg)

Figure 5: $\beta$-cache inference on a test recording. Left hand of a HOT3D Aria test recording decoded in 81-frame windows. Seven evenly spaced frames are shown per window, with the strip below marking frame-level presence or absence and triangles indicating the displayed frames. Windows whose visibility stays under $T_v$ are held back. The left hand first exceeds $T_v$ in window 4, so its shape becomes $\beta_{\text{cache}}$ and windows 1–3 are decoded again; the right hand is cached from window 1.

![Image](images/e44b887385785b9a3b146ce194264bfa78549ff3f87d3f11e5a9dd888eba0f64.jpg)

Figure 6: Contact label differences between distance threshold and signed distance. Contact labels from the conventional unsigned distance (middle) and our signed distance (right) on two DexYCB grasps. We denote the contacted vertices with the red mark.

我们仅转换MANO参数，而保持所有2D和3D关键点标签不变。我们的大部分数据源首先获取3D关键点，例如基于标记的动作捕捉数据、多视角三角测量数据或头戴式设备采集的数据，之后再将这些关键点拟合为MANO模型。因此，原始MANO标签中出现的解剖学上不可能的扭转角和展开角，源于无约束的MANO拟合过程，而非关键点标注本身——因为拟合过程可利用MANO额外的自由度来抵消关键点误差。此外，若将关键点重新拟合为受限的MANO模型，还会改变各算法评估所依据的基准真值，从而降低基准测试的可重复性，甚至可能导致评估结果偏向我们的参数化方式。因此保留原始关键点，能确保第4节中的所有对比均基于原始发布的数据集进行。这种转换应用于所有第一阶段训练数据源，即ARCTIC（Fan等人，2023年）、HOT3D（Banerjee等人，2024年）、H2O（Kwon等人，2021年）、OakInk2（Zhan等人，2024年）、DexYCB（Chao等人，2021年）、HO3D（Hampali等人，2020年）以及HRDexDB（Lim等人，2026年）。运动重建效果的评估以发布的关键点为参照，涉及HOT3D（Banerjee等人，2024年）测试集的21万帧手部数据、ARCTIC（Fan等人，2023年）自中心验证集的5.3万帧数据，以及EgoDex（Hoque等人，2026年）测试集的17.4万帧数据；我们的方法和所有基线模型在训练阶段均未接触过EgoDex数据集。接触标签提取。我们从提供真实手部与物体网格的手-物交互数据集中提取密集的顶点级接触标签。设 $\mathbf{x}_{t,v} \in \mathbb{R}^3$ 表示第 t 帧时 MANO 顶点 $v \in V$ 在世界坐标系中的位置，设 $S_t^{\text{obj}}$ 表示姿态调整后的物体表面。一种自然的选择便是基于距离的接触标注所采用的无符号点到面距离（张等人 ---

Step rule	$\lambda$	Iters	DexYCB			ARCTIC			Cost $\downarrow$
Step rule	$\lambda$	Iters	Median $\downarrow$	P99 $\downarrow$	Max $\downarrow$	Median $\downarrow$	P99 $\downarrow$	Max $\downarrow$	Cost $\downarrow$
None (projection only)	-	-	1.03	2.34	3.23	1.98	3.96	7.85	$0.1 \times$
First-order descent	-	3	1.01	2.32	3.20	1.95	3.91	7.80	$1 \times$
Cyclic coordinate descent	-	3	0.42	0.77	1.43	0.91	1.54	4.41	$3 \times$
Root-to-tip sequential	$10^{-3}$	3	0.47	0.80	1.43	0.93	1.46	4.34	$8 \times$
Gauss–Newton	0	3	0.34	1.27	9.88	0.72	13.21	24.96	$1 \times$
Ours (damped Gauss–Newton)	$10^{-3}$	3	0.47	0.80	1.41	0.92	1.44	5.07	$1 \times$
Adam	-	50	0.37	0.70	1.46	0.83	1.36	4.62	$69 \times$
Adam	-	200	0.34	0.63	1.15	0.65	1.16	2.08	$283 \times$

Table 6: Constrained-label fitting. Label error (mm), i.e., the mean per-joint distance between the constrained pose and the original label over the 15 hand joints and the 5 fingertips, on 4057 DexYCB and 4089 ARCTIC frames. Every refinement starts from the same projection and runs the same number of iterations, so the rows differ only in the step rule. The undamped solve attains a competitive median but its worst frames degrade by an order of magnitude, which is the failure mode that matters when the output is a training label; damping bounds it. Cost is wall-clock time relative to ours on the same frames and hardware. We denote best and second best values.

等人，2026a；Jung和Lee，2025）：当顶点位于物体表面$\delta_{c}$范围内时，即认为该顶点处于接触状态。然而，通过动作捕捉技术拟合的手部网格经常会与物体发生穿插现象。因此，穿透深度超过$\delta_{c}$的顶点，其距离物体表面的实际距离可能反而大于$\delta_{c}$，这会导致无符号距离规则错误地将其判定为未接触。如图6中对两种DexYCB抓取方式所示，这种现象会抹去抓握最紧处的指尖部分，并破坏接触区域的完整性；在右侧示例中，无符号距离规则遗漏了364个真实接触顶点中的253个。因此，我们采用了有符号距离。 $$ d_{t,v}=\pm\mathrm{d i s t}\Big(\mathbf{x}_{t,v},\mathcal{S}_{t}^{\mathrm{o b j}}\Big), $$ 当 $\mathbf{x}_{t,v}$ 位于物体内部时，其符号为负；也就是说，若伪法向量内外测试将其判定为内部点，则赋予相应标签。 $$ c_{t,v}\;=\;\mathbf{1}\big[d_{t,v}\leq\delta_{c}\big],\qquad\delta_{c}=5\mathrm{m m}. $$ 只要一个穿透顶点满足 $d_{t,v} < 0 \leq \delta_c$ 的条件，无论其穿透深度如何，都会被标记为接触状态，从而恢复图6右侧所示的完整、清晰的接触区域。我们将连续的有符号距离与 $d_{t,v}$ 一同存储，以便能在训练阶段对 $\delta_c$ 进行调优。这些几何标签仅用于监督第二阶段中的接触模块，其数据来源为提供物体网格的数据集，包括ARCTIC（Fan等人，2023）、HOT3D（Banerjee等人，2024）、DexYCB（Chao等人，2021）、HO3D（Hampali等人，2020）、HRDexDB（Lim等人，2026）以及OakInk2（Zhan等人，2024）；它们也分别作为DexYCB测试集、HOT3D测试集和ARCTIC自中心验证集的接触真值，这些数据集均不涉及力的信息。力标签提取。对于那两个包含力标签的数据源，我们遵循HOPE（Jeon等人，2026）的标签修订方案，以确保表2中的训练目标与测试真值采用一致的标注规范。在OpenTouch（Song等人，2025）数据中，手套提供了一个由169个有效触觉单元组成的 $16 \times 16$ 网格。我们利用经过校准的触觉单元到顶点对应关系 $\mathcal{T}(v)$ 将读数映射到MANO表面上：每个触觉单元的值被赋予其所覆盖的所有顶点，而被多个触觉单元覆盖的顶点则取这些值的平均值。 $$ \begin{array}{c} \bar{p}_{t,v}\;=\;\frac{1}{|\mathcal{T}(v)|}\displaystyle\sum_{i\in\mathcal{T}(v)}\pi_{t,i}, \end{array} $$ 这种方式覆盖了778个顶点中的205个。其余未被感测到的顶点则通过逐顶点掩码从接触损失和力损失计算中排除。由于手套信号存在漂移现象，且在抓取动作之间无法归零，HOPE通过每段视频的帧状态来对信号进行门控处理。具体而言，系统会针对自适应阈值施加迟滞效应并进行形态学清理来追踪总压力；低于该阈值的帧被标记为无接触状态，并赋值为零力值。 --- 而在状态转换前后三帧内的无接触帧则因具有不确定性而被排除在接触损失计算之外。训练阶段使用的是作者许可列表中的1469个视频片段，测试阶段则采用他们基于人工校验所得的对原始手套压力的帧状态标注，也就是其评估代码所使用的真值。在PressureVisionDB（Grady等人，2022年）中，我们采用了HOPE研究者从压力垫和MANO拟合结果中提取的顶点级压力目标，这些目标仅限于能够接触压力垫的421个手掌侧顶点；没有对应目标的帧则不进行监督训练。两种数据源均以千帕斯卡作为力单位，基于力推导的接触定义为$c_{t,v} = 1[\bar{p}_{t,v} > 1 \text{ kPa}]$，该定义适用于被感知的顶点集合。 OpenTouch和PressureVisionDB是第二阶段的两个带力标签的数据源，它们与上述仅含接触信息的数据源一同使用，触觉估计任务则是根据HOPE的定义在其测试集上进行评估。 ### A.3 基于射线的相机求解器在特征网格$\mathbf{F}$上，一个初始化为零的线性射线头会为每个单元格预测一条单位观测射线，随后对$T'$个潜在帧的结果取平均值，从而得到每个视频片段对应的一个射线场$\hat{\mathbf{r}} \in \mathbb{R}^{h \times w \times 3}$，因为同一视频片段内的相机内参是恒定的。该模型通过$\mathcal{L}_{\text{ray}}$进行监督训练，即计算其与附录A.4中定义的校准像素射线$\mathbf{r}$之间的余弦距离，其傅里叶编码则用作第3.2节所述的射线位置嵌入。通过ACE-Ego-Hand（Liu等人，2026年）的混合PnP方案可恢复平移量$\hat{\tau}_t = (\hat{\tau}_{x,t}, \hat{\tau}_{y,t}, \hat{\tau}_{z,t})$。手部标记的深度头直接预测$\hat{\tau}_{z,t}$，进而确定每个姿态化规范关节$z_{t,j}$的深度$\mathbf{J}_{t,j}^{\mathrm{can}}$。平面内的分量则通过闭式最小二乘解法获得。 $$ \begin{align*}(\hat{\tau}_{x,t},\hat{\tau}_{y,t})&=\underset{\tau_{x},\tau_{y}}{\arg\min}\sum_{j}w_{t,j}\left\|\frac{\mathbf{J}_{t,j,x y}^{\mathrm{can}}+(\tau_{x},\tau_{y})}{z_{t,j}}-\mathbf{b}_{t,j}\right\|_{2}^{2},\\\mathbf{b}_{t,j}&=\Pi_{\mathbf{K}}^{-1}(\hat{\mathbf{a}}_{t,j}),\end{align*} $$ 其中$\mathbf{b}_{t,j}$表示方位角，即通过附录A.4中预测的2D锚点$\hat{\mathbf{a}}_{t,j}$经校准的内参$\mathbf{K}$反投影得到的归一化图像坐标。权重为$w_{t,j} = z_{t,j}^{-2}$，该解法仅适用于那些锚点位于画面内且深度为正值的关节。当参与计算的关节数量少于最低要求，或者重新拟合的残差超过阈值时，求解器会退而将手腕置于其自身方位角所对应的深度$\hat{\tau}_{z,t}$处。随后得到的相机坐标系下关节坐标$\hat{\mathbf{J}}_{t}^{\mathrm{cam}} = \mathbf{J}_{t}^{\mathrm{can}} + \hat{\boldsymbol{\tau}}_{t}$会被用于3D、2D及时序损失的计算。所有报告的模型均使用各数据集校准后的相机内参K；射线头仅用于位置嵌入和辅助射线监督。 ### A.4 目标函数与评估指标本节给出了第3.4节中所有训练损失以及第4节中评估指标的闭式定义。文中$\langle\rangle$表示对掩码中有效条目取均值。对于训练损失而言，$m_{t,s} \in \{0,1\}$表示帧t和手s是否存在对应的监督信息，例如MANO参数、3D关键点或2D关键点，从而允许异构数据源在单一混合训练中共同学习。此处，t索引帧，$s \in \{L, R\}$索引手，j索引$J=21$个关节；帽号表示预测值。旋转与形状。设$\tilde{R}_{t,j}$为第3.2节中组装得到的旋转堆栈，即全局朝向和15个关节的旋转角度，$R_{t,j}$为真实值。旋转与形状损失如下： $$ \begin{array}{r l r}{\mathcal{L}_{\mathrm{r o t}}=\big\langle\operatorname{a r c c o s}\frac{\mathrm{t r}(\widehat{\mathrm{R}}^{\top}\mathrm{R})-1}{2}\big\rangle+\big\langle\|\widehat{\mathrm{R}}-\mathrm{R}\|_{F}^{2}\big\rangle,}&{{}}&{\mathcal{L}_{\beta}=\big\langle\|\widehat{\boldsymbol{\beta}}-{\boldsymbol{\beta}}\|_{1}\big\rangle,}\end{array} $$ 其中，形状损失仅应用于那些有真实$\beta$且在该步骤中未受教师强制约束的手部，如第3.2节所述，这样可确保形状头在测试时所用的相同无条件设置下接受监督训练。 --- 3D关节。以手腕为参照的术语负责监督MANO姿态关节以及由关节标记直接回归的关节的运动，而相机坐标系和手腕术语则通过恢复的平移量来监督绝对位置： $$ \mathcal{L}_{\mathrm{3D}}=\lambda_{\mathrm{r e l}}\big\langle\|\widehat{\mathbf{J}}^{\mathrm{r e l}}-\mathbf{J}^{\mathrm{r e l}}\|_{1}\big\rangle+\lambda_{\mathrm{c a m}}\big\langle\|\widehat{\mathbf{J}}^{\mathrm{c a m}}-\mathbf{J}^{\mathrm{c a m}}\|_{1}\big\rangle+\lambda_{\mathrm{w}}\big\langle\|\widehat{\mathbf{J}}_{\mathrm{w r i s t}}^{\mathrm{c a m}}-\mathbf{J}_{\mathrm{w r i s t}}^{\mathrm{c a m}}\|_{1}\big\rangle. $$ 2D术语。软argmax锚点以及已建模的3D关节的重投影，会在归一化的图像坐标中被监督： $$ \begin{array}{r}{\mathcal{L}_{\mathrm{2D}}=\big\langle\lVert\hat{\mathbf{a}}-\mathbf{u}\rVert_{1}\big\rangle_{\mathrm{i n}}+\big\langle\lVert\boldsymbol{\Pi}(\widehat{\mathbf{J}}^{\mathrm{c a m}})-\mathbf{u}\rVert_{1}\big\rangle_{\mathrm{i n,f r o n t}}+\frac{1}{2}\big\langle\lVert\boldsymbol{\Pi}(\widehat{\mathbf{J}}_{\mathrm{w r i s t}}^{\mathrm{c a m}})-\mathbf{u}_{\mathrm{w r i s t}}\rVert_{1}\big\rangle_{\mathrm{i n,f r o n t}},}\end{array} $$ 其中$\langle\cdot\rangle_{\text{in}}$会筛选出投影位于画面内、即属于软argmax有效目标的置信度加权目标，而$\langle\cdot\rangle_{\text{front}}$还要求预测的关节位于相机前方。平移、存在性、平滑度、光线。平移目标是真实手腕位置与真实姿态下的标准MANO模型手腕位置之间的偏移量，由$\boldsymbol{\tau}_{t}^{\mathrm{gt}} = \mathbf{J}_{\mathrm{wrist},t}^{\mathrm{cam}} - \mathbf{J}_{\mathrm{wrist},t}^{\mathrm{can}}$通过$\mathcal{L}_1$损失函数进行监督；存在性和可见性逻辑值则在已知存在性的帧上用二元交叉熵进行监督；$\mathcal{L}_{\mathrm{tmp}}$会对有效帧中相机坐标系下关节的二次时间差分（即加速度）进行惩罚；最后，$\mathcal{L}_{\mathrm{ray}} = \langle 1 - \hat{\mathbf{r}}^{\top} \mathbf{r} \rangle$是预测像素光线与标定像素光线在标记网格上的平均余弦距离。检测门控。所有“-p”姿态指标均遵循ACE-Ego-Hand（Liu等人，2026年）的检测门控协议。设$o_{t,s} \in \{0,1\}$表示真实手部是否在画面内，$\hat{p}_{t,s}$为预测的存在概率，$\mathcal{B}(\cdot)$为一组图像点的轴对齐边界框，$\mathcal{B}_{1.1}(\mathbf{u}_{t,s})$为扩大10%后的真实关键点框。当下述三个条件全部满足时，该预测才被视为一次有效检测： $$ \begin{aligned}d_{t,s}=\mathbb{1}\big[\hat{p}_{t,s}>0.5\big]\mathbb{1}\big[\Pi\big(\widehat{\mathbf{J}}_{t,s}^{\mathrm{cam}}\big)\mathrm{has~a~joint~inside~the~frame~with~\hat{z}>0\big]\\ \cdot\mathbb{1}\big[\mathcal{B}(\Pi\big(\widehat{\mathbf{J}}_{t,s}^{\mathrm{cam}}\big))\cap\mathcal{B}_{1.1}(\mathbf{u}_{t,s})\neq\emptyset\big].\end{aligned} $$ 匹配帧，即$d_{t,s} = 1$，会贡献其实际误差，而漏检的画面内手部则会触发固定的标准MANO惩罚项：对于3D术语而言是手腕对齐的静止姿态与平均形状之间的误差，对于2D术语而言则是图像对角线长度。这一设计可防止通过丢弃难处理帧来人为改善指标结果。 $F_{Acc}$。帧准确率是既无漏检画面内手部也无虚假检测的帧所占的比例： $$ \mathrm{F}_{\mathrm{A c c}}=\frac{1}{T}\sum_{t=1}^{T}\mathbb{1}\Big[\sum_{s}o_{t,s}\left(1-d_{t,s}\right)+\left(1-o_{t,s}\right)f_{t,s}=0\Big], $$ 其中$f_{t,s} = 1$表示尽管标注为不存在，却仍被预测为存在于画面内的手部。在没有明确缺失标签的双人手数据集上，仅第一项指标生效。 MPJPE-p和PA-p。设$\bar{\mathbf{J}}_{t,s} = \mathbf{J}_{t,s} - \mathbf{J}_{t,s,\mathrm{wrist}}$为手腕对齐的关节，$e_{t,s}^{\mathrm{can}}$为漏检手部的标准MANO惩罚项。MPJPE-p是在画面内真实手部上计算的毫米级平均单关节误差，其中检测到的手部会贡献其手腕对齐误差，漏检手部则贡献对应的惩罚项： $$ \begin{array}{r l}&{\mathrm{M P J P E\mathrm{-}p}=\left\langle d_{t,s}\frac{1}{J}\sum_{j}\left\|\widehat{\mathbf{J}}_{t,s,j}-\mathbf{\bar{J}}_{t,s,j}\right\|_{2}+\left(1-d_{t,s}\right)e_{t,s}^{\mathrm{c a n}}\right\rangle_{o_{t,s}=1}.}\end{array} $$ PA-p的定义方式相同，需先将$\widehat{\mathbf{J}}_{t,s}$与$\bar{\mathbf{J}}_{t,s}$进行Procrustes拟合——即确定最优旋转、平移和缩放参数。漏检手部的惩罚项也按同样方式对齐。 EPE2D-p。设$V_{t,s}$为画面内的真实关节，$(W, H)$为图像尺寸。EPE2D-p是在评估分辨率下画面内真实手部的平均2D关节像素误差，漏检手部会贡献图像对角线的长度作为误差。 $$ \begin{array}{r l}&{\mathrm{E P E2D-p}=\Big\langle d_{t,s}\frac{1}{|\mathcal{V}_{t,s}|}\sum_{j\in\mathcal{V}_{t,s}}\left\|\Pi(\widehat{\mathbf{J}}_{t,s,j}^{\mathrm{c a m}})-\mathbf{u}_{t,s,j}\right\|_{2}+(1-d_{t,s})\sqrt{W^{2}+H^{2}}\Big\rangle_{o_{t,s}=1}.}\end{array} $$ --- MPJPE $^{+}$OOS。该指标绕过检测门控，测量所有包含真实3D手部$g_{t,s} = 1$的帧上的手腕对齐误差，包括那些不在视野内的手部： $$ \begin{array}{r l}&{\mathrm{M P J P E}^{+}\mathrm{O O S}=\left\langle\frac{1}{J}\sum_{j}\left\|\widehat{\mathbf{J}}_{t,s,j}-\mathbf{\bar{J}}_{t,s,j}\right\|_{2}\right\rangle_{g_{t,s}=1}.}\end{array} $$ 因此，该指标用于评估在观测缺失时段的时间外推能力。抖动。抖动衡量的是时间一致性而非准确性。设 $\mathcal{R}$ 为那些连续至少三帧预测手部存在且在实际真值中手部确实出现在屏幕上的最大连续帧序列集合。抖动是指相机帧关节处第二时间差向量的归一化平均值，单位为毫米/帧 $^{2}$；该值先在每个序列内取平均，再跨所有序列取平均： $$ \mathrm{J i t t e r}=\frac{1}{|\mathcal{R}|}\sum_{r\in\mathcal{R}}\frac{1}{|r|-2}\sum_{t\in r}\frac{1}{J}\sum_{j}\left\|\widehat{\mathbf{J}}_{t+1,j}^{\mathrm{c a m}}-2\widehat{\mathbf{J}}_{t,j}^{\mathrm{c a m}}+\widehat{\mathbf{J}}_{t-1,j}^{\mathrm{c a m}}\right\|_{2}. $$ 用于计算准确性指标的二维检测阈值并未被应用，因此每个追踪器会基于其所有预测结果进行评估，而非仅针对定位精准的预测结果。由于不同方法所评估的帧集存在差异，我们额外验证了：将所有方法限定在每种方法都能检测到手部的帧上后，三个测试集上的排名仍保持不变。形状抖动。$\sigma_{\text{shape}}$ 用于量化记录过程中预测手部大小的偏差，即便受试者的手部本身并无变化。设 $\ell(\beta)$ 为 MANO 模板中中指骨链的长度，即腕部-MCP-PIP-DIP-指尖这一段；该模板采用形状 $\beta$ 并在身份姿态 $\theta_0$ 下建模。骨骼长度及由此产生的形状抖动为： $$ \ell(\boldsymbol{\beta})=\sum_{k=1}^{4}\left\|\mathbf{J}_{k}(\boldsymbol{\beta},\boldsymbol{\theta}_{0})-\mathbf{J}_{k-1}(\boldsymbol{\beta},\boldsymbol{\theta}_{0})\right\|_{2},\qquad\sigma_{\mathrm{s h a p e}}=\left\langle\operatorname{s t d}_{t\in\mathcal{T}_{c,s}}\ell(\hat{\boldsymbol{\beta}}_{t,s})\right\rangle_{(c,s)}, $$ 其中 $\mathcal{T}_{c,s}$ 表示录制 c、手部 s 的帧集合，这些帧中该方法预测手部存在且实际真值中手部也在屏幕上；外层均值以毫米为单位，是对所有录制和手部情况取平均，且满足 $|\mathcal{T}_{c,s}| \geq 30$。由于 $\ell$ 是在固定姿态下评估的，它仅依赖于 $\hat{\beta}$；因此对于每条录制使用单一形状的方法，其 $\sigma_{\text{shape}} = 0$ 值固定。逐帧追踪器会对每个裁剪区域重新估算 $\hat{\beta}$，导致同一录制中手部大小会波动数毫米，而片段级模型则每个窗口才重新估算一次。$\beta$-缓存协议会将第一个可见性良好的窗口中缓存的形状应用到该录制的每个窗口，从机制上保证了 $\sigma_{\text{shape}} = 0$ 的固定性。接触 F1 分数与 AUROC。设 $c_{t,v} \in \{0,1\}$ 为帧 t 中 MANO 顶点 v 的实际接触状态，$\hat{c}_{t,v} \in [0,1]$ 为预测概率。这两个指标均对所有评估帧中的所有 $|V|$ 个顶点进行微平均处理： $$ \begin{aligned}\mathrm{F}1&=\frac{2\mathrm{TP}}{2\mathrm{TP}+\mathrm{FP}+\mathrm{FN}}\quad with\quad\hat{c}_{t,v}>\tau_{c},\\\mathrm{AUROC}&=\operatorname{Pr}\left[\hat{c}_{t,v}>\hat{c}_{t^{\prime},v^{\prime}}\mid c_{t,v}=1,c_{t^{\prime},v^{\prime}}=0\right],\end{aligned} $$ 其中 F1 分数在固定的操作点 $\tau_c = 0.8$ 处报告，该点是在验证集上选定的；而 AUROC 则独立于该阈值来评估预测结果的排序性能。AUROC 是根据包含 2 万个区间的每区间得分直方图计算得出的，其与基于完整排名的统计结果相差不超过 $10^{-6}$，且无需生成完整的得分向量。力 MAE 与 RMSE。设 $f_{t,v}$ 为测量的压力值，$\hat{f}_{t,v}$ 为预测的每顶点压力值，单位均为千帕。对于所有有力真值的帧中的顶点，这两个力指标计算如下： $$ \mathrm{MAE}=\big\langle|\hat{f}_{t,v}-f_{t,v}|\big\rangle,\qquad\mathrm{RMSE}=\sqrt{\big\langle(\hat{f}_{t,v}-f_{t,v})^{2}\big\rangle}. $$ 触觉真值及评估协议。接触真值的来源不同，这在比较表 2 中的各列时尤为重要。OpenTouch（Song等人，2025年）将测量手套压力超过 1 千帕的顶点标记为接触点；而 DexYCB（Chao等人，2021年）、HOT3D（Banerjee等人，2024年）以及 ARCTIC（Fan等人，2023年）则是通过几何方式判定接触点，即 MANO 顶点位于 ---

Term of Eq. (7)	Component	Weight	Value
$\mathcal{L}_{\text{rot}}$	geodesic rotation error	$\lambda_{\text{geo}}$	1
$\mathcal{L}_{\text{rot}}$	Frobenius rotation error	$\lambda_{\text{mse}}$	1
$\mathcal{L}_{\beta}$	shape	$\lambda_{\beta}$	0.1
$\mathcal{L}_{3D}$	wrist-relative joints	$\lambda_{\text{rel}}$	10
	camera-frame joints	$\lambda_{\text{cam}}$	5
	camera-frame wrist	$\lambda_{w}$	2
$\mathcal{L}_{2D}$	soft-argmax anchors	$\lambda_{\text{anch}}$	1
	joint reprojection	$\lambda_{\text{reproj}}$	1
	wrist reprojection	$\lambda_{\text{reproj,w}}$	0.5
$\mathcal{L}_{\tau}$	translation	$\lambda_{\tau}$	1
$\mathcal{L}_{\text{pres}}$	existence	$\lambda_{\text{exist}}$	0.5
$\mathcal{L}_{\text{pres}}$	visibility	$\lambda_{\text{vis}}$	0.25
$\mathcal{L}_{\text{tmp}}$	temporal smoothness	$\lambda_{\text{tmp}}$	0.5
$\mathcal{L}_{\text{ray}}$	pixel rays	$\lambda_{\text{ray}}$	1

Table 7: Stage-1 loss weights. Each row is one component of the corresponding term of Eq. (7).

在物体网格的5毫米范围内。后一种定义也被用于训练HACO（Jung & Lee, 2025），这使得这三个划分与其训练标签直接对应。对于HOT3D数据集，Aria和Quest的记录是通过将F1值的混淆矩阵计数以及AUROC的得分直方图相加来共同评估的，而非对每台设备对应的指标取平均值。ARCTIC数据集没有测试集的真实标签，因此我们报告其验证集的结果。我们按照附录A.5中的描述，使用官方代码和检查点重新运行HOPE（Jeon et al., 2026）和HACO，并且使用的是与实验结果中相同的帧，而非引用已发表的数字。 Q-err。设$\mathbf{q}_t \in \mathbb{R}^D$为重定向求解器在帧t处根据预测手部生成的关节指令，设$\mathbf{q}_t^{\text{oracle}}$为同一求解器在同一帧中使用真实人体关节生成的指令。所有重定向指标都是在至少包含三个真实标签帧的连续序列上计算的，以确保时间差异不会跨越标签间隙。Q-err即这两个指令之间关节角度的平均绝对偏差（单位为度）： $$ \begin{array}{r}{\mathrm{Q-e r r}=\left\langle\frac{1}{D}\big\|\mathbf{q}_{t}-\mathbf{q}_{t}^{\mathrm{o r a c l e}}\big\|_{1}\right\rangle_{t}.}\end{array} $$ 抖动。抖动是指指令的关节平均绝对二阶时间差分，以${}^{\circ}/\mathrm{frame}^{2}$为单位，表示为各帧数值的中位数： $$ \mathrm{Jerk}=\mathrm{median}_{t}\ \frac{1}{D}\big\|\mathbf{q}_{t+1}-2\mathbf{q}_{t}+\mathbf{q}_{t-1}\big\|_{1}. $$ 由于真实标注中的帧间步进较为稀疏，我们采用中位数而非均值。在Oracle行中，均值会被这些步进所主导，而中位数能更好地反映追踪器引入的帧间噪声。我们关闭了DexPilot的低通滤波器，因此抖动反映的是追踪器的性能而非滤波器的影响。 ### A.5 训练与评估 ### 训练。训练视频被采样为长度为$T=81$帧的片段，输入图像高度为480。RLHND解码器的宽度为$D=384$，包含4层、8个注意力头以及4个寄存器令牌，LoRA的秩设为64。两个阶段均使用AdamW优化器，参数分别为$\beta_1=0.9$、$\beta_2=0.95$，权重衰减为0.01，先进行200步预热，随后采用余弦退火策略，梯度裁剪阈值为1.0，并使用bf16混合精度。解码器、射线头以及触觉专家的学习率为$2\times10^{-4}$，LoRA的学习率为$1\times10^{-4}$，补丁嵌入的学习率为$2\times10^{-5}$。第一阶段在8块H100 GPU上训练20k步，每块GPU处理2个片段，梯度累积步数为2，有效批量大小为32。第二阶段在单块A100上训练触觉专家20k步，批量大小为2，同时冻结整个第一阶段模型，仅让专家和顶点读出层接收梯度。公式(7)中的第一阶段损失权重列于表7。第二阶段使用$\lambda_c = \lambda_F = \lambda_\pi = 1$，二元交叉熵损失$_w$中正类样本的权重设为10。 --- 评估环节：我们使用各基线的官方代码和已发布的权重，在完全相同的帧上进行测试，而非直接引用已发表的数据。这样能确保所有方法都在相同的帧上被评估。基于裁剪的逐帧追踪器HaMeR（Pavlakos等人，2024年）、WiLoR（Potamias等人，2024年）、HaWoR（Zhang等人，2025年）以及HaPTIC（Ye等人，2025b年）共享随WiLoR一同发布的手部检测器，以及HaWoR中引入的检测逻辑。该检测器会为每侧选择置信度最高的框，并将左手数据镜像到右手模型。因此它们的$F_{Acc}$结果一致，且它们的“p”指标采用相同的检测前端。HandFlow（Xu等人，2026年）则通过其已发布的流程运行。由于它没有2D头部模块，EPE2D-p会使用其重投影后的关节数据，而相机平移参数则来自其基于裁剪的弱透视提升模块。ACE-Ego-Hand（Liu等人，2026年）则使用其官方推理代码和检查点运行。我们按照协议规定的分辨率，对每个测试窗口进行一次前向传播，并使用已发布的MANO解码器和相机求解器。在触觉估计方面，HACO（Jung和Lee，2025年）通过其公开版本运行。HOPE（Jeon等人，2026年）则使用作者应要求提供的官方代码和检查点。如第4.3节所述，所有方法的重定位过程均使用相同的DexPilot（Handa等人，2020年）求解器。表1中的两行RLHND数据共用一个检查点，仅在形状协议上有所不同。其中一行采用逐窗口预测方式，另一行则使用第3.2节中提到的$\beta$缓存机制——即将第一个视野良好的窗口中缓存的形状信息应用到录制的所有窗口中。 ## 训练DPP。下面我们将详细说明训练DPP的具体设置。数据方面：这200个人类演示包含每种抓取放置物体（如球、瓶子、盒子、鸟形物）各25个演示，此外还有50次塑料袋翻转演示和50次纸巾组装演示。这些数据以$1280 \times 720$的分辨率和30帧/秒的速率通过自拍设备记录。200个远程操控机器人场景遵循相同的任务划分。表4中的100:100混合数据集包含了全部200个人类演示和全部200个机器人演示。在不进行滚动输出的情况下，我们还训练了100:10和100:50的混合数据集，它们保留了所有人类演示，并分别随机抽取20个或100个机器人演示，抽取时保证任务分布均衡。图7展示了来自这两种数据源的示例帧。人类手部标签：RLHND在原始DPP设置下，以原生分辨率在右侧自拍视图中运行，并使用校准后的ZED Mini内参以确保公平比较。它会返回相机帧中双手的21个关键点，这些关键点的排列顺序符合DPP所需的MANO格式，同时还会提供来自其存在性头部的逐帧有效性标志。原始的DPP标签基于HaWoR关键点，每个帧内会重新缩放以使手腕位置与立体深度对齐，缩放时加入+2厘米的偏移量，并取5帧的时间中值，最终缩放范围被限制在[0.5, 2]之间。生成的关键点会经过清理，以去除重复项、异常值和轨迹不连续现象。RLHND的关键点在打包前也会经历相同的对齐和清理步骤，从而确保比较重点在于追踪器本身而非深度缩放因素。接触标签：由于HaWoR没有接触头部模块，表4中的两行数据均使用RLHND接触头部生成的接触标签。具体而言，其在$|V|$ MANO顶点上的逐顶点接触概率，会通过DPP打包器转换为21个关键点对应的标签，转换时采用固定的顶点到关键点权重映射。图8展示了这些自动生成的标签在示例演示中的效果。简而言之，这两行的区别仅在于手部关键点。打包与目标。视频片段被重采样为20帧/秒，每个观测数据都以其锚定步骤的相机坐标系表示，该坐标系相对于每集数据的原点。观测数据包含18个宽度为512的标记，其中最多可表示四个物体，每个物体由512个立体点构成；此外还包括指令和物体名称的MiniLM嵌入向量、42个手部关键点以及9维相机位姿。物体点通过Fast-FoundationStereo（Wen等人，2025a）深度图和SAM 3（Carion等人，2025）掩码获得。动作则是一个包含16个时间步的序列，即0.8秒内的关键点位移，这些位移会根据DPP预训练语料库的统计信息在每个时间步和通道上进行归一化，并被截断为$\pm5$。目标函数采用修正流形式，具体实现为高斯噪声与目标之间速度差的平方误差，当未追踪到手部时则屏蔽该项；同时还会对从分离特征中计算出的42个接触预测结果施加二元交叉熵损失，以防止接触损失反向传播至主干网络。优化过程：所有策略均从同一个经过10万步预训练的DiT-B检查点开始，随后使用AdamW优化器进行6万步微调，学习率为$10^{-4}$，权重衰减为$10^{-4}$；微调过程包含1千步的预热阶段，之后保持恒定学习率，梯度裁剪上限为1.0，批量大小为128，dropout比例为0.1，并在单张A100显卡上启用bf16自动混合精度计算，训练每个策略需耗时60至90分钟。快照 --- ![Image](images/6c58f9a24c5576f402c0603b8697ed1ca34b7a67e197565211afb0314a35d0a0.jpg)

Figure 7: Examples of the DPP training data. Top: human demonstrations for the six tasks, e.g., ball, bottle, box, bird, plastic bag, and tissue, across approach, grasp, hold, and release phases, viewed from the shared ego camera. Gray and teal denote the original DPP, i.e., HaWoR, and RLHND hand keypoints, respectively. Marker size and fill indicate the corresponding contact labels. Bottom: teleoperated robot episodes with forward-kinematics keypoints in gray.

每1万步保存一次，其中6万步时的快照会被用于部署，部署时使用高斯噪声作为初始输入，并通过6次欧拉步生成最终结果。真实机器人上的评估：图9展示了硬件平台。我们采用了RB-Y1双臂机器人，每只手臂配备一只WUJI Hand 2机械手，即每侧有7个自由度的手臂和20个自由度的手；策略通过安装在头部的ZED Mini立体相机获取场景图像，该相机的分辨率为$1280 \times 720$，帧率为30帧/秒。人类演示数据是通过相同的摄像设备录制的，旨在复现机器人的自我视角，因此人类与机器人的视频片段在图像格式、内参和视角上完全一致。我们共收集了200个人类演示样本和200个远程操控机器人生成的样本，涵盖六项任务，包括四项单手抓取放置任务和两项双臂任务： • 抓取与放置（瓶子、盒子、球、鸟）。右手从桌面上拾取物体并将其放入白色容器中。这四项任务的流程相同，仅物体类型不同，包括刚性的瓶子和盒子、小球以及柔软的毛绒鸟。 --- ![Image](images/68319d174a5686b735f35950ac4ee63a65eb30841b8419862330e5ee4a19aea2.jpg)

Figure 8: Automatic contact labels from RLHND. We denote vertices whose predicted contact probability exceeds 0.5 as $\text{teal}$. The strips below each row show the frame-level contact labels for the right (R) and left (L) hands, obtained by thresholding the mean contact probability over the fingertip vertices at 0.5. Triangles mark the displayed frames and percentages indicate the fraction of frames labeled as contact.

![Image](images/9fefb350390c148f4f4eb5aaeee6f601e40a72d9a0b5d3345f13cb681cd6325d.jpg)

Figure 9: Real-robot platform. An RB-Y1 bimanual robot with a WUJI dexterous hand on each arm in the tabletop workspace used for the real-robot experiments. The insets on the right show close-ups of the two hands, with the robot's left and right hands outlined in blue and red, respectively.

• 塑料袋处理。左手拾起塑料袋，将其翻转使条形码朝上，然后递给右手，右手再将其传递到另一条轨道上。该任务模拟物流线上的传送带分拣场景，在此场景中包裹需调整方向以便扫描，并被分流到相应通道。纸巾更换。左手从支架上取下用过的纸巾卷芯，同时右手取来新的纸巾卷并将其放置在支架上。表格中的两行数据均采用相同的策略和训练方案，即采用具有12层结构、宽度为768的DiT架构的灵巧点策略，动作预测范围为16个时间步，最多可处理四个物体，每个物体对应512个点。 --- ![Image](images/eb22d41c13470b5aaa2cf78b97e36011fcad9d036520d1d32131dc8d7bbf762a.jpg)

Figure 10: Real-robot rollouts of DPP + RLHND. Five snapshots of one rollout per task of the DPP + RLHND policy on the RB-Y1 with WUJI hands, from a third-person view. The four pick-and-place tasks (bottle, box, ball, bird) have the right hand grasp the object and drop it into the white container, and the two bimanual tasks are the ones where the left hand picks up and flips the plastic bag before the right hand passes it on, and the left hand removes the used tissue core before the right hand places the new roll on the holder.

这些策略初始化于在DPP人类视频语料库上预训练10万步的检查点，随后在混合数据集上以批量大小128进行6万步微调。两行数据之间的唯一区别在于200个人类样本中的手部关键点标签：DPP行使用HaWoR提供的关键点，而DPP + RLHND行则使用RLHND提供的标签；由于HaWoR无法预测接触信息，因此两行数据均采用RLHND的接触标签。机器人样本、物体、指令及超参数均保持一致。在推理阶段，利用Fast-FoundationStereo（Wen等人，2025a;b）生成的深度图以及SAM 3（Carion等人，2025）生成的掩码，以5 Hz的频率从立体图像对中在线提取物体关键点。策略模型运行6个流步骤，从而预测双手的16步关键点位移以及每个关键点的接触概率。通过逆运动学将预测出的关键点映射到机器人上，此时手指外展关节被锁定。对于接触概率超过0.05的关键点，会沿其连杆的外法线方向将其推移15毫米，以产生接触力。每种任务在每个条件下均进行16次试验，且物体的摆放位置是随机的。 --- ![Image](images/9c4df01cda7f9c68299109ea16c394b772c67fc6b5470995080b0607914bf6f5.jpg)

— DPP (HaWoR hands and contact) — DPP + RLHND (RLHND hands and contact)

Figure 11: Fine-tuning of DPP and DPP + RLHND. Top: action flow-matching loss over 60k fine-tuning steps. Bottom: keypoint displacement error of sampled actions at every 10k-step snapshot, measured as the mean L2 distance in cm between predicted and recorded 16-step displacements of the 21 keypoints. Results are shown for three human: robot ratios; only the 100:100 policies are deployed in Table 4. Gray denotes DPP with its original human labels and teal denotes DPP + RLHND.

### B 额外的实验结果 ### B.1 基于DPP的真实机器人实验执行过程。图10展示了表4中每项任务的DPP + RLHND策略的一次执行过程。抓取与放置任务的执行流程均包含接近、抓取、提起、搬运和释放这几个环节，仅在物体上有所区别；在塑料袋任务中，左手先抓起袋子并将其翻转，再递给右手；而在纸巾任务中，左手先移除用过的纸巾芯，随后右手再放置新卷纸巾。人手标签的深度信息。图12对比了两种追踪器记录的手腕深度与DPP流程中用于对齐的立体深度数据。即便在对齐之前，RLHND的轨迹也与立体深度轨迹高度吻合。在200次演示中，其右手腕深度与立体目标值的偏差中位数仅为2.3厘米，这一数值比HaWoR低17.8%。在这两种情况下，偏差主要由恒定偏移量导致：RLHND的中位数偏差为+2.2厘米，HaWoR则为+2.6厘米；而在快速伸手动作期间，RLHND的帧间误差明显更小。由于对齐操作仅对每个帧进行缩放，并未消除追踪器的时间噪声，因此经过逐帧对齐后，RLHND的残余误差也更小，例如分别为0.1厘米和0.2厘米。剩余的偏移量主要是单目摄像头对人体手部深度的测量歧义所致，因此只需一次性测量演员的手部尺寸，并让RLHND使用预定义的$\beta_{cache}$参数运行，即可进一步减小该误差，该参数能固定手部尺寸进而确定深度。不过我们仍对两种数据源采用相同的对齐方式，这样表4中比较的是追踪器本身而非它们的深度比例尺。微调损失。图11对比了使用原始人类标签和RLHND标签进行微调后的DPP模型，评估指标包括动作流匹配损失以及训练窗口内采样动作的关键点位移误差。虽然表4中仅部署了100:100比例的策略到机器人上，但我们针对三种人机比例（100:10、100:50和100:100，即分别对应20、100和200个机器人演示样本）对两种标签来源都进行了微调。结果显示，在所有比例下DPP + RLHND的流匹配损失始终更低，且训练过程中其采样的关键点位移与记录轨迹的贴合度也更高，分别达到0.55厘米、0.53厘米和0.54厘米，而DPP在100:10、100:50和100:100比例下的对应数值分别为0.63厘米、0.59厘米和0.58厘米。表4中也显示出部署的DPP + RLHND策略的执行成功率更高。 --- ![Image](images/9b730e7d97174808528b584158e046d3106f0049852bef704d0da1a0ef402bcf.jpg)

Figure 12: Wrist depth of the human hand labels against the stereo depth. The top two rows show the right-wrist depth over one demonstration each of the plastic-bag and tissue tasks, for the stereo target, raw HaWoR, and raw RLHND, before the per-frame alignment. The bottom row shows the per-episode median absolute deviation from the stereo target over all 200 demonstrations, for both trackers before and after the alignment.

Method	HOT3D			ARCTIC ego			EgoDex
Method	Jitter	Jitter $_{{z}}$	Jitter $_{{xy}}$	Jitter	Jitter $_{{z}}$	Jitter $_{{xy}}$	Jitter	Jitter $_{{z}}$	Jitter $_{{xy}}$
HaMeR	25.40	15.84	17.51	21.73	18.21	9.56	15.48	11.88	8.53
WiLoR	22.17	13.45	15.50	25.92	22.84	9.53	13.05	9.71	7.43
HaWoR	26.13	16.96	17.42	29.34	26.12	10.56	16.94	13.83	8.35
HaPTIC	38.27	27.02	23.97	51.09	47.28	16.40	25.81	21.88	12.06
HandFlow	16.99	8.41	13.37	13.47	7.88	9.49	10.89	5.69	8.32
RLHND (Ours)	4.38	1.55	3.78	4.19	1.48	3.55	2.93	1.58	2.20
RLHND (Ours) ( $\beta$-cache)	4.39	1.55	3.79	4.18	1.48	3.53	2.94	1.58	2.20

Table 8: Jitter decomposition. Jitter (mm/frame $^2$) is split into its depth component Jitter $_z$ and image-plane component Jitter $_{xy}$ under the protocol of Table 1.

对于DPP在100:10、100:50和100:100配置下的数值分别为0.58厘米。如表4所示，部署的DPP+RLHND策略也实现了更高的展开成功率。 ### B.2 $\beta$缓存对抖动的影响表1显示，$\beta$缓存能够消除录制过程中的形状漂移现象，例如$\sigma_{shape}$会降至零，但关节抖动情况基本保持不变。表8解释了这一现象的原因：它将抖动分解为深度分量Jitter $_{z}$（即摄像头坐标系下z坐标的二阶时间差分）和图像平面分量Jitter $_{xy}$。有以下三点观察结果。首先，基于剪辑级别的跟踪器所产生的残余抖动主要由图像平面导致。对于RLHND而言，抖动$_{xy}$在每组测试集中都占总抖动的至少四分之三，且几乎完全是由手腕级别的因素引起的。仅在手腕部位，其在HOT3D、ARCTIC和EgoDex数据集上的抖动值就分别达到3.3/3.2/2.5毫米/帧$^2$，这表明驱动混合PnP定位的2D锚点虽然在不同帧之间会略有移动，但关节活动却保持稳定。 ---

Method	Params (M)	Detector (ms)	Model (ms)	Total (ms/frame)	FPS	MPJPE-p (HOT3D)
HaMeR	699	2.7	11.7	14.4	69.4	65.53
WiLoR	668	2.7	11.9	14.6	68.4	44.89
HaWoR	720	2.7	12.1	14.8	67.7	41.53
HaPTIC	1,357	2.7	23.8	26.5	37.7	62.42
HandFlow	866	-	17.4	17.4	57.4	39.90
ACE-Ego-Hand	3,044	-	1.8	1.8	568.6	24.41
RLHND (Ours)	7,849	-	6.9	6.9	144.5	13.01

Table 9: Inference cost. Inference time measured on one NVIDIA H100 (80GB) over the same HOT3D Aria test windows, using GPU-synchronized model-forward time per video frame with both hands. Video decoding is excluded and the first forward pass is discarded as warm-up. For crop-based trackers, the shared hand-detector cost is reported separately and included in the total. MPJPE-p is from Table 1.

其次，从设计原理上讲，$\beta$缓存无法对这两个组件产生任何影响。深度信息是由第3.2节中翻译求解器内的逐帧深度头直接预测的，并不依赖于$\beta$。缓存的形状数据仅会对规范关节进行缩放处理，从而使求解出的平移量产生小于一毫米的恒定偏移。在HOT3D数据集上，两种RLHND配置下的手腕中位位移差异在z方向上为0.2毫米，在xy方向上为0.4毫米。由于同一录制过程中的恒定偏移不会造成第二时间维度的差异，因此这两种配置下的抖动$_{z}$和抖动$_{xy}$在小数点后两位上完全一致。由此可见，缓存的优势仅限于通过$\sigma_{shape}$衡量的尺寸一致性，而时间稳定性则源自两种配置共享的剪辑级解码过程。第三，这种分解方式能更清晰地与基于裁剪的跟踪器进行对比。基于裁剪的跟踪器的抖动主要由深度因素主导，在ARCTIC数据集上其抖动值可达18-47毫米/帧$^2$，而RLHND仅为1.5，两者相差12-32$\times$；相比之下，它们图像平面的抖动仅高出2-5$\times$。因此，逐帧裁剪虽然能稳定手部的表观尺寸，但却会在每一帧独立重新估算实际距离，这会直接影响机器人的动作空间。 ### B.3 推理成本表9和图13报告了表1中每种跟踪器在统一协议下的推理成本：使用相同的H100显卡、相同的HOT3D Aria测试窗口，以GPU同步的方式测量每帧双手视频的模型前向传播时间；对于基于裁剪的跟踪器，测量数据还包含了共用的手部检测器。RLHND的7.8B参数Cosmos 3 Nano编码器每81帧剪辑才运行一次，因此尽管它是参数规模最大的模型，其每帧成本却与单个ViT-H手部裁剪相当，一旦计入第二只手和检测器，其成本甚至低于基于裁剪的跟踪器。ACE-Ego-Hand的Wan2.2编码器在较浅的深度处就被截断，因此它是成本最低的剪辑级跟踪器，其处理速度是我们模型的4倍，但其在HOT3D数据集上的误差几乎是我们的两倍。 ### B.4 各数据集的RETA定位结果表10按照测试集（即HOT3D、ARCTIC ego和EgoDex）对表3中的重定位对比结果进行了细分，所使用的DexPilot求解器、手腕相对目标以及评估指标均与正文部分一致。在HOT3D数据集上，RLHND在每种实现方式中均展现出最低或次低的平均误差；在ARCTIC ego数据集上，它在Sharpa、Shadow和ALLEX场景下具有最低的平均误差，而在WUJI和Inspire场景下，HaPTIC和WiLoR的表现更为接近。在这两组数据集上，RLHND与ACE-Ego-Hand均能生成最平滑的控制指令。在EgoDex数据集上，各跟踪器间的平均误差差异较小，在WUJI和Sharpa场景下，所有跟踪器的误差都在$3^{\circ}$范围内，这很可能是ARKit真实关节数据本身存在的噪声所致。Oracle行的抖动值在HOT3D数据集上为0.13-0.27度/帧$^2$，在EgoDex数据集上为0.17-0.43度/帧$^2$，这一数据表明用于计算平均误差的参考指令本身就已经包含帧间噪声。在EgoDex上的每个测试版本中，RLHND的表现都仅次于最佳方法，且与$2^{\circ}$相差无几；它在Shadow数据集上实现了最低的Q-err值。它在抖动指标上也和ACE-Ego-Hand并列最低，这两种方法分别在五种手部模型中各有表现最佳的情况。在所有三个测试集上，基于裁剪的逐帧跟踪器所产生的抖动明显大于HandFlow、ACE-Ego-Hand和RLHND这类基于片段级别的跟踪器，两者之间的差异达到了同一数量级。 --- ![Image](images/0f75120056e3bcd22a80bd37a4b2cc930a218e81a11e35d4a0a7152d3c3242e7.jpg)

Figure 13: Throughput against accuracy. Time per frame with both hands on one H100 (ms, linear, axis reversed so that faster is to the right) against MPJPE-p on HOT3D (log scale, lower is better, so better trackers lie further from the origin); bubble area is proportional to the number of parameters used at inference (labeled in billions). Crop-based per-frame trackers include the shared hand detector. Numbers in Table 9.

### B.5 额外的定性结果图14在图3的基础上补充了训练期间未见过的新测试集里的EgoDex窗口。各方法的网格叠加效果相似，因为基于裁剪的跟踪器主要是为逐帧重投影而优化的。不过它们的轨迹差异更为明显。基于裁剪的跟踪器，即HaMeR、WiLoR、HaWoR和HaPTIC，是独立估算每一帧的结果，因此会呈现出锯齿状的手腕轨迹，这与图1中量化的深度不稳定性一致，也反映在表10的抖动指标中。ACE-Ego-Hand生成的轨迹更平滑，但在多个窗口中会出现漏检手部的情况，导致网格缺失或错位；而RLHND对双手的跟踪更为稳定，且能更贴近真实轨迹。图15在图4的基础上补充了OpenTouch和PVDB测试帧。不同场景中都出现了同样的定性差异：HACO预测的接触区域覆盖了手掌和手指的更广泛范围，HOPE产生的接触区域较为零散且压力估计值较低，而PressureVision++在手部超出其平面传感器表示范围时几乎无输出。相比之下，RLHND将接触点和压力位置对应到手套或压力垫的测量区域，包括PVDB示例中的单指按压情况。 ## B.6 额外的消融实验结果逐顶点图像采样。我们额外评估了逐顶点图像特征，以检验局部视觉证据是否能提升触觉估计效果。我们在公式(6)的基础上进行了扩展：在解码器特征上应用一个初始化为零的MLP，该MLP会在每个顶点的投影图像位置进行双线性采样，同时加入由顶点法线与视线夹角决定的可见性提示。这一变体在OpenTouch、DexYCB和HOT3D数据集上的顶点级接触F1分数分别达到0.709/0.543/0.570，OpenTouch数据集上的力MAE为1.256 kPa；而表5中默认输出方式的对应数值分别为0.696/0.572/0.589和0.489 kPa。若将最近邻隐变量查找替换为时间插值，或移除可见性提示，各项指标的变动幅度均小于0.01。这些结果表明，逐顶点图像证据提供的额外信息有限，无法超越姿态条件特征和标签监督所提供的信息，因此我们最终设计中没有采用图像采样分支。 --- ![Image](images/87aef56f531d97139c3ae306c9bdcbaa543081a312e8f91700bd97196c4f4c51.jpg)

Figure 14: Extensive qualitative comparison of 2D and 3D hand motion reconstruction.

---

Input	GT (Contact)	HACO	HOPE	RLHND (Ours)	GT (Force)	PV++ (image)	PV++ (MANO)	HOPE	RLHND (Ours)

Figure 15: Extensive qualitative comparison of per-vertex contact and force estimation.

---

Test set	Method	Sharpa Wave (22 DoF)		WUJI v2 (20 DoF)		Shadow (24 DoF)		Inspire RH56 (12 DoF)		ALLEX (15 DoF)
Test set	Method	Q-err $\downarrow$	Jerk $\downarrow$	Q-err $\downarrow$	Jerk $\downarrow$	Q-err $\downarrow$	Jerk $\downarrow$	Q-err $\downarrow$	Jerk $\downarrow$	Q-err $\downarrow$	Jerk $\downarrow$
HOT3D	Oracle (GT joints)	0.0	0.27	0.0	0.22	0.0	0.27	0.0	0.13	0.0	0.25
	HaMeR (Pavlakos et al., 2024)	15.0	1.50	17.8	1.46	13.1	1.30	7.1	0.99	13.3	1.36
	WiLoR (Potamias et al., 2024)	11.8	1.25	14.6	1.24	9.4	1.03	4.9	1.00	9.6	1.11
	HaWoR (Zhang et al., 2025)	13.6	0.37	15.8	0.32	10.7	0.36	7.2	0.25	11.2	0.32
	HaPTIC (Ye et al., 2025b)	15.3	1.60	18.2	1.52	12.7	1.09	6.8	1.10	13.7	1.66
	HandFlow (Xu et al., 2026)	14.8	0.56	16.5	0.54	14.5	0.46	10.4	0.38	15.5	0.59
	ACE-Ego-Hand (Liu et al., 2026)	10.0	0.24	12.4	0.25	8.5	0.26	4.9	0.12	8.8	0.23
ARCTIC ego	RLHND (Ours)	8.9	0.22	10.2	0.17	7.4	0.17	4.0	0.08	6.9	0.19
	RLHND (Ours) ( $\beta$-cache)	9.0	0.22	11.2	0.18	7.4	0.18	3.9	0.07	7.1	0.17
	Oracle (GT joints)	0.0	0.34	0.0	0.38	0.0	0.36	0.0	0.23	0.0	0.44
	HaMeR (Pavlakos et al., 2024)	14.0	1.59	17.0	1.43	11.6	1.50	8.6	1.25	14.1	1.56
	WiLoR (Potamias et al., 2024)	10.7	1.57	14.1	1.40	9.7	1.12	6.4	1.00	10.3	1.49
	HaWoR (Zhang et al., 2025)	13.2	0.95	16.8	0.74	11.8	0.72	11.0	0.71	14.3	0.77
	HaPTIC (Ye et al., 2025b)	10.2	1.47	13.2	1.37	10.3	1.36	6.2	1.20	10.1	1.32
	HandFlow (Xu et al., 2026)	23.1	0.57	26.9	0.63	16.3	0.59	12.6	0.81	22.1	0.63
	ACE-Ego-Hand (Liu et al., 2026)	12.0	0.21	17.2	0.24	12.1	0.21	9.1	0.16	12.4	0.25
EgoDex	RLHND (Ours)	9.3	0.18	15.4	0.18	9.7	0.23	6.8	0.08	9.4	0.20
	RLHND (Ours) ( $\beta$-cache)	9.3	0.15	15.2	0.20	9.6	0.23	6.8	0.10	9.4	0.20
	Oracle (GT joints)	0.0	0.42	0.0	0.40	0.0	0.43	0.0	0.17	0.0	0.39
	HaMeR (Pavlakos et al., 2024)	21.0	1.27	23.5	1.05	13.2	1.14	8.5	0.47	15.0	0.66
	WiLoR (Potamias et al., 2024)	20.0	1.62	22.2	1.37	11.6	1.46	7.7	0.71	13.8	0.95
	HaWoR (Zhang et al., 2025)	18.3	0.52	21.6	0.35	14.2	0.42	8.6	0.22	17.5	0.40
	HaPTIC (Ye et al., 2025b)	19.2	1.10	21.3	0.91	12.5	0.85	8.1	0.31	14.3	0.66
	HandFlow (Xu et al., 2026)	18.3	0.62	22.0	0.48	11.8	0.49	6.8	0.29	15.8	0.38
	ACE-Ego-Hand (Liu et al., 2026)	20.1	0.15	22.4	0.14	11.7	0.16	8.4	0.05	14.8	0.12
RLHND (Ours)	RLHND (Ours)	20.0	0.14	22.8	0.14	11.6	0.18	7.4	0.03	14.4	0.13
RLHND (Ours)	RLHND (Ours) ( $\beta$-cache)	20.0	0.15	22.6	0.14	11.7	0.17	7.4	0.04	14.5	0.14

Table 10: Per-dataset retargeting quality on five dexterous right hands (DexPilot, wrist-relative targets); Table 3 in the main text reports the mean of the three blocks. Q-err is the mean absolute deviation ( $^{\circ}$) of the joint command from the one the same solver produces on the ground-truth joints; Jerk is the median over frames of the joint-averaged second temporal difference of the command ( $^{\circ}/frame^{2}$), i.e. the frame-to-frame noise on typical frames (Appendix A.4). The grey Oracle row retargets the ground-truth joints (Q-err = 0 by construction). We denote best and second best values with shade and bold.

以姿态流对专家模型进行条件约束。HOPE（Jeon等人，2026年）对其顶点变换器的输入进行了消融实验，结果显示将视觉特征与手部姿态结合的效果优于单独使用其中一种，说明二者为接触和压力估计提供了互补信息。我们的专家模型已经间接接收到了姿态信息，因为其骨骼令牌是从姿态解码器初始化的，并通过MANO蒙皮权重传递到各个顶点。因此，我们测试了直接让专家模型关注姿态令牌是否能提供额外信息。我们将其实现为单向注意力机制：专家模型的骨骼令牌将姿态令牌作为额外的键和值，而姿态令牌不会反向关注。这样一来，冻结的第一阶段流不会因触觉目标而发生改变，姿态预测结果也完全一致。表11使用相同的检查点、数据和训练方案，对比了这两种变体的性能。单向变体在OpenTouch（0.635对比0.696 F1）和DexYCB（0.565对比0.572）上的表现更差，但在HOT3D上提升了0.004；在OpenTouch上的力MAE也更高（0.573对比0.489 kPa）。在所有三个数据划分中，AUROC几乎保持不变（0.979/0.910/0.955对比0.980/0.915/0.959），这表明额外的路径并未实质性改变顶点的排序，主要只是改变了操作点，且没有一致的方向性。这些结果表明，通过现有骨骼标记获取的姿态信息已经足够，直接关注姿态标记所提供的额外信号也十分有限。因此，我们在最终的专家模型中省略了额外的注意力路径。

Variant	OpenTouch		DexYCB		HOT3D		OpenTouch force (kPa)
Variant	F1 $\uparrow$	AUROC $\uparrow$	F1 $\uparrow$	AUROC $\uparrow$	F1 $\uparrow$	AUROC $\uparrow$	MAE $\downarrow$	RMSE $\downarrow$
w/ one-way attention	0.635	0.979	0.565	0.910	0.593	0.955	0.573	2.574
Ours (no pose conditioning)	0.696	0.980	0.572	0.915	0.589	0.959	0.489	2.508

Table 11: One-way attention ablation. Comparison between the proposed tactile expert and a variant in which the bone tokens additionally attend to the pose stream. Best values are shaded.

--- ## C 局限性公开基准测试中的形状校准。$\beta$缓存是基于每位操作员测量一次的手部形状设计的，这在机器人数据采集过程中很常见，但在公开基准测试中若没有针对每个受试者的校准，就无法获得该数据。因此，我们在这些基准测试中从首个手部可见度良好的窗口初始化缓存，且只有利用ARCTIC中提供的真实$\beta$数据（表5中的A4）才能证明外部校准的益处。在无约束环境下外部校准的益处，以及当首个手部可见度良好的窗口无法提供清晰手部视图时缓存的鲁棒性，仍有待评估。稀缺的触觉监督数据。我们训练数据中的力监督信息仅来自一只触觉手套（OpenTouch）和一个平面压力垫（PressureVisionDB），这限制了训练期间所见的压力大小和接触表面的多样性。诸如EgoPressure（Zhao等人，2025年）等较新的数据集提供了额外的以自我为中心的压力数据，但整合这些数据需要将其传感器校准、表面参数化和接触定义与现有数据集相匹配。在触觉数据集采用更一致的表面表示和压力单位之前，跨异质传感器扩展力监督仍具挑战性。从手部标签到机器人动作。精确的手部运动和接触标签并不能直接决定机器人动作。我们的真实机器人实验采用了固定的逆运动学映射流程，其中外展关节被锁定，且采用启发式接触偏移量；而表3中的映射结果衡量的是其与基于真实手部数据求解器的一致性，而非任务成功率。将人类手部运动和接触模式映射到具有不同运动学特性、接触几何形状和柔顺性的灵巧手上，以及利用预测的力信息而非仅依赖二元接触判断，均超出了本研究的范围。最后，RLHND是离线处理视频片段而非实时处理，且其主干网络规模远大于基于裁剪的回归器。