# YOCO：只需校准一次！用于灵巧遥操作的快速动作捕捉校准技术
张宇 $^{1,2,3}$，李云琪 $^{1,3}$，杜宇石 $^{1}$，马毅 $^{1,2,3}$，杨彦超 $^{1,2,3}$
$^{1}$香港大学，$^{2}$深圳环区研究院，$^{3}$TranscEngram
Figure 1: Overview of YOCO. Low-cost mocap streams suffer from user-, device-, and session-specific bias. Given a few paired calibration poses, YOCO predicts a calibration update that corrects future mocap poses and improves downstream dexterous teleoperation.
摘要：灵巧遥操作需要可靠的人手状态估计结果。然而，常见的低成本动作捕捉手套和无标记追踪器往往存在偏差，这些偏差会因用户、手套贴合度以及录制场景的不同而发生变化，进而降低姿态映射和演示质量。我们提出了YOCO——一种快速的少样本、无需微调的校准框架，它能够利用少量配对的原始姿态与目标姿态来修正存在偏差的手部姿态流。YOCO无需为每位操作者或每个场景单独优化模型，而是将校准用的HyperNet基于这些配对样本进行条件化，进而为冻结的MANO手部估计模块预测出LoRA风格的参数更新量，从而将针对用户的校准转化为轻量级的前馈适配步骤，同时保留MANO的几何先验以及紧凑型估计器的高效性。我们在InterHand2.6M数据集上通过合成漂移增强方式训练YOCO，并在增强后的InterHand序列、离线真实手套数据以及灵巧遥操作任务中对其进行了评估。在这些场景下，与未校准的输入及标准校准基线相比，YOCO均提升了校准效率、手部状态估计质量以及遥操作性能。
关键词：手部姿态估计与校准，遥操作
## 1 引言
遥操作是收集灵巧手部演示的关键工具，但其有效性取决于操作者手部状态估计结果的准确性。高端动作捕捉系统能够提供精确的运动学数据，不过它们价格昂贵且难以大规模部署。低成本的手套和无标记追踪器虽然更易获取，但其输出会受到用户手部形态差异、设备贴合度、传感器漂移以及场景相关偏差的影响。这类误差在灵巧操控场景中尤为有害——
---
因为哪怕是指尖或关节的微小偏移，都可能改变接触模式、夹持几何形状以及映射后的机器人运动轨迹。
以往的手部动作捕捉校准通常是在特定的传感流程内开展，旨在学习手套信号到姿态的映射关系、修正惯性测量单元的对齐与漂移问题，或是定制传感器到姿态的模型 [^1] [^2] [^3] [^4]。而我们则将少样本校准问题定义在派生出的3D手部关键点接口层面，也就是在追踪器生成姿态估计结果之后进行。给定来自某用户和某场景的K对配对原始姿态与目标姿态，YOCO会基于这些样本对HyperNet进行条件化，一次性为冻结的基于MANO的估计器生成LoRA更新量，无需针对每个场景进行梯度优化。这种方式将传感器无关的姿态接口与可摊销的、依赖场景的参数生成机制相结合：与跨场景共享的LoRA初始化方式不同，生成的更新量会依赖于当前的校准数据集（详见附录B）。该方案无需获取设备特定的原始信号；我们对真实设备的评估也仅局限于一种拉伸式手套。
我们的贡献主要有三点。首先，我们针对从少量姿态对中提取的3D手部关键点制定校准方案，将这种校正与特定设备的传感器到姿态校准区分开。其次，我们一次性为冻结的MANO估计器生成基于会话条件的LoRA权重；通过学习得到的先验和基于集合条件的残差控制，来检验这些性能提升究竟是源于基于成对条件的权重生成（超出共享先验的范畴），还是仅由集合条件所致。第三，我们在增强版的InterHand2.6M以及配对的真实手套/AVP数据上评估算法的精度和适配成本，随后在物理遥操作中测试由此产生的手部姿态。
## 2 相关工作
动作捕捉设备：高保真的灵巧遥操作依赖于对操作者手部的可靠捕捉，但现有的动作捕捉接口存在明显的精度与可及性之间的权衡。基于手套和外骨骼的系统能提供稳定的运动学数据，但成本高昂、使用不便，且对用户的个体几何特征和佩戴条件极为敏感 [^5] [^1] [^6] [^2]。由此产生的关节偏差或指尖漂移会直接反映在采集到的演示数据中。无标记且基于RGB的流水线，包括FreiHAND、MediaPipe Hands和HaMeR，提升了可及性 [^7] [^8] [^9] [^10] [^11] [^12] [^13]，但在遮挡、手-物体交互、跨用户形态差异以及时间稳定性方面仍存在不足。YOCO则起到了互补作用：它并非引入新的追踪器，而是对现有的基于手套的数据流进行校准，从而使低成本设备在后续应用中能提供更一致的数据。
以往的手部动作捕捉校准研究：Wang和Neff [^1] 研究了从手套测量值到手部运动的映射关系。Gosala等人 [^4] 利用光学参考数据，通过侧调优来个性化定制可穿戴传感器的姿态模型。FSGlove [^2] 同时优化IMU对齐、手部形状和运动学参数，而Transformer IMU Calibrator [^3] 则用于估算时变的IMU漂移和偏移量。这些方法都是针对特定传感流程内的校准问题。相比之下，YOCO以这些流程输出的3D关键点表示作为输入，学习如何从少量配对姿态中为冻结的MANO估计器生成特定会话的校正参数。这种处理方式使得校准方案不依赖于原始传感器类型；不过其在所测试的拉伸式手套之外的泛化能力仍有待验证。
灵巧手部重定向与遥操作：近期的遥操作系统降低了灵巧数据采集的成本，提升了沉浸感，并且减少了硬件依赖。基于视觉的系统如DexPilot和AnyTeleop减少了对专用手套的依赖 [^14] [^15] [^16]，而基于VR的平台如Open-TeleVision和OPEN TEACH则提升了操作者的沉浸感 [^17] [^18]。与此同时，基于学习的重定向方法超越了单纯的运动学对齐范畴，进一步缩小了本体差异 [^19] [^20] [^21] [^22]；新型的主控端或机器人端设计也提升了传输的灵活性与接触丰富度 [^23] [^24] [^25]。这些研究大多假设上游的手部观测数据已经具备较高精度；YOCO正是针对这一瓶颈展开研究，且与上述下游系统兼容。
超网络与参数高效适配技术：超网络利用另一个网络来生成某个网络的权重 [^26]，而基于任务条件的变体则支持高效的跨任务适配。
---
[^27] [^28] [^29] [^30] [^31]。与此同时，诸如Compacter和LoRA这类参数效率高的方法，会利用紧凑的低秩更新来专门优化一个冻结的骨干网络 [^32] [^33]；而超网络已被证明能够根据有限的条件输入来预测此类更新 [^34]。YOCO将这些思路应用到了灵巧操作领域：$h_{\psi}$能够根据少量配对的校准姿态，预测用于手部估计器的LoRA风格更新 $\Delta W$，从而实现快速且稳健的适配。
## 3 方法
### 3.1 问题表述
我们考虑的问题是：利用少量配对的校准样本，对含噪声的动作捕捉手部姿态进行校准。手部观测结果表示为21个3D关节关键点 $x \in \mathbb{R}^{21 \times 3}$。设
$$ \mathcal{S}=\{(x_{i}^{n},x_{i}^{c})\}_{i=1}^{K} $$
表示校准集，其中 $x_{i}^{n}$ 是从含噪声的姿态分布 $\mathcal{D}_{\mathrm{noisy}}$ 中采样的、含噪声的动作捕捉手部姿态关键点观测值，而 $x_{i}^{c}$ 则是其对应的目标3D关键点姿态。假设校准集S能够反映当前场景下大致固定的偏差，比如特定的受试者、手套贴合度或录制会话带来的偏差。
我们将校准过程表述为两个具有不同功能的网络的组合。
目标网络。一个MANO估计器
$$ g_{\phi}:\mathbb{R}^{21\times3}\longrightarrow\mathbb{R}^{45},\qquad\hat{\theta}=g_{\phi}(x), $$
将21个3D手部关键点映射为MANO姿态参数 $\hat{\theta}$。其参数 $\phi$ 会在干净数据上训练一次，之后便保持固定；针对每个用户和每个会话的校准，仅通过叠加式的LoRA更新来作用于 $g_{\phi}$，而非重新优化 $\phi$。
超网络。一个校准用超网络
$$ h_{\psi}:\;\bigl(\mathbb{R}^{21\times3}\times\mathbb{R}^{21\times3}\bigr)^{K}\longrightarrow\mathcal{W},\qquad\Delta W=h_{\psi}(\mathcal{S}), $$
以校准集作为输入，输出一组低秩LoRA矩阵 $\Delta W$，其中 $\mathcal{W}$ 表示附加到 $g_{\phi}$ 上的LoRA适配器空间。参数 $\psi$ 在所有用户和设备间共享，也是校准系统中唯一需要学习的参数；$\phi$ 则保持固定。
校准后的估计器。将 $\Delta W$ 注入目标网络后，便得到了特定会话下的校准估计器
$$ g_{\phi+\Delta W}:\mathbb{R}^{21\times3}\longrightarrow\mathbb{R}^{45}, $$
将其与MANO正运动学结合，就能生成校准后的3D关节
$$ \begin{array}{r}{\hat{x}_{q}^{c}\;=\;\Pi_{\mathrm{M A N O}}\big(g_{\phi+h_{\psi}({\mathcal{S}})}\big(x_{q}^{n}\big),\;\beta\big)\;=\:f_{\psi}\big(x_{q}^{n};{\mathcal{S}}\big),}\end{array} $$
对于任意新的查询 $x_q^n \sim \mathcal{D}_{\text{noisy}}$ 而言。如第5节所述，形状参数 $\beta$ 在每种评估场景中都会在各方法间保持一致处理。
学习目标。由于 $\phi$ 是冻结的，因此只需训练超网络参数 $\psi$，具体是通过最小化所得到的校准估计器的预期关节位置误差来实现：
$$ \min_{\psi}\mathbb{E}_{\mathcal{S},\left(x_{q}^{n},x_{q}^{c}\right)}\big[\mathcal{L}\big(f_{\psi}\big(x_{q}^{n};\mathcal{S}\big),x_{q}^{c}\big)\big], $$
其中 $\mathcal{L}$ 是手部关节位置之间的 $L_2$ 距离。这一目标促使 $h_\psi$ 能够从配对的校准集中推断出潜在的动作捕捉偏差，并生成能够修正来自同一分布的未见含噪声姿态的LoRA更新。
### 3.2 模型概述
图2展示了第3.1节中定义的目标网络 $g_{\phi}$ 与超网络 $h_{\psi}$ 在部署时是如何结合的。校准过程包括一次前馈式的条件化传递
---
Figure 2: YOCO model architecture. Given a calibration set $\mathcal{S} = \{(x_i^n, x_i^c)\}_{i=1}^K$ of K paired noisy and target poses (left), the calibration HyperNet $h_{\psi}$ (middle) encodes each pair, aggregates them through a transformer-based calibration mapper with one CLS token per LoRA matrix, and decodes the tokens into LoRA updates $\Delta W$. These updates are injected once per session into the frozen MANO estimator $g_{\phi}$ (right) to form $g_{\phi+\Delta W}$, which maps each raw mocap query $x_q^n$ at frame rate to calibrated MANO pose and 3D joints.
随后是一条帧率查询路径，两者均无需梯度计算：(i) HyperNet 接收校准集并输出 LoRA 矩阵，$\Delta W = h_{\psi}(S)$；(ii) 这些矩阵被注入到已冻结的 MANO 估计器中，形成经过校准的估计器 $g_{\phi+\Delta W}$；(iii) 每个后续的原始动作捕捉姿态 $x_q^n$ 会通过 $g_{\phi+\Delta W}$ 进行映射，从而得到 $\hat{\theta}_q$，MANO 据此重建出经过校准的关节 $\hat{x}_q^c$。步骤 (i) 在每个会话中仅执行一次，而步骤 (iii) 则按动作捕捉帧率运行。本节其余部分将分别介绍 $g_{\phi}$（第 3.3 节）和 $h_{\psi}$（第 3.4 节）的架构。
### 3.3 目标网络：MANO 估计器架构
MANO 估计器 $g_{\phi}$ 由手部关键点编码器与 MANO 参数解码器组成。手部关键点编码器采用逐指 CNN 关键点编码器，后接一个Transformer融合层。MANO 参数解码器则使用逐指多层感知机以及统一的 MANO $\theta$ 解码器。这种逐指设计可防止某个手指的估计结果受到无关手指的过度影响，而融合层则能捕捉手部的全局姿态相关性。解码器特意设计得较为轻量，以便能够实时运行并接受来自 HyperNet 的 LoRA 更新。
### 3.4 超网络：校准用 HyperNet 架构
用于校准的 HyperNet $h_{\psi}$ 实现了映射关系 $\mathcal{S} \mapsto \Delta W$：其输入为校准集中K对含噪声的姿态/目标姿态，输出则是被注入到已冻结的 MANO 估计器 $\Delta W$ 中的 LoRA 低秩矩阵 $g_{\phi}$。为了仅利用少量数据对就能生成有效的适配模块，$h_{\psi}$ 必须能从少量的运行时校准数据中推断出该会话特有的漂移模式。
HyperNet 包含三个子模块：(1) 手部关键点编码器，(2) 校准映射模块，以及 (3) LoRA 参数解码器。手部关键点编码器复用了 MANO 估计器 $g_{\phi}$ 中的编码器，用于从每对原始/校准姿态中提取姿态特征。校准映射模块是一个带有RoPE位置嵌入的Transformer块 [^35]，用于建模成对样本间的映射关系。该模块为每个待生成的 LoRA 矩阵配备一个可学习的 CLS 标记；在校准映射聚合之后，每个 CLS 标记会决定对应 LoRA 矩阵的生成。LoRA 参数解码器是一种 DiT 风格的解码器 [^36]，它将这些特定于 LoRA 的 CLS 标记映射为 $\Delta W$ 中的低秩矩阵。我们对 YOCO 以及 LoRA-Finetune 基线采用了相同的 LoRA 适配模块尺寸；相关细节详见附录 A.2。
---
## 4 模型训练
训练分为两个阶段，这与第 3.1 节中提出的角色分工相对应：首先用干净数据训练目标网络 $g_{\phi}$，随后将其冻结，再训练超网络 $h_{\psi}$ 以生成用于纠正模拟动作捕捉偏差的 LoRA 更新。
### 4.1 目标网络预训练
我们利用干净的 InterHand2.6M 数据来训练 MANO 估计器 $\phi$ 的参数 $g_\phi$，损失函数为预测的 MANO 姿态参数 $\hat{\theta} = g_\phi(x)$ 与真实的 MANO 姿态参数之间的均方误差。这一预训练过程在 MANO 空间中建立了手部姿态先验，以便 HyperNet 后续能通过 LoRA 更新对其进行定制化调整。预训练完成后，$\phi$ 即被冻结，不再更新。
### 4.2 超网络训练
在修复了$\phi$之后，我们训练超网络参数$\psi$，使得$h_{\psi}$能够生成用于补偿真实动作捕捉偏差的LoRA更新$\Delta W$。为了让$h_{\psi}$接触到多种多样的偏差模式，我们对InterHand2.6M序列应用合成增强处理，以模拟基于手套的动作捕捉设备的漂移行为。这些增强处理被设计得既强烈又多样，从而确保增强后的数据分布能够覆盖或至少与真实动作捕捉数据中观察到的分布偏移相重叠；完整策略详见附录A.1。
每次训练迭代都会使用一个增强后的序列作为会话。从该序列中，我们为HyperNet抽取K对校准样本$\mathcal{S} = \{(x_i^n, x_i^c)\}_{i=1}^K$，并选取一组互不重叠的查询帧$\{(x_q^n, x_q^c)\}$用于监督学习。HyperNet会生成特定于该会话的LoRA矩阵$\Delta W = h_\psi(\mathcal{S})$，将其注入到已冻结的目标网络中以形成$g_{\phi+\Delta W}$。随后，每个查询姿态都会通过这个经过校准的估计器以及MANO正运动学模型来计算得到$\hat{x}_q^c = f_\psi(x_q^n; \mathcal{S})$，并通过最小化$\psi$与真实校准关节$\hat{x}_q^c$之间的均方误差来更新$x_q^c$。梯度仅通过$\psi$传递，且LoRA注入过程在$\Delta W$中是可微分的。
## 5 实验
我们的实验旨在评估YOCO作为一种可部署的校准系统，而不仅仅是一个姿态估计模型。评估围绕五个研究问题展开，涵盖了校准精度、YOCO的优势来源、K值下的样本效率、向低成本真实手套数据的迁移能力，以及对灵巧遥操作任务的后续影响：(1) 相对于未校准的输入，YOCO能否降低有偏差的动作捕捉流中的手部姿态误差？(2) 在精度和适配成本方面，YOCO与基于优化和微调的校准基线相比表现如何？尤其是，在前置适配器容量相同的情况下，前馈式HyperNet是否优于基于梯度的LoRA？(3) 性能会随着配对校准姿态数量K的增加而如何变化？(4) YOCO能否从合成漂移数据迁移到不同用户和手套型号的真实低成本手套数据上？(5) 手部状态校准的改进是否能在后续的灵巧遥操作任务中体现出可测量的提升？
### 5.1 实验设置
训练数据集。我们在InterHand2.6M的训练子集上预训练目标网络$g_{\phi}$，该子集提供了大量由高精度多视角动作捕捉系统采集的、带有MANO标注的干净手部姿态数据。随后，我们在对$h_{\psi}$保持冻结状态的前提下，利用附录A.1中描述的结构化漂移增强处理来构建合成数据集，并在此基础上训练超网络$\phi$。每个增强后的序列模拟了一个具有内部一致偏差模式的用户/设备/会话，从而为HyperNet提供了必须从仅有的K对样本中总结出的多样化会话级分布。
---
测试数据集。我们在三种逼真度逐渐提高的场景中对YOCO进行评估。在合成数据方面，我们对InterHand2.6M验证集应用相同的增强方式，生成20个具有不同漂移模式的增强数据集；所有报告的合成数据结果都是对这20个数据集的汇总，旨在评估其在不同漂移类型下的鲁棒性，而非单一偏差下的性能。对于真实低成本手套的评估，我们采用Apple Vision Pro（AVP）作为高端参考追踪器，同时让受试者佩戴低成本拉伸手套来收集配对数据集，并将AVP生成的3D关键点作为校准目标。拆分和序列统计数据详见附录C.3。在下游评估中，我们在四个物理操控任务中将YOCO部署到实时遥操作系统中。
评估设置。除非另有说明，所有方法均使用$K = 4$配对的校准姿态。在对InterHand2.6M和真实手套数据集进行离线评估时，从每个验证序列的前200帧中抽取$\mathcal{S}$，且采用固定的随机种子；剩余帧则构成评估子集。真实手套的目标姿态是与AVP参考姿态同步的。在部署阶段，我们会在离线状态下用AVP记录一组包含四种21关节目标姿态的固定库：食指捏合、手掌完全张开、爪形/半握状态，以及拇指靠近手掌的四条伸直手指姿态（详见附录C.3）。这些目标姿态遵循动作捕捉流的关节顺序和坐标约定。每次遥操作试验开始时，操作员仅佩戴低成本手套完成这些预设动作；每个原始观测数据都会与库中存储的目标姿态配对。运行时无需使用AVP。所有方法均采用相同的形状处理协议，且不校准MANO形状$\beta$；相关细节见附录C.1和C.2。
#### 5.1.1 遥操作协议
我们使用右侧机械手评估四项物理任务：通过扭转拧开固定瓶子的瓶盖；用拇指和中指捏住耳塞并保持3秒；用拇指、食指和中指提起小胶水瓶并保持3秒；用四根手指固定纸巾盒盖，再用拇指拉开它。这些任务的完成情况即为任务成功与否的判断标准。共有两名操作员参与：一名负责瓶子盖和耳塞任务，另一名负责胶水瓶和纸巾盒任务。每名操作员需针对各自分配的任务测试三种校准条件。操作员可以直接看到机器人，因此能够补偿控制误差，但无法知晓所使用的校准方法。对于每种方法-任务组合，操作员会有5分钟的熟悉时间，随后进行10次评估试验；每种任务内的方法顺序均为随机排列。所有条件均采用相同的试验预算和相同的几何映射方法[^22]。针对每种校准条件，我们会使用相同配置训练独立的映射模型。我们报告任务成功次数和完成时间，整体时间的失败惩罚规则详见表3。
评估指标。我们报告了一组全面的姿态、几何和部署指标。MPJPE和PA-MPJPE分别用于衡量Procrustes对齐前后的3D关节精度：MPJPE保留了残差偏移、缩放和方向偏差，而PA-MPJPE则用于单独反映关节姿态的精确度。AUCJ是关节PCK曲线下的归一化面积，通过0到0.05米范围内均匀分布的101个阈值计算得出。Tip-PA是指在五个MANO指尖上经PA对齐后的平均L2误差，由于指尖几何形状对灵巧操作结果影响显著，因此单独列出该指标。Pinch误差指的是在真实抓取距离小于10毫米的帧中，两个指尖间的L2距离；这一指标用于刻画接触密集型任务所依赖的操作状态。校准时间是指应用校准后的估计器之前所需的测试时调节或适配开销：对于YOCO而言，这相当于一次$h_{\psi}$的前向传播；而对于微调基线模型，则是在配对校准集上进行的基于梯度的适配。在下游评估中，我们统计了10次试验中的任务成功次数以及平均完成时间。
### 5.2 实验结果
研究问题1：YOCO能显著降低有偏差的动作捕捉数据流中的手部姿态误差。在增强版InterHand2.6M评估集上，YOCO将PA-MPJPE从16.55毫米（未校准时）降至10.45毫米，相对误差减少了37%；MPJPE、Tip-PA、AUCJ和Pinch误差等指标也均有相应改善（见表1）。这种改进在对手指尖精度敏感的指标上最为明显（Tip-PA从37.15毫米降至23.29毫米），这与我们的设计初衷相符——即在校准过程中，对手指尖精度的优化最为关键。
---
| Method | MPJPE $\downarrow$ (mm) | PA-MPJPE $\downarrow$ (mm) | Tip-PA $\downarrow$ (mm) | AUCJ $\uparrow$ | Pinch $\downarrow$ (mm) | Calib. s $\downarrow$ (s) |
| No calibration | 21.52 | 16.55 | 37.15 | 0.611 | 48.49 | 0.00 |
| Ridge | 17.62 | 13.00 | 28.28 | 0.676 | 45.35 | 1.6 |
| Last-layer-Finetune | 16.62 | 12.01 | 25.92 | 0.692 | 39.18 | 45.6 |
| Full-Finetune | 18.11 | 12.77 | 29.21 | 0.668 | 37.11 | 95.4 |
| LoRA-Finetune | 16.38 | 11.67 | 25.33 | 0.694 | 37.28 | 89.4 |
| YOCO (ours) | 15.64 | 10.45 | 23.29 | 0.702 | 34.90 | 11.2 |
Table 1: Calibration results on the augmented InterHand2.6M evaluation setting. Calib. s reports the total adaptation time in seconds for whole validation sets on one H100.
微小的偏差便会改变接触几何形状。这些结果证实，HyperNet仅利用K=4对样本就能成功推断出会话级的漂移，且预测的LoRA更新参数$\Delta W$确实能修正同一会话中未见过的查询数据。
研究问题2：YOCO的性能优于基于优化和微调的基线模型，且即便在LoRA容量相同的情况下，这一优势依然显著。我们选取了五种涵盖不同校准策略的基线模型进行对比：（1）无校准组，直接使用原始动作捕捉输出；（2）Ridge组，一种基于优化的线性映射方法，在MANO $\theta$空间中根据配对样本拟合得到；（3）Lastlayer-Finetune组，仅针对MANO $\theta$解码器的最后一层MLP进行基于梯度的微调；（4）Full-Finetune组，对整个$g_{\phi}$进行基于梯度的微调；（5）LoRA-Finetune组，将与YOCO相同的LoRA适配器集注入$g_{\phi}$，并仅对这些适配器通过梯度下降进行微调。LoRA-Finetune虽然适配器占用的参数规模与YOCO一致，但其初始状态并未考虑YOCO所学到的跨会话先验知识。附录B进一步引入了元学习的LoRA初始化方法、基于集合条件的残差预测器以及已发表的side-tuning基线，以阐明这一差异。
如表1所示，YOCO在各项精度指标上均取得了最佳成绩，同时其速度也远快于所有基于梯度的基线方法：YOCO在H100上的总体预处理时间为11.2秒，而微调基线方法则需要45.6至95.4秒。在适配器容量相同的情况下，YOCO的精度优势明显优于LoRA微调方法（PA-MPJPE为10.45毫米对比11.67毫米，Tip-PA为23.29毫米对比25.33毫米），这表明其性能提升并非仅源于LoRA适配器：由$h_{\psi}$生成的前馈权重，表现优于在同一参数空间内进行的逐会话梯度下降过程。岭回归是唯一在适配时间上与YOCO具有竞争力的基线方法，但其精度会严重下降。在CPU上，两者之间的部署延迟差距更大：YOCO仅需13.16秒，而基于梯度的微调基线方法则需要34.47至223.25秒（详见附录C.4）；这一场景对于没有专用GPU的现场遥操作设备而言至关重要，也体现了YOCO的实用性。
---
| Method | MPJPE $\downarrow$ (mm) | PA-MPJPE $\downarrow$ (mm) | Tip-PA $\downarrow$ (mm) | AUCJ $\uparrow$ | Pinch $\downarrow$ (mm) | Calib $\downarrow$ (s) |
| No calibration | 20.49 | 14.63 | 36.22 | 0.610 | 51.39 | 0.00 |
| Ridge | 24.71 | 19.21 | 45.50 | 0.573 | 57.54 | 1.49 |
| Last-layer-Finetune | 18.86 | 14.67 | 33.88 | 0.643 | 43.63 | 5.04 |
| Full-Finetune | 20.00 | 15.73 | 36.67 | 0.630 | 49.89 | 13.04 |
| LoRA-Finetune | 18.72 | 13.94 | 33.23 | 0.648 | 54.01 | 14.57 |
| YOCO (ours) | 17.75 | 13.14 | 31.73 | 0.657 | 42.79 | 6.73 |
Table 2: Real-world mocap calibration results. Metrics are averaged over 3 seeds. Calib. s reports the total conditioning or adaptation time in seconds for whole datasets on one H100. Corresponding user-level std is provided in Appendix C.5.
研究问题3：YOCO具备强大的单次少样本校准能力。图3展示了K从1到16的变化情况。在无需进一步测试时优化的校准方法中，YOCO在$K \in \{1, 2, 4\}$时取得了最低的PA-MPJPE值：收集四组配对姿态仅需几秒钟，而收集十六组则接近一分钟。当K=1时，YOCO的误差达到10.94毫米，低于所有K=4时的基于梯度基线方法；当K=8时，基于梯度的方法缩小了这一差距，而当K=16时，全微调方法略优于单次校准的YOCO。新的YOCO-FT曲线反映了在YOCO初始化后添加逐会话微调的效果：它进一步提升了精度，但牺牲了无梯度适配的优势。这种模式与较大K值下的优化或容量限制有关，但尚无法确定哪种因素起主导作用。详见附录C.7。
研究问题4：YOCO能够迁移到真实的低成本手套数据，并具备跨用户泛化能力。我们在附录C.3中描述的配对AVP/拉伸手套数据集上进行了评估，该数据集让YOCO接触到低成本手套在实际使用中因用户和佩戴差异产生的失真，而非合成漂移。如表2所示，YOCO在所有主要指标（MPJPE、PA-MPJPE、Tip-PA、AUCJ、捏合误差）上均取得了最佳成绩，其预处理时间仅为6.73秒，而LoRA微调方法需要14.57秒，全微调方法则需13.04秒。附录C.5中的用户间标准差表明，这种优势在数据集中的四位用户身上均保持一致，并非由某单一操作者驱动。值得注意的是，岭回归在真实数据上的表现甚至不如未校准基线，这表明真实手套的偏差结构……
Figure 3: PA-MPJPE versus calibration-pair count, including YOCO followed by test-time fine-tuning (YOCO-FT). The dotted line marks no calibration.
数值多方法扫描结果见……
Figure 4: Goal states for the downstream dexterous manipulation tasks: twisting and opening a bottle cap, pinch-grasping earbuds, three-finger glue grasping, and tissue-box opening.
其非线性程度足以使得在MANO $\theta$空间内的线性校正反而产生负面影响；正是在这种场景下，经过学习的结构化校准器才能发挥其价值。
研究问题5：YOCO遥操作流程可提升任务成功率。相关任务、操作员分配、视觉反馈、熟悉过程、映射调整及试验顺序均在5.1.1节中说明。
---
As shown in Table 3, YOCO achieves an overall success rate of 90%, compared with 65% for LoRA-Finetune and 35% for the uncalibrated baseline, and the lowest overall completion time across the four tasks. The largest per-task gains appear on contact-sensitive tasks: Earbud Pinch Grasping rises from 1/10 (LoRA-Finetune) to 8/10 (YOCO), and Tissue Box Opening from 8/10 to 10/10. The earbud task uses a middle-finger pinch, whereas the calibration poses include an index-finger pinch but no middle-finger pinch, suggesting transfer to an unobserved fingertip configuration. Because retargeting models are trained separately for each condition, the task results characterize the complete teleoperation pipelines rather than isolating calibration as the sole cause.
| Method | Bottle Cap | Earbud Pinch | Glue Three-Finger Grasping | Tissue Box | Overall |
| Opening | Grasping | Opening |
| Success $\uparrow$ Time (s) $\downarrow$ | Success $\uparrow$ Time (s) $\downarrow$ | Success $\uparrow$ Time (s) $\downarrow$ | Success $\uparrow$ Time (s) $\downarrow$ | Success $\uparrow$ Time (s) $\downarrow$ | Success $\uparrow$ Time (s) $\downarrow$ | Success $\uparrow$ Time (s) $\downarrow$ | Success $\uparrow$ Time (s) $\downarrow$ | Success Rate $\uparrow$ | Time (s) $\downarrow$ |
| No calibration | 9/10 | 35.6 | 0/10 | - | 5/10 | 7.0 | 0/10 | - | 35% | 24.4 |
| LoRA-Finetune | 9/10 | 34.1 | 1/10 | 6.0 | 8/10 | 6.6 | 8/10 | 13.3 | 65% | 17.9 |
| YOCO (ours) | 10/10 | 27.3 | 8/10 | 4.2 | 8/10 | 8.9 | 10/10 | 17.4 | 90% | 14.9 |
Table 3: Downstream dexterous teleoperation results. We evaluate 4 tasks and count each task success over 10 trials and average completion time over successful trials. Failed trials are capped at one minute and excluded from task-specific average completion time, while each failed trial is penalized by assigning it the longest observed trial time in the overall average time. More stats are provided in Appendix C.8.
## 6 结论
YOCO将动作捕捉校准重新定义为前馈权重生成过程：一个超网络$h_{\psi}$根据少量配对姿态生成LoRA更新量$\Delta W$，从而定制已冻结的MANO估计器$g_{\phi}$，无需对估计器进行逐会话优化。后续结果表明，在所评估的校准与映射流程中，YOCO能带来显著的遥操作性能提升。
YOCO主要专注于姿态校准，而将MANO形状估计留给后续阶段处理，这一设计能够与现有的形状拟合流程无缝集成。会话固定的偏差假设与大多数商用手套的传感器制造公差相符，但在稳定性较差的硬件上出现的高频漂移现象则需要对HyperNet进行重新校准或延长其训练时间。通过增强型训练流程，我们可以以较低成本模拟多种漂移模式下的训练数据，不过如何覆盖高频漂移情况仍是一个与传感器特性研究相关的开放性课题。
## 致谢
本研究得到了香港研究资助局早期职业计划（RGC）项目#27207224、HKU-100奖项、Musketeers基金会的捐赠支持，部分研究还得到了香港赛马会慈善信托基金资助的JC STEM自主智能系统实验室，以及香港大学-上海智能计算研究中心提供的计算资源。我们感谢TranscEngram在数据采集及本项目所用硬件提供方面的支持。该项目还得到了深圳环区研究院的项目FPF10120250005的支持与资助。
---
## 参考文献
[^1]: Y. Wang and M. Neff. Data-driven glove calibration for hand motion capture. In Proceedings of the 12th ACM SIGGRAPH/Eurographics Symposium on Computer Animation, pages 15–24, 2013. doi:10.1145/2485895.2485901.
[^2]: Y. Li, J. Zhang, W. Xu, T. Tang, and C. Lu. FSGlove: An inertial-based hand tracking system with shape-aware calibration. arXiv preprint arXiv:2509.21242, 2025. URL .
[^3]: C. Zuo, J. Huang, X. Jiang, Y. Yao, X. Shi, R. Cao, X. Yi, F. Xu, S. Guo, and Y. Qin. Transformer IMU calibrator: Dynamic on-body IMU calibration for inertial motion capture. ACM Transactions on Graphics, 2025. URL .
[^4]: N. Gosala, F. Wang, Z. Cui, H. Liang, O. Glauser, S. Wu, and O. Sorkine-Hornung. Self-calibrated multi-sensor wearable for hand tracking and modeling. IEEE Transactions on Visualization and Computer Graphics, 29(3):1769–1784, 2023. doi:10.1109/TVCG.2021.3131230.
[^5]: L. Dipietro, A. M. Sabatini, and P. Dario. A survey of glove-based systems and their applications. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 38(4):461–482, 2008. doi:10.1109/TSMCC.2008.923862.
[^6]: H. Zhang, S. Dalla Gasperina, S. N. Yousaf, T. Tsuboi, T. Narita, and A. D. Deshpande. Human-exoskeleton kinematic calibration to improve hand tracking for dexterous teleoperation. arXiv preprint arXiv:2507.23592, 2025. URL .
[^7]: J. Romero, D. Tzionas, and M. J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6):245:1–245:17, 2017. doi:10.1145/3130800.3130883.
[^8]: C. Zimmermann and T. Brox. Learning to estimate 3d hand pose from single RGB images. In Proceedings of the IEEE International Conference on Computer Vision (ICCV), pages 4903–4911, 2017.
[^9]: C. Zimmermann, D. Ceylan, J. Yang, B. Russell, M. Argus, and T. Brox. FreiHAND: A dataset for markerless capture of hand pose and shape from single RGB images. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 813–822, 2019. doi:10.1109/ICCV.2019.00090.
[^10]: S. Hampali, M. Rad, M. Oberweger, and V. Lepetit. HOnnotate: A method for 3d annotation of hand and object poses. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 3196–3206, 2020.
[^11]: F. Zhang, V. Bazarevsky, A. Vakunov, A. Tkachenka, G. Sung, C.-L. Chang, and M. Grundmann. MediaPipe hands: On-device real-time hand tracking. arXiv preprint arXiv:2006.10214, 2020. URL .
[^12]: G. Moon, S.-I. Yu, H. Wen, T. Shiratori, and K. M. Lee. InterHand2.6M: A dataset and baseline for 3d interacting hand pose estimation from a single RGB image. In Computer Vision – ECCV 2020, pages 548–564. Springer, 2020. doi:10.1007/978-3-030-58565-5_33. URL .
## [^13]: G. Pavlakos, D. Shan, I. Radosavovic, A. Kanazawa, D. Fouhey, and J. Malik. Reconstructing hands in 3d with transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 9826–9836, June 2024
---
[^14]: A. Handa, K. Van Wyk, W. Yang, J. Liang, Y.-W. Chao, Q. Wan, S. Birchfield, N. Ratliff, and D. Fox. DexPilot: Vision-based teleoperation of dexterous robotic hand-arm system. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), pages 9164–9170, 2020. doi:10.1109/ICRA40945.2020.9197124. URL .
[^15]: Y. Qin, W. Yang, B. Huang, K. Van Wyk, H. Su, X. Wang, Y.-W. Chao, and D. Fox. AnyTeleop: A general vision-based dexterous robot arm-hand teleoperation system. In Proceedings of Robotics: Science and Systems, Daegu, Republic of Korea, 2023. doi:10.15607/RSS.2023.XIX.015. URL .
[^16]: T. Lin, Y. Zhang, Q. Li, H. Qi, B. Yi, S. Levine, and J. Malik. Learning visuotactile skills with two multifingered hands, 2024. URL .
[^17]: X. Cheng, J. Li, S. Yang, G. Yang, and X. Wang. Open-television: Teleoperation with immersive active visual feedback. In Proceedings of The 8th Conference on Robot Learning, volume 270 of Proceedings of Machine Learning Research, pages 2729–2749. PMLR, 2025. URL .
[^18]: A. Iyer, Z. Peng, Y. Dai, I. Guzey, S. Haldar, S. Chintala, and L. Pinto. OPEN TEACH: A versatile teleoperation system for robotic manipulation. arXiv preprint arXiv:2403.07870, 2024. URL .
[^19]: A. Sivakumar, K. Shaw, and D. Pathak. Robotic telekinesis: Learning a robotic hand imitator by watching humans on YouTube. In Proceedings of Robotics: Science and Systems, New York City, NY, USA, 2022. doi:10.15607/RSS.2022.XVIII.023. URL .
[^20]: S. Park, S. Lee, M. Choi, J. Lee, J. Kim, J. Kim, and H. Joo. Learning to transfer human hand skills for robot manipulations. arXiv preprint arXiv:2501.04169, 2025. URL .
[^21]: K. Li, P. Li, T. Liu, Y. Li, and S. Huang. ManipTrans: Efficient dexterous bimanual manipulation transfer via residual learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6991–7003, 2025. doi:10.1109/CVPR52734.2025.00656. URL .
[^22]: Z.-H. Yin, C. Wang, L. Pineda, K. Bodduluri, T. Wu, P. Abbeel, and M. Mukadam. Geometric retargeting: A principled, ultrafast neural hand retargeting algorithm, 2025. URL .
[^23]: Z. Wan, Z. Bi, Z. Zhou, H. Ren, Y. Zeng, Y. Li, L. Qi, X. Yang, M.-H. Yang, and H. Cheng. RAPID hand: A robust, affordable, perception-integrated, dexterous manipulation platform for generalist robot autonomy. arXiv preprint arXiv:2506.07490, 2025. URL .
[^24]: H.-S. Fang, B. Romero, Y. Xie, A. Hu, B.-R. Huang, J. Alvarez, M. Kim, G. Margolis, K. Anbarasu, M. Tomizuka, E. Adelson, and P. Agrawal. DEXOP: A device for robotic transfer of dexterous human manipulation. arXiv preprint arXiv:2509.04441, 2025. URL .
[^25]: K. Junge and J. Hughes. ADAPT-Teleop: Robotic hand with human matched embodiment enables dexterous teleoperated manipulation. npj Robotics, 3:31, 2025. doi:10.1038/s44182-025-00034-3.
### [^26]: D. Ha, A. M. Dai, and Q. V. Le. HyperNetworks. In International Conference on Learning Representations (ICLR), 2017. URL
---
[^27]: J. von Oswald, C. Henning, B. F. Grewe, and J. Sacramento. Continual learning with hypernetworks. In International Conference on Learning Representations (ICLR), 2020. URL .
[^28]: R. Karimi Mahabadi, S. Ruder, M. Dehghani, and J. Henderson. Parameter-efficient multi-task fine-tuning for transformers via shared hypernetworks. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 565–576, 2021. URL .
[^29]: P. Zhou, W. Yao, Q. Luo, X. Zhou, and Y. Yang. Hyper-goalnet: Goal-conditioned manipulation policy learning with hypernetworks. arXiv preprint arXiv:2512.00085, 2025.
[^30]: H. Ren, L. Sun, X. Wang, P. Zhou, Z. Wu, S. Dong, D. Zou, Y. Zheng, and Y. Yang. HyPoGen: Optimization-biased hypernetworks for generalizable policy generation. In International Conference on Learning Representations (ICLR), 2025. URL .
[^31]: L. Sun, J. Wu, F. Chen, R. Liu, and Y. Yang. HyperTASR: Hypernetwork-driven task-aware scene representations for robust manipulation, 2025. URL .
[^32]: R. Karimi Mahabadi, J. Henderson, and S. Ruder. Compacter: Efficient low-rank hypercomplex adapter layers. In Advances in Neural Information Processing Systems (NeurIPS), volume 34, pages 1022–1035, 2021. URL .
[^33]: E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, and W. Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations (ICLR), 2022. URL .
[^34]: N. Ruiz, Y. Li, V. Jampani, W. Wei, T. Hou, Y. Pritch, N. Wadhwa, M. Rubinstein, and K. Aberman. HyperDreamBooth: Hypernetworks for fast personalization of text-to-image models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 6527–6536, 2024. URL .
[^35]: J. Su, Y. Lu, S. Pan, A. Murtadha, B. Wen, and Y. Liu. Roformer: Enhanced transformer with rotary position embedding, 2023. URL .
[^36]: W. Peebles and S. Xie. Scalable diffusion models with transformers, 2023. URL .
[^37]: MANUS. MANUS Metagloves Pro, 2026. URL .
[^38]: Rokoko. Rokoko Smartgloves, 2026. URL .
[^39]: StretchSense. StretchSense XR Gloves, 2026. URL .
[^40]: CyberGlove Systems LLC. CyberGlove II, 2026. URL .
### [^41]: CyberOrigin. CyberOrigin Data Glove and Motion Capture, 2025. URL
---
## 方法细节
## A.1 HyperNet训练的增强策略
为了在基于手套的动作捕捉设备中模拟真实的校准误差以训练HyperLoRA，我们选择在MANO姿态空间生成合成偏差，而非直接扰动3D关键点。设$\theta_{d,t} \in R^{45}$表示序列d中第t帧的MANO手部姿态，将其重塑为$\theta_{d,t}^{f,j} \in R^{3}$，其中f代表手指编号，j代表关节层级。对于每个序列，我们仅采样一次偏差类型$\phi_d$，并在所有帧中保持该偏差不变。这一做法源于观察到手套或手部追踪的校准误差通常具有会话一致性，而非逐帧独立的噪声。
所采样的偏差包含了几种符合物理规律的误差模式：每根手指的零偏移、每个关节的残余偏移、全局/手指/关节增益误差、相邻手指间的串扰，以及每根手指内部的近端到远端耦合效应。具体来说，带偏差的姿态生成方式如下：
$$ \tilde{\theta}_{d,t}^{f,j}=s_{d}^{f,j}\theta_{d,t}^{f,j}+a_{f,j}\sum_{g\in\mathcal{N}(f)}C_{d}^{f,g}s_{d}^{g,j}\theta_{d,t}^{g,j}+\sum_{k| Method | Real glove (AVP reference) | Augmented InterHand2.6M |
| PA-MPJPE $\downarrow$ | AUCJ $\uparrow$ | PA-MPJPE $\downarrow$ | AUCJ $\uparrow$ |
| LoRA-Finetune | 13.94 | 0.648 | 11.67 | 0.694 |
| Set-Cond. Residual | 13.74 | 0.645 | 12.66 | 0.664 |
| Side-Tuning [^4] | 13.48 | 0.641 | 15.35 | 0.618 |
| Meta-LoRA | 13.51 | 0.633 | 13.94 | 0.639 |
| Meta-LoRA+FT | 14.17 | 0.664 | 11.41 | 0.702 |
| YOCO | 13.14 | 0.657 | 10.45 | 0.702 |
| YOCO+LoRA-FT | 13.28 | 0.665 | 9.99 | 0.707 |
Table 4: Learned-prior controls and additional calibration baselines at K = 4. PA-MPJPE is in millimeters; AUCJ is the normalized joint-PCK area.
表4显示，与会话无关的Meta-Lora初始化相比，YOCO在真实手套数据上的PA-MPJPE从13.51毫米降至13.14毫米，在增强版InterHand2.6M数据集上则从13.94毫米降至10.45毫米。基于集合条件的残差控制和Side-Tuning为适配机制及先前研究提供了额外的验证。进一步的LoRA微调虽然能提升部分指标，却需要付出测试时优化的代价。
### C 实验细节
### C.1 MANO Beta参数的处理
在InterHand2.6M数据集上的评估中，我们对所有方法均采用真实的形状参数作为基准。在真实世界数据集上的评估中，我们采用基于优化的形状估计方法来为所有方法估算形状参数。在后续的灵巧操作任务评估中，我们使用在为预设姿态库采集AVP动作捕捉数据时预先计算好的MANO形状参数$\beta$，并且对所有方法均固定使用该相同的$\beta$。
### C.2 目标姿态的选择
在所有离线评估中，我们针对配对校准姿态的选择，报告了3种随机种子下的平均性能。此外，校准姿态仅从验证序列的前200帧中选取，评估则在剩余帧上进行，以此避免数据泄露，并检验YOCO及基线模型对未校准姿态的泛化能力。
### C.3 真实世界数据协议
我们的真实世界手套/动作捕捉数据集包含四位用户。对于每一帧而言，噪声观测值$x^n$是由低成本手套得出的手部关键点姿态，而校准后的目标值$x^c$则来自Apple Vision Pro（AVP）同步生成的3D手部关键点姿态。此处使用AVP是将其作为离线评估数据的高端参考源，而非部署时校准所需的设备。每位用户提供一段用于评估的序列，每序列长度约为1500帧，帧率为30 FPS。
---
食指捏合：拇指指尖与食指指尖相触；其余手指自然张开。
完全张开：手掌张开，五指伸直。
爪形/半闭合。
手指呈部分弯曲状态，呈现半握拳形态。
四根手指伸直，
拇指靠近手掌。
食指、中指、无名指和小指均伸直，而拇指则内收并贴近手掌。
Figure 5: Preset pose library used to obtain deployable calibration targets. The four prompts are index pinch, fully open, claw / half close, and four fingers straight with the thumb near the palm.
### C.4 CPU部署校准时间
表1和表2中的校准时间是利用H100 GPU计算得出的。但在实际的遥操作部署中，校准过程可能需要在仅配备CPU的主机上运行。表5记录了推理前所需的平均CPU适配时间。对于YOCO模型，我们采用HyperNet的前向传播时间；而对于基于梯度或回归的基线方法，则使用其优化/求解时间。
| Method | Timing Source | CPU calibration time (s) |
| YOCO (ours) | HyperNet Forward | 13.16 |
| Ridge | Closed Form Solver | 0.37 |
| Last-layer-Finetune | Gradient Descent | 34.47 |
| LoRA-Finetune | Gradient Descent | 59.58 |
| Full-Finetune | Gradient Descent | 223.25 |
Table 5: Average CPU calibration time required before real deployment.
### C.5 真实场景下的用户间差异
表6展示了真实场景中各用户动作捕捉校准结果的标准差。该表与表2相对应，用于说明不同方法在用户间的差异程度。
| Method | MPJPE $\downarrow$ (mm) | PA-MPJPE $\downarrow$ (mm) | Tip-PA $\downarrow$ (mm) | AUCJ $\uparrow$ | Pinch $\downarrow$ (mm) | Calib. s $\downarrow$ (s) |
| No calibration | 1.14 | 0.76 | 3.18 | 0.021 | 7.01 | 0.00 |
| Ridge | 4.32 | 2.95 | 9.12 | 0.053 | 12.53 | 0.68 |
| Last-layer-Finetune | 0.87 | 1.01 | 2.47 | 0.017 | 6.23 | 0.55 |
| Full-Finetune | 1.80 | 1.52 | 4.79 | 0.030 | 7.65 | 0.75 |
| LoRA-Finetune | 1.22 | 1.06 | 3.73 | 0.023 | 9.50 | 0.80 |
| YOCO (ours) | 1.34 | 1.07 | 3.84 | 0.029 | 6.44 | 3.30 |
Table 6: Per-user standard deviation of the real-world mocap calibration results.
### C.6 动作捕捉设备选择
目前已有多种基于手套的手部动作捕捉系统，其中包括专业的电磁追踪手套，如MANUS Metagloves Pro；以及基于惯性测量单元/电磁技术的产品，如Rokoko。
---
智能手套、应变传感器手套（如StretchSense手套），以及弯曲传感器数据手套（如CyberGlove II）[^37] [^38] [^39] [^40]。在我们的实际实验中，我们使用了OpenCyberGlove——一种低成本、基于拉伸传感器的手套[^41]。做出这一选择是出于实用性和评估目的：与高端商用动作捕捉手套相比，OpenCyberGlove提供了一个成本低廉的真实数据采集平台；同时，其拉伸/应变传感器的读数会自然受到使用者手部几何结构、手套贴合度、手尺寸和手形的影响。因此，它为我们的校准设置提供了一个具有代表性且颇具挑战性的测试案例——该设置的目标正是补偿因个人差异和贴合度不同而产生的失真，从而从有限的配对校准数据中还原出准确的手部动作。
### C.8 额外的遥操作统计数据
| Method | K | MPJPE $\downarrow$ (mm) | PA-MPJPE $\downarrow$ (mm) | Tip-PA $\downarrow$ (mm) | AUCJ $\uparrow$ | Pinch L2 $\downarrow$ (mm) |
| YOCO (ours) | 1 | 16.07 | 10.94 | 24.40 | 0.694 | 38.04 |
| 2 | 16.10 | 10.86 | 24.30 | 0.694 | 36.66 |
| 4 | 15.64 | 10.45 | 23.29 | 0.702 | 34.90 |
| 8 | 15.21 | 10.19 | 22.26 | 0.709 | 33.87 |
| 16 | 15.10 | 10.14 | 21.94 | 0.712 | 33.70 |
| LoRA FT | 1 | 18.96 | 14.07 | 31.33 | 0.651 | 43.44 |
| 2 | 17.80 | 13.00 | 28.54 | 0.671 | 42.01 |
| 4 | 16.38 | 11.67 | 25.33 | 0.694 | 37.28 |
| 8 | 15.44 | 10.65 | 22.92 | 0.709 | 33.42 |
| 16 | 15.12 | 10.29 | 22.06 | 0.714 | 32.89 |
| Last-layer FT | 1 | 19.10 | 14.22 | 31.64 | 0.649 | 43.54 |
| 2 | 18.04 | 13.34 | 29.20 | 0.669 | 42.57 |
| 4 | 16.62 | 12.01 | 25.92 | 0.692 | 39.18 |
| 8 | 15.54 | 10.84 | 23.16 | 0.709 | 35.72 |
| 16 | 15.18 | 10.50 | 22.26 | 0.715 | 35.10 |
| Ridge | 1 | 20.18 | 15.24 | 33.87 | 0.633 | 47.44 |
| 2 | 19.10 | 14.35 | 31.66 | 0.654 | 48.25 |
| 4 | 17.62 | 13.00 | 28.28 | 0.676 | 45.35 |
| 8 | 16.76 | 12.13 | 26.44 | 0.688 | 46.35 |
| 16 | 16.07 | 11.47 | 24.87 | 0.698 | 45.03 |
| Full FT | 1 | 25.62 | 20.20 | 48.08 | 0.570 | 48.71 |
| 2 | 22.79 | 17.26 | 40.76 | 0.607 | 45.11 |
| 4 | 18.11 | 12.77 | 29.21 | 0.668 | 37.11 |
| 8 | 15.39 | 10.17 | 22.39 | 0.706 | 32.60 |
| 16 | 14.55 | 9.47 | 20.39 | 0.722 | 30.88 |
Table 7: Detailed K-sweep results on the augmented InterHand2.6M evaluation setting. All rows use the overall split aggregated over 3 seeds and 20 augmented units.
---
表8：详细的下游遥操作完成时间统计。数值为10次试验的平均完成时间（秒）；数值越小越好。最长试验行显示了每项任务观察到的最长试验时间。
| Method | Bottle Cap Opening Avg. Time (s) $\downarrow$ | Earbud Pinch Grasping Avg. Time (s) $\downarrow$ | 3-Finger Glue Grasping Avg. Time (s) $\downarrow$ | Tissue Box Opening Avg. Time (s) $\downarrow$ |
| No calibration | 37.9 | 7.0 | 10.5 | 42.0 |
| LoRA-Finetune | 37.5 | 6.9 | 8.1 | 19.0 |
| YOCO (ours) | 27.3 | 4.8 | 9.9 | 17.4 |
| Longest trial | 59.0 | 7.0 | 14.0 | 42.0 |
### C.9 设备与计算平台
所有训练运行和时间测量均在单GPU服务器上进行。表9总结了用于模型训练和计时实验的硬件及操作系统信息。
### C.10 训练超参数
| Component | Value |
| CPU | 2 $\times$ Intel Xeon Platinum 8468V |
| RAM | 2.0 TiB |
| GPU | 1 $\times$ NVIDIA H100 80 GB HBM3 |
Table 9: Device and compute platform used for training and timing experiments.
表10列出了我们训练过程中使用的主要优化算法、HyperNet、LoRA以及配对姿态偏好提取器的超参数。
表10列出了我们训练过程中使用的主要优化方法、HyperNet、LoRA以及配对姿态偏好提取器的超参数。
| Setting | Value |
| Seed | 42 |
| Optimizer | Adam |
| Total steps | 10,000 |
| Batch size | 1024 |
| Peak learning Rate | 3e-4 |
| Final Learning Rate | 1e-6 |
| Warmup Steps | 500 |
| Gradient clipping | 1.0 |
| LoRA rank / alpha | Rank 8; alpha 8.0 |
| LoRA dropout | 0.1 |
| Calibration Mapper Transformer Depth | 6 |
| Calibration Mapper Transformer Number of Heads | 8 |
| Decoder Flow Steps | 8 |
| Decoder DIT Number of Layers | 4 |
| Decoder DIT Number of Heads | 4 |
| Hidden Dimension | 256 |
Table 10: Training hyperparameters used by YOCO.