{
  "paper_id": "9399047600b76141f6986dfe5eeaddbf",
  "paper_title": "YOCO: You Only Calibrate Once! Fast Mocap Calibration for Dexterous Teleoperation",
  "paper_authors": [
    "Yu Zhang",
    "Yunqi Li",
    "Yushi Du",
    "Yi Ma",
    "Yanchao Yang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "灵巧遥操作需要可靠的人手状态估计。然而，常见的低成本动捕手套和无标记追踪器往往存在随用户、手套贴合度和记录会话变化的偏差，从而降低重定向与示教质量。本文提出YOCO，一种快速、少样本且免微调的校准框架，可通过少量成对的原始姿态与目标姿态校正有偏的手部姿态流。YOCO不为每个操作者或会话优化独立模型，而是让校准HyperNet以成对样本为条件，为冻结的MANO手部估计模块预测LoRA式更新，将逐用户校准转化为轻量级前馈适应步骤，同时保留MANO的几何先验和紧凑估计器的效率。作者在InterHand2.6M上使用合成漂移增强训练YOCO，并在增强InterHand序列、离线真实手套数据和灵巧遥操作任务上进行评估。在这些设置中，相较未校准输入和标准校准基线，YOCO提升了校准效率、手部状态估计质量和遥操作性能。\n",
  "keywords": [
    "手部姿态估计与校准",
    "遥操作"
  ],
  "paper_institutions": [
    "The University of Hong Kong",
    "Shenzhen Loop Area Institute",
    "TranscEngram"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:56.487687Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对低成本动捕手套和无标记追踪器在灵巧手遥操作中因用户手型、佩戴贴合度、传感器漂移和会话变化产生偏差，进而损害重定向与示教质量的问题；已有校准方法多绑定特定传感器信号，或需要针对每个操作者和会话进行梯度优化，而高端动捕系统昂贵且难以大规模部署。作者提出YOCO，一种少样本、免微调的快速校准框架，在追踪器输出的21个三维手部关键点接口上，利用K对原始姿态与目标姿态，由共享校准HyperNet一次前馈生成LoRA式低秩更新，核心机制为ΔW=hψ(S)，并将其注入在干净InterHand2.6M上预训练后冻结的MANO估计器gφ，形成会话特定的gφ+ΔW，再通过MANO正向运动学得到fψ(x_q^n;S)=Π_MANO(gφ+hψ(S)(x_q^n),β)；训练时仅优化HyperNet参数ψ，最小化校准关节位置与目标关节位置之间的L2/MSE误差。该方法将逐用户校准转化为轻量前馈适应，保留MANO几何先验和紧凑估计器效率；目标网络采用分指CNN关键点编码器、Transformer融合层和分指MLP解码器，HyperNet复用编码器，通过带RoPE的Transformer和每个LoRA矩阵对应的CLS token聚合配对样本，再由DiT式解码器生成适配器。训练先在InterHand2.6M干净数据上建立MANO空间手部先验，再在MANO姿态空间构造合成漂移增强，偏差包括加性偏移、乘性增益、邻指串扰和手指近远端耦合，且每条增强序列内部保持一致；这种设置能以低成本覆盖多样、运动学合理且会话稳定的偏差，并验证从合成漂移到真实低成本手套的迁移。评估包括InterHand2.6M验证集上20组不同增强模式、Apple Vision Pro作为同步参考的低成本拉伸手套配对数据，以及4项物理灵巧遥操作任务；默认K=4，离线校准样本取自每序列前200帧，其余帧用于测试，部署时离线记录4个AVP参考目标姿态，运行时无需AVP。度量包括MPJPE、PA-MPJPE、Tip-PA、AUCJ、捏合误差、校准时间、任务成功率和完成时间；在增强InterHand上，YOCO将PA-MPJPE从16.55毫米降至10.45毫米，相对降低37%，Tip-PA从37.15毫米降至23.29毫米；在真实手套上取得PA-MPJPE 13.14毫米和各项主指标最优，H100校准时间为6.73秒；在4项遥操作任务中总成功率达90%，高于LoRA微调的65%和未校准的35%，并具有最低总完成时间，这些结果支持会话条件化权重生成相较共享先验、单独集合条件残差或同容量梯度LoRA的增益。其现实场景是低成本手套或无标记追踪驱动机器人灵巧手重定向、接触丰富操作和示范数据采集；主要约束是假设偏差在会话内近似平稳、不校准MANO形状β、真实设备评测目前仅覆盖一种拉伸手套、高频漂移需要重新校准或时序扩展，并且遥操作结果包含各条件分别训练的重定向模型影响，不能完全归因于校准；未来可探索高频漂移建模、HyperNet时间维扩展、更多传感器模态和设备验证，以及在较大K时结合YOCO初始化后微调来平衡精度与免优化成本。\n\n### 关键要点\n\n- YOCO在追踪器输出的21个三维手部关键点层面进行校准，输入K个噪声姿态与目标姿态配对，不需要读取手套IMU或应变传感器等设备原始信号。\n- 部署校准由一次HyperNet前馈完成：ΔW=hψ(S)，随后将ΔW注入冻结MANO估计器；后续查询帧以常规帧率通过gφ+ΔW，无需逐会话反向传播。\n- 目标网络gφ先在干净InterHand2.6M上训练，将21个三维关键点映射为45维MANO姿态参数，之后完全冻结；其分指CNN加Transformer融合和轻量MLP解码器兼顾手指独立性、全局相关性与实时性。\n- HyperNet复用关键点编码器，使用带RoPE位置嵌入的Transformer建模配对样本关系，为每个待生成LoRA矩阵设置CLS token，再通过DiT式解码器输出低秩矩阵。\n- YOCO与LoRA-Finetune使用相同适配器容量，默认LoRA秩为8、缩放系数α为8；训练时梯度只流经HyperNet参数ψ，LoRA注入过程对ΔW可微。\n- HyperNet训练使用InterHand2.6M序列的MANO姿态空间合成漂移，偏差包含加性偏移、乘性增益、邻指串扰和手指近远端耦合，并在一条序列内保持一致，以模拟用户、设备和会话级稳定偏差。\n- 合成测试在InterHand2.6M验证集上实例化20组不同漂移模式；默认K=4，离线校准样本从每序列前200帧选取，其余帧用于测试，结果跨随机种子汇总。\n- 真实数据让4名用户同时佩戴低成本OpenCyberGlove拉伸手套，并以Apple Vision Pro三维关键点作为同步参考；每人约1500帧、30 FPS，AVP仅用于离线参考和4个预设目标姿态库，运行时不需要。\n- 评估指标包括MPJPE、PA-MPJPE、五个指尖Tip-PA、0至0.05米阈值的AUCJ、真值捏合距离小于10毫米帧上的捏合误差、校准时间，以及遥操作成功率和完成时间。\n- 增强InterHand上YOCO将PA-MPJPE从16.55毫米降至10.45毫米、Tip-PA从37.15毫米降至23.29毫米；真实手套上PA-MPJPE为13.14毫米且各项主指标最优，H100整数据校准6.73秒，快于LoRA-Finetune的14.57秒。\n- 四项物理任务中，YOCO总成功率为90%，高于LoRA-Finetune的65%和未校准的35%，总完成时间14.9秒；其中耳机捏取从1/10提升到8/10，纸巾盒开启从8/10提升到10/10。\n- 方法约束包括假设偏差会话内近似平稳、不校准MANO形状β、真实设备仅验证一种拉伸手套、对高频漂移需重校准或时序扩展，且遥操作结果包含各条件分别训练的重定向模型影响。"
}