{
  "paper_id": "b288d07a97e2675b5b8ccae633821a86",
  "paper_title": "StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video",
  "paper_authors": [
    "Huajian Zeng",
    "Chaohua Yao",
    "Yuantai Zhang",
    "Jiaqi Yang",
    "Rolandos Alexandros Potamias",
    "Xingxing Zuo"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "从第一视角视频恢复两只交互手的世界坐标4D运动，是监督机器人策略学习的基础能力，其中手腕轨迹对应末端执行器，手指关节运动描述抓取姿态。该场景存在两大挑战：头部运动常使手长时间离开视野，持续的手物交互又会严重遮挡一只或双手。现有方法不加区分地依赖含噪手部运动观测，未考虑逐帧可靠性，导致性能显著下降。本文的核心洞察是准确的世界坐标手部运动估计与逐帧观测质量紧密相关。为此，作者将现成手部姿态估计器提取的运动观测质量分解为四个通道：双手各自的手腕全局平移与手指关节运动，并提出StableHand这一由学习到的质量网络预测四通道质量信号、并以该信号为条件的质量感知流匹配框架。该框架通过逐通道前向调度、质量调整速度目标、DiT去噪器的AdaLN调制以及质量感知ODE初始化，将质量信号自然融入流匹配过程，在保留高质量观测的同时，利用学习到的双手运动先验重建不可靠部分。在HOT3D和ARCTIC两个具有长时间手部缺失与持续手物遮挡的第一视角基准上，StableHand在所有报告指标上均达到最优，相比最强基线将W-MPJPE降低20–25%，在遮挡严重的ARCTIC序列上提升最大。\n",
  "keywords": [
    "第一视角视频",
    "双手运动估计",
    "世界坐标",
    "流匹配",
    "质量感知",
    "扩散Transformer",
    "手部姿态估计",
    "机器人策略学习"
  ],
  "paper_institutions": [
    "Mohamed bin Zayed University of Artificial Intelligence",
    "University of Illinois at Urbana-Champaign",
    "Imperial College London"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:39:37.164347Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决从第一视角视频恢复双手世界坐标4D运动的问题，该信号可用于机器人模仿学习中的末端执行器轨迹和抓取姿态监督；相关方法中，SLAM管线在长时间手部缺失时容易漂移，原生世界坐标方法则平等对待视觉与姿态观测，忽视手腕全局漂移、手指误差以及双手不对称遮挡。作者提出StableHand，由质量网络根据世界坐标MANO观测、检测置信标志和相机位姿预测每帧四个质量通道（左/右手的手腕与手指），再由质量感知条件流匹配DiT生成完整双手轨迹，其核心机制为$\\alpha(\\tau,\\tilde{\\mathbf q})=1-(1-\\tau)(1-\\tilde{\\mathbf q})$、$\\mathbf u_\\tau=(1-\\tilde{\\mathbf q})\\odot(\\mathbf x_1-\\boldsymbol\\varepsilon)$以及推理初始化$\\mathbf x_0=\\tilde{\\mathbf q}\\odot\\bar{\\mathbf y}+(1-\\tilde{\\mathbf q})\\odot\\boldsymbol\\varepsilon$，使高质量通道锚定观测、低质量通道由双手运动先验再生。质量网络在约1000万帧的八个第一视角双手语料上预训练，生成模型按基准分别训练；实验选用HOT3D验证长时间出视野，选用ARCTIC验证持续手物遮挡和双手不对称退化，输入片段长度$T=150$，上游采用冻结WiLoR与Depth-Anything-V3，在单张H100上用AdamW训练并以20步Euler ODE推理。评价采用PA-MPJPE、W-MPJPE、WA-MPJPE、AccEr及ARCTIC上的MRRPE，且不过滤检测失败帧；StableHand在HOT3D上取得4.02 mm、57.83 mm、21.02 mm和3.83 m/s²，在ARCTIC上取得8.07 mm、124.59 mm、32.66 mm、4.67 m/s²和93.71 mm，W-MPJPE较最强基线降低约20–25%，直接支持逐通道质量调度、四令牌DiT和质量感知初始化的有效性。未来方向包括联合手物建模与端到端训练；该技术适用于灵巧操作、双手操作和视觉语言动作数据监督，但当某只手整段无观测或双手在长接触阶段同时被遮挡时，模型可能生成看似合理却缺乏真实锚定的轨迹，且质量校准仍依赖特定上游估计器。\n\n### 关键要点\n\n- StableHand将每帧观测质量显式分解为左手手腕、左手指、右手手腕、右手指四个通道，以区分不同误差尺度和双手不对称遮挡。\n- 质量网络直接预测以毫米为单位的逐部件物理误差，再通过$\\hat{\\mathbf q}=\\exp(-\\hat{\\mathbf e}/\\hat{\\sigma})$转换为质量，从而适应不同语料的RBF带宽。\n- 质量网络使用时间自注意力、可学习GEO令牌、RoPE位置编码和相机位姿输入，以联合判断单帧遮挡与持续检测缺失。\n- 逐通道前向过程在质量为1时冻结通道并令速度目标为零，在质量为0时退化为标准流匹配，实现“保留可靠观测、再生不可靠通道”。\n- DiT将每帧表示为左/右手腕和左/右手指四个令牌，并通过质量驱动的AdaLN分别缩放不同部件的更新。\n- 训练目标除流匹配损失外，还包括时间平滑正则和手腕平移加权项，以抑制抖动并补偿45维手指参数对3维手腕平移的主导。\n- HOT3D侧重动态第一视角相机下的长时间手部出视野，ARCTIC侧重灵巧双手操作中的持续手物遮挡和相对空间关系。\n- 所有指标在每个真值有效帧上计算，不剔除检测失败帧，因此评估覆盖了真实部署中的缺失与遮挡情况。\n- 在HOT3D上，StableHand的W-MPJPE为57.83 mm，较HaWoR降低约20%，且优势在高缺失比例片段中最明显。\n- 在ARCTIC上，StableHand的W-MPJPE为124.59 mm、MRRPE为93.71 mm，较最强基线降低约25%，并缩小了双手之间的质量不对称差距。\n- 消融显示取消质量调度会使W-MPJPE升至92.32 mm，取消四令牌拆分会升至118.61 mm，而预言质量上限为48.16 mm，说明预测质量已捕获大部分可用信号。\n- 当手部在整段视频中不可见或双手在接触阶段同时被严重遮挡时，系统只能依赖先验，可能产生合理但不正确的轨迹，这是主要适用约束。"
}