{
  "paper_id": "86f07334acb64013ac1bac27f710893f",
  "paper_title": "ESTHER: Egocentric Stereo Hand Estimation and Reconstruction in the Wild",
  "paper_authors": [
    "Hongyu Ma",
    "Hairong Qu",
    "Shiqi Zhao",
    "Yongsong Yang",
    "Peng Yin"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "人类灵巧操作由双眼观察双手引导：双目视觉提供精确操作所需的度量三维结构，因此第一视角立体视觉是机器人、AR和VR的自然感知接口。然而，第一视角双目手部重建仍缺少端到端模型和野外基准。本文提出ESTHER，其立体几何、时序推理和输出表示均面向可穿戴第一视角双目设计。模型通过一个经过标定的标注管线生成伪标签进行训练，并据此构建ESTHER3D基准：该数据集包含由模型标注的大规模野外训练集，以及由动作捕捉提供真实度量真值的测试集。实验表明，ESTHER达到当前最优精度，能够以极少微调跨立体设备和模态泛化，并在真实第一视角采集里的视角缺失、单目输入、丢帧、光照变化和运动模糊条件下保持稳健的度量重建。\n",
  "keywords": [
    "第一视角双目",
    "三维手部重建",
    "MANO",
    "度量重建",
    "时序建模",
    "伪标签",
    "ESTHER3D",
    "可穿戴计算"
  ],
  "paper_institutions": [
    "香港城市大学"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:28:43.279938Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决短基线头戴式双目视频中的野外第一视角度量3D手部重建问题，目标是恢复MANO手部姿态、形状和全局腕部平移；相关方法中，单目模型只能依赖先验推断尺度和深度，多视角方法通常要求两点同时可见且多为单帧设计，时序方法又容易受单目SLAM尺度模糊、检测丢失以及头部运动与手部运动耦合影响。作者提出端到端模型ESTHER，核心机制为 F=E_img(I^l,I^r,ℓ^l,ℓ^r)，(Z,z^root,ô)=E_mot(F,f,r)，Θ̂=D_fuse(F,Z,z^root)：立体图像编码器把带Plücker射线的左右作物料融合为联合令牌，遮罩时序运动编码器结合相机运动流令牌和根令牌进行跨帧补全，查询门控融合解码器则用16个姿态查询、形状查询和腕部查询分别读取图像、运动和根特征，直接输出随时间共享的形状、MANO姿态和度量腕部位置。训练前，作者先建立标定教师管线，用YOLO11-pose与ViTPose的2D关键点、立体三角测量、WiLoR初始化、DPoser-X先验和两阶段优化生成伪标签，并在10小时动捕测试集上零样本达到15.9 mm MPJPE、9.3 mm PA-MPJPE和19.1 mm腕部误差，从而验证标签可用性；ESTHER3D包含约194小时、121名采集者、6个行业、308个真实场所和约800个操作任务的野外训练数据，以及约10小时、6名受试者、50个脚本任务、覆盖14种手部动作类型的动捕测试数据，这种训练与测试分离设计既验证可扩展标注，又提供独立的真实度量评估。模型处理16帧片段，采用冻结DINOv3-L主干，总参数约355M、可训练参数约51M，在4块RTX 4090上约两天完成训练，并通过共享主干、数据、损失和预算的受控协议隔离架构差异；评估使用MPJPE、PA-MPJPE、绝对腕部误差和时间抖动，ESTHER在ESTHER3D上取得17.7 mm、8.6 mm、21.3 mm和3.3 m/s²，在HOT3D零样本上取得30.5 mm、17.3 mm、54.2 mm和20.9 m/s²，微调10%数据后取得29.5 mm、8.0 mm、20.8 mm和17.1 m/s²，支持了立体几何融合、遮罩时序补全、查询门控和直接腕部回归的有效性。研究还发现短基线立体引导会形成表观手尺度与度量深度绑定的先验，使单目回退仍保持低方差；该方法适用于机器人、AR、VR和精细操作感知，但仍受短基线、遮挡、模糊、检测丢失、非对称可见性、鱼眼相机校正和灰度域差距约束，未来方向包括无需检测的流式处理以及手、物体和身体的联合建模。\n\n### 关键要点\n\n- ESTHER由立体图像编码器、遮罩时序运动编码器和查询门控融合解码器组成，端到端输出MANO姿态、时序共享形状和度量腕部平移。\n- 立体编码器使用冻结DINOv3-L主干、Plücker射线嵌入、视图内与跨视图注意力，并通过2D关键点、可见性、深度和三角测量损失学习显式几何。\n- 训练时随机遮罩关节、整帧、连续时间片段和整个视图，使模型能够模拟野外采集中的检测丢失、遮挡和单视角失效。\n- 时序编码器接收由经典光流生成的192维相机运动流令牌，以区分头部或作物运动与手指关节运动。\n- 融合解码器为姿态、形状和腕部设置不同查询，并依据可见性和三角测量 spread 等证据统计进行软门控，腕部查询直接回归度量平移而非硬绑定三角测量点。\n- 标定教师管线融合双视图2D检测、立体标定、WiLoR初始化、DPoser-X先验、形状锁定和16帧滑动窗口运动优化，生成可扩展的度量伪标签。\n- ESTHER3D训练集约194小时，来自6个行业、308个真实场所和121名采集者；测试集约10小时，由Vicon动捕提供真实度量真值。\n- 在受控比较中，ESTHER在ESTHER3D上取得17.7 mm MPJPE和3.3 m/s²抖动，抖动显著低于8.5至13.3 m/s²的多视角基线。\n- 在HOT3D上，ESTHER零样本MPJPE为30.5 mm，甚至优于若干微调基线；使用10%数据微调后各项指标均为对比方法中最低。\n- 缺失一个视角时，ESTHER在ESTHER3D上仅变为18.0 mm MPJPE和32.5 mm腕部误差，而依赖三角测量锚点的基线腕部误差普遍升至96.8 mm以上。\n- 16帧中最多丢弃8帧时，ESTHER3D上的MPJPE仅变化0.1 mm、腕部误差仅变化0.2 mm，说明时序遮罩训练能有效补全丢帧。\n- 在过曝、低照、伽马变化、运动模糊、传感器噪声、肤色偏移和去饱和测试中，MPJPE相对干净输入变化不超过0.5 mm，但鱼眼校正、边缘视野裁剪和灰度模态仍构成外部部署约束。"
}