{
  "paper_id": "a608a69eb3d0659969e843f488c49ccf",
  "paper_title": "MEgoVista: Multi-view Ego-aware Motion Estimation for Metric 4D Hands and Head in the Wild",
  "paper_authors": [
    "Jiangong Xiao",
    "Chao Ma",
    "Li Liu",
    "Zhihao Zhang",
    "Zhouyi Jin",
    "Weihuang Chen",
    "Yifei Dong",
    "Maoqing Yao",
    "Zhiwen Hou",
    "Hongbin Sun"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "从人类视频学习操作需要以物理度量单位高保真重建手部运动。现有度量手部标签主要来自摄影棚多视角装置和带传感器的头显，二者既受限于固定捕捉空间或准备好的桌面环境，也通常没有经过独立参考系统核验。无约束头戴记录提供了相反的扩展方式，其采集规模可随佩戴设备的人数增长。本文提出MEgoVista，一种离线流水线，可将单次无准备的MEgo View记录转换为同一重力对齐世界坐标系中的度量双手与头部运动。该系统有三个特点：在检测阶段确定手部归属，使旁观者的手不会混入佩戴者轨迹；从标定立体视觉而非单目学习先验获得度量尺度，并在初始化时固定物理单位；在动捕场地内用独立的青沐光学动捕系统评估头部和手部输出，且评估协议先审计参考系统自身，并对漏检等方法未预测的内容计入误差。MEgoVista为从第一视角视频生成度量手部监督提供了可测量的路径，扩大了此类标签可采集的场景范围。\n",
  "keywords": [
    "第一视角捕捉",
    "手部重建",
    "动作捕捉验证"
  ],
  "paper_institutions": [
    "Northwestern Polytechnical University",
    "Maniformer",
    "Xi'an Jiaotong University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:29.932019Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向从人类第一视角视频学习灵巧操作时缺乏野外度量3D手部标签的问题，论文指出ARCTIC、Assembly101等摄影棚数据集无法离开捕捉空间，EgoDex等设备方案仍局限于准备好的桌面，Ego4D等大规模野外数据又缺少度量3D监督，而WiLoR、HaMeR、HaWoR和Dyn-HaMR等方法依赖单目深度先验、难以区分佩戴者与旁观者的手，ORB-SLAM3和COLMAP在旋转主导的头戴运动中还会遭遇尺度初始化或单目尺度任意性问题。MEgoVista据此构建离线流水线：用可联合估计位置、归属和左右手的自我感知检测器及轻量跟踪器锁定佩戴者双手，以类WiLoR/HaMeR的MANO回归作为初始化；三鱼眼相机组成MID×LEFT和MID×RIGHT两个宽基线立体对，经公共旋转校正、FoundationStereo深度估计、置信度融合和KB鱼眼模型重投影得到TriVP度量深度；头部阶段把刚性相机阵列视为冻结内参的广义相机，由IMU提名关键帧、视觉筛选并建图，再用标定外参的左右匹配通过DLT和Levenberg-Marquardt构造真基线种子，最后仅在视觉重建完成后由500Hz惯性数据做RTS平滑和全局重力对齐。手部则在完整序列上联合优化双手MANO轨迹，核心机制是最小化`L_reproj+L_depth+L_pose+L_smooth+L_wrootvel+L_wrootang+L_fingervel+L_rom+L_bend+L_ω`，同时满足观测一致、三维连续和解剖合理，并用可微C1 relu²障碍约束关节活动范围、弯曲极限和角速度。实验数据由MEgo View以60fps在26相机、120Hz青沐光学动捕场地内采集，头显刚性标记簇和每只手15个标记提供独立参考，PTP同步且手眼标定过程与评估数据分离；该设置用于验证真实物理尺度、独立参考可靠性以及漏检计费协议，而奶茶制作、美甲和动物清洗等无动捕定性场景则检验快速运动、多人干扰和脏手条件。在采用尺度固定为1的手眼对齐等明确约定后，头部ATE RMSE为0.65–2.83mm、旋转约0.2°，尺度平均偏差在Session 1和Session 2分别为0.0120和0.0048；手部PA-MPJPE-p为4.29mm，CT-p为14.30mm，EPE-P为9.90px，抖动为1.11mm/frame²，检测精确率、召回率和F1均为1.00，这些结果支持了立体度量深度、归属检测和全序列优化对绝对位置、时间稳定性和召回完整性的作用。系统的适用约束包括需要标定多头戴相机、目前为约206s/episode的离线处理、动捕厂商手部骨架解算可能存在无法由板级重投影捕获的缓慢漂移，以及野外定性结果没有独立真值；后续可通过板级捕捉进一步判断下一毫米误差应来自更好的估计器还是更好的参考系统，最终服务于机器人操作模仿、人体动作数据预处理和日常职业任务采集。\n\n### 关键要点\n\n- MEgo View头戴设备包含中央相机和左右相机构成的三鱼眼系统，视频为60fps，并集成500Hz IMU，用于支撑精细手部运动和头部姿态估计。\n- 自我感知检测器联合输出手部位置、归属和左右手信息，再由轻量跟踪器维持身份与边界框稳定，从而把佩戴者双手与旁观者的手分开。\n- TriVP度量深度模块为MID×LEFT和MID×RIGHT设计以基线方向为e1轴、光轴角平分线为e3轴的宽基线公共旋转校正，再用FoundationStereo生成深度和逐像素置信度并融合回MID鱼眼网格。\n- 全序列手部优化先依据检测置信度、深度有效性与离散度、关节分布、骨比一致性和左右一致性筛选观测，再联合优化双手MANO轨迹，避免逐帧抖动、深度漂移和反解剖姿态。\n- 头部跟踪把三台相机作为具有已知相对位姿和冻结KB鱼眼模型的广义相机，关键帧由陀螺仪旋转和加速度能量提名、由Lucas-Kanade跟踪质量筛选，地图冻结后对每帧做仅姿态PnP。\n- 度量尺度在初始化时由同一时刻左右图像匹配、标定外参三角化和LM优化注入真基线，而不是在评估后用相似变换对齐恢复；重力则在视觉优化后全局施加，避免惯性漂移污染几何。\n- 评估在26相机、120Hz青沐光学动捕场地内进行，头部参考来自头显外壳刚性标记簇，手部参考来自每只手15个标记的厂商解算，相机与标记簇的手眼标定采集与评估数据互不重叠。\n- 独立参考先通过持出板级重投影审计，静态和运动板帧的平均误差分别为0.62–1.25px和0.83–2.51px；冻结手指、解算尖峰和指尖标记距离异常等参考失败帧会被筛除，但缓慢参考漂移仍计入被测方法。\n- 头部轨迹方面，MEgoVista在Session 2的稳态ATE为0.65mm，在Session 1为2.83mm；ORB-SLAM3在Session 1更准确，但去除前5s后其误差下降1.15mm，显示在线VIO初始化瞬态影响。\n- 对比DROID-W和MASt3R-SLAM时，后两者分别出现4/22严重尺度失败和1/22跟踪丢失，MEgoVista在约40s episode上平均耗时206.0s，较二者的627.5s和715.4s约快3.0倍和3.5倍。\n- 手部定量结果中，MEgoVista的检测Precision、Recall和F1均为1.00，PA-MPJPE-p为4.29mm，较HaWoR的16.30mm降低约70%，CT-p和EPE-P分别降至14.30mm和9.90px，抖动为1.11mm/frame²。\n- 定性结果覆盖快速奶茶制作、美甲时与旁观者手部交互以及动物清洗中的脏手快速运动；HaWoR和Dyn-HaMR会出现偏移或误归属，HaPTIC在多人场景完全失效，说明多人干扰和严重遮挡仍是实际部署约束。"
}