{
  "paper_id": "2900e60a738250c49432ad6b4103559f",
  "paper_title": "EgoWholeView: Camera-Only Head-Mounted Capture of Body and Bimanual Hand Motion for Embodied Demonstrations",
  "paper_authors": [
    "Yaoqing Hu",
    "Xguo He",
    "Daohan Cui",
    "Yukun Shi",
    "Kai Chen"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "头戴式身体与双手动作捕捉可为自虚拟人、遥操作和具身示范提供支持，但单个第一视角相机易受视场有限、尺度模糊以及手物遮挡影响。本文提出 EgoWholeView，这是一套由六个同步广角 RGB 相机构成的可穿戴捕捉系统，并采用角色专用流程：外向相机在世界坐标系中定位头戴装置，重叠下视相机对独立预测 SMPL-X 身体参数与 MANO 手部参数，两个预测器均针对第一视角鱼眼数据进行适配。为融合两路结果，系统从预测本身提取可靠性线索，对身体和手部关节旋转进行加权融合，而形状参数跨视角和跨帧聚合。下视相机对的基线确定度量尺度，三角测量恢复根节点平移。相比单目预测，融合使身体 PA-MPJPE 降低 3.7%、手部降低 11.2%；时序细化使身体和手部角加速度幅值分别降低 32.2% 和 31.0%。在自有六相机录制数据上，流程使用基准数据集拟合且不再重新调参的门控，在统一世界坐标系中生成身体和手部状态，时序细化使手部加速度幅值降低 41.08%。EgoWholeView 仅使用 RGB 相机且无需第三人称视角，为第一视角交互数据提供低成本、便携的采集途径。\n",
  "keywords": [
    "头戴式动作捕捉",
    "第一视角",
    "多视角融合",
    "可靠性门控",
    "SMPL-X",
    "MANO",
    "SO(3) 时序细化",
    "三角测量",
    "具身示范",
    "RGB 相机"
  ],
  "paper_institutions": [
    "Zhongguancun Academy",
    "DeepCybo",
    "Beijing University of Chemical Technology",
    "Zhongguancun Institute of Artificial Intelligence"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:52.563373Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对外部多相机动捕虽精确但限制采集空间、单目头戴 RGB 虽便携却几何欠约束且存在近身视场不足、尺度不可观、手物遮挡和抖动，而现有研究又多将外向场景 SLAM 与下视身体/手部重建分离的问题，EgoWholeView 提出角色专用的六相机可穿戴方案：四个 170–220° 外向相机通过静态场景轨迹、动态人体区域剔除和多目/广义相机光束法平差恢复 6-DoF 支架位姿，两个重叠下视相机分别运行经第一视角鱼眼数据适配的 EgoSMPLX 与 WiLoR，输出 21 个 SMPL-X 局部旋转、每只手 15 个 MANO 局部旋转及形状、根方向和相机相对平移。其核心机制是在与相机无关的 SMPL-X/MANO 规范空间中，用可见性 V、扰动离散 U、裁剪边界支持 B、时间不一致 T 和局部特征离散 F 五类线索经独立身体/手部门控生成逐关节视角权重，并按 $R_{t,j}^{o}=R_{t,j}^{3}\\operatorname{Exp}(w_{t,j}^{4}\\operatorname{Log}^{\\vee}((R_{t,j}^{3})^{\\top}R_{t,j}^{4})$ 做 $SO(3)$ 加权几何平均；形状则在同序列双视角预测上逐坐标取中位数。根方向转换到 Cam3 后等权融合，度量根平移由颈部、肩、肘、腕、髋等身体关节或全部 21 个 MANO 关节的双目语义对应点三角测量得到，相机基线固定绝对尺度，随后自适应 $SO(3)$ 卡尔曼式增益依据运动速度、融合可靠性和视角分歧在测地线插值中选择当前观测或历史状态。实验选择 UnrealEgo-RW、DexYCB 和 HO3Dv3：UnrealEgo-RW 测试集含 93 个立体序列、24,012 帧对，用于验证身体局部姿态；DexYCB S0 测试集含 160 个序列、9,846 个八视角同步时间戳和 28 种相机组合，用于验证双手 MANO 融合；HO3Dv3 的 4,854 个同步帧用于检验 DexYCB 门控冻结迁移；真实样机则用 35.7 秒、1920×1080、59.94 fps、下视基线 152.02 mm 的六相机录制验证端到端世界坐标输出。这些设置分别检验标准标注下的关节/顶点精度、跨数据集泛化和无外部参考时的实际部署能力；基准测试使用数据集给定框且不引入检测器，预测器、门控和时序参数在测试前冻结。以 PA-MPJPE、PA-MPVPE 和角加速度幅值为指标，VUBTF 软融合在 UnrealEgo-RW 上将身体 PA-MPJPE 从单目平均 79.8905 mm 降至 76.9409 mm（3.69%），在 DexYCB 上将手部 PA-MPJPE/PA-MPVPE 降至 4.2872/4.1741 mm，相对单目平均约降 11.2%，冻结门控在 HO3Dv3 上仍取得 8.61% 的 PA-MPJPE 改善；自适应时序细化使身体和手部角加速度幅值分别下降 32.19% 和 31.04%，真实录制中手部加速度下降 41.08%，并在 2,121 帧中为双手提供 2,011 帧度量放置。该系统适用于自虚拟人、VR 交互、遥操作和机器人具身示范等场景，但单手仅出现在一个视角或无有效三角关节时无法度量定位，基准的相似性对齐协议不能评估绝对放置，真实录制缺少外部参考，手部独立三角根节点尚未与 SMPL-X 手臂运动学协调，且因使用后续帧线索和全序列形状聚合，完整流程目前为离线；未来可通过运动学协调、因果时序与在线形状、外部参照量化以及眼镜级轻量化设计进一步扩展。\n\n### 关键要点\n\n- 硬件原型在刚性支架上安装前视、侧视和重叠下视三对 USB 广角相机，视场为 170–220°；前视与侧视四路负责静态场景观测，Cam3/Cam4 下视对负责近身体与双手观测。\n- 系统用硬件触发同步六路相机，并预先标定鱼眼投影模型和相机相对支架的外参；Cam1 定义支架坐标系，首帧定义世界坐标系，所有预测都保留相机、时间戳和坐标帧信息。\n- 轨迹估计仅使用外向四路中的静态场景点，通过鲁棒重投影误差、局部光束法平差和位姿图回环优化恢复 6-DoF 支架位姿；手臂和手部进入外向画面时作为动态区域剔除，避免动体污染地图。\n- 下视两路分别用 EgoSMPLX 预测 SMPL-X 身体参数、用 ViT 版 WiLoR 预测 MANO 参数；模型在真实第一视角数据和合成鱼眼数据上端到端微调，监督包括参数损失、3D 关节损失、重投影损失和分支特定先验。\n- VUBTF 门控使用可见性、测试时扰动离散、裁剪边界支持、时间不一致和局部特征离散五类线索，身体门控与手部门控结构相同但参数独立拟合，输出逐关节、逐视角的归一化权重。\n- 双视角融合不更新单目骨干、不做跨视角特征融合，而是在相机无关的规范空间中对 SMPL-X/MANO 局部旋转做逐关节 $SO(3)$ 几何平均，并对同序列双视角形状预测取逐坐标中位数。\n- 根节点方向在统一到 Cam3 后等权融合；根节点平移不采用单目深度，而由标定基线的语义关节像素对应三角测量得到，身体使用颈、肩、肘、腕、髋等关节，每只手使用全部 21 个 MANO 关节。\n- UnrealEgo-RW 测试集的 93 个立体序列、24,012 个帧对显示，VUBTF 身体融合将 GT15 PA-MPJPE 从单目平均 79.8905 mm 降到 76.9409 mm，比等权融合再降低 0.3742 mm。\n- DexYCB S0 测试集的 28 种相机组合显示，VUBTF 手部融合达到 4.2872 mm PA-MPJPE 和 4.1741 mm PA-MPVPE；该门控冻结迁移到 HO3Dv3 后，PA-MPJPE 和 PA-MPVPE 仍相对单目平均改善 8.61% 和 8.18%。\n- 自适应 $SO(3)$ 时序细化只处理局部旋转、不处理根方向和平移；快速运动增大过程方差以提高当前观测权重，低可靠性或大视角分歧增大观测方差以依赖历史状态，增益限制在 0.2 到 0.98。\n- 35.7 秒真实录制中四路外向流输出 2,121 个时间对齐位姿，下视对在 2,011 帧实现双手度量放置、73 帧仅单手可放置、37 帧双手均不可放置，手部角加速度幅值经细化降低 41.08%。\n- 主要约束包括 PA 协议会对齐尺度因而不能检验绝对放置、真实录制无外部参照、手部三角根节点未与手臂链条强制一致、单手缺视角时不能三角定位，以及完整流程因后续帧时间线索和全序列形状聚合而离线。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}