# EgoWholeView：仅用摄像头实现的头戴式全身及双手运动捕捉，用于具身演示
胡耀青 $^{1}$、何旭果 $^{2}$、崔道涵 $^{3}$、史宇航 $^{4}$、陈凯 $^{2,4,\dagger}$
$^{1}$中关村学院 $^{2}$DeepCybo
$^{3}$北京化工大学
$^{4}$中关村人工智能研究院
## 摘要
头戴式全身及双手运动捕捉技术可支持虚拟化身、遥操作以及具身演示。然而，单台以使用者为中心的单目摄像头存在视野受限、尺度模糊以及手-物体遮挡等问题。我们提出了EgoWholeView——一种由六台同步工作的广角RGB摄像头组成的可穿戴捕捉系统，搭配专门定制的处理流程。向外拍摄的视角可将捕捉装置定位在世界坐标系中，而一对重叠的向下拍摄摄像头则能独立预测SMPL-X人体参数与MANO手部参数。这两种预测模型均针对以使用者为中心的鱼眼数据进行了适配。为融合两类预测结果，系统会利用预测结果本身产生的可靠性线索来加权融合人体与手部的关节旋转参数，而形状信息则通过多视角和多帧数据聚合得到。这对摄像头的基线可用于确定度量尺度，三角测量法则可还原根节点的平移信息。相较于单目预测，融合后人体的PA-MPJPE降低了3.7%，手部则降低了11.2%；经过时序优化后，人体与手部的角加速度幅度分别降低了32.2%和31.0%。在我们的六摄像头采集系统中，该流程无需回传数据，就能借助适配基准测试的参数生成处于同一世界坐标系中的人体与手部状态；时序优化后手部加速度幅度更是降低了41.08%。EgoWholeView仅依靠RGB摄像头且无需第三人称视角，便能为获取以使用者为中心的交互数据提供低成本、便携的解决方案。
## 1 引言
人体及双手运动是虚拟现实与3D用户界面的核心输入要素（Bowman等人，2004）。虚拟化身与具身远程呈现（Tome等人，2019）、VR中的手势驱动交互（Han等人，2022）以及机器人演示捕捉（Khazatsky等人，2024）等应用，都需要能在稳定的度量坐标系中生成时间上连贯的运动数据，同时还需包含明确的可靠性信息（Kolotouros等人，2021；Bramlage等人，2023）。现有的运动捕捉方案存在部署难度与观测能力之间的权衡问题：外部多摄像头系统虽然精度高，但会限制捕捉范围（Ionescu等人，2014；Iskakov等人，2019）；基于单目以使用者为中心的RGB摄像头虽能实现移动式捕捉，但几何约束不足：单个视角只能覆盖身体近端的局部区域，无法观测到度量尺度，还经常因手-物体遮挡而中断（Prakash等人，2024；Mucha等人，2026）。移动的手部还会影响SLAM算法的运行，视野外的运动也需要额外填补（Zhang等人，2025a）。同时，同时恢复双手、手臂与躯干的运动比单独预测手部要困难得多，而且从单个头戴式摄像头来看，人体往往不在可靠的视野范围内。
大多数商用自中心式头戴设备已经配备了多个摄像头，但其传感布局并非为全身捕捉而设计，而且这类平台往往成本高昂或仅限研究使用。例如，HOT3D仅利用Meta Quest 3来进行手-物体追踪（Banerjee等人，2025年）。要在世界坐标系下恢复身体和手部的运动，需要两种单目前向视角无法提供的测量数据：设备本身在世界坐标系中的度量姿态，以及身体和手部相对于该设备的度量几何结构。这两种测量依赖于不同的观测信息：前者基于静态场景特征，后者基于运动的身体部位。因此，摄像头标识、坐标系、时间戳以及“身体/场景”的区分信息必须伴随每个中间预测结果一同存在。同一关节的重叠视图很少具有同等的可靠性，所以两者都会发挥作用，而非只选取其一。
在本研究中，我们仅通过一款便携的头戴式RGB设备便满足了这些要求，其架构如图1所示，各组件各司其职。该设备配备了六个同步工作的广角摄像头：前向和侧向摄像头共同确定其在世界坐标系中的姿态，而一对重叠的向下摄像头则用于观测近处的身体和双手。所采用的回归器旨在处理距离较远、畸变较小的视图。
---
Figure 1: Overview of EgoWholeView. Six synchronized cameras on a wearable rig provide observations for continuous outward-view multi-camera trajectory estimation and downward-view body and bimanual pose estimation. Paired downward-view predictions undergo reliability-aware fusion in the canonical space, followed by temporal refinement of local rotations. The system exports world-frame body and bimanual motion.
这类视图与头戴式鱼眼设备所产生的近距离、强畸变图像并不匹配。因此，我们利用自中心式录制数据和合成鱼眼图像来调整这两个预测器。
为了在不假设任一视图可靠的前提下合并两个向下视图，各分支会融合成对的局部旋转参数，再通过每个关节的可靠性权重来决定各视图的贡献程度。融合过程在SMPLX（Pavlakos等人，2019年）和MANO（Romero等人，2017年）的规范空间中进行，该空间独立于任何摄像头。全局方向和单目根部平移量则以各摄像头自身的坐标系来表示，并单独处理：当两个视图被转换到某一向下摄像头的坐标系后，方向会在$SO(3)$上进行融合；而根部的度量平移量则是通过校准后的立体语义关节对应关系来获取，而非依赖两个单目根部平移预测值。关节运动评估采用相似性对齐协议，而度量定位效果则在设备上得到了验证。
主要贡献。我们的主要贡献总结如下：
- 角色专用的六摄像头可穿戴设备：这是一种同步且经过校准的头戴式设备，其外侧摄像头用于确定设备姿态，而一对重叠的向下摄像头则用于观测近处的身体和双手。整个过程中身体及左右手的归属关系得以保留。
- 自中心式适配与规范空间融合：将SMPL-X和MANO预测器调整为适用于自中心式鱼眼视图；它们的输出结果在规范空间的参数层面进行融合，并引入各关节可靠性门控机制，融合后的旋转参数还会经过$SO(3)$的适应性优化，以提升时间连贯性。
• 基准测试评估与实际设备演示：相较于单目预测方法，该方法在UnrealEgo-RW（Akada等人，2022年）数据集上使PA-MPJPE降低了3.7%，在DexYCB（Chao等人，2021年）数据集上降低了11.2%；无需重新训练即可将针对DexYCB优化的手部门控机制应用于HO3Dv3（Hampali等人，2020年），且身体和手部的角加速度幅度分别降低了32.2%和31.0%。在我们自行采集的六摄像头数据上，直接沿用基准测试中所确定的门控参数，无需重新调整，整个流程即可端到端运行。
## 2 相关工作
### 2.1 面向具身应用的可穿戴自中心式捕捉技术
具身应用会同时限制所捕捉动作的内容与表现形式。由用户自身运动驱动的自主体，能够让人对虚拟身体产生归属感与掌控感（Slater等人，2010年；Kilteni等人，2012年）。这种效果并非由外观决定：个性化设计能提升归属感和临场感（Waltemate等人，2018年），追踪精度会影响具身体验（Eubanks等人，2020年），而动作的一致性则会影响自我认知（Kim等人，2024年）。
基于摄像头的手部追踪是成熟的VR输入方式（Han等人，2020年、2022年），但在与实体物体交互时性能会下降（Xu等人，2026年；Cho等人，2026年）；其失效模式同样重要。
---
其平均误差同样关键：抖动和信号中断会传导至虚拟形象的动作中（Maiorca等人，2024年）。动作捕捉也面临此类难题，因为录制系统无法要求佩戴者始终保持双手可见。演示场景的动作捕捉还需要稳定的世界坐标系（Zhang等人，2018年）。综上，这类应用需要时间上连贯、具备度量属性且参数化的身体与手部动作数据，同时还需包含明确的可靠性信息（Kolotouros等人，2021年；Bramlage等人，2023年）。
现有的可穿戴设备只能满足部分需求。Project Aria是最接近这一要求的平台，它能提供经过校准的向外拍摄的鱼眼视频流以及具备度量属性的设备追踪功能（Engel等人，2023年），相关研究集中在手部与物体的基准测试（Banerjee等人，2025年）以及大规模全身动作数据集构建（Ma等人，2024年）。这些平台用于观测场景，因此佩戴者的身体信息需间接传递给模型。EgoAllo承认这一限制，能通过头戴式传感器还原以他者为参照的身体与手部动作（Yi等人，2025年）；EgoBody则聚焦于社交互动场景（Zhang等人，2022年）。朝下安装的装置采取相反思路，旨在最大化对佩戴者身体的直接观测能力（Xu等人，2019年；Tome等人，2019年；Zhao等人，2021年；Akada等人，2022年）。无论哪种方式，世界坐标系都源自仅依赖摄像头的SLAM技术，如今已涵盖通用摄像头追踪功能（Campos等人，2021年；Urban和Hinz，2016年；de Mayo等人，2025年）。
向外感知世界与向下捕捉身体动作仍是两条独立的研究路线。据我们所知，尚无可穿戴设备将向外摄像头用于追踪装置轨迹，同时用另一组重叠的朝下摄像头直接采集身体与手部数据，这正是我们设计的六摄像头系统旨在填补的系统级空白。以自我为中心的数据库已经可用于训练具身模型和数据处理引擎（Grauman等人，2022年；Wang等人，2023b年；Nair等人，2022年；Brohan等人，2023年；Zhang等人，2025b年），但通常缺乏用于动作监督与重定向的同步、具备度量属性且参数化的身体与手部状态数据。
### 2.2 参数化身体与手部重建
MANO和SMPL-X分别为手部与富有表现力的身体提供结构化的参数化表示：即基于运动学树定义的特定于个体的形状以及局部关节旋转（Romero等人，2017年；Pavlakos等人，2019年）。这种形状可以根据佩戴者进行个性化调整，且局部旋转能够比松散的关键点更直接地映射到关节化虚拟人上。这种分解对于动态绑定系统而言至关重要：即便同一关节在不同摄像头帧中的全局方向与平移存在差异，也能通过两个摄像头预测出相同的关节活动情况。Transformer回归器能够从单个裁剪图像中生成可靠的单目手部假设（Pavlakos等人，2024年；Potamias等人，2025年；Lin等人，2026年）。以自我为中心的变体则将这些模型适配于近距离拍摄场景，以应对头戴式摄像头产生的畸变、截断、模糊以及手与物体的遮挡问题（Prakash等人，2024年；Mucha等人，2026年）。以自我为中心的整体身体回归器将同样的适配技术拓展到身体部位（Na等人，2026年），不过该领域的域差异更大：俯视视角会严重压缩并裁剪躯干，且很少能捕捉到腿部细节。
对于佩戴在移动物体上的传感器而言，这些回归器还面临两项额外挑战。世界空间重建必须区分摄像头运动与佩戴者运动，因为每次预测结果都是基于一个本身处于运动状态的坐标系得出的（Zhang等人，2025a年）。独立回归得到的各帧数据还会引入抖动现象。现有时序方法要么学习身体序列先验，要么为手部重建添加视频上下文信息（Kocabas等人，2020年；Lin等人，2024年），但这类方法会将时序一致性要求与序列预测器绑定，进而改变已部署的模型。若要保持已发布的回归器不变，就只能通过优化其每帧输出的旋转参数来加以改进。
### 2.3 可靠性感知的多视图融合
一台摄像头可能能捕捉到手腕部位却无法识别指尖，另一台摄像头则可能在其他关节处出现识别误差。ProHMR和HuManiFlow会对可能的身体形态建模分布，POCO能预测每个样本的不确定性，不过这些估计值仍可能需要事后校准（Kolotouros等人，2021年；Sengupta等人，2023年；Dwivedi等人，2024年；Bramlage等人，2023年）。PARE和HandOccNet会关注被遮挡的部位（Kocabas等人，2021年；Park等人，2022年）；它们会在几何聚合前，先通过学习得到摄像头与关节对之间的三角测量得分（Iskakov等人，2019年）。因此，为整个视图设定单一得分的做法过于粗糙。最接近此思路的基准方法在其他地方实现融合：S2DHand会将两个21关节的预测结果转化为伪标签，用以更新单视图估计器（Liu等人，2024年）；而Rule Meets Learning则将学习得到的置信度与针对各视图姿态的固定规则相结合（Ren等人，2025年）。但这两种方法都未直接将视图权重赋予MANO局部旋转参数——而这正是需要按关节合并的量。
其他多视图方法则会融合特征或中间几何信息。UmeTrack在部署层面最为接近……
---
它能同时处理多个视图和帧，从而预测出一个世界空间下的手部姿态（Han等人，2022年）。其他方法则在回归之前嵌入跨视图证据：既可以在图像空间中进行，也可以基于共享的3D点表示，或利用关节与质量提示构成的图来实现（Tse等人，2023年；Yang等人，2023年；Ren等人，2022年）。HaMuCo通过跨视图交互来协同训练单视图估计器（Zheng等人，2023年）；标注流程则会根据同步的图像与深度证据来确定一个MANO状态（Hampali等人，2020年）。
它们都需要可训练的多视角网络、跨视角特征或迭代优化。而我们则研究基于已发布的单目回归器的参数级融合：这些回归器仅通过单视角监督进行适配，随后被冻结用于门控拟合、融合及评估，因此其权重永远不会接触到多视角目标。我们的融合阶段既不会更新单目骨干网络，也不执行跨视角特征融合。它作用于预测出的参数，仅读取单个视角内的中间特征来生成可靠性提示。两个视角所共享的是它们预测的SMPL-X或MANO参数，因此我们在第4.3节定义的独立于摄像机的规范空间中对局部旋转进行融合。三角测量仅用于度量根节点定位，而非关节运动。即便采用类似传感器布局的最新采集设备和数据集，仍缺乏成熟的配对MANO协议（Rim等人，2025年；Liu等人，2022年；Ropedia，2026年）。
## 3 六摄像头可穿戴采集系统
每台摄像机都被赋予特定的感知角色，且每个预测结果都保留其坐标框架。只有当参数化方式兼容时，我们才会对同步后的预测结果进行融合。表1总结了各系统输出的坐标框架、源摄像机及处理流程。
### 3.1 摄像机布局与硬件实现
该刚性原型机搭载三对摄像机，如图2所示：一对前置摄像机（Cam1/2）、一对侧向摄像机（Cam5/6）以及一对重叠的向下摄像机（Cam3/4）。这六台均为商用USB摄像机，配备广角镜头，视场角覆盖170–220°。四台向外拍摄的摄像机为轨迹估计提供静态场景观测数据，其中侧向摄像机扩展了前置摄像机的覆盖范围。向下拍摄的摄像机负责捕捉身体近部和双手图像，为基于可靠性的融合提供配对假设。
### 3.2 系统概述与采集目标
如图3所示，EgoWholeView将具有特定角色的视角整合到便携式的采集流程中。采集装置的运动轨迹确立了通用的世界参考系，随后以自我为中心的神经网络会生成各视角的身体和手部假设。配对的SMPL-X与同侧MANO预测结果会在规范空间中通过特定分支的可靠性门控进行融合。
### 3.3 同步、采集装置校准与坐标框架
每个硬件触发信号t都会为每台摄像机生成一个带时间戳的帧。同一触发信号产生的帧构成六视角观测数据，其时间戳可用于同步一致性校验。采集前，我们利用适配于多摄像机汇聚排列的圆柱形靶标对刚性组件进行校准。其弯曲的标记布局采用了可自我识别的标记设计（Wang等人，2024年；Hu等人，2024年）。该流程可估算每个视角的两个参数：鱼眼投影模型$\pi_c$（Scaramuzza等人，2006年），用于将摄像机c坐标系中的三维点映射到像素；以及该摄像机相对于采集装置框架的外参变换，由于组件是刚性的，该变换保持不变。
Cam1定义了采集装置的坐标框架，向下拍摄的摄像机对则以Cam3作为自身根节点定位的参考。固定的外参变换$T_c^{rig}$可将摄像机c中的点映射到采集装置框架中，而$T_{rig,t}^w$则描述了采集装置在世界框架中的时变姿态。因此，用摄像机c坐标系表示的点$\boldsymbol{x}^c$可通过以下公式映射到世界框架中：
$$ \begin{array}{r}{T_{c,t}^{w}=T_{\mathrm{r i g},t}^{w}T_{c}^{\mathrm{r i g}},\;x^{w}=T_{c,t}^{w}x^{c}.}\end{array} $$
这一变换为摄像机相关的关节和顶点提供了统一的几何参考。
### 3.4 数据流与系统输出
当实例设置为 $\mathbf{I} = \{B, L, R\}$ 时，时间 t 处的导出状态为：
$$ \begin{align*}S_{t}&=\{\boldsymbol{T}^{w}_{rig,t},\boldsymbol{X}^{B}_{t},\{\boldsymbol{X}^{h}_{t}\}_{h\in\{L,R\}},\mathbf{P}_{t}\},\\\mathbf{P}_{t}&=\{(\boldsymbol{R}^{i,o}_{root,t},\boldsymbol{t}^{i}_{root,t})\}_{i\in\mathbf{I}}.\end{align*} $$
此处 $T_{rig,t}^{w}$ 表示世界坐标系下的机械臂姿态，$X_{t}^{B}$ 包含经过时序优化的、相对于根节点的 SMPL-X 局部旋转参数以及序列级形状信息，而 $X_{t}^{h}$ 则包含经过时序优化的 MANO 局部旋转参数。
---
Table 1: System outputs, representations, coordinate frames, and processing.
| Output | Representation / frame | Cam. | Step |
| $Rig\ pose\ T_{rig,t}^{w}$ | $S\ E(3)$, rig to world | 1/2, 5/6 | multi-view SLAM |
| $Body\ X_{t}^{B}$ | SMPL-X, root relative | 3/4 | gated fusion + temporal |
| $Hand\ X_{t}^{h}$ | MANO, root relative | 3/4 | gated fusion + temporal |
| $Placement\ P_{t}$ | root $S\ E(3)$, Cam3 frame | 3/4 | $SO(3)$ orientation fusion + stereo triangulation |
Figure 2: Six-camera wearable prototype and task-specialized layout. (a) Physical prototype. (b) Side view: the forward pair (Cam1/2) and the overlapping downward pair (Cam3/4). (c) Front view: the lateral pair (Cam5/6) and the downward-pair baseline b. (d) Downward-view evidence coverage; full-body prediction extends beyond the directly observed regions.
这些旋转参数连同序列级形状信息一起用于手部 h。放置项 $\mathbf{P}_{t}$ 包含了身体、左手和右手在 Cam3 坐标系下的根节点方向以及度量根位移，其中 o 表示融合后的量。如果仅在一个下视视角中检测到手部，则会保留该手的单视角 MANO 预测结果，但无法对该手进行双视角融合及度量根放置操作。当没有有效的三角测量关节点时，也无法进行度量根放置。各视角的预测、参数融合、时序优化以及根放置过程将在 4.2 至 4.5 节中详细说明。
## 4 方法
### 4.1 机械臂轨迹与世界坐标系恢复
利用同步拍摄的图像和已标定的相机变换参数，我们在排除移动佩戴者的影响后，通过静态场景中的轨迹来估计 6 自由度机械臂轨迹 $T_{rig,t}^{w}$。对于在相机 c 的像素点 $P_{i}^{w}$ 处观测到的静态地标 $u_{tci}$，我们定义：
$$ \begin{align*}e_{tci}&=\left\|\pi_{c}\Big(\boldsymbol{T}^{c}_{rig}(\boldsymbol{T}^{w}_{rig,t})^{-1}\boldsymbol{P}^{w}_{i}\Big)-\boldsymbol{u}_{tci}\right\|_{2},\\\mathcal{L}_{traj}&=\sum_{(t,c,i)\in O_{static}}\rho\big(e^{2}_{tci}\big).\end{align*} $$
其中 $T_{\text{rig}}^{\text{c}} = (T_{\text{c}}^{\text{rig}})^{-1}$ 表示机械臂到相机的变换矩阵，$\pi_c$ 为相机投影模型，$O_{\text{static}}$ 代表所有有效的静态观测集合，$\rho$ 则是一个鲁棒性惩罚项。局部束调整算法会同时优化机械臂姿态和地标位置（Urban 和 Hinz，2016），而闭环检测则由标准的位姿图后端提供支持（Campos 等，2021）。静态轨迹会汇总自四个外向视角的数据；动态区域剔除机制会移除手臂和手部进入图像时所对应的佩戴者区域（Zhang 等，2025a），因为对移动人体的建模会破坏轨迹的准确性。第一帧被定义为世界坐标系，因此 $T_{\text{rig},t}^{\text{w}}$ 给出了机械臂相对于记录起点的姿态。
### 4.2 以自我为中心的躯干与手部预测模型
对于每个同步的向下视图 $c \in \{3,4\}$，一个身体框 $\boldsymbol{b}_{t}^{B,c}$ 和一个框 $\boldsymbol{b}_{t}^{h,c}$（对应每个可见手部 $h \in \{L,R\}$）定义了两个裁剪区域。令 $\mathcal{C}$ 表示裁剪并调整大小的预处理，其中 $\widetilde{I}_{t}^{B,c} = \mathcal{C}(I_{t}^{c}, \boldsymbol{b}_{t}^{B,c})$ 和 $\widetilde{I}_{t}^{h,c} = \mathcal{C}(I_{t}^{c}, \boldsymbol{b}_{t}^{h,c})$。两个分支在跨视图融合之前独立处理这些裁剪区域，产生
$$ \widehat{\Theta}_{t}^{B,c}=f_{B}(\widetilde{I}_{t}^{B,c}),\qquad\widehat{\Theta}_{t}^{h,c}=f_{H}(\widetilde{I}_{t}^{h,c}). $$
我们使用现有的参数化回归器来实现这两个分支。具体而言，对于 SMPL-X 躯干预测，采用 EgoSMPLX（Na 等，2026）；对于 MANO 预测，则使用基于 ViT 的单目手部回归器 WiLoR（Potamias 等，2025）。每个分支会预测一个参数包 $\widehat{\Theta}_t^{m,c} = \{\widehat{\theta}_{local,t}^{m,c}, \widehat{\beta}_t^{m,c}, \widehat{\omega}_{root,t}^{m,c}, \widehat{\omega}_{cam,t}^{m,c}\}$，其中 $m \in \{B, H\}$ 指代躯干或手部分支。这里，$\text{Exp}(\omega)$ 会将轴角向量 $\omega$ 映射为旋转矩阵，而 $\text{Log}^{\vee}(R)$ 则会将旋转矩阵还原为轴角向量。SMPL-X
---
Figure 3: Processing overview. The outward branch recovers the rig trajectory; the downward branch predicts body and hand parameters per view. Paired predictions are fused in the canonical space: local rotations are weighted per joint, shape is aggregated across views and frames. The fused rotations are temporally refined and the roots placed metrically by triangulation.
Figure 4: Per-view prediction and egocentric-domain adaptation. Body and hand crops from each downward view are processed by separate SMPL-X and MANO regressors, with branch-specific weights shared between Cam3 and Cam4. The loss boxes apply during adaptation only. At inference, paired Cam3/Cam4 hypotheses enter the independently parameterized body or hand fusion module in Section 4.3.
或者，MANO层首先解码根坐标系下的关节和顶点，$(\widehat{J}_{t}^{m,c}, \widehat{V}_{t}^{m,c}) = M_{m}(\widehat{\theta}_{local,t}^{m,c}, \widehat{\beta}_{t}^{m,c})$。对于每个解码出的点n，其在相机坐标系中的位置为$\widehat{J}_{t,n}^{m,c} = \exp(\widehat{\omega}_{root,t}^{m,c})\widehat{J}_{t,n}^{m,c} + \widehat{t}_{cam,t}^{m,c}$，顶点同理。身体分支预测21个局部SMPL-X旋转参数，手部分支则预测15个局部MANO旋转参数，每种参数都附带一个根旋转参数。这是一种以自我为中心的模型适配方式：两个预测器保留原有架构，并在以自我为中心的鱼眼数据上端到端微调。它们共享相同的三种监督机制：针对旋转和形状参数的有效性掩码损失、针对解码出的根坐标系下关节的$\ell_{1}$损失，以及针对这些关节的重投影损失。两者均不对网格顶点进行监督。
$$ \mathcal{L}_{m}=\lambda_{\mathrm{p a r a m}}^{m}\mathcal{L}_{\mathrm{p a r a m}}^{m}+\lambda_{\mathrm{3D}}^{m}\mathcal{L}_{\mathrm{3D}}^{m}+\lambda_{\mathrm{2D}}^{m}\mathcal{L}_{\mathrm{2D}}^{m}+\mathcal{L}_{\mathrm{p r i o r}}^{m}. $$
两者的差异体现在两个方面。身体分支通过样本自身相机的鱼眼模型和裁剪变换来进行重投影，并在PositionNet头部添加图像坐标损失；而手部分支则遵循WiLoR的方法，在固定虚拟焦距下以裁剪归一化坐标进行重投影，因此鱼眼畸变不会影响其投影过程。先验信息也有所不同：手部分支采用WiLoR提出的对抗性姿态-形状项，而身体分支则增加了形状归一化先验、DPoser-X扩散先验（其权重在适配过程中从0.1衰减至0.01），以及针对相机坐标系下根平移的显式Smooth-$\ell_1$损失。两个分支都不会重新调整继承来的相对权重，缺失的标注会通过有效性掩码或零权重来屏蔽。图4展示了推理分支以及仅用于适配阶段的监督机制。
### 4.3 基于可靠性的参数融合
图5总结了这一阶段的内容。两个向下视角为一个身体实例和两个手部实例提供了成对的假设。对于$i \in \mathbf{I}$而言，映射关系$m(i) \in \{B, H\}$会选择对应的SMPL-X或MANO分支，其中$K_H = 15$表示局部MANO旋转参数，$K_B = 21$表示局部SMPL-X身体旋转参数，均以矩阵形式呈现。每个视角的假设为
$$ \begin{array}{r}{\widehat{\Theta}_{t}^{i,c}=\{\widehat{\boldsymbol{R}}_{t,1:K_{m(i)}}^{i,c},\widehat{\boldsymbol{\beta}}_{t}^{i,c},\widehat{\boldsymbol{\omega}}_{\mathrm{r o o t},t}^{i,c},\widehat{\boldsymbol{t}}_{\mathrm{c a m},t}^{i,c}\},\quad c\in\{3,4\}.}\end{array} $$
前两项描述了局部关节旋转和形状参数。这两者都是相对于运动树而非相机定义的，我们将它们所构成的空间称为规范空间。最后两项则将预测结果相对于其源相机定位，在近距离截断情况下可靠性较低。因此本小节仅融合局部旋转和形状参数。根方向及单目根平移的处理将在4.5节中介绍。
---
Figure 5: Reliability-aware parametric fusion. (a) Gate structure, shared by the body and hand branches but fitted with independent parameters; every normalized cue and aggregate score follows the higher-is-more-reliable convention. (b)–(c) Per-joint view preference and the resulting weights on a MANO hand.
独立的身体和手部可靠性门控。
身体和手部分支采用相同的可靠性门控公式，但各自独立拟合参数。此处，$c \in \{3,4\}$用于索引向下拍摄的相机，$j \in \{1,\ldots,K_m\}$代表某个局部关节，$\mathbf{K} = \{V, U, B, T, F\}$则表示五种提示类型。对于每个被索引的预测结果，冻结的分支会提供
$$ \begin{array}{r}{\boldsymbol{x}_{t,j}^{i,c}=\left[V_{t,j}^{i,c},U_{t,j}^{i,c},B_{t,j}^{i,c},T_{t,j}^{i,c},F_{t,j}^{i,c}\right]^{\top},}\end{array} $$
其中，V表示关节和运动链的可见性，U表示测试时的扰动离散程度，B表示裁剪边界内的支持度，T表示时间上的不一致性，F表示局部特征离散程度。符号$x_{t,j,k}^{i,c}$表示与提示$k\in\mathbf{K}$相关的分量。V和B提示是根据受关节j影响的投影顶点计算得出的，而F则是在其投影后的子关节处采样得到的。每个视角的根姿态仅用于投影。最终得到的分数决定了成对局部旋转融合时的视角权重。
这五种原始提示在尺度和可靠性方向上存在差异。因此，我们需要将每种提示映射为归一化的可靠性值：
$$ r_{t,j,k}^{i,c}=\sigma\Big(d_{k}^{m}(x_{t,j,k}^{i,c}-\mu_{k}^{m})/\eta_{k}^{m}\Big), $$
其中 $\sigma(z) = (1 + e^{-z})^{-1}$ 是逻辑Sigmoid函数；$d_k^m \in \{-1, +1\}$ 用于标定每个线索，使得较大的值始终代表更高的可靠性；而 $\mu_k^m$ 和 $\eta_k^m > 0$ 则分别是分支m中该函数的稳健中心与尺度参数。因此，较大的 $r_{t,j,k}^{i,c} \in (0,1)$ 值意味着更高的联合视图可靠性。
设 $\alpha^{m} = (\alpha_{V}^{m}, \alpha_{U}^{m}, \alpha_{B}^{m}, \alpha_{T}^{m}, \alpha_{F}^{m})$ 表示分支m中五个线索的拟合权重。联合层面的可靠性评分以及两个视图权重分别为：
$$ \begin{aligned}&s_{t,j}^{i,c}=\sum_{k\in\mathbf{K}}\alpha_{k}^{m}r_{t,j,k}^{i,c},\quad\\ &\alpha_{k}^{m}\geq0,\quad\sum_{k\in\mathbf{K}}\alpha_{k}^{m}=1,\quad\\ &w_{t,j}^{i,3}=\sigma\Big((s_{t,j}^{i,3}-s_{t,j}^{i,4})/\tau_{\mathrm{gate}}^{m}\Big),\quad\\ &w_{t,j}^{i,4}=1-w_{t,j}^{i,3}.\\ \end{aligned} $$
此处 $s_{t,j}^{i,c} \in (0,1)$ 用于对五个可靠性数值进行聚合，而 $\tau_{\mathrm{gate}}^{m} > 0$ 则用于控制视图权重的分配锐度。借助 $\boldsymbol{\mu}^{m} = (\boldsymbol{\mu}_{k}^{m})_{k \in \mathbf{K}}$ 和 $\boldsymbol{\eta}^{m} = (\boldsymbol{\eta}_{k}^{m})_{k \in \mathbf{K}}$，即可确定分支门控 $g_{m} = \{\boldsymbol{\alpha}^{m}, \tau_{\mathrm{gate}}^{m}, \boldsymbol{\mu}^{m}, \boldsymbol{\eta}^{m}\}$。身体门控 $g_{B}$ 与手部门控 $g_{H}$ 则是独立拟合的。
局部旋转与形状融合。对于 $R_A, R_B \in SO(3)$，定义如下：
$$ \begin{aligned}\operatorname{GeoMean}_{SO(3)}(&\left(\boldsymbol{R}_{A},\boldsymbol{R}_{B};\boldsymbol{w}\right)\\=\boldsymbol{R}_{A}&\operatorname{Exp}\Big(w\operatorname{Log}^{\vee}\left(\boldsymbol{R}_{A}^{\top}\boldsymbol{R}_{B}\right)\Big).\end{aligned} $$
融合后的局部姿态与形状估计结果为：
$$ \begin{aligned}\boldsymbol{R}_{t,j}^{i,o}&=GeoMean_{SO(3)}(\widehat{\boldsymbol{R}}_{t,j}^{i,3},\widehat{\boldsymbol{R}}_{t,j}^{i,4};w_{t,j}^{i,4}),\\\boldsymbol{\beta}_{t}^{i}&=median_{u\in N_{t}}\frac{1}{2}(\widehat{\boldsymbol{\beta}}_{u}^{i,3}+\widehat{\boldsymbol{\beta}}_{u}^{i,4}),\ $ \bar{\boldsymbol{J}}_{t}^{i,o},\bar{\boldsymbol{V}}_{t}^{i,o})&=M_{m(i)}(\boldsymbol{R}_{t,1:K_{m(i)}}^{i,o},\boldsymbol{\beta}_{t}^{i}),\end{aligned} $$
其中中位数按坐标逐元素计算，$N_t$ 则包含同一同步序列中的帧。上标o标记的是融合后的旋转量及其推导出的数值，它们不同于以c为索引的单视图预测结果；第4.4节将其视为观测数据。对于每个实例 $i \in \mathbf{I}$，令 $\theta_{t,j}^{i,o} = \text{Log}^{\vee}(\mathbf{R}_{t,j}^{i,o})$。融合后的身体与手部状态为：
$$ \begin{align*}X^{B,o}_{t}&=\{\boldsymbol{\theta}^{B,o}_{t,1:K_{B}},\boldsymbol{\beta}^{B}_{t},\bar{\boldsymbol{J}}^{B,o}_{t},\bar{\boldsymbol{V}}^{B,o}_{t}\},\\X^{h,o}_{t}&=\{\boldsymbol{\theta}^{h,o}_{t,1:K_{H}},\boldsymbol{\beta}^{h}_{t},\bar{\boldsymbol{J}}^{h,o}_{t},\bar{\boldsymbol{V}}^{h,o}_{t}\}.\end{align*} $$
两只手的处理过程是相互独立的。
---
### 4.4 自适应S O(3)时序优化
逐帧双视图融合能够保留高频旋转抖动信息。我们对每个实例 $K_{m(i)}$ 的 $i \in \mathbf{I} = \{B, L, R\}$ 局部旋转进行时序优化。序列层面的形状保持不变，而根节点的方向和平移则不进行时序滤波。对于两个关节旋转矩阵 $\mathbf{R}_1, \mathbf{R}_2 \in SO(3)$，它们之间的角度距离为 $d(\mathbf{R}_1, \mathbf{R}_2) = \cos^{-1}(((\mathbf{r}_1)^\top \mathbf{R}_2) - 1)/2)$。对于关节j而言，跨视图不一致性、帧间运动以及融合可靠性分别由 $\Delta_{t,j}^i = d(\mathbf{R}_{t,j}^{i,3}, \widehat{\mathbf{R}}_{t,j}^{i,4})$、$\nu_{t,j}^i = d(\mathbf{R}_{t-1,j}^{i,0}, \mathbf{R}_{t,j}^{i,0})$ 和 $\vec{s}_{t,j}^i = \sum_{c \in \{3,4\}} w_{t,j}^{i,c} s_{t,j}^{i,c}$ 表示。这些数值构成了卡尔曼增益中所用的过程方差与观测方差的两个正项：
$$ \begin{align*}\sigma^{2,i}_{\mathrm{proc},t,j}&=\sigma^{2}_{\mathrm{proc},0}+\lambda_{\nu}\left(\nu^{i}_{t,j}/\sigma_{\nu}\right)^{2},\\\sigma^{2,i}_{\mathrm{obs},t,j}&=\sigma^{2}_{\mathrm{obs},0}+\lambda_{\mathrm{rel}}(1-\bar{s}^{i}_{t,j})^{2}+\lambda_{\Delta}\left(\Delta^{i}_{t,j}/\sigma_{\Delta}\right)^{2}.\end{align*} $$
下标为0的项为正的基准值，$\sigma_{\nu}, \sigma_{\Delta} > 0$ 是所有自适应候选项共享的固定角度尺度且永不拟合，而 $\lambda$ 项则为非负贡献权重。这些数值可近似代表方差，但并非递归传播的协方差估计。受卡尔曼增益（Kalman, 1960）和速度自适应平滑技术（Casiez等，2012）的启发，我们计算出逐关节的当前观测权重，并通过在 $S O(3)$ 上的测地插值来应用该权重（Park和Ravani, 1997）：
$$ \begin{align*}\kappa^{i}_{t,j}&=\sigma^{2,i}_{proc,t,j}/(\sigma^{2,i}_{proc,t,j}+\sigma^{2,i}_{obs,t,j}),\\\boldsymbol{R}^{i,\mathrm{temp}}_{t,j}&=\boldsymbol{R}^{i,\mathrm{temp}}_{t-1,j}\exp\left(\kappa^{i}_{t,j}\mathrm{Log}^{\vee}\left((\boldsymbol{R}^{i,\mathrm{temp}}_{t-1,j})^{\top}\boldsymbol{R}^{i,o}_{t,j}\right)\right).\end{align*} $$
快速运动会导致 $\sigma_{proc}^{2}$ 增大，进而使 $\kappa$ 增大，从而更偏向当前观测值并减少延迟。较低的融合可靠性或较大的跨视图不一致性会使 $\sigma_{obs}^{2}$ 增大，同时降低 $\kappa$，进而更偏向先前优化后的状态。在实现中，我们将增益范围限定在 $\kappa_{min} = 0.2$ 到 $\kappa_{max} = 0.98$ 之间，以避免完全冻结或直接传递观测值。优化后的旋转结果会替换掉未滤波的局部旋转数据，然后再输入SMPL-X或MANO模型进行解码；后续的位置放置则使用解码出的关节运动数据，而根节点的方向和平移仍不进行时序滤波。我们在序列边界或非连续帧处重置状态，并将第一个有效帧初始化为 $\boldsymbol{R}_{t,j}^{i,temp} = \boldsymbol{R}_{t,j}^{i,o}$。尽管该递归过程基于融合后的观测数据而具有因果性，但由于线索T使用了帧 $t+1$ 且形状信息是在整个序列上聚合得到的，因此完整的评估流程仍是离线的。
### 4.5 全局方向与度量根节点定位
这两个向下预测的结果分别表示了根节点的朝向以及各自相机坐标系下的单目根节点平移。由于近距离截断会导致单目根节点平移不可靠，因此我们对朝向信息进行融合，并通过几何方法恢复出具有量纲的根节点平移。以Cam3为参考，令$(R_4^3, t_4^3)$表示经过校准的Cam4到Cam3的变换矩阵。Cam3的朝向无需转换，而Cam4的朝向则通过$R_4^3$进行映射。随后对两者取等权平均值。
$$ \begin{array}{r l}&{\widetilde{R}_{\mathrm{r o o t},t}^{i,3}=\mathrm{E x p}(\widehat{\omega}_{\mathrm{r o o t},t}^{i,3}),}\\ &{\widetilde{R}_{\mathrm{r o o t},t}^{i,4}=\boldsymbol{R}_{4}^{3}\mathrm{E x p}(\widehat{\omega}_{\mathrm{r o o t},t}^{i,4}),}\\ &{\boldsymbol{R}_{\mathrm{r o o t},t}^{i,o}=\mathrm{G e o M e a n}_{S O(3)}\left(\widetilde{R}_{\mathrm{r o o t},t}^{i,3},\widetilde{R}_{\mathrm{r o o t},t}^{i,4};\frac{1}{2}\right).}\end{array} $$
平移量是通过两个向下的视图而非单目深度信息来恢复的。每个语义关节在Cam3和Cam4中都会对应一对匹配像素。身体像素来自PositionNet头部模块的输出，而手部像素则是将裁剪坐标映射回源图像后得到的MANO关节。我们为每只手使用全部21个MANO关节，身体部分则采用颈部、肩部、肘部、腕部和髋部关节，弱观测到的下肢关节则被排除在外。利用经过校准的鱼眼相机模型（Scaramuzza等人，2006年）以及已知的Cam3与Cam4之间的位置和朝向关系，我们对每对像素进行三角测量，从而得到关节n在Cam3坐标系下的3D位置$X_{t,n}^{i}$。相机间的已知距离确定了绝对尺度。
解码后的模型会给出对应的根节点相对关节位置$\vec{j}_{t,n}$。我们会丢弃在任一相机中深度值为非正数的三角测量关节，并令$N_{tri}$表示剩余关节的数量。一旦根节点朝向确定，关节n对应的根节点平移量即可表示为$X_n - R_{root}\vec{j}_n$。为简洁起见，此处省略了帧索引和实例索引，根节点平移量是这些值的算术平均值。
$$ \boldsymbol{t}_{\mathrm{r o o t}}=\frac{1}{N_{\mathrm{t r i}}}\sum_{n=1}^{N_{\mathrm{t r i}}}\left(\boldsymbol{X}_{n}-\boldsymbol{R}_{\mathrm{r o o t}}\ddot{\boldsymbol{j}}_{n}\right). $$
如果满足$N_{tri} = 0$的条件，则不会产生根节点平移结果。在此阶段，根节点平移会被更新，而关节活动、朝向和形状则保持不变。由于在该距离下身体回归器自身的手部估计结果不可靠，融合后的MANO姿态会取代SMPL-X手部姿态，且每只手的方向都会被转换到手腕局部坐标系下。随后，每只手会被放置在其三角测量的根节点位置，而非按照手臂链推导出的手腕位置。最终得到的姿态会被导出为$\mathbf{P}_t = \{(\mathbf{R}_{\mathrm{root},t}^{i,o}, \mathbf{t}_{\mathrm{root},t}^{i})\}_{i \in \mathbf{I}}$。
---
随后通过$T_{i,t}^{w} = T_{\mathrm{rig},t}^{w} T_{3}^{\mathrm{rig}} T_{i,t}^{3}$将其转换到世界坐标系下。
## 5 实验与讨论
我们评估了身体与手部的融合效果、自适应的$SO(3)$时间细化机制，以及可穿戴设备输出的连续轨迹和运动捕捉结果。身体与手部预测模块是独立适配的，它们的分支使用了不同的门控参数。
### 5.1 实验设置
第4.3节中独立拟合的身体与手部门控模块被称为VUBTF，其名称来源于五个特征提示V、U、B、T和F。等权融合方式在方程(10)中固定了$w_{t,j}^{i,c} = 1/2$；而VUBTF软融合则采用拟合得到的门控权重。在测试前，两个预测模块、两个门控模块、所有特征归一化统计信息以及所有时间相关设置均被冻结。
身体分支：身体预测模块是在已发布的EgoSMPLX检查点基础上进行微调的，该检查点采用SMPLer-X-Huge骨干网络，训练数据涵盖EgoPW（Wang等人，2022年）、SceneEgo（Wang等人，2023a年）、EgoWholeBody（Na等人，2026年）、UnrealEgo-RW（Akada等人，2022年）以及合成的EgoFishBody数据。合并后的适配数据集每个epoch包含551,924个有效样本，微调过程共进行12个epoch。后续所有身体相关的实验均采用最终的检查点。
我们使用Adam优化器（学习率0.05，批量大小128），在来自12名受试者的2,048对UnrealEgo-RW立体图像上对身体门控的五个全局线索权重和一个温度参数进行八个时期的训练。每个时期结束后，会在S16数据集的512对图像上评估该门控性能，这些图像不参与门控训练；最终保留验证集PA-MPJPE值最低的时期所得到的模型，即八个时期中的最后一个。选定的门控模型随后会被冻结，用于UnrealEgo-RW测试评估。
手部分支：手部预测器是在已发布的WiLoR检查点基础上，利用391,003个经过清洗的HOI4D（Liu等人，2022年）样本以及155,000个合成的EgoFishHands样本进行微调得到的。微调过程采用AdamW优化器，训练60个时期（学习率为$10^{-5}$，权重衰减为$10^{-4}$，批量大小为480），使用的损失权重分别为$\lambda_{3D} = 0.05$、$\lambda_{2D} = 0.01$、$\lambda_{orient} = \lambda_{pose} = 0.001$和$\lambda_{shape} = \lambda_{adv} = 0.0005$。
手部门控同样拟合六个参数：五个全局线索权重和一个温度参数。它在DexYCB S0验证集上经过八个时期的优化，优化采用Adam优化器（学习率0.05，批量大小2,048）。
Table 2: Learned normalized cue weights, raw-cue reliability directions, and gate temperatures for the body and hand gates.
| Cue | Reliable when | Body | Hand |
| Visibility V | Higher | 0.3228 | 0.3716 |
| Perturbation dispersion U | Lower | 0.0912 | 0.3243 |
| Crop-boundary support B | Higher | 0.1109 | 0.0029 |
| Temporal inconsistency T | Lower | 0.4551 | 0.2950 |
| Feature dispersion F | Lower | 0.0201 | 0.0062 |
| Gate temperature $\tau_{gate}$ | — | 0.1245 | 0.2285 |
本次拟合所用的数据包含2,841个同步时间戳，每个时间戳对应3到8个有效视角，共生成21,497张独特图像和71,510个无序配对样本。手部分支在进行时期选择时不会使用预留的分割数据，因此最终时期的门控模型和线索归一化统计结果会被冻结，用于DexYCB测试和HO3Dv3迁移学习。
输入设置：在基准测试中，身体分支接收完整图像，手部分支则使用数据集提供的边界框，因此训练和基准测试评估过程中均不涉及检测器。
评估指标与门控参数：对于预测点矩阵和参考点矩阵$\widehat{X}, X^* \in \mathbb{R}^{N \times 3}$（每行代表一个三维点），可定义$r_n(s, \boldsymbol{Q}, \boldsymbol{b}) = \| s \widehat{X}_n \boldsymbol{Q}^\top + \boldsymbol{b} - X_n^* \|_2$。标准的相似度Procrustes对齐方式以及所报告的平均误差如下：
$$ \begin{align*}(s^{*},\boldsymbol{Q}^{*},\boldsymbol{b}^{*})&=\underset{b\in\mathbb{R}^{3}}{\arg\min}\sum_{n=1}^{N}r_{n}(s,\boldsymbol{Q},\boldsymbol{b})^{2},\\E_{\mathrm{PA}}(\widehat{\boldsymbol{X}},\boldsymbol{X}^{*})&=\frac{1}{N}\sum_{n=1}^{N}r_{n}(s^{*},\boldsymbol{Q}^{*},\boldsymbol{b}^{*}).\end{align*} $$
PA-MPJPE会对关节矩阵应用$E_{\mathrm{PA}}$操作，参数为$N=K$；PA-MPVPE则对顶点矩阵应用相应操作，参数为$N=M$。针对MANO模型，参数为$(K,M)=(21,778)$；针对UnrealEgo-RW上的SMPL-X模型，参数为$K=15$。所有距离单位均为毫米。
表2列出了拟合得到的系数。尽管两个门控结构相同，但它们学习的线索组合却存在差异：身体门控更侧重时间一致性和可见性，而手部门控则更侧重可见性、扰动稳定性以及时间一致性。身体门控中较大的裁剪边界权重与躯干和上臂在图像边缘处的截断现象相符，而标注的手部边界框通常是以手部为中心设置的。
### 5.2 UnrealEgo-RW上的身体局部姿态融合
数据与协议：身体部分的评估采用已发布的UnrealEgo-RW测试集：来自S1、S9和S11的93组同步
---
Figure 6: Qualitative body local-pose fusion on UnrealEgo-RW. From left to right: stereo inputs with projected monocular SMPL-X predictions, left- and right-view predictions, equal-weight fusion, and VUBTF soft fusion. Predictions are independently Procrustes-aligned to GT15 (gray dashed), and values report PA-MPJPE in mm ( $\downarrow$). Yellow joints and white wireframes show the projected predictions; dotted ankle–foot links indicate the heel–toe correspondences used for GT15 evaluation. The examples have monocular errors close to the test-set mean.
立体序列，共计24,012对帧（48,024张图像），这些数据均未参与门控拟合、时间参数拟合以及时期选择过程。
身体关节精度评估采用GT15标准：包括颈部、双侧肩部、肘部、腕部、髋部、膝盖、踝关节以及ToeBase关节。由于SMPL-X模型不包含ToeBase关节，因此每个标注点会近似匹配对应的脚跟位置。门控拟合过程会排除这两组近似匹配的关节，仅使用剩余的13个关节。所有报告的测试PA-MPJPE值均采用GT15标准。UnrealEgo-RW仅提供稀疏的关节标注，因此我们仅报告关节误差。单目基线模型取各视角独立对齐后的误差平均值。在向下视角之外，腿部精度会有所下降。
定量结果。如表3所示，等权重融合使PA-MPJPE相比单目平均值改善了2.5754毫米，而VUBTF软融合则改善了2.9496毫米（3.69%），比等权重融合又高出0.3742毫米。图6展示了定性示例。
### 5.3 基于可靠性感知的双视图MANO融合
DexYCB主要结果。DexYCB S0测试包含160个采集序列，共有9,846个完整的同步八视图时间戳，即78,768张图像。所有28种相机组合共产生275,688对图像。角色A和B由相机序列号决定，并不代表固定的物理左右位置。
官方的DexYCB MANO标注被解码为用于计算PA-MPVPE的参考网格。如表4所示，与单目平均值相比，等权重融合使PA-MPJPE和PA-MPVPE分别降低了0.4643毫米和0.4450毫米。采用学习得到的可靠性门控后，这两个误差进一步减小到4.2872毫米和4.1741毫米，相对于等权重融合分别减少了0.0770毫米和0.0681毫米。在所有28对相机中，平均PA-MPJPE降低了0.0196–0.1645毫米。在56.0%的图像对以及160个测试序列中的139个序列中，VUBTF软融合的表现优于等权重融合，其序列块自助法95%置信区间为[0.0648, 0.0895]毫米。图7可视化了预测结果及每个关节的权重。
---
Table 3: SMPL-X fusion on the UnrealEgo-RW test split. PA-MPJPE uses GT15 and is given in mm.
| Method | Mean | Median | P90 | P95 | Gain vs. mono. avg. |
| Left-view prediction | 79.6188 | 74.1331 | 102.4118 | 115.0452 | — |
| Right-view prediction | 80.1623 | 74.5614 | 101.6197 | 116.6663 | — |
| Monocular average | 79.8905 | 75.1588 | 101.2589 | 112.1287 | 0.0000 |
| Equal-weight fusion | 77.3151 | 72.9845 | 96.8666 | 106.8710 | +2.5754 |
| VUBTF soft fusion | 76.9409 | 72.6824 | 96.0671 | 106.3893 | +2.9496 |
Table 4: Dual-view MANO fusion on DexYCB S0 test and frozen transfer to HO3Dv3 (mm). PA-MPJPE uses 21 joints and PA-MPVPE all 778 MANO vertices.
| Method | Mean | Median | P90 | P95 | Gain vs. mono. avg. |
| PA-MPJPE (21 joints) | | | | | |
| Mono A | 4.9092 | 4.3793 | 7.7093 | 9.1141 | — |
| Mono B | 4.7478 | 4.2562 | 7.4034 | 8.8242 | — |
| Monocular average | 4.8285 | 4.4214 | 7.2355 | 8.4284 | 0.0000 |
| Equal-weight fusion | 4.3642 | 3.9486 | 6.7328 | 7.9130 | +0.4643 |
| VUBTF soft fusion | 4.2872 | 3.8732 | 6.6027 | 7.7682 | +0.5413 |
| PA-MPVPE (778 vertices) | | | | | |
| Mono A | 4.7557 | 4.2541 | 7.3973 | 8.7742 | — |
| Mono B | 4.6186 | 4.1472 | 7.1306 | 8.4739 | — |
| Monocular average | 4.6872 | 4.3023 | 6.9567 | 8.1240 | 0.0000 |
| Equal-weight fusion | 4.2422 | 3.8499 | 6.4741 | 7.5945 | +0.4450 |
| VUBTF soft fusion | 4.1741 | 3.7837 | 6.3589 | 7.4551 | +0.5131 |
| $HO3Dv3$ PA-MPJPE (21 joints, frozen transfer) | | | | | |
| Mono A | 7.0625 | 6.8700 | 9.8260 | 10.8385 | — |
| Mono B | 7.1124 | 6.7238 | 10.0545 | 11.1588 | — |
| Monocular average | 7.0874 | 6.9924 | 9.4161 | 10.1860 | 0.0000 |
| Equal-weight fusion | 6.4953 | 6.3483 | 8.7991 | 9.6039 | +0.5921 |
| VUBTF soft fusion | 6.4775 | 6.3218 | 8.8179 | 9.6208 | +0.6099 |
| $HO3Dv3$ PA-MPVPE (778 vertices, frozen transfer) | | | | | |
| Mono A | 6.9523 | 6.7141 | 9.6297 | 10.4536 | — |
| Mono B | 7.0181 | 6.6324 | 9.8534 | 10.8022 | — |
| Monocular average | 6.9852 | 6.8803 | 9.1858 | 9.9498 | 0.0000 |
| Equal-weight fusion | 6.4274 | 6.3011 | 8.6324 | 9.3206 | +0.5578 |
| VUBTF soft fusion | 6.4141 | 6.2617 | 8.6532 | 9.3921 | +0.5711 |
(c)
| Prox. | Mid. | Dist. |
| Index | 0.66 | 0.69 | 0.62 |
| Middle | 0.57 | 0.45 | 0.33 |
| Pinky | 0.74 | 0.63 | 0.56 |
| Ring | 0.36 | 0.34 | 0.43 |
| Thumb | 0.56 | 0.53 | 0.50 |
(d)
Figure 7: Qualitative dual-view MANO fusion on DexYCB. (a)–(b) Synchronized views with monocular predictions and enlarged hand crops. (c) Ground-truth joints (GT), equal-weight fusion, and VUBTF soft fusion. (d) Per-joint view weights for proximal (Prox.), middle (Mid.), and distal (Dist.) finger joints.
迁移至HO3Dv3的冻结实验。使用适配后的WiLoR检查点并将针对DexYCB训练的门控参数冻结，我们评估了4,854帧同步的HO3Dv3图像，这些图像涵盖了官方评估集内20,137张图像中的19,242张，共产生33,456对无序图像对。剩余的895张图像没有同步的多视图对应图像。与DexYCB上的处理方式一致，所有指标均根据发布的MANO标注本地计算，这些标注被解码为用于PA-MPVPE计算的778个顶点的参考网格。
如表4所示，等权重融合使HO3Dv3的单目平均值在PA-MPJPE上改善了0.5921毫米（8.35%），在PA-MPVPE上改善了0.5578毫米（7.99%）。VUBTF软融合在这两项指标上的均值和中位数均为最低，分别改善了0.6099毫米（8.61%）和0.5711毫米（8.18%）。
---
### 5.4 自适应S O(3)时间细化
时间模块仅细化局部旋转，保留序列级别的形状。利用$\boldsymbol{D}_{t,j} = \boldsymbol{R}_{t-1,j}^{\top} \boldsymbol{R}_{t,j}$和$A_{t,j} = \boldsymbol{D}_{t,j}^{\top} \boldsymbol{D}_{t+1,j}$，角速度和角加速度误差分别为$d(\hat{\boldsymbol{D}}, \boldsymbol{D}^{*})$和$d(\hat{\boldsymbol{A}}, \boldsymbol{A}^{*})$，而加速度大小则为$d(\boldsymbol{I}, \hat{\boldsymbol{A}})$，无需参考值。这三个数值均是对序列内的局部旋转及过渡过程取平均得到的，涉及${}^{\circ}/\text{frame}$和${}^{\circ}/\text{frame}^2$。UnrealEgo-RW没有SMPL-X的局部旋转真值，因此身体分支仅报告其大小。
手部分支。我们在DexYCB S0验证集上选定时间细化参数，并在测试期间保持固定。在71,510对验证图像对中，我们比较了六种固定增益（$\kappa = 0.50$、0.65、0.75、0.85、0.90、0.95）以及三种自适应变体，后者会为每一帧和MANO关节计算$\kappa$。这些变体的区别在于其基线过程和观测方差，以及对跨视图不一致性的权重分配。未经细化的基线PA-MPJPE为4.0144毫米。最佳固定增益（$\kappa = 0.75$）将其降至4.0013毫米，而最佳自适应变体则达到3.9922毫米。选定的自适应参数如下：
$$\begin{aligned}\left(\sigma_{proc,0}^{2},\lambda_{\nu},\right.&\left.\sigma_{obs,0}^{2},\lambda_{rel},\lambda_{\Delta}\right)\\=&\left(1.0,0.5,0.1,0.25,0.5\right)\end{aligned}$$
以及$(\sigma_{v}, \sigma_{\Delta}) = (0.12, 0.25)$弧度。这两者在测试前均被冻结。
在275,688次测试配对中（见表5），自适应优化将VUBTF观测值——即优化前的融合估计值——的PA-MPJPE降低了0.0251毫米，其序列块自助法95%置信区间为[0.0212, 0.0290]毫米。该优化提升了全部28个相机配对的平均值，同时使加速度大小减少了31.04%。
身体分支。在固定身体预测器和门控参数后，我们通过最小化来自门控训练受试者的105,126对连续训练数据上的可靠-13 PA-MPJPE，来拟合方程(12)中的四个有效标量，即$a_{\nu} = \lambda_{\nu}/\sigma_{\nu}^{2}$、$\sigma_{\mathrm{obs},0}^{2}$、$\lambda_{\mathrm{rel}}$和$a_{\Delta} = \lambda_{\Delta}/\sigma_{\Delta}^{2}$。优化过程采用Adam优化器，训练10个周期，学习率为0.02；根据对4,662对S16验证数据的同一标准，选取第6周期的结果。拟合得到的值为$a_{\nu} = 31.4855$、$\sigma_{\mathrm{obs},0}^{2} = 0.03987$、$\lambda_{\mathrm{rel}} = 0.83239$和$a_{\Delta} = 3.56423$，其中$\sigma_{\mathrm{proc},0}^{2}$被固定为1。
在S1、S9和S11测试受试者身上，该拟合设置将GT15 PA-MPJPE从76.9409毫米降低至76.5428毫米，每位受试者的结果均有所改善。由此产生的0.3981毫米提升效果，其序列块自助法95%置信区间为[0.3012, 0.5045]毫米；角加速度大小则从1.8535降至$1.2569^\circ/\text{frame}^2$（降幅达32.19%）。
### 5.5 可穿戴系统演示
根据作者所在机构的规定，本研究无需经过伦理审查。该实验旨在验证校准后的可穿戴设备能否在真实录制数据中生成连续的轨迹与关节运动输出。
#### 5.5.1 外向摄像头跟踪
按照第4.1节的描述，装置轨迹会将向下配对估计值统一到同一个世界坐标系中。四路外向数据流——即$170^{\circ}$前向配对（Cam1/2）和$220^{\circ}$侧向配对（Cam5/6）——被作为单个已校准的广义摄像头进行跟踪，且第3.3节中确定的外部参数保持不变，从而确保度量尺度由摄像头间的基线决定。每个视角均采用经过校准的Scaramuzza鱼眼模型（Scaramuzza等人，2006年）。ORB描述符会在四个视角中汇总，用于闭环检测。
演示序列：在$1920 \times 1080$、帧率为59.94 fps的35.7秒同步六摄像头录制中，四路外向数据流能够无中断地跟踪物体，并输出2,121个时间戳对齐的6自由度装置位姿。校准后的重投影误差为0.093/0.106像素。图8展示了恢复出的轨迹及其稀疏地图，原始视图则见于图1。录制期间，佩戴者会在有限的工作空间内进行近身交互。所估计的轨迹累计长度为4.635米，起始点偏差不超过0.279米，终点偏差为0.220米。帧间平移和旋转量分别低于0.022米和$1.49^\circ$；在整个序列中，姿态相对于初始值的偏差最多为$41.1^\circ$，该数值是以$SO(3)$为基准的测地角。
#### 5.5.2 真实场景下的身体与手部动作捕捉
同一组同步六摄像头录制数据会被端到端处理。度量基准位置由向下配对的152.02毫米基线确定。裁剪区域来自现成的检测器：随WiLoR一同发布的手部检测器（Potamias等人，2025年）可提供手部框及其左右标签，而Faster R-CNN（Ren等人，2015年）则用于确定身体框。这两种检测器均未经过微调，且生成的框都会被放大。
---
Table 5: Temporal-refinement results on DexYCB S0 test. PA-MPJPE is in mm; angular metrics use ${}^{\circ}$/frame for velocity and ${}^{\circ}$/frame $^{2}$ for acceleration.
| Method | PA- MPJPE | Angular- velocity error | Angular- acceleration error | Acceleration magnitude |
| VUBTF observation | 4.2872 | 6.1053 | 8.1901 | 2.2269 |
| Fixed gain, $\kappa = 0.75$ | 4.2687 | 5.9673 | 7.8929 | 1.4968 |
| Adaptive gain | 4.2621 | 5.9601 | 7.8861 | 1.5356 |
Figure 8: World-frame rig trajectory and sparse map estimated from the four outward views, colored by time over the 35.7-s sequence. Sampled axes show rig orientation.
在裁剪前会先放大$1.2 \times$，Cam3和Cam4则独立进行检测。
输出结果：经过校准的装配变换能够将头戴式装配、身体以及双手统一表示在同一个世界坐标系中（见图1）。图9展示了在四种情况下身体和手部输出结果如何被投影到下方的配对视图中：（1）无遮挡帧；（2）手与物体的交互；（3）手被物体遮挡；（4）一只手超出视野范围。情况（1）和（2）正是配对视图融合技术所针对的应用场景。在情况（3）和（4）中，单个视图中会缺失一只手的信息，这正是第3.4节中可用性标记机制要处理的问题：若某只手在任一视图中缺失，便无法对其进行三角测量，因此其度量位置会被标记为“不可用”。
检测几乎完全成功：Cam3在2121帧中有2120帧能识别出左手，2047帧能识别出右手；Cam4分别能识别2069帧中的左手和2048帧中的右手；两个视图的每一帧都能识别出身体。因此，左手在2069帧中可成功进行三角测量，右手则在2026帧中可成功三角测量，最终在2011帧中能得到双手的度量位置。
Figure 9: Downward-pair output: no occlusion, hand–object interaction, hand–object occlusion, and one hand out of view. SMPL-X body (white) and MANO hands (blue left, red right) are reprojected into Cam3 and Cam4. The right hand in case (3) and the left hand in case (4) are seen in one view only, so they are single-view predictions.
其中73帧只能识别到一只手，37帧则两只手都无法识别。对于MANO分支而言，门控机制和时序配置均沿用DexYCB验证阶段的结果，且本次记录中并未使用任何真实值作为参考。在有效的连续配对手段中，逐关节软融合所产生的加速度大小为$3.5866^{\circ}/\text{frame}^2$，而经过自适应$SO(3)$优化后，该数值降低至$2.1132^{\circ}/\text{frame}^2$，降幅达到41.08%。该装配上的门控机制仍处于激活状态：Cam3给出的权重平均值为0.5116，但各关节间的权重范围在0.098到0.896之间，自适应增益的平均值为0.7079。此次演示验证了输出结果的同步可用性以及端到端部署的可行性。
### 5.6 局限性与未来工作
基准测试协议采用的是相似性对齐误差，这种误差会修正尺度、旋转和平移因素——
---
因此根本无法评估绝对位置。这些协议也不包含我们采用的下方配对几何模型，且可穿戴设备记录的数据没有外部参照物，所以关节活动增益是在标准协议下测量的，而轨迹与位置阶段仅进行了演示而非量化分析。基准测试中所获得的增益主要来自双视图的使用；相较于等权重融合方式，学习得到的门控机制还能带来进一步的提升。在HO3Dv3数据集上，固定的门控机制虽然能改善平均值和中位数指标，但对P90或P95指标并无明显改进。MANO手部模型是依据其独立三角测量的根节点位置来放置的，并未与SMPL-X手臂链进行运动学层面的协调，因此前臂长度并未受到约束，身体与手部的形状参数也可能存在不一致。根节点的朝向与平移未经时间滤波处理，且该流程属于离线处理模式——因为时间一致性计算依赖后续帧，形状计算则需使用完整序列数据。
当前设计后续有四大发展方向。将三角测量得到的MANO根节点与手臂链相协调，可使导出的骨骼模型具备运动学一致性，进而通过前臂长度来约束手部位置。用因果性机制替换双向时间线索和序列级形状估计方法，能让该流程实现在线运行。借助带有外部跟踪参照物的受控采集环境，可将演示层面的度量位置能力转化为可测量的实际指标。减轻整体重量使其接近眼镜的尺寸，采用安装在镜腿上的外向摄像头并采用重叠的斜向下视角，就能保留现有的功能划分模式。
## 6 结论
我们提出了EgoWholeView——一种六摄像头可穿戴设备以及一套离线处理流程，该流程通过可靠性感知融合和$SO(3)$时间细化技术来恢复人体及双手的运动信息。在UnrealEgo-RW、DexYCB和HO3Dv3数据集上，双视图融合能够提升局部几何结构的相似性对齐程度，而时间细化则改善了所有28组DexYCB摄像头配对的平均效果。这种递归机制同样适用于人体分支。在该设备上，直接使用了基准测试中已确定的门控参数而无需重新调整：在2121帧中，有2011帧的两只手都能准确定位，且经过细化处理后手部加速度幅度降低了41.08%。这些结果共同证明了角色专属传感机制与规范空间融合的有效性。
## 参考文献
Akada Hiroyasu、Wang Jian、Shimada Soshi、Takahashi Masaki、Theobalt Christian和Golyanik Vladislav。2022年。UnrealEgo：一个用于鲁棒性单眼视觉3D人体运动捕捉的新数据集。载于欧洲计算机视觉会议论文集。
Banerjee Prithviraj、Shkodrani Sindi、Moulon Pierre、Hampali Shreyas、Han Shangchen、Zhang Fan、Zhang Linguang、Fountain Jade、Miller Edward、Basol Selen、Newcombe Richard、Wang Robert、Engel Jakob Julian和Hodan Tomas。2025年。HOT3D：基于单眼多视角视频的3D手部与物体追踪技术。载于IEEE/CVF计算机视觉与模式识别会议论文集，第7061–7071页。
Bowman Doug A.、Kruijff Ernst、LaViola Joseph J.和Poupyrev Ivan。2004年。《3D用户界面：理论与实践》。Addison-Wesley出版社。
Bramlage Lennart、Karg Michelle和Curio Cristobal。2023年。人体姿态回归中的合理不确定性估计。载于IEEE/CVF国际计算机视觉会议论文集，第15133–15142页。
Brohan Anthony、Brown Noah、Carbajal Justice、Chebotar Yevgen、Chen Xi、Choromanski Krzysztof、Ding Tianli、Driess Danny、Dubey Avinava、Finn Chelsea等。2023年。RT-2：将网络知识迁移到机器人控制的视觉-语言-动作模型。arXiv预印本arXiv:2307.15818。
Campos Carlos、Elvira Richard、Gómez Rodríguez Juan J.、Montiel José M. M.和Tardós Juan D.。2021年。ORB-SLAM3：一款用于视觉、视觉惯性及多地图SLAM的精准开源库。IEEE机器人学汇刊，37(6)：1874–1890。
Casiez Géry、Roussel Nicolas和Vogel Daniel。2012年。“1欧元滤波器”：一种用于交互系统中噪声输入的简单基于速度的低通滤波器。载于SIGCHI人机交互大会论文集，第2527–2530页。
Chao Yu-Wei、Yang Wei、Xiang Yu、Molchanov Pavlo、Handa Ankur、Tremblay Jonathan、Narang Yashraj S.、Van Wyk Karl、Iqbal Umar、Birchfield Stan、Kautz Jan和Fox Dieter。2021年。DexYCB：一个用于捕捉物体抓取过程的基准测试。载于IEEE/CVF计算机视觉与模式识别会议论文集。
Cho Woojin、Ha Taewook、Son Taejun和Woo Woontack。2026年。一种通过卸载框架实现的可穿戴AR中物体介导交互的统一手部与手势追踪技术。载于IEEE虚拟现实与3D用户界面会议论文集。
de Mayo Mateo、Cremers Daniel和Pire Taihú。2025年。Monado SLAM数据集：用于单眼视觉-惯性追踪的数据集。arXiv预印本arXiv:2508.00088。
---
Dwivedi Sai Kumar、Schmid Cordelia、Yi Hongwei、Black Michael J.和Tzionas Dimitrios。2024年。POCO：具有置信度的3D姿态与形状估计方法。载于国际3D视觉会议论文集，第85–95页。
雅各布·恩格尔、基兰·索马斯温达拉姆、迈克尔·戈塞勒等人，2023年。Project Aria：一种用于以自我为中心的多模态人工智能研究的新工具。arXiv预印本arXiv:2308.13561。
杰西·科莱特·尤班克斯、亚历克·G·摩尔、保罗·A·菲什威克和瑞安·P·麦克马汉，2020年。身体追踪精度对男性参与者在逆运动学虚拟化身中具身感的影响。载于IEEE国际混合现实与增强现实研讨会论文集，第54–63页。
克里斯滕·格劳曼、安德鲁·韦斯特伯里、尤金·伯恩、扎卡里·查维斯、安东尼诺·弗尔纳里、罗希特·吉尔达尔、杰克逊·汉堡、郝江、苗刘、邢宇刘等人，2022年。Ego4D：3000小时以自我为中心的视频记录下的全球场景。载于IEEE/CVF计算机视觉与模式识别会议论文集，第18973–18990页。
什雷亚斯·汉帕利、马赫迪·拉德、马库斯·奥伯韦格和文森特·勒佩蒂，2020年。HOnnotate：一种用于手部与物体姿态的3D标注方法。载于IEEE/CVF计算机视觉与模式识别会议论文集。
尚晨·韩、贝贝·刘、兰迪·卡贝萨斯、克里斯托弗·D·特威格、张培钊、杰夫·佩特考、余子豪、蔡春荣、穆扎费尔·阿克拜、王正、阿萨夫·尼赞、董刚、叶雨婷、陶玲玲、万成德和罗伯特·王，2020年。MEgATrack：面向虚拟现实的单色以自我为中心的手部关节追踪技术。《ACM图形学交易》第39卷第4期。
尚晨·韩、吴博辰、张玉波、贝贝·刘、张灵光、王正、司伟光、张培钊、蔡宇军、托马斯·霍丹、兰迪·卡贝萨斯、阮峦、穆扎费尔·阿克拜、余子豪、凯姆·凯斯金和罗伯特·王，2022年。UmeTrack：面向虚拟现实的统一多视角端到端手部追踪技术。《ACM图形学交易》第41卷第6期。
胡耀清、朱明珠、王少安、李东月、袁福松和虞俊志，2024年。一种用于口腔颌面外科的新型轻量化导航系统，采用外部曲面自识别棋盘格。IEEE自动化科学与工程交易第21卷第2期：1434–1444页。
卡塔林·伊昂内斯库、德拉戈斯·帕帕瓦、弗拉德·奥拉鲁和克里斯蒂安·斯明奇塞斯库，2014年。Human3.6M：自然环境下大规模3D人体感知数据集及预测方法。IEEE模式分析与机器智能交易第36卷第7期：1325–1339页。
卡里姆·伊斯卡科夫、叶戈尔·布尔科夫、维克托·列姆皮茨基和尤里·马尔科夫，2019年。人体姿态的可学习三角测量。载于IEEE/CVF……
国际计算机视觉会议论文集，第7718–7727页。
鲁道夫·E·卡尔曼，1960年。线性滤波与预测问题的新方法。《基础工程杂志》第82卷第1期：35–45页。
亚历山大·哈扎茨基、卡尔·珀奇、苏拉杰·奈尔、阿什温·巴拉克里希纳、苏迪普·达萨里、西达尔思·卡拉姆切蒂、索鲁什·纳西里亚尼、莫汉·库马尔·斯里拉玛、劳伦斯·云良·陈、柯尔斯蒂·埃利斯等人，2024年。DROID：一个大规模野外机器人操控数据集。载于机器人：科学与系统会议论文集。
康斯坦蒂娜·基尔特尼、拉斐拉·格罗滕和梅尔·斯莱特，2012年。虚拟现实中的具身感。《存在：远程操作与虚拟环境》第21卷第4期：373–387页。
金宝元、黄 Eugene和李贞美，2024年。虚拟现实中的自我化身识别：自我优势现象以及动作与视觉一致性的相对重要性。载于IEEE国际混合现实与增强现实研讨会论文集，第643–651页。
穆罕默德·科卡巴斯、尼科斯·阿萨纳西乌和迈克尔·J·布莱克。2020年。VIBE：用于人体姿态与形状估计的视频推理。载于IEEE/CVF计算机视觉与模式识别会议论文集。
穆罕默德·科卡巴斯、黄春浩、奥特马尔·希利格斯和迈克尔·J·布莱克。2021年。PARE：用于三维人体估计的部件注意力回归器。载于IEEE/CVF国际计算机视觉会议论文集，第11127–11137页。
尼科斯·科洛图罗斯、乔治奥斯·帕夫拉科斯、迪内什·贾亚拉曼和科斯塔斯·达尼伊利迪斯。2021年。人体网格恢复的概率建模。载于IEEE/CVF国际计算机视觉会议论文集，第11605–11614页。
林迪轩、张宇翔、李梦成、刘烨斌、景伟、严奇、王倩颖和张宏文。2024年。Omnihands：基于多功能Transformer的鲁棒四维手部网格恢复。arXiv预印本arXiv:2405.20330。
林伟权、胡耀清、戴良辰、唐旭和陈星宇。2026年。GeoHand：利用先验几何知识实现单目三维手部重建。arXiv预印本arXiv:2605.17354。
刘瑞聪、大川武彦、张明芳和佐藤洋一。2024年。用于中心视角三维手部姿态估计的单视图到双视图适配。载于IEEE/CVF计算机视觉与模式识别会议论文集，第677–686页。
刘云泽、刘云、蒋哲、吕康博、万维康、沈浩、梁博强、付周杰、王赫和李毅。2022年。HOI4D：用于类别级人机交互的四维中心视角数据集。
---
载于IEEE/CVF计算机视觉与模式识别会议论文集。
马玲妮、叶雨婷、洪方舟、弗拉基米尔·古佐夫、蒋一峰、罗万·波斯特耶尼、路易斯·佩斯奎拉、亚历山大·加米诺、维杰·拜亚、金孝珍、凯文·贝利、大卫·索里亚诺·福萨斯、刘慈珊、刘子薇、雅各布·恩格尔、伦佐·德·纳尔迪和理查德·纽科姆。2024年。Nymeria：大规模野外多模态中心视角日常运动数据集。载于欧洲计算机视觉会议论文集，第445–465页。
安托万·迈奥尔卡、赛义德·阿卜杜勒法兹尔·加塞姆扎德、蒂埃里·拉韦、弗朗索瓦·克雷松、蒂埃里·杜托伊和克里斯托夫·德·弗莱舒韦尔。2024年。虚拟现实中的虚拟化身动画：运动信号伪影对全身姿态重建的影响。arXiv预印本arXiv:2404.18628。
维克托·穆查、迈克尔·雷和马丁·坎佩尔。2026年。面向未知域的中心视角三维手部姿态估计。arXiv预印本arXiv:2601.06537。
罗素妍、卢承永和张柱勇。2026年。基于先验引导学习的中心视角全身人体网格恢复。arXiv预印本arXiv:2605.08606。
苏拉杰·奈尔、阿拉温德·拉杰斯瓦兰、维卡斯·库马尔、切尔西·芬恩和阿比纳夫·古普塔。2022年。R3M：一种通用的机器人操控视觉表征。载于机器人学习会议论文集。
弗兰克·C·帕克和巴赫拉姆·拉瓦尼。1997年。旋转的平滑不变插值。ACM图形学交易，16(3)：277–295。
朴俊圭、吴永旭、文京植、崔弘硕和李炅模。2022年。HandOccNet：抗遮挡的三维手部网格估计网络。载于IEEE/CVF计算机视觉与模式识别会议论文集，第1496–1505页。
乔治奥斯·帕夫拉科斯、瓦西里奥斯·乔塔斯、尼玛·戈尔巴尼、蒂莫·博尔卡特、艾哈迈德·A·A·奥斯曼、迪米特里奥斯·齐奥纳斯和迈克尔·J·布莱克。2019年。富有表现力的身体捕捉：从单张图像中重建3D手部、面部和身体。载于IEEE/CVF计算机视觉与模式识别会议论文集。
乔治奥斯·帕夫拉科斯、单丹丹、伊利贾·拉多萨沃维奇、安吉尤·金纳扎瓦、大卫·福伊和吉滕德拉·马利克。2024年。利用Transformer重建3D手部模型。载于IEEE/CVF计算机视觉与模式识别会议论文集。
罗兰多斯·亚历山德罗斯·波塔米亚斯、张静雷、邓建康和斯特凡诺斯·扎费里乌。2025年。Wilor：面向真实场景的端到端3D手部定位与重建。arXiv预印本arXiv:2409.12259。
阿迪蒂亚·普拉卡什、涂瑞森、马修·张和索拉布·古普塔。2024年。日常自拍图像中的3D手部姿态估计。载于欧洲计算机视觉会议论文集。
任鹏飞、孙海峰、郝家昌、王京宇、齐琪和廖建新。2022年。挖掘多视角信息：一种用于基于深度的3D手部姿态与网格估计的强大自监督框架。载于IEEE/CVF计算机视觉与模式识别会议论文集。
任鹏飞、王京宇、孙海峰、齐琪、王静和廖建新。2025年。规则与学习相结合：用于自监督3D手部姿态估计的置信度感知多视角融合方法。载于第33届ACM国际多媒体会议论文集，第1646–1655页。
任少卿、何凯明、罗斯·吉尔希克和孙剑。2015年。Faster R-CNN：借助区域提议网络实现实时物体检测。载于神经信息处理系统大会论文集，第91–99页。
帕特里克·林姆、何坤、凯文·哈里斯、布拉登·科普尔、韩尚辰、安思哲、伊万·舒古罗夫、托马斯·霍丹、何文和谢旭。2025年。利用移动多摄像头设备在真实场景中实现以眼为中心的3D手部追踪。arXiv预印本arXiv:2510.02601。
哈维尔·罗梅罗、迪米特里奥斯·齐奥纳斯和迈克尔·J·布莱克。2017年。具身化手部：手部与身体的联合建模与捕捉。ACM图形学交易，36(6)。
Ropedia。2026年。Xperience-10M：一个带有结构化3D/4D标注的大规模以眼为中心的多模态数据集。Hugging Face数据集。访问日期：2026年7月12日。
达维德·斯卡拉穆扎、阿戈斯蒂诺·马丁内利和罗兰德·西格瓦特。2006年。一种用于精确全景相机标定与运动结构恢复的灵活技术。载于IEEE国际计算机视觉系统会议论文集，第45页。
阿卡什·森古普塔、伊格纳斯·布德维蒂斯和罗伯托·奇波拉。2023年。HuManiFlow：基于SO(3)流形上的祖先条件归一化流，用于人体姿态与形状分布估计。载于IEEE/CVF计算机视觉与模式识别会议论文集，第4779–4789页。
梅尔·斯莱特、伯恩哈德·斯潘朗、玛丽亚·V·桑切斯-维韦斯和奥拉夫·布兰克。2010年。虚拟现实中的身体转移第一人称体验。PLoS ONE，5(5)：e10564。
丹尼斯·托梅、帕特里克·佩卢斯、卢尔德斯·阿加皮托和赫尔南·巴迪诺。2019年。xR-EgoPose：基于头戴式显示器摄像头的以眼为中心的3D人体姿态估计。载于IEEE/CVF国际计算机视觉会议论文集。
---
谢浩·埃尔登·谢、弗朗西斯卡·穆勒、沈正阳、唐丹航、塔博·比勒尔、窦明松、张银达、萨沙·彼得罗维奇、张亨珍、乔纳森·泰勒和巴迪亚·杜斯蒂。2023年。光谱图神经网络：基于光谱图的Transformer模型，用于利用多视角彩色图像进行以自我为中心的双手重建。载于《IEEE/CVF国际计算机视觉会议论文集》，第14666–14677页。
斯特芬·乌尔班和斯特凡·欣茨。2016年。MultiCol-SLAM：一种模块化的实时多摄像头SLAM系统。arXiv预印本arXiv:1610.07336。
托马斯·瓦尔特马特、多米尼克·加尔、丹尼尔·罗斯、马里奥·博奇和马克·埃里希·拉托希克。2018年。虚拟形象个性化与沉浸感对虚拟身体归属感、临场感和情绪反应的影响。《IEEE可视化与计算机图形学交易》，第24卷第4期：1643–1652页。
王健、刘凌杰、徐伟鹏、克里帕辛杜·萨卡尔、迪奥戈·卢维松和克里斯蒂安·特博尔特。2022年。利用外部弱监督在复杂环境中估计以自我为中心的三维人体姿态。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第13157–13166页。
王健、迪奥戈·卢维松、徐伟鹏、刘凌杰、克里帕辛杜·萨卡尔和克里斯蒂安·特博尔特。2023a。场景感知的以自我为中心的三维人体姿态估计。载于《IEEE/CVF计算机视觉与模式识别会议论文集》。
王少安、朱明珠、胡耀清、李东岳、袁福松和虞俊志。2024年。CylinderTag：一种基于投影不变量的高精度、灵活圆柱形物体姿态估计标记。IEEE可视化与计算机图形学交易，第30卷第12期：7486–7499页。
王鑫、权泰仁、马赫迪·拉德、潘博文、伊莎尼·查克拉博蒂、肖恩·安德里斯、丹·博胡斯、阿什利·费尼洛、费利佩·维埃拉·弗鲁热里、尼尔·乔希和马克·波莱费斯。2023b。HoloAssist：一个用于现实世界交互式AI助手的以自我为中心的人类交互数据集。载于《IEEE/CVF国际计算机视觉会议论文集》。
许瓦斯科、陈布莱恩、埃里克·J·冈萨雷斯、安德烈亚·科拉索、亨利·霍夫曼、玛尔·冈萨雷斯-弗朗科和卡兰·阿胡贾。2026年。SurfaceXR：融合智能手表IMU数据与以自我为中心的手部姿态以实现无缝表面交互。《IEEE可视化与计算机图形学交易》。IEEE VR期刊专栏；arXiv:2603.19529。
徐伟鹏、阿维谢克·查特吉、迈克尔·佐尔霍费尔、赫尔格·罗丁、帕斯卡尔·富阿、汉斯-彼得·塞德尔和克里斯蒂安·特博尔特。2019年。Mo2Cap2：利用安装在帽子上的鱼眼相机实现实时移动三维动作捕捉。《IEEE可视化与计算机图形学交易》，第25卷第5期：2093–2101页。
杨立新、徐健、钟立成、詹欣宇、王志成、吴克建和卢泽武。2023年。
POEM：基于点嵌入的多视角立体视觉中的手部重建。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第21108–21117页。
布伦特·易、维克姬·叶、郑玛雅、李云琪、莉亚·米勒、乔治奥斯·帕夫拉科斯、马毅、吉滕德拉·马利克和安吉尤·金纳扎瓦。2025年。在自我感知的世界中估计身体与手部运动。载于《IEEE/CVF计算机视觉与模式识别会议论文集》，第7072–7084页。
张景雷、邓建康、马超和罗兰多斯·亚历山德罗斯·波塔米亚斯。2025a。Hawor：从以自我为中心的视频中重建世界空间中的手部运动。arXiv预印本arXiv:2501.02973。
张思伟、马千丽、张燕、钱志银、权泰仁、Marc Pollefeys、Federica Bogo和唐思宇。2022年。EgoBody：基于头戴式设备的人体形状与交互运动研究。载于欧洲计算机视觉会议论文集。
张天浩、Zoe McCarthy、Owen Jow、Dennis Lee、陈曦、Ken Goldberg和Pieter Abbeel。2018年。基于虚拟现实遥操作的复杂操控任务的深度模仿学习。载于IEEE国际机器人与自动化会议论文集。
张玉红、高子涵、李盛鹏、陈凌浩、刘凯升、程润庆、林晓、刘俊佳、李卓恒、冯静怡、何子妍、林锦添、黄哲言、刘志芳和王浩谦。2025b年。Robowheel：基于真实世界人类演示数据的跨本体机器人学习引擎。arXiv预印本，arXiv:2512.02729。
赵东旭、魏振、Jisan Mahmud和Jan-Michael Frahm。2021年。EgoGlass：基于眼镜框架的以自我为中心的视角人体姿态估计。载于3D视觉国际会议论文集，第32–41页。
郑晓正、温超、薛周、任鹏飞和王景宇。2023年。HaMuCo：基于多视角协同自监督学习的手部姿态估计。载于IEEE/CVF国际计算机视觉会议论文集，第20763–20773页。