Figure 1 We introduce the Ambient Capture Engine (ACE), a capture system that transforms real home environments into recording studios. ACE observes household activity at two complementary scales, i.e., table-scale and room-scale. Via ACE, we capture and release ACE-Data-0 with synchronized multiple modalities and rich data annotations.
---
## 摘要
具身智能面临着根本性的数据瓶颈。要在物理世界中学习如何行动，仅靠观察某个动作的样子远远不够：模型必须捕捉到人类在追求目标的过程中，第一人称感知、全身运动、灵巧操作、物体状态、声音和触觉是如何协同演变的。现有数据集通常将这种体验拆分到不同的视角、模态或空间尺度中，导致完整的感知-行动循环只能被部分观测到。
我们推出了环境捕捉引擎（ACE），这是一款以人为中心的数据引擎，能够将真实的家居环境转化为空间校准、时间同步的录音棚。ACE在两个互补的尺度上运行：桌面级配置可解析精细的手部与物体交互过程，而房间级配置则能捕捉全身运动、移动以及分布在家具齐全的家居环境中的互动行为。在这两种场景下，ACE都会记录以自我为中心的视频和多视角非自我中心视频、全身及关节化手部运动数据、高保真物体几何信息与6自由度轨迹、多通道音频以及触觉信号，形成统一的多感官数据流。
借助ACE，我们构建了ACE-Data-0数据集，该数据集包含150小时、1700万帧视频画面，涵盖200类任务，由50名参与者在2种环境中完成，共计75000次互动场景。该数据集覆盖了原子级操作、长时序的家务活动链以及人与场景的交互内容，同时通过目标级而非分步指令保留了自然的行为差异。我们还推出了一套分层基准测试集，从信号层面逐步延伸到场景组件，最终涵盖交互环节；它包含基于视觉观测的触觉推断、人体运动恢复，以及从自我中心和非自我中心视角重建手部运动等内容。对最先进方法的评估结果显示，在接触、遮挡、自身运动以及长时序场景下的性能存在显著差距。
除了用于基准测试外，ACE-Data-0还提供了同步的人类演示数据，附带对齐的感知、运动学和接触监督信息，为模仿学习、世界模型、视觉-语言-动作系统以及具身人工智能的发展提供了可扩展的基础。
项目页面：
---
## 目录
1 引言 4
2 相关工作 5
2.1 多模态数据集与基准测试 5
2.2 第一人称视角数据集与基准测试 7
2.3 长时程数据集与基准测试 8
3 环境捕捉引擎 9
3.1 系统概述 9
3.2 捕捉系统 10
3.2.1 环境设置 10
3.2.2 硬件设置 11
4 ACE-Data-0 12
4.1 数据采集流程 12
4.1.1 传感器同步 12
4.1.2 校准 14
4.1.3 捕捉工作流程 16
4.1.4 多模态录制 16
4.2 数据收集 16
4.2.1 任务设计 16
4.2.2 捕捉设置 17
4.2.3 数据集统计信息 18
4.2.4 模态类型 18
4.3 标注 19
4.3.1 标注类型 20
4.3.2 标注流程 22
5 基准测试 22
5.1 底层信号 23
5.1.1 从视觉中获取触觉信息 23
5.2 场景组件 24
5.2.1 人体运动估计 25
5.3 具身交互 26
5.3.1 基于第一人称视角的HOI 26
5.3.2 基于第三人称视角的HOI 27
5.3.3 跨视角分析 28
6 结论 28
---
## 1 引言
人类一生中的大部分时间都生活在人造环境中，会持续与周围的物体互动，比如打开橱柜、倒水、叠衣服以及组装家具。尽管这些日常互动看似轻而易举，但它们体现了一种现有模型尚未能企及的智能：感知、全身运动、灵巧操作以及物理感知之间的无缝协调 [^1] [^2]。复现这种智能是具身人工智能的核心追求；然而，与以往的人工智能突破不同，这一领域没有现成的数据可供利用。语言模型和视觉模型[3–6]的发展依托于人类历经数个世纪积累起来的资料库。而那些无需刻意练习就能掌握的肢体技能却从未被记录下来：比如手如何握住杯子、拿取易碎玻璃杯时需施加多大力度、又如何通过视觉与平衡的配合将物体搬过房间。因此，用于具身智能的数据必须靠人工构建而非直接获取，也就是通过为日常生活配备相关设备，记录下自然发生的人与物体互动（HOI）过程。
不过，构建这样一套数据集并非只需对着日常生活拍摄即可。它需要对互动过程进行全方位的记录，包括人类正在做什么、身体和手部如何运动、物体状态如何随之变化、互动产生的音频和触觉信号是什么，以及从人的第一人称视角和第三人称视角看去场景是怎样的。更重要的是，用于具身人工智能学习的数据集要求所有这些信号能够同步录制且相互对齐，而这一点现有的任何数据集都无法满足。
具体而言，现有数据集在三个方面存在不足，如表1所总结：（1）模态碎片化。大规模第一人称视角数据集（如Ego-Exo4D [^7]、EPIC-Kitchens [^8]、Xperience-10M [^9]）虽然能提供大规模的自然行为数据，但既缺乏人体与物体的真实运动信息，也没有同步的第三人称观测数据。相反，基于动作捕捉的交互物体数据集，例如BEHAVE [^10]、GRAB [^11]、ARCTIC [^12]、OakInk2 [^13]以及HOT3D [^14]，虽能提供精确的姿态数据，却缺少第一人称视角；更重要的是，这些数据集几乎都未包含音频或触觉传感数据。（2）环境不自然。带有物理标注的数据集[11, 12, 15–17]几乎全是在实验室中采集的，其稀疏的布局恰恰缺失了让真实家庭环境变得复杂的遮挡、空间限制以及物体多样性等因素。（3）时间跨度短。绝大多数交互物体视频片段仅持续数秒，且描述的都是简单的动作 [^12] [^15] [^16] [^18]。相比之下，真实的家务活动具有明确的目标导向性，它们可能持续数分钟甚至数小时，由多个子任务和多种物体组成，还需要人在场景中移动而非局限于某一地点。因此，日常互动中完整的感知-行动循环一直超出了现有基准测试的范畴。
为填补这一缺口，我们开发了Ambient Capture Engine（ACE），这是一种能将真实家庭环境转化为录音室、同时保留其生活化真实感的采集系统。精细的灵巧操作与房间尺度的活动对传感器布置和覆盖范围提出了相互冲突的要求，因此我们设计了两种互补的配置来构建ACE。第一种是桌面级配置：密集排列的近距离摄像头和高分辨率触觉传感器能够解析手与物体交互的局部细节。第二种是房间级配置：传感器覆盖整个有家具的环境，以记录全身运动、移动以及分布在场景中的交互行为。尽管两种配置的传感器布置和空间范围不同，但它们都能采集同步的第一人称视频、多视角第二人称视频、全身光学运动数据以及每个物体的六自由度轨迹，且所有数据都会被对齐到同一个时空坐标系中。
借助ACE，我们收集了ACE-Data-0数据集：涵盖200类日常互动任务（如烹饪、整理、饮水等），由50名参与者在2种环境中完成，总时长达150小时，包含1700万帧视频和75,000个交互片段。参与者并非按照脚本执行任务，而是按照目标级别的指示以自己的方式行事：规划、犹豫、即兴发挥，就像在家时一样。关键在于，这种自由度并未牺牲测量的精确度：每一个活动瞬间都能从超过8个视角同时观测，并有基于度量的身体、手部及物体状态作为依据。基于这些原始信号，我们为每个序列提供了丰富的标注，包括相机校准和同步时间线；全身及手部姿态，以及它们在每台摄像机每一帧上的投影；每个物体的网格模型、六自由度姿态、边界框和运动轨迹；还有对正在发生事件的文字描述。其中很大一部分标注是基于追踪到的物理状态自动生成的，而非通过现有流程估算得出。
---
相机校准和同步时间线；全身及手部姿态，以及它们在每台摄像机每一帧上的投影；每个物体的网格模型、六自由度姿态、边界框和运动轨迹；还有对正在发生事件的文字描述。其中很大一部分标注是基于追踪到的物理状态自动生成的，而非通过现有流程估算得出。
在ACE-Data-0的基础上，我们进一步建立了一个具有感知层次性的基准测试集，该测试集包含三个从信号到组件再到交互的递进式赛道。第一个赛道针对低层信号：即根据视觉观测预测触觉信号。第二个赛道聚焦于场景组件：相关方法用于重建人体和手的姿态，并基于我们标注的真实数据进行评估。第三个赛道则用于评估交互行为：模型需根据自中心和他中心视频估计人机交互过程中的手部运动。此外，我们收集到的成对视点数据还支持对这两种视角进行直接比较。通过对30多种代表性方法的评估，我们发现了长时程家庭场景数据所特有的失败模式，这些模式源于交互与任务的多样性、复杂性与交织性、严重的遮挡现象、极端视角以及物体在场景中的持续运动。值得注意的是，这三个赛道恰好反映了具身智能体必须依次具备的感知能力：感知接触、估计场景状态以及掌握手物交互技巧。此外，ACE-Data-0对这些智能体的价值不仅限于评估，还体现在训练层面：由于我们的自中心视角数据、多视角他中心视频、运动轨迹以及接触级标注都是同步采集而非来自不同来源，因此每个训练信号都对应同一物理时刻，这一特性对于从模仿学习、策略学习到世界建模等机器人学习任务而言至关重要[19–22]。
总体而言，我们的贡献可总结如下：
- 我们提出了ACE，这是一种“以人为中心的环境捕获型具身数据引擎范式”，它包含两种互补的配置：用于精细局部操作的桌面级装置，以及用于更大场景中全身运动的房间级装置。在这两种配置中，ACE能够记录时间和空间上对齐的自中心视频、多视角他中心视频、人体与手部运动、物体运动、音频以及触觉信号。
• 我们推出了ACE-Data-0，这是一个大规模、长时程的家庭场景人机交互数据集，包含1700万帧图像和75000个交互片段，同时配有丰富且高质量的标注。
- 我们建立了一个三级基准测试集，从信号到组件，最终到交互，并对30多种最先进的方法进行了评估，从而揭示了具身感知与机器人学习领域面临的开放性挑战。
## 2 相关工作
### 2.1 多模态数据集与基准测试
日常交互本质上是多模态的。单一物理事件会同时反映在视觉外观、身体与手部运动、物体状态变化、声学线索以及物理接触中。这些信号彼此互补而非可以互相替代：视觉捕捉外部可观测的信息，运动学描述人体与物体的演变过程，音频能反映碰撞与状态转换，而触觉则提供了接触与力的直接证据。因此，具身感知领域的数据集逐渐从单一的RGB观测向包含几何、运动、接触及语义标注的更丰富组合发展。
### 早期基于物理实体的数据集主要侧重于抓取与操作的局部几何特征。ContactPose [^15] 将三维手部姿态与物体表面接触信息关联起来，该数据集包含来自50名参与者和25个物体的约290万张多视角RGB-D图像；而DexYCB [^16] 则提供了来自8台同步RGB-D摄像头的58.2万帧数据，这些数据带有MANO手部 [^49] 标注以及YCB物体姿态信息。$H_{2}O$ [^18] 将这一研究范畴拓展至通过同步的第一人称和第三人称视角实现的双手交互场景。
---
Table 1 Comparison of ACE-Data-0 with related datasets, grouped by category. ✓: provided with measured (mocap-grade) ground truth; (✓): provided but estimated, pseudo-labeled, or device-tracked; ✓: partially provided (limited coverage or a subset); X: capability absent; —: number not applicable or not reported; a ✓in the #Exo column denotes that exocentric video is provided without a reported camera count; Sync: synchronization across modality families (ego video, exo video, motion, audio, tactile); a ✓requires at least two families, chiefly ego-exo or video-motion, recorded simultaneously and aligned, while ✓denotes that the synchronization is conducted only among one type of viewpoint, and ‘-’ means that only one perspective is captured. LH: long-horizon (goal-directed activities of minutes or longer). Setup: capture environment. In the #Tasks column, dom., cat., scen., and skills denote domains, interaction categories, scenarios, and skills, following each dataset's own task organization.
| Dataset | Year | Hours | #Frames | #Subj | #Obj | #Tasks | Ego | #Exo | Body | Hand | Obj. 6D | Tactile | Audio | Sync | Setup | LH |
| Egocentric video |
| Ego4D [^23] | 2022 | 3670 | - | 931 | - | Open | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | - | In-the-wild | ✓ |
| EPIC-KITCHENS-100 [^8] | 2021 | 100 | 20M | 37 | - | Open | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | - | Kitchens | ✓ |
| HoloAssist [^24] | 2023 | 166 | - | 222 | 16 | 20 | ✓ | ✗ | ✗ | (✓) | ✗ | ✗ | ✓ | - | Desktop | ✓ |
| Ego-Exo4D [^7] | 2024 | 1286 | - | 740 | - | 8 Dom. | ✓ | 4-5 | (✓) | ✗ | ✗ | ✗ | ✓ | ✓ | In-the-wild | ✓ |
| EgoLife [^25] | 2025 | 266 | - | 6 | - | Open | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | ✓ | ✗ | Shared house | ✓ |
| HD-EPIC [^26] | 2025 | 41 | 4.46M | 9 | - | 69 | ✓ | ✗ | ✗ | ✗ | (✓) | ✗ | ✓ | - | Home kitchens | ✓ |
| Hand-object interaction |
| ContactPose [^15] | 2020 | - | 2.9M | 50 | 25 | 2 | ✗ | 3 | ✗ | ✓ | ✓ | ✓ | ✗ | ✗ | Table-top | ✗ |
| HO-3D [^27] | 2020 | - | 78K | 10 | 10 | - | ✗ | 1-5 | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ | Table-top | ✗ |
| GRAB [^11] | 2020 | - | 1.6M | 10 | 51 | 4 | ✗ | ✗ | ✓ | ✓ | ✓ | (✓) | ✗ | - | Mocap lab | ✗ |
| DexYCB [^16] | 2021 | - | 582K | 10 | 20 | 1 | ✗ | 8 | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ | Table-top | ✗ |
| $H_{2}O$ [^18] | 2021 | - | 571K | 4 | 8 | 36 | ✓ | 4 | ✗ | ✓ | ✓ | ✗ | ✗ | ✓ | Table-top | ✗ |
| OakInk [^28] | 2022 | - | 230K | 12 | 100 | 5 | ✗ | 4 | ✗ | ✓ | ✓ | ✗ | ✗ | ✓ | Table-top | ✗ |
| HOI4D [^29] | 2022 | 22 | 2.4M | 9 | 800 | 54 | ✓ | ✗ | ✗ | ✓ | ✓ | ✗ | ✗ | - | Indoor rooms | ✗ |
| ARCTIC [^12] | 2023 | - | 2.1M | 10 | 11 | 2 | ✓ | 8 | ✓ | ✓ | ✓ | ✗ | ✗ | ✓ | Mocap lab | ✗ |
| TACO [^30] | 2024 | - | 5.2M | 14 | 196 | 151 | ✓ | 12 | ✗ | ✓ | ✓ | ✗ | ✗ | ✓ | Table-top | ✗ |
| HOT3D [^14] | 2024 | 13.9 | 3.7M | 19 | 33 | Open | ✓ | ✗ | ✗ | ✓ | ✓ | ✗ | ✗ | - | Lab rooms | ✗ |
| OakInk2 [^13] | 2024 | - | 4.0M | 9 | 75 | 150 | ✓ | 3 | (✓) | ✓ | ✓ | ✗ | ✗ | ✓ | Table-top | (✓) |
| GigaHands [^17] | 2025 | 34 | 183M | 56 | 417 | Open | ✗ | 51 | ✗ | (✓) | (✓) | ✗ | ✗ | ✗ | Table-top | ✗ |
| Full-body HOI, human-scene interaction, and daily motion |
| BEHAVE [^10] | 2022 | - | 15K | 8 | 20 | - | ✗ | 4 | ✓ | ✗ | ✓ | ✗ | ✗ | ✓ | Lab rooms | ✗ |
| InterCap [^31] | 2022 | - | 67K | 10 | 10 | - | ✗ | 6 | ✓ | (✓) | ✓ | ✗ | ✗ | ✓ | Lab room | ✗ |
| CHAIRS [^32] | 2022 | 17.3 | - | 46 | 81 | 32 | ✗ | 4 | ✓ | ✓ | ✓ | ✗ | ✗ | ✓ | Lab room | - |
| EgoBody [^33] | 2022 | - | 220K | 36 | - | 5 Cat. | ✓ | 3-5 | (✓) | (✓) | ✗ | ✗ | ✗ | ✓ | Indoor rooms | ✗ |
| Aria Digital Twin [^34] | 2023 | 6.6 | - | - | 398 | Open | ✓ | ✗ | (✓) | ✗ | ✓ | ✗ | ✓ | - | Apartment, office | ✗ |
| OMOMO [^35] | 2023 | 10 | - | 17 | 15 | - | ✗ | ✗ | ✓ | ✗ | ✓ | ✗ | ✗ | - | Lab room | ✗ |
| HIMO [^36] | 2024 | - | 4.1M | 34 | 53 | - | ✓ | ✗ | ✓ | ✓ | ✓ | ✗ | ✗ | - | Mocap lab | ✗ |
| TRUMANS [^37] | 2024 | 15 | 1.6M | 7 | 20 | - | ✗ | ✗ | ✓ | ✗ | (✓) | ✗ | ✗ | - | Scene mockups | ✗ |
| ParaHome [^38] | 2024 | 8.1 | - | 38 | 22 | - | ✗ | 70 | ✓ | ✓ | ✓ | ✗ | ✗ | ✓ | Home room | ✓ |
| Nymeria [^39] | 2024 | 300 | - | 264 | - | 20 Scen. | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ | ✓ | ✓ | In-the-wild | ✓ |
| HuMoTo [^40] | 2025 | 2.2 | 236K | 1 | 63 | - | ✗ | ✗ | ✓ | ✓ | ✓ | ✗ | ✗ | - | Scene | ✗ |
| Robot data and human demonstrations for robots |
| BridgeData V2 [^41] | 2023 | - | 60K Traj | - | 100+ | 13 Skills | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | - | Table-top | ✗ |
| RH20T [^42] | 2023 | - | 110K Traj | - | - | 147 | ✓ | ✓ | ✗ | ✗ | ✗ | (✓) | ✓ | ✓ | Table-top | ✗ |
| DexCap [^43] | 2024 | - | - | - | - | - | ✗ | ✓ | ✗ | ✓ | ✗ | ✗ | ✗ | ✓ | Table-top | ✗ |
| DROID [^44] | 2024 | 350 | 76K Traj | - | - | 86 | ✗ | 3 | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | In-the-wild | ✗ |
| AgiBot World [^45] | 2025 | 2976.4 | 1M Traj | - | 3000+ | 217 | ✗ | ✓ | ✗ | ✗ | ✗ | ✓ | ✗ | ✗ | Staged scenes | ✓ |
| EgoDex [^46] | 2025 | 829 | 90M | - | - | 194 | ✓ | ✗ | ✗ | (✓) | ✗ | ✗ | ✗ | - | Table-top | ✗ |
| Galaxea Open-World [^47] | 2025 | 500 | 100K Traj | - | 1600 | 150 | ✗ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✓ | Open-world | (✓) |
| EgoScale [^48] | 2026 | 20,854 | - | - | 43,237 | 6015 | ✓ | ✗ | - | - | - | ✗ | ✗ | - | Table-top | ✗ |
| Xperience-10M [^9] | 2026 | 10,000 | 2.88B | - | - | - | ✓ | ✗ | (✓) | (✓) | ✗ | ✗ | ✓ | - | In-the-wild | ✗ |
| Ours |
| ACE-Data-0 | 2026 | 150 | 17M | 50 | 50 | 200 | ✓ | 8 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | Home (Room + Table-top) | ✓ |
RGB-D观测数据、三维手部关键点以及物体姿态信息。$H_{2}O$-3D [^50] 进一步提供了超过7.6万张标注图像，用于解决严重自遮挡情况下的双手-物体姿态估计难题。在更大的语义层面上，HOI4D [^29] 包含了240万帧以自我为中心的RGB-D图像，涉及约800个物体实例，能够支持类别级别的物体姿态跟踪、动作分割以及动态4D交互理解。另一类相关研究则将采集的状态从手部扩展至整个人体-物体系统：GRAB [^11] 记录了与51个物体交互时的全身、手部、面部及物体运动细节；BEHAVE [^10] 和InterCap [^31] 能够从多视角RGB-D观测数据中共同还原人体与刚性物体的运动情况，从而为身体尺度的协调、接触及关节重建研究提供支持。
### 近期的数据集越来越注重灵巧性、组合性与任务结构。ARCTIC [^12] 采集了约210万张双手与可动物体交互的图像，这些图像来自一个自我中心视角和八个非自我中心视角，且由光学动作捕捉技术提供精准定位；TACO [^30] 则整理了520万张……
---
这些数据集描述了工具-动作-物体之间的关系，而OakInk2 [^13]则通过可供性、运动原语以及任务级结构的层次结构来表征复杂的双手活动。在更大规模上，GigaHands [^17]利用51个摄像头系统从56名参与者和417个物体中采集了约1.83亿帧数据，显著提升了双手活动及语言标注的多样性。HOT3D [^14]提供了来自19名参与者和33个扫描物体的约370万张第一人称多视角图像，同时还包括手部、物体、摄像头以及视线的度量轨迹。总体而言，这些数据集极大地推动了手部姿态估计[51–53]、人机物体重建 [^31] [^54]、接触推理 [^12] [^15] [^55]以及交互理解 [^14] [^17] [^30]的发展。不过，它们的传感配置通常针对特定的空间尺度或监督来源进行了优化。以手为中心的数据集能够解析精细的局部几何结构，但往往将活动范围限制在紧凑的工作区域内；而全身数据集虽能保留全局协调性，却可能无法提供足够细致的手部动作信息，或者缺少参与者的第一人称视角。现有的多模态资源也主要结合了RGB、深度、姿态、几何、视线以及语言信息 [^56]。音频很少能与人类及物体的度量运动在交互层面对齐，触觉传感更是极为罕见，尽管它能直接反映接触的起始时间、压力以及滑动情况。此外，标注数据可能结合了直接测量结果与离线拟合或基于模型的重建结果，这限制了它们在持续遮挡、快速运动或长时间活动场景下的统一性。因此，高保真度的数据采集往往是在简化了杂物、家具遮挡以及家庭交互中的空间约束的受控环境中进行的。
ACE-Data-0通过把同步的多感官数据作为核心数据单元，对这些成果形成了补充。桌面级配置能够解析精细的手部与物体操作过程，而房间级配置则能捕捉整个身体的运动以及分布在布置有家具的家庭环境中的交互行为。这两种配置都通过共享的同步与校准流程，提供第一人称视频、多视角第三人称视频、全身及手部关节运动数据、物体六自由度轨迹、音频以及触觉信号。因此，这些模态在同一时间线和同一空间框架下描述了同一个物理事件，而非作为独立生成的标注数据。这种统一的基准设定支持了从低层信号推断、场景组件恢复到交互理解的连贯性评估进程。
## 2.2 第一人称数据集与基准测试
第一人称视频是从行动主体的视角而非外部摄像头视角来观察活动过程。这种视角自然侧重于与动作相关的物体、手部邻近区域、视线分配以及自身运动带来的即时视觉后果，因此对于具身智能体而言具有特殊意义。与此同时，它也带来了独特的挑战：摄像头持续移动、运动模糊现象频繁、手部常常遮挡被操作的物体，而且行动者的身体有很大一部分会处于视野之外。
大规模数据集首先确立了以自我为中心的感知的广度和自然性。Ego4D [^23] 收集了来自931名佩戴摄像头者、在74个地点拍摄的3670小时未经脚本安排的第一人称视频，其基准测试涵盖了情景记忆、预测、社交互动、物体操控以及音视频理解等领域。HoloAssist [^24] 专注于交互式任务辅助，记录了166小时的指导者-执行者活动数据，这些数据包含同步的RGB-D图像、视线、头部与手部姿态、IMU数据、音频及对话内容；这些信号可用于错误检测、干预预测以及手部运动预测。EgoExo4D [^7] 则通过740名参与者在123种场景下进行的1286小时同步熟练活动录像，将第一人称与第三人称视角联系起来，相关数据还包括音频、视线、语言、摄像头姿态以及3D场景信息。其双视角设计能够实现跨视角活动理解、熟练度评估，以及基于相同底层事件的手部姿态恢复。
以操控为导向的数据集为了获得更精细的物理监督信息，在一定程度上牺牲了行为多样性。$H_{2}O$ [^18] 和 HOI4D [^29] 将第一人称RGB-D观测数据与手部和物体状态相关联，而HOT3D [^14] 则提供了经过校准的以自我为中心的多视角录像，其中包含了手部、物体、摄像头及视线的度量轨迹。EgoDex [^46] 将人类灵巧动作演示扩展到194种任务类型上，总时长达到829小时，这些数据均通过可穿戴式手部追踪设备采集，从而形成了庞大的与人类操控相关的动作数据源。
---
PH2D [^57] 进一步通过机器人兼容的动作表示方式，将人类第一人称演示与人形机器人策略学习联系起来。另一类重要的第一人称经验来源则是机器人演示数据。Fourier ActionNet [^58] 记录了超过3万条遥操作轨迹，总计约140小时的多人形平台灵巧双手操控数据；它将机器人第一人称摄像头的观测结果与语言注释及可执行的机器人动作相匹配。因此，人类以自我为中心的数据集与机器人演示提供了互补的监督信息：前者保留了自然的人类策略以及不受身体形态限制的行为特征，后者则为目标机器人实体提供了直接的动作标签。
近期的人到机器人学习方法越来越多地结合了这些互补的数据源。DexMV [^59]、EgoMimic [^60] 和 EgoBridge [^61] 明确地将人类演示与机器人实体进行对齐或适配。而EgoVLA [^20]、UniVLA [^62] 和 In-N-On [^63] 则从人类视频与机器人演示的混合数据中学习可迁移的动作表示。EgoScale [^48] 和 Emergence of Human to Robot Transfer [^64] 进一步表明，提升迁移效果得益于扩大人类经验、机器人任务及实体形态的规模和多样性。这些进展不仅凸显了第一人称数据的价值，也揭示出行为多样性与物理完整性之间反复出现的两难权衡：大规模的自然化数据集能够捕捉广泛的活动分布和长时间上下文，但无法在每个序列中持续测量全身状态、物体轨迹及物理接触情况；而仪器更为精密的数据集虽能提供更精细的手部或物体监督信息，却往往在空间范围上较为有限，且缺少同步的房间级外部视图、音频或触觉传感等数据。
ACE-Data-0通过将在周围事件中的自我中心观察嵌入到共享的物理表征中，填补了这一空白。可穿戴摄像头保留了实体智能体所能获取的近距离视角，而同步的外中心视图则还原了从第一人称视角常常无法看到的身体和场景上下文。这两种视角均根据头戴设备、人体和物体的运动数据进行校准，从而能够在同一物理基准下直接进行比较与融合。音频和触觉数据流进一步将视觉观察与同一交互所产生的声学和接触后果联系起来。
### 2.3 长时程数据集与基准测试
长时程交互[^13] [^38] [^65] [^66]的定义不仅仅取决于记录时长，还在于动作、物体和场景状态之间持续的依赖关系。在家庭任务中，先前的决策会改变后续的可能性，物体会时而变得相关、时而失去相关性，子任务可能会被中断、重新排序或在其他地方继续。移动和操作同样相互依赖：执行者必须在移动的同时记住物体的位置、中间状态以及剩余目标。这些特性要求模型能够保持任务和场景记忆，而不能将活动视为一系列独立的原子动作。
一些以人为中心的数据集已经开始保留这种更丰富的时间结构。OakInk2[^13]将双手操作划分为层次化的任务组件，而非孤立的抓取动作，从而为研究可供性、运动原语以及复杂任务的完成提供支持。OMOMO[^35]模拟了在长时间交互过程中物体运动与人体全身运动之间的时间耦合关系，揭示了物体轨迹是如何超越单次接触事件来约束人类行为的。Para-Home[^38]记录了来自38名参与者的207个家庭活动序列，总时长约486分钟，使用了70台同步RGB摄像头和可穿戴动作捕捉设备；该数据集着重体现家庭环境中的持续性、并发性和多物体交互特征。HuMoTo[^40]包含735个动作捕捉序列，涉及63个物体和72个关节部件，其任务设计强调有目的性的推进以及连贯的多物体活动。另一类相关研究则是在语义、运动学、群体或音乐条件约束下合成长时间的人类运动[67–69]，这类研究同样依赖于能在长时间内保持连贯性的运动数据。这些数据集共同标志着一项重要的转变——
---
从原子级的HOI片段向场景演变和任务级时间结构转变。
机器人学习数据集从控制层面应对同样的挑战。Mobile ALOHA [^70] 在七项任务中通过 290 次全身遥操作演示，将导航与双手操控结合起来。AgiBot World [^45] 提供了涵盖 217 项任务、超过一百万条轨迹的数据；Galaxea Open-World [^47] 则包含约 100K 条覆盖 150 项任务的轨迹。RoboCOIN [^71] 收录了涉及 421 项任务和 15 种机器人形态的约 180K 条演示数据。RoboMIND 2.0 [^72] 进一步扩展到六种机器人形态下的约 310K 条轨迹和 739 项任务，其中包含 RGB-D 观测数据、移动操控功能、数字孪生资产以及部分触觉数据。从现实到仿真的重建为扩展此类数据提供了另一条路径：HSImul3R [^73] 能在物理循环中重构物理场景，生成可供低成本生成机器人轨迹的仿真环境。近期的研究方法明确指出了长时程行为所需的计算需求。SayCan [^65] 将高层任务推理与可执行技能相结合；MEM [^66] 引入了多尺度具身记忆机制；WholeBodyVLA [^74] 则将视觉-语言-动作学习与全身移动操控整合在一起。DynamicVLA [^75] 专注于移动物体的操控，这类场景需要时间预判与闭环适应能力。EMMA [^76] 和 HoMMI [^77] 则利用以人为中心的演示来降低收集移动机器人轨迹的成本。
不过，以人为中心和以机器人为中心的数据集提供了不同形式的监督信息。人类记录保留了自然的任务分解方式、灵活的子任务排序、犹豫与恢复行为，且很大程度上独立于特定的机器人形态。机器人数据集则提供了可执行的控制信号与精确对齐的观测数据，但其轨迹受限于特定的运动学特性、传感器及遥操作接口。现有资源中很少有能同时结合人类演示的自然行为结构与对应的身体、物体、场景及接触状态的连续测量数据的。这种分离也限制了诊断能力：长时程机器人基准测试往往侧重最终任务是否成功，而人类活动数据集通常聚焦于识别、分割或运动重建。仅凭最终成功与否无法判断失败原因是接触缺失、物体状态估计不准、任务上下文丢失、子任务排序错误还是运动执行不佳。
ACE-Data-0 旨在揭示目标导向型家庭活动中的这些中间结构。参与者接收的是目标层面的指令而非固定的原子化脚本，因此物体选择、任务排序、运动路径、犹豫与恢复行为能够自然产生。由于视觉观测、人与物体的运动、音频及触觉信号在每项任务中均保持同步，该数据集衔接了几何交互基准测试、长时序以人为中心视频以及机器人轨迹语料库，不仅能用于分析发生了什么，还能探究长时程任务执行过程中所涉及的信号、状态及交互动态。
### 3 环境采集引擎
在本节中，我们将介绍专为采集同步多模态数据而设计的环境采集引擎（Ambient Capture Engine, ACE）。具体而言，我们首先概述该系统及其两个规模层级（第 3.1 节），随后详细描述采集系统，包括其部署的家居环境以及其中的传感器配置（第 3.2 节）。
#### 3.1 系统概述
图2展示了ACE的整体架构。要全面记录日常交互过程，采集系统需承担三项任务：它必须捕捉交互过程中产生的所有重要信号，确保这些信号同步并登记到统一的参考框架中，且这一切需在看似真实的家居环境中实现。然而，没有任何单一的安装方案能在所有空间尺度上满足第一项要求：要精准识别手指与物体的接触情况，就需要近距离、密集分布的传感器；而
---
(a) Home floor plan and camera setup of site I.
(b) Home floor plan and camera setup of site II.
Figure 2 Overview of the Ambient Capture Engine. We design two complementary home scenes and capture at two spatial scales, with the equipment installed accordingly.
要追踪人在场景中的移动轨迹，则需要较宽的基线以及覆盖整个房间的传感能力。我们并未在这两种需求之间妥协，而是构建了适用于桌面尺度和房间尺度两种空间规模的ACE系统，目前已在两个场地部署。桌面尺度配置侧重于近距离摄像头、光学动作捕捉系统和触觉手套，旨在实现对精细灵巧的手部与物体操控过程的采集。房间尺度配置则将同样的传感设备部署在布置齐全的公寓中，利用宽基线摄像头和光学动作捕捉系统覆盖整个活动区域，以采集全局运动数据以及分布在场景各处的交互信息。两套系统共享统一的采集与标注流程：所有传感器数据流都会进行时间同步——传感器支持的话在硬件层面实现，否则通过软件完成（详见4.1.1节）；随后将数据登记到统一的世界参考框架中（详见4.1.2节），再添加相关标注信息（详见4.3节）。最终得到的是一个统一的语料库，其中每台摄像头的每一帧画面都能与人类身体的真实状态、每个被追踪的物体以及配套的音频和触觉信号对应起来；这一特性为第5节的基准测试奠定了基础。
#### 3.2 采集系统
勾勒完整体架构后，我们现在来详细了解其物理形态：首先是承载交互活动的环境，然后是用于观测这些交互的传感器。
## 3.2.1 环境设置
ACE的核心设计原则是保留居住型家庭的视觉与物理真实性，同时实现密集的传感器覆盖。实验室采集环境会去除的杂物、家具和空间限制，恰恰是家庭场景交互变得复杂的原因，因此我们的环境特意保留了这些因素。桌面尺度配置围绕一张办公桌搭建，该区域占地30平方米，摆放着来自8个以上类别的25件以上可交互物体，比如刀具、碗具和食品容器。工作区安装了8台外置RGB摄像头，它们被牢固地固定在距离物体0.3–0.5米的支架上，能够完全覆盖操控区域，并以亚毫米级的有效分辨率提供多个同步视角。一套由16台OptiTrack摄像头组成的光学动作捕捉系统安装在共用桁架上，其追踪范围覆盖了整个工作区。图2b展示了桌面尺度配置的概览。另一方面，房间尺度配置是一套面积约200平方米的布置齐全的公寓，包含带岛台的厨房、用餐区、客厅和卧室，室内有25件以上的物体。悬挂在天花板上、横跨整个公寓的桁架上安装了RGB摄像头和光学动作捕捉系统：8台外置RGB摄像头就挂在桁架上，
---
Table 2 Capture hardware of ACE for synchronized multi-modal recording. Quantities are the totals for both configurations combined; a dash mark is an example that does not apply to that device.
| Device | Role | Qty | Resolution / rate | Notes |
| OptiTrack PrimeX 22 | Optical motion capture | 28 | $2048 \times 10^{88}$, 60 Hz | IR tracking: 41 body markers, objects, ego rig |
| ZED One | Exocentric RGB capture | 8 | $1920 \times 10^{80}$, 30 FPS | GMSL2 to a single Jetson Orin host; shared frame trigger |
| GoPro | Exocentric RGB capture | 8 | $1920 \times 10^{80}$, 30 FPS | Rigidly mounted on stands; audio-triggered recording |
| ACE-Ego-Head-V02 Lite | Egocentric capture | 4 cameras | $4 \times 10^{88}$ $\times$ 1280, 20 FPS | One headset: front/back fisheye pairs, IMU, 5 markers |
| Manus | Hand pose | 2 gloves | 60 Hz | Per-finger articulation, both hands |
| ACE-Sense-Glove Lite | Contact pressure | 2 gloves | - | Full-palm pressure map, both hands |
| Jetson Orin | Recording host | 1 | - | Ingests all ZED One streams;\nNatNet-coordinated |
| Motive host (PC) | Mocap host, sync reference | 2 | - | Renders the optical clock for cross-system sync |
每台设备都安装在可调节的伸缩杆上，以便微调其高度和视角，从而即使有家具遮挡，也能从至少4个角度看到活动区域内的任何位置；12台OptiTrack摄像机也安装在同一桁架上，通过调整它们的位置和朝向，使整个公寓都能被纳入同一个追踪范围内。图2a展示了房间级配置的概览。
### 3.2.2 硬件设置
在这些环境中，传感器套件被精心组装，以确保交互的方方面面——从人类所看到的内容、身体和物体的运动方式，到交互时的声音和触感——都有对应的传感器来采集数据。我们的两套系统共享这一套传感器，仅在传感器的选择和布置上有所不同，具体如表2所示。
以自我为中心的摄像头。两套系统中的参与者都佩戴由ACE Robotics生产的ACE-Ego-Head-V02 Lite设备，这是一种头戴式以自我为中心的捕捉装置，配备四个分别朝向正前左、正前右、正后左和正后右的鱼眼摄像头，能够以20帧/秒的速率录制$1088 \times 1280$，并内置惯性测量单元。该设备上还贴有五个OptiTrack标记，用于确定其初始位置以及捕捉过程中的实时六自由度姿态。这有助于将这类以自我为中心的视频流与其他所有传感器的数据统一到同一个世界坐标系中。
非以自我为中心的摄像头。在桌面级配置中，每个工作区周围会布置8台近距离GoPro RGB摄像头（分辨率1920×1080，帧率30帧/秒），它们被牢固地安装在支架上；而在房间级配置中，则使用8台宽基线ZED One RGB摄像头（分辨率1920×1080，帧率30帧/秒）来覆盖整个公寓。
人体运动数据。每位参与者都穿着一套动作捕捉服，全身关节处共贴有41个标记（包括头部周围的3个标记），这些标记由OptiTrack系统（PrimeX 22型号；房间级配置使用12台摄像机，桌面级配置使用16台摄像机）以60赫兹的频率进行追踪，从而生成包含41个关节的骨骼模型。此外，手部姿态数据在房间级配置中通过Manus动作捕捉手套以60赫兹的频率采集；在桌面级配置中，则是先通过非以自我为中心的摄像头提取二维手部关键点，再利用RANSAC算法进行三角测量，最后经过人工修正得到。
物体运动数据。每个可交互物体首先通过3D扫描或2D高斯泼溅重建技术[^78]转化为网格模型，随后在其上绑定OptiTrack标记，这些标记会与网格模型在追踪系统中关联起来。
---
Figure 3 Overall workflow of ACE. Each participant wears the motion-capture suit before the multi-modal recording. Synchronization is conducted after data export to align the timeline of each modality. Finally, we annotate the collected data with rich and high-quality labels derived from the captured ground truth.
这样，系统就能以60赫兹的频率生成六自由度的轨迹数据，从而将物体的精确几何形状定位到世界坐标系中。
音频数据。我们通过GoPro非以自我为中心的摄像头以及ACE-Ego-Head-V02 Lite设备来采集音频，用以记录接触事件、电器运行声以及场景环境音。
触觉数据。参与者佩戴全掌触觉手套，用于记录手掌和手指区域的接触压力分布。
#### 4 ACE-Data-0
在搭建好捕捉系统之后，本节将介绍ACE-Data-0数据集。具体而言，4.1节阐述了数据采集流程，涵盖了捕捉工作流程、多模态记录、传感器同步以及校准等内容。4.2节说明了数据采集过程，包括任务设计、捕捉设置、数据集统计信息以及所包含的数据模态。最后，4.3节介绍了该数据集附带的标注内容以及标注生成流程。
#### 4.1 数据采集流程
上述传感器会产生十几种异构数据流，只有当这些流在时间和空间上能够精确关联时，它们才有实用价值。本小节首先介绍如何对数据流进行时间对齐（4.1.1节）和空间对齐（4.1.2节），随后说明实际采集过程中采集会话的操作方式（4.1.3节和4.1.4节）。图3展示了ACE的工作流程概览。
#### 4.1.1 传感器同步
时间对齐是多模态采集的基础：摄像头、动作捕捉系统、物体追踪器和触觉传感器各自使用独立的时钟，运行速率各不相同；即便只有几毫秒的偏差，也足以破坏接触层面的标注信息，导致手部在触觉流记录到触碰动作之前数帧就显示为已闭合状态。
---
Figure 4 Synchronized modalities captured by ACE. ACE is capable of capturing synchronized multi-modal data, including egocentric and exocentric videos, audio, and human and object motions, etc.
我们以OptiTrack时钟作为参考，因为该追踪系统内部会同步其摄像头，并以严格的同步60Hz帧率输出标记点位置；其余设备会依次与该时钟对齐。
外置摄像头：(1) 在房间级配置中，ZED One摄像头通过GMSL2接口由单台NVIDIA Jetson Orin主机采集数据，该主机的采集卡会从同一个帧触发信号驱动所有摄像头，因此采集到的数据天生就是对齐的。随后需分两步将其与OptiTrack时钟对齐。首先，通过局域网协调录制过程：摄像头主机通过NatNet协议订阅OptiTrack数据流，并与动作捕捉录制过程同步启动和停止。这种方式能限定录制的时间范围，但缺乏共享时钟的网络协议无法对齐单个帧。遗憾的是，录制的时间戳无法填补这一缺口：它们比真实的曝光时刻滞后约0.29秒，且这种滞后还会随时间缓慢变化。为解决这一问题，我们让外置摄像头拍摄一个“时钟”——即二维码。具体来说，动作捕捉主机电脑会在显示器上以纳秒级分辨率显示当前时间。从录制的帧中读取该时间，就能得到该帧在动作捕捉时间下的精确采集时间。我们会在一次录制中对这类读数进行采样，并拟合出一条曲线（包含固定偏移量和缓慢漂移量）。最终，对齐后的残差控制在毫秒级别，不会超过单个动作捕捉帧的时间范围。(2) 在桌面级配置中，GoPro摄像头通过对齐其音频流来实现同步。
头戴式摄像头：ACE-Ego-Head的四路鱼眼视图由设备自带控制器驱动，经测量其相互间的偏差小于2毫秒。(1) 在房间级配置中，与OptiTrack时钟的对齐沿用上述光学时钟方案，但存在一个复杂情况：头戴式摄像头朝向双手及佩戴者背部，录制过程中无法看到显示器。因此，每次录制开始时，佩戴者会有意瞥向显示器，将ACE-Ego-Head的一台摄像头对准显示器约10秒。从这些帧中读取时间，就能得到头戴式摄像头的时钟与OptiTrack时钟之间的偏移量。随后设备的共享时钟会将这一偏移量同步到其他三路视图中，从而实现整体同步。(2) 在桌面级配置中，GoPro摄像头和头戴式摄像头会读取显示器上显示的同一二维码时钟。
---
Figure 5 Calibrated cameras in the room-scale configuration. The blue cameras represent the OptiTrack PrimeX 22 for motion capture; the green cameras denote the ZED One for capturing exocentric RGB videos; the orange camera is one of the egocentric cameras in ACE-Ego-Head.
运动捕捉主机，类似于房间尺度设置中的设备；它可将通过音频已相互同步的GoPro视频流与头显时钟对齐。随后，通过将头显内部估算的姿态（基于AprilTag追踪技术）与光学标记所追踪的对应姿态进行匹配，将以自我为中心的头显对齐到OptiTrack系统，从而完成从GoPro摄像头经头显到OptiTrack时间线的整个流程。通过这些步骤，即可将两种配置下的所有设备都注册到OptiTrack时间线中。
其他传感器。触觉手套借助其内置的IMU信号与ACE-Ego-Head保持同步。每次拍摄开始时，操作员会做出简短的动作模式，同时保持手和头的相对静止，从而在手套和以自我为中心的头显之间产生相关的IMU信号。我们通过匹配这一动作模板来对齐这两路数据流，从而实现时间上的同步。
验证与输出。作为独立验证，我们发现校准过程中重新估算的各摄像头时间偏移量（见4.1.2节）小于4毫秒，这证实了对齐效果。所有确定的偏移量会被整理进一张针对每次拍摄的表格中，该表格将每一帧摄像头画面——无论是外置摄像头还是以自我为中心的摄像头画面——都映射到60Hz的运动捕捉帧上。后续处理仅需使用该表格即可。图4展示了同步采集的示例。
#### 4.1.2 校准
同步操作负责在时间维度上对齐数据流，而校准则是在空间维度上完成注册。两种摄像头系统面临的挑战截然不同：外置摄像头虽位置固定却视野重叠度低，而以自我为中心的摄像头每帧都会移动。这两种校准流程分别如图5和图6所示。
外置摄像头。常规的多摄像头校准假设摄像头需能同时观测到同一目标。但我们对外置摄像头的稀疏布置打破了这一前提。
---
Figure 6 Calibrated cameras in the table-scale configuration. The blue cameras represent the OptiTrack PrimeX 22 for motion capture.
我们假设大多数摄像头对之间没有共同视野区域，因此转而通过动作捕捉系统来连接这些摄像头。具体来说，我们使用一块ArUco板[^79]作为校准目标，该板的每个角上都有反光标记。这一实体物体能够同时被所有传感系统识别：RGB摄像头能看到ArUco板上的印刷图案，而OptiTrack红外摄像头则能同时看到该图案以及反光角标记。因此，这块板无需让任意两个摄像头共享视野，就能将RGB摄像头与动作捕捉空间统一到一个参考系中。随后，校准过程分为三步：（1）首先，红外摄像头会估算出角标记在板上的实际位置。需要注意的是，这些标记是手工粘贴的，因此其精确位置事先并不可知。通过对数千种板姿态下的估算结果进行汇总，可将此步骤的误差缩小到毫米级。（2）其次，在确定标记位置后，仅凭这些标记就能以亚毫米级的精度确定每一帧中板的姿态。（3）最后，将每台RGB摄像头的坐标与该以标记为基准的板运动轨迹对齐。此步骤并非所有观测数据都能发挥作用：(i) 板正在移动时的帧会被舍弃，因为运动会导致残余时间误差增大；(ii) 图像边缘附近的检测结果也会被舍弃，因为该区域的畸变模型可靠性最低。最后的联合优化步骤会利用所有摄像头的 data 重新估算板的姿态，再依次调整每台摄像头参数。在整个过程中，被追踪的标记始终占据主导地位，确保解决方案锚定在动作捕捉坐标系中。在预留的测试帧上，每台摄像头的中值重投影误差均低于3像素，相当于在常规距离下约1厘米的3D误差。
以自我为中心的摄像头。移动式云台并非由单一姿态描述，而是每一帧对应一个姿态。考虑到我们的场景中，以自我为中心的视角主要被佩戴者自身的手臂和躯干占据，且前后摄像头对没有共享视野，因此仅靠视觉技术（如SLAM）来恢复这一轨迹是不可靠的。所以我们不估算摄像头的位置，而是直接测量它们。ACE-Ego-Head机架上的五个标记构成一个刚体，OptiTrack能以60Hz的频率对其进行追踪。剩下的唯一未知量就是每台鱼眼摄像头到该刚体的固定变换关系，这属于典型的手眼标定问题[^80]。我们首先为每台摄像头独立求解该变换关系。随后通过联合束调整[^81]来同步优化这四个变换关系，同时将所有摄像头共享的板姿态以及每台摄像头的时差设为额外的自由变量。我们也仅使用低角度速度的帧进行拟合，因为运动会导致时间误差增大。最终的中值重投影误差约为2像素。校准完成后，生成某次拍摄的摄像头姿态时完全无需使用图像。OptiTrack能以60Hz的频率追踪以自我为中心的摄像头云台，而摄像头则以20帧/秒的速度录制；对于每一帧以自我为中心的画面，我们只需将云台的追踪姿态插值到该帧的时间戳，再应用对应的手眼变换即可。因此每个姿态都是测量得出的而非估算的，不会出现漂移现象。
---
我们仅使用低角度速度的帧进行拟合，因为运动会导致时间误差增大。最终的中值重投影误差约为2像素。校准完成后，生成某次拍摄的摄像头姿态时完全无需使用图像。OptiTrack能以60Hz的频率追踪以自我为中心的摄像头云台，而摄像头则以20帧/秒的速度录制；对于每一帧以自我为中心的画面，我们只需将云台的追踪姿态插值到该帧的时间戳，再应用对应的手眼变换即可。因此每个姿态都是测量得出的而非估算的，不会出现漂移现象。
其他校准工作。上述两种流程解决了摄像头的位置问题。其余的校准工作则针对每个传感器本身。对于摄像头而言，这涉及内部参数：外置摄像头使用出厂参数，而内置鱼眼摄像头则通过Kalibr进行校准[^82]。对于物体而言，这涉及几何参数：每组标记点只需与扫描或2DGS重建的网格进行一次注册，这样就能通过跟踪标记点将整个物体定位到世界坐标系中。所有这些数据每天都会重新验证两次。结合上述的同步机制，我们便构建了一个统一的时空框架，后续的所有标注和基准测试都基于此框架展开。
### 4.1.3 采集工作流程
完成对齐后，两个采集站点均采用相同的五步协议来执行每次采集任务。（1）场景准备：将物体放置在随机但合理的初始位置。（2）参与者设置：参与者穿上动作捕捉服、ACE-Ego-Head头戴设备以及手套，然后完成一套简短的T字姿势动作，以便将他们的骨骼模型与追踪系统对齐。（3）任务说明：参与者会收到口头形式的目标级指令；如何实现该目标则完全由他们自行决定。（4）录制：如4.1.1节所述，录制从查看时钟开始，随后所有传感器持续记录数据，同时操作员会在实时仪表板上监控数据流状态。（5）事后检查：每次录制结束后都会验证同步情况和追踪质量，若录制失败则会标记为需要重新采集。
#### 4.1.4 多模态记录
在采集工作流程的第（4）步中，各系统会同时采集以下数据：（i）外置RGB视频流；（ii）带有IMU数据的4路内置鱼眼视频流；（iii）频率为60 Hz的全身动作及手部姿态数据；（iv）频率为60 Hz的所有被跟踪物体的6自由度姿态数据；以及（v）触觉信号。所有数据流均根据4.1.1节中确定的公共时钟进行时间戳标记。一小时的采集会话大约会产生1 TB的原始数据。
#### 4.2 数据采集
前几小节介绍了采集设备的相关情况；接下来要解决的问题是如何利用这些设备进行采集。我们将分别介绍任务设计（4.2.1节）、采集设置（4.2.2节）、生成的数据集统计信息（4.2.3节），以及每个发布的序列中所包含的数据类型（4.2.4节）。
#### 4.2.1 任务设计
ACE-Data-0的长时程特性源于其任务设计。所谓长时程任务，指的是持续时间以分钟计而非秒计的活动，这类活动可分解为一系列子动作，其顺序由任务目标决定而非预先固定。例如，“泡一杯茶并端到桌上”这一任务就包含一系列人与物体的交互过程：参与者走到橱柜前、打开柜门、取出杯子、往水壶里注水、等待水烧开、取出茶包、倒水、搅拌、端着杯子穿过房间，再腾出空间放下杯子。因此，单次采集过程可能涵盖规划、移动和精细操作等多个环节。
然而，大多数HOI数据集却规定了原子化的动作[^12] [^15] [^16] [^18]，仅单独采集某次抓取或传递动作。为弥补这一不足，我们设定了家庭场景下的目标任务，让参与者自行决定实现方式。不同参与者对子任务的排序、抓取方式以及对物体的选择各不相同，如此一来，真实行为中的多样性便自然融入了数据中。
---
Figure 7 Examples of different task categories captured in ACE-Data-0.
理解方式不同，抓取的对象也不同，因此真实行为的差异性会自行体现在数据中。
具体来说，我们记录了三种类型的任务：
- 原子级HOI任务包含一到三个家务活动，这些活动取自超过15种家务类型，例如倒水、饮水、泡茶、给植物浇水、切菜、做饭以及整理；每项任务耗时较长。它们各自提供了干净且独立的日常操作实例，也是最容易从中学习技能的单元。
• 链式HOI任务将一系列短任务组合成一次持续约二十到三十分钟的连续活动。子任务可以自由交错进行，但每次任务结束时场景都会被重新整理整齐，从而形成一个完整的家务活动循环。与原子级HOI任务相比，这类任务对长期规划能力、状态跟踪能力以及记忆力的要求更高，复杂程度也更大。
- HSI任务几乎不涉及物体，重点在于与桌子、椅子和沙发等场景元素的互动。这类任务记录的是全身动作，如行走和锻炼，以及人与场景的接触方式，如坐下、躺下和倚靠，每次任务时长约为五分钟。这些动作完善了人形机器人必须掌握的行为范围。
为了确定这些录制内容应包含哪些任务，我们调查了日常生活中出现的各类任务，并据此设计了原子级HOI任务、链式HOI任务和HSI任务。图7展示了不同任务类别的示例。
#### 4.2.2 采集设置
为了完成这些任务，我们招募了50名参与者。每位参与者需在为期两天的时段内完成所有设计的任务。数据的多样性体现在两个方面。从人类参与者角度看，目标层面的指令具有开放性：参与者的起始点、行进路线、所选互动方式以及各步骤耗时均存在差异。从物体角度看，不同任务中出现的物体类别和数量、物体的摆放位置、起始与结束点，以及它们的运动轨迹和方式也各不相同。
---
Figure 8 Overview statistics of ACE-Data-0. ACE-Data-0 covers three types of interaction tasks: atomic HOI tasks, chains of HOI tasks, and HSI tasks.
### 4.2.3 数据集统计
此次采集工作共获得超过150小时的同步多模态数据，包含超过1700万帧图像，涵盖逾75,000个片段。我们将实现某一有意义子目标的连续互动段落定义为一个片段，这是用作训练样本时语义上保持独立的最小单元。片段是在任务过程中计数的，而非单独记录，因此每个片段前后的上下文——即 preceding 和 following 的动作——会被保留在同一数据流中。在ACE-Data-0中，即使是最短的任务也持续数分钟而非几秒，其时长大约是典型HOI视频的十倍 [^12] [^15] [^16] [^18]。图8展示了任务类别、任务时长、物体类别等的分布情况。
#### 4.2.4 模态
发布出来的任务数据不仅包含4.1.4节中的原始数据流，还包含了4.1节流程从中提取的所有信息，且这些信息处于同一帧率和同一时间线上。具体来说，每个任务数据包含：
• 第一人称视频：四个鱼眼视角画面、对应的IMU读数，以及来自追踪装置的每帧6自由度头戴设备姿态数据；
• 第三人称视频：所有视角画面，每个视角都附有内参参数及其在世界坐标系中的姿态信息；
- 人体运动数据：包含41个关节的身体骨骼模型、精细的手部姿态，以及转换后的SMPL-X运动参数 [^83]；
- 物体运动：每个物体具有6自由度轨迹，对于超过50个实例，还提供了扫描或2DGS重建的网格数据；
---
Figure 9 Examples of data annotation for captured objects. ACE-Data-0 provides rich annotations for the captured objects, including name tags, 6-DoF poses, bounding boxes, and motion trails.
Figure 10 Examples of data annotation for the captured human body and hands. ACE-Data-0 provides ground-truth poses for both the human body and hands. We also project the poses to both egocentric and exocentric videos for better embodied AI learning with visual inputs.
- 音频：从GoPro外置摄像头和头戴式耳机同步录制的多声源音频；
- 触觉数据：将手套传感器的原始数据重新映射为手形压力网格，并经过校准归一化和基线校正。
#### 4.3 标注
上述原始信号在添加标注后会变得更有用处。我们将介绍ACE-Data-0提供的标注类型（4.3.1节）以及它们是如何大规模生成的（4.3.2节）。
---
Figure 11 Examples of data annotation for captured hands. ACE-Data-0 provides ground-truth poses for human hands. We also project the poses to both egocentric and exocentric videos for better embodied AI learning with visual inputs.
Figure 12 Examples of data annotation for tactile signals. ACE-Data-0 provides ground-truth full-hand grasp pressure values, resolving interaction events that remain ambiguous under visual occlusion.
## 4.3.1 标注类型
ACE-Data-0提供五种类型的标注，它们共同描述了每一次拍摄的细节：参与交互的物体、演员身体的姿态、操作过程中手部的关节活动、手与物体之间的物理接触，以及活动本身的声学和语义描述。具体来说，物体标注（见图9）包括每个被追踪物体的类别标签、边界框以及每帧的6自由度位姿，还有物体在拍摄过程中留下的运动轨迹。人体标注（见图10）提供了每次拍摄中的全身位姿，而手部标注（见图11）则进一步细化到灵巧操作期间的手指关节配置。触觉标注（见图12）记录了接触的时间和空间分布，能够解析出视觉遮挡下难以辨别的互动事件。音频和语言标注（见图13）将录制的音频流与自然语言描述配对，用以识别交互产生的声音事件，比如物体被放在表面上或容器被打开，同时还会说明每次拍摄的目标以及实现该目标所经历的子目标序列。
---
Figure 13 Examples of data annotation for audio and language description. ACE-Data-0 provides natural language descriptions aligned with the timeline of measured activities.
校准与同步。每次拍摄都附带每台摄像机的内部参数、摄像机在共享世界坐标系中的位姿，以及用于对齐所有传感器数据流的时间线。这些是4.1节的输出结果并以数据形式发布：借助它们，任何被追踪的3D点都可以投影到任意视图的任意像素上，任意两个数据流也能在任何时刻配对。因此用户可以自由组合多种模态用于训练，将其中任意子集作为输入和监督信号，无需重新运行我们的处理流程。
人体位姿。捕获到的身体和手部位姿会被重新投影到每台摄像机的每一帧上，从而生成与3D捕获结果一致的逐视图2D网格叠加图。由于这些投影源自实测的3D状态而非基于图像的检测器，因此在检测器通常失效的场景下——比如家具遮挡、极端视角和运动模糊情况下——它们仍能保持准确性。因此每一帧都包含了每个视图中像素对齐的2D位姿以及世界坐标系下的度量级3D位姿。
触觉标签。每一帧都记录了触觉手套的触觉读数，这些读数与视觉数据流及当前使用的物体标签在时间上对齐。这样一来接触情况就能被直接检测而非推断：信号直接来自传感器表面，而非依靠外观或重建几何之间的接近程度来判断。这些读数标记了互动发生的时间及方式，也是大多数HOI任务起始的锚点。
物体标注。每个物体实例都包含其扫描或2DGS重建的网格、每帧的6自由度位姿、所有视角下的2D/3D边界框，以及其在整个拍摄过程中的运动轨迹。网格和位姿共同确定了物体在每一时刻在场景中的精确几何位置；而边界框和运动轨迹则是它们在各摄像头中的投影。因此，我们可以随时查询某个物体的完整历史记录，包括它曾位于何处、何时移动以及最终停在哪里。
音频描述。每次拍摄都会记录由头戴式自拍设备以及GoPro摄像头采集的多声道音频，这些音频与视觉流共享同一个同步时钟，因而能与位姿、物体及触觉标注对齐到同一时间线上。音频分为两类：一类是交互本身产生的声音，比如物体被放置在表面上或液体被倒入杯中；另一类则是家庭环境中的背景音，包括家电运转声、脚步声以及房间回声。由于音频是从演员自身的视角采集的，声学视角会随参与者移动而变化，因此同一声音事件在不同距离下的响度和空间特性也会有所不同。
---
Figure 14 Three hierarchical benchmark levels. Our benchmarked levels, i.e., low-level signal inference, scene component recovery, and interaction estimation, exactly mimic how human beings and embodied AI would perceive real-world environments.
文本描述。Gemini-3.1-pro-preview [^84]会观看自拍视频，并用自然语言描述每个时间段内的情况：人物正在做什么，场景中发生了什么。这些描述让每段拍摄内容都具有可检索的故事线，并将物理记录直接与语言关联起来，这种形式正是视觉-语言和视觉-语言-动作模型可以直接使用的。
### 4.3.2 标注流程
要生成如此全面的标注通常需要耗费巨大的手动工作量。ACE系统避免了大部分此类工作，因为在五种标注类型中，除了文本描述外，其余均为实测数据而非估算值。人类和物体的状态都被精确追踪，每台摄像头都经过校准，接触事件也能被直接感知。因此，位姿投影、边界框、运动轨迹以及接触事件都是根据记录的状态通过投影和触觉传感得出的，无需借助估算模型。文本描述是唯一需要生成的类型：Gemini会根据自拍视频逐段生成描述。最后，人工标注员会检查自动生成的标签，并手动修正描述内容。
#### 5 基准测试
在介绍了ACE-Data-0数据的采集和标注过程后，我们接下来用它来评估现有方法，目的是诊断当前方法在处理长时程家庭场景数据时的不足之处，并指明可能的解决方向。该基准测试分为三个层级，从信号层到组件层，再到交互层，每一层都建立在前一层的基础之上：低层信号推断直接作用于原始感官数据流，即从视频预测触觉信号（第5.1节）；场景组件恢复则将这些信号整合成3D人体组件（第5.2节）；而交互估计则是从自拍和外拍视角中恢复出人类操作物体时的手部运动（第5.3节）。这一递进过程反映了具身智能体在家庭环境中行动时所必须依次具备的感知能力：感知接触、估算场景状态，以及掌握手-物协调技巧（见图14）。我们将10小时的拍摄数据保留下来作为测试集，
---
Table 3 Tactile estimation from ego-view on ACE-Data-0.
| Method | Temp Acc. $\uparrow$ | C-IoU $\uparrow$ | V-IoU $\uparrow$ | CoP $\downarrow$ |
| PressureVision [^85] | 0.0093 | 0.0007 | 0.0000 | 10.9807 |
| EgoPressureDiff [^86] | 0.2912 | 0.0197 | 0.0025 | 8.5152 |
| TouchAnything [^87] | 0.7095 | 0.1646 | 0.1357 | 6.5846 |
用于本报告中的所有基准测试评估。除非另有说明，基线方法均使用其官方发布的预训练检查点进行评估，以确保比较的公平性。
### 5.1 低层信号
我们从交互产生的原始感官信号入手，其中触觉占据着特殊地位。视觉告诉观察者物体的位置；触觉则告知操作者抓取是否成功、应施加多大的力度，以及物体何时开始滑落。机器人对这类信号的需求与人类一样迫切，但接触传感在实际应用中却十分稀缺：触觉硬件既昂贵又易损坏，大多数已部署的平台上都没有配备，而摄像头却随处可见。因此，若能从视频中解读出触觉信息，就能将最普遍的传感器转化为最稀缺传感器的替代品。ACE-Data-0让这种映射关系变得可学习：通过第4.1.1节的同步机制，每一帧视频都能与同一时刻记录的触觉读数相匹配。
#### 5.1.1 从视觉中获取触觉信息
视觉观测只能提供关于物理接触的间接证据。这种模糊性在自我中心视角下尤为严重：当施加压力时，操作的手往往会遮挡指尖以及被接触物体的区域。
任务：给定一段人类与物体交互的自我中心视频，目标是预测每一时刻整只手的抓握压力。我们将预测得到的压力分布与触觉手套采集的同步测量数据进行对比评估。
评估指标：我们采用四种互补的指标。时间准确性用于衡量交互序列中逐帧的接触状态预测结果；接触IoU（C-IoU）用于评估经过阈值处理后的预测接触区域与真实接触区域的空间重叠程度，而体积IoU（V-IoU）还会通过最小值-最大值聚合方式考虑压力大小因素；压力中心（CoP）误差则用于衡量指尖和手掌处预测压力中心与真实压力中心之间的空间距离，数值越小说明接触定位越准确。
基准方法：我们利用已发布的预训练权重对三种基准方法进行评估。Pressure-Vision [^85]利用卷积编码器-解码器直接从RGB观测数据回归出像素级对齐的压力图。EgoPressureDiff [^86]将压力估计问题转化为条件扩散问题，并采用了预训练的视频扩散骨干网络。TouchAnything [^87]则通过跨视图融合和视图丢弃训练，学习通用的视觉到触觉表征。
实验结果：表3展示了近距离桌面场景录制数据的实验结果。PressureVision几乎无法给出有意义的接触预测，其C-IoU和V-IoU值均接近零，且CoP误差最大。EgoPressureDiff在时间接触识别和压力定位方面有了显著提升，但其空间重叠程度仍然有限，这说明检测接触发生的时间比还原手上压力的分布要容易得多。相比之下，TouchAnything在四项指标上均表现出最优性能。其在时间准确性和空间重叠方面的优势尤为明显，这表明更广泛的视觉-触觉训练和跨视图建模有助于提升其在ACE-Data-0所涵盖的各类交互场景中的表现。不过，其绝对的C-IoU和V-IoU值仍不算高，且剩余的CoP误差也表明精确的压力定位依然颇具挑战性。尤其是，模型可能能够正确识别接触的存在，却无法在手-物遮挡的情况下还原出压力的精确位置和强度。
---
Table 4 Human motion estimation on ACE-Data-0. All metrics in mm.
| Method | PA-MPJPE $\downarrow$ | PA-PVE $\downarrow$ | MPJPE $\downarrow$ | PVE $\downarrow$ | WA-MPJPE $\downarrow$ |
| — Single-view exocentric, per-frame — |
| Multi-HMR [^89] | 110.5 | - | 115.3 | - | - |
| Multi-HMR2 [^90] | 85.5 | - | 92.8 | - | - |
| SAM-3D-Body [^91] | 71.0 | - | 76.4 | - | - |
| PyMAF-X [^92] | 94.7 | 177.5 | 99.9 | 177.0 | - |
| PARE [^93] | 98.7 | 132.3 | 102.0 | 134.8 | - |
| CameraHMR [^94] | 78.7 | 98.7 | 85.7 | 105.2 | - |
| OSX [^95] | 59.2 | 73.7 | 62.5 | 76.6 | - |
| — Single-view exocentric, temporal — |
| SMPLer-X [^96] | 57.0 | 70.2 | 59.8 | 71.7 | - |
| SMPLest-X [^97] | 55.7 | 65.8 | 58.8 | 67.6 | - |
| Humans-in-4D [^98] | 77.1 | 94.4 | 79.6 | 96.4 | - |
| GVHMR [^99] | 88.0 | 104.1 | 96.3 | 112.0 | 217.1 |
| WHAM [^100] | 131.1 | 160.2 | 144.0 | 166.4 | 243.1 |
| EasyMoCap [^101] [^102] | 103.4 | 155.8 | 106.0 | 156.1 | 256.2 |
| — Single-view exocentric, scene-aware — |
| Phy-SIC [^55] | 64.3 | 78.9 | 71.3 | 84.6 | - |
| UniSH [^103] | 80.0 | 111.2 | 82.8 | 114.0 | 196.3 |
| JOSH [^104] | 64.0 | 89.2 | 69.9 | 95.0 | 245.1 |
| Human3R [^105] | 60.1 | 75.4 | 63.5 | 80.6 | 180.2 |
| — Multi-view exocentric — |
| MAMMA [^106] | 70.1 | 86.8 | 74.8 | 89.6 | 230.8 |
| U-HMR [^107] | 134.4 | 176.0 | 150.2 | 179.2 | - |
| HSfM [^108] | 92.8 | 133.8 | 93.8 | 134.8 | - |
| — Egocentric — |
| EgoEgo [^109] | 159.6 | 245.3 | 163.4 | 263.9 | 306.2 |
| EgoAllo [^110] | 131.7 | 196.8 | 147.9 | 220.3 | 252.2 |
总体而言，研究结果揭示了现有触觉估计模型存在显著的泛化差距，同时也表明自我视角下的压力重建是一项极具挑战性的基准任务。要实现稳健的性能，不仅需要识别接触事件，还要能从视觉上模糊且常被遮挡的交互中解析出精细的压力分布。
### 5.2 场景组件
前一部分探讨了交互的感知体验，而这一部分则关注场景中各组件的位置及其随时间的变化情况。在原始传感器信号与对交互的理解之间，存在着场景的三维状态：身体的姿态、手部的关节活动，以及每个物体的六自由度姿态。这些状态正是大多数视觉处理流程首先估算的内容，也是后续各个模块所依赖的数据。
然而，在家庭场景中，这些状态的可靠性尚未得到充分量化。野外拍摄的视频缺乏可对比的真实数据，具备度量级真实标签的数据集仅局限于实验室环境，而在真实环境中采集的数据集则是由正在被评估的方法自行标注的。ACE-Data-0 消除了这一障碍，它在布置了家具的家居场景中提供了度量级的真实标签，从而使现有的估算器能够在实际部署条件下接受评估。因此，我们在本部分对人体运动估计进行基准测试。手部关节活动将在下一章节单独讨论，因为灵巧操作才是其最为重要的应用场景。物体姿态估计则留待未来研究：目前适用的方法太少，不足以支撑有意义的比较，不过已发布的真实标签可直接用于此类评估 [^88]。
---
#### 5.2.1 人体运动估计
在家庭环境中进行人体运动估计仍面临诸多挑战。家具常常会在序列的大部分时间内遮挡下半身；常见的家务动作，如蹲在橱柜前、伸手够高处的物品或躺在沙发上，也与许多训练数据集中以直立姿态为主的样本存在差异。此外，每次拍摄可能持续数分钟，这使得帧级别的小误差会逐渐累积，进而导致估算出的全局轨迹出现较大偏差 [^33] [^55] [^99] [^100]。我们的数据集涵盖了这些挑战，并为整个序列提供了度量级的运动真实标签。
任务：给定一次拍摄中的视觉观测数据，目标是随时间估算出关节化的身体姿态。逐帧处理方法会针对单张图像进行处理，而时序处理方法则会利用完整的视频序列。对于输出世界坐标系下结果的方法，还需能恢复人在场景中的全局轨迹。
我们将所有预测结果与运动捕捉得到的真实标签进行对比评估。评估涵盖三种输入设置：多视角外摄视频、单视角外摄视频以及第一人称视角视频。评估对象也包括三类方法：逐帧方法、时序方法和场景感知方法。由于所有设置都使用相同的真实标签，因此评估结果能够直接反映出视角、时序信息和场景上下文所产生的影响。
指标。我们报告了五个指标，按从局部到全局的顺序排列。PA-MPJPE和PA-PVE [^111]用于评估经过Procrustes对齐后的关节姿态以及恢复的身体表面，这些指标与全局位置和方向无关。MPJPE和PVE [^83] [^112]则用于评估保留全局方向时的相同量。WA-MPJPE [^99] [^100]用于评估在整个路径进行一次对齐后，在世界坐标系中的全局轨迹。
基准方法。我们评估了22种方法，涵盖了所有主要的人体运动估计类别。对于单视角外摄输入，这些方法包括逐帧处理方法（Multi-HMR [^89]、Multi-HMR2 [^90]、SAM-3D-Body [^91]、PyMAF-X [^92]、PARE [^93]、CameraHMR [^94]以及OSX [^95]），基于视频的方法（SMPLer-X [^96]、SMPLest-X [^97]、Humans-in-4D [^98]、GVHMR [^99]、WHAM [^100]以及EasyMoCap [^102]），以及它们的场景感知对应方法：前者的Phy-SIC [^55]，后者的Uni-SH [^103]、JOSH [^104]和Human3R [^105]。对于多视角外摄输入，我们评估了MAMA [^106]、U-HMR [^107]和HSfM [^108]。对于自摄输入，我们评估了EgoEgo [^109]和EgoAllo [^110]。所有方法均使用其发布的预训练权重运行。据我们所知，这是迄今为止在真实家庭场景中开展的最全面的人体运动估计评估。
结果。我们主要在房间规模的录制数据上进行评估，这些数据包含了人体移动、家具遮挡以及数分钟的连续运动。定量结果见表4，其中有三点发现尤为突出。
首先，结果显示局部姿态估计与全局轨迹恢复之间存在明显差距。几种方法在Procrustes对齐指标上取得了优异的结果，其精度接近在标准基准测试中所报告的精度。这表明即使在家庭环境中的遮挡和非常规姿势下，它们仍能恢复出准确的关节姿态。然而，它们在世界坐标系中的轨迹误差仍然较高。局部姿态指标的排名也与全局轨迹指标的排名不同。换句话说，即便能在每一帧中正确估计出身体姿态，也并不保证能得出整个序列的精确运动路径。
其次，场景感知方法与时序方法之间的比较进一步揭示了场景信息最有用之处。场景感知方法的轨迹误差更低，而它们在Procrustes对齐后的结果却与时序方法相近。这表明场景上下文主要有助于确定人在房间中的位置，而非改善关节间的相对配置。场景几何结构为人的站立或移动提供了有用的约束，但对具体身体姿态的直接信息较少。
第三，结果还显示出视角的显著影响。由于大部分身体位于相机视野之外，必须通过头部运动来推断，因此自摄方法在大多数指标上的表现较差。不过，多视角方法在此评估中并未超越最强的单视角方法。
---
Table 5 Hand motion estimation from ego-view on ACE-Data-0.
| Method | PA-MPJPE $\downarrow$ | MPJPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ | AUC $\gamma$ $\uparrow$ | Traj. err. $\downarrow$ |
| WildHands [^113] | 11.2 | 12.6 | 0.175 | 0.774 | 0.776 | - |
| Dyn-HaMR [^114] | 18.9 | 21.1 | 0.042 | 0.413 | 0.624 | 98.2 |
| HaWoR [^52] | 13.8 | 17.4 | 0.130 | 0.666 | 0.729 | 102.1 |
我们并不认为这能证明多视角没有用处。相反，这可能反映了近期单视角全身及场景感知方法的强劲性能，以及现有多视角基准方法的局限性。
#### 5.3 具身交互
仅仅知道人的位置并不足以描述互动是如何进行的。这些信息很大程度上包含在手部动作中，包括手如何接近物体、如何抓取、如何调整位置以及如何释放物体。手部动作对于机器人学习而言也尤为重要，因为手部轨迹可以比原始视觉观测更直接地映射到机械爪上。
因此，我们评估现有方法[59–61]从视频中恢复手部动作的精确度。在ACE-Data-0数据集中，每次互动都是从自我中心视角和外中心视角同时记录的。这使我们能够在相同条件下比较这两种设置，使用相同的拍摄素材和真实值，仅改变视角而已。
#### 5.3.1 基于自我中心视角的HOI
自我中心视频提供的视角与未来机器人可能观察到的视角最为相似。摄像头靠近手部，常常能捕捉到互动的细微细节。然而，这种视角也带来了若干实际挑战：摄像头会随着头部移动，广角镜头会在图像边缘产生畸变，而手部往往会出现在这些畸变区域；大幅度的头部或身体移动还可能导致一只或两只手移出视野范围。
任务：给定某次拍摄的自我中心视频，该方法需估算两只手的3D运动，以MANO [^49]序列形式呈现。这包括每一帧中手指的关节姿态，若方法支持的话，还包括世界坐标系下的手部轨迹。对于房间规模的录制数据，我们通过Manus动作捕捉手套获取真实值；对于桌面规模的录制数据，我们对八台同步的外中心摄像头所采集的2D手部关键点应用RANSAC三角测量算法，随后再进行人工修正。在评估时，那些在太少视角下可见的关节会被屏蔽掉；因此，对于无法获得可靠真实值的帧，该方法不会因此受到惩罚。
评估指标：我们针对手部姿态报告五项指标，针对全局轨迹报告一项指标。自我中心视角和外中心视角的评估均采用相同的定义和单位。PA-MPJPE会对每个预测的手部分别进行基于旋转、平移和缩放的Procrustes对齐，因此它主要衡量手指关节的姿态误差。MPJPE仅使用旋转和平移而固定缩放比例，因此也能反映手部尺寸的误差。F@5和F@15分别表示误差低于5毫米和15毫米的关节所占比例。$AUC_J$是在0到50毫米阈值范围内PCK曲线下的归一化面积。对于能够预测持久世界坐标系的方法，我们还会报告世界坐标系下的轨迹误差。我们会用一次相似性变换对预测的腕部轨迹和真实轨迹进行对齐，再计算平均残差。与逐帧对齐不同，该指标能够反映整个序列中的漂移现象和不一致的缩放情况。
基准方法：我们使用已发布的预训练权重对三种方法进行评估。WildHands [^113]是一种逐帧回归器，独立应用于每一帧自我中心视频。Dyn-HaMR [^114]和HaWoR [^52]则能够处理视频，通过结合手部估计和相机运动估计来恢复世界坐标系下的手部姿态。
---
Table 6 Hand motion estimation from exo-view on ACE-Data-0.
| Method | PA-MPJPE $\downarrow$ | MPJPE $\downarrow$ | F@5 $\uparrow$ | F@15 $\uparrow$ | AUC $_{J}$ $\uparrow$ | Traj. err. $\downarrow$ |
| HORT [^54] | 10.8 | 12.3 | 0.276 | 0.776 | 0.784 | - |
| HaMeR [^51] | 9.6 | 10.4 | 0.281 | 0.848 | 0.812 | - |
| HaPTIC [^53] | 10.0 | 10.7 | 0.247 | 0.838 | 0.804 | 63.0 |
| WiLoR [^115] | 9.1 | 9.9 | 0.313 | 0.854 | 0.819 | - |
| OmniHands [^116] | 10.7 | 11.5 | 0.211 | 0.814 | 0.791 | - |
结果。表5清晰地展示了帧级手部姿态估计与世界空间手部运动恢复之间的差异。逐帧方法在关节精度方面表现最佳，而两种基于视频的方法在局部姿态指标上的表现则较差。可能的原因是，基于视频的方法会同时估计相机运动和手部姿态。因此，相机运动的误差会影响恢复出的手部姿态，尤其是在头部运动较大的录制场景中。这种差异在全局轨迹估计中更为明显。两种世界空间方法产生的轨迹误差远大于其局部关节误差。这表明，以自我为中心的手部重建的主要挑战并不在于逐帧估计手指关节姿态，而在于在世界坐标系中保持稳定的手部轨迹。结合下文的外向视角结果来看，这指向了自身运动估计是主要的误差来源。
## 5.3.2 外向视角下的HOI
外向视角视频呈现出不同的一系列优势与挑战。相机保持固定，人物及周围场景通常都位于画面之内。这为随时间跟踪运动提供了稳定的参考框架。然而，手部在画面中仅占很小一部分，且经常被操作物体或人体遮挡 [^12] [^17]。由于以自我为中心和以外向为视角的相机记录的是相同的交互过程，因此我们可以利用相同的拍摄素材和真实数据来比较这两种视角。
任务。给定单个外向视角视频流或所有同步的外向视角视频流，相关方法需估计每帧中双手的关节姿态。输出世界坐标系结果的算法还会恢复整个序列中的手部轨迹。真实数据和评估流程与5.3.1节中使用的相同，从而可以直接比较这两种视角下的结果。
指标。我们采用5.3.1节中定义的五种手部姿态指标。对于视频类方法，我们还会报告其世界坐标系下的轨迹误差。尽管外向视角相机是静止的，但算法仍必须在整个视频片段中一致地恢复出手部位置，且需保证正确的度量尺度。
基准方法。我们使用已发布的预训练权重对五种单视角方法进行评估。HaMeR [^51]、WiLoR [^115] 和 OmniHands [^116] 会在每帧中独立估计手部姿态。HaPTIC [^53] 处理视频并输出世界坐标系下的手部运动。HORT [^54] 会同时重建右手和操作物体，因此仅在包含物体操作的帧中才会给出预测结果。
结果。表6总结了相关结果。这五种方法在关节精度方面表现相近，PA-MPJPE值介于9.1到10.8毫米之间。WiLoR的表现最佳，其PA-MPJPE达到9.1毫米，F@5分数为0.313，$AUC_J$ 为0.819。HaMeR紧随其后，PA-MPJPE为9.6毫米。这些结果表明，当前基于裁剪的手部回归模型即便在手部仅占1080p图像一小部分的情况下，也能恢复出精细的手部姿态。
固定的相机也使得全局轨迹估计更加可靠。HaPTIC的轨迹误差为63毫米，同时其PA-MPJPE仅为10.0毫米，这一结果与逐帧方法相当。其轨迹误差明显低于以自我为中心的世界空间方法所得到的98–102毫米。这种差异表明，稳定的相机坐标系消除了由自身运动带来的大部分不确定性。
---
HORT在它生成预测结果的操控帧上，其PA-MPJPE值达到了10.8毫米。这一结果与其他方法的结果相近。在此项评估中，联合建模被握持物体并未能明显提升关节手部姿态估计的精度，但也没有使其显著下降。
## 5.3.3 跨视角分析
由于两个视角观测的是相同的交互过程，因此可以直接对比它们的结果。尽管以身体为中心的摄像头能提供更近的手部视图，但外置摄像头方法在关节姿态和全局轨迹估计方面都取得了更好的结果。在这些结果中，轨迹分析显示出最大的差异：外置摄像头视频方法的误差为63毫米，而以身体为中心的方法误差则接近100毫米。由于外置摄像头位置固定，其摄像头坐标系本身就能提供稳定的参考框架；而以身体为中心的方法必须根据头部运动来估算这一参考框架，此步骤中的误差便成了最终轨迹误差的主要来源。
总体而言，这两种视角仍能提供互补的观测信息。以身体为中心的视频更容易受到截断、失真和运动模糊的影响，而外置摄像头视频则更易受身体及被操控物体的遮挡影响。因此，结合这两种视频流或许能减少各自的失效情况。向以身体为中心的方法提供头戴设备的运动数据，也有助于区分由手部重建导致的误差与由自身运动估计产生的误差。此外，将物体姿态作为辅助输入，可以验证场景和物体信息是否能改善对抓取动作和手部运动的还原效果。我们相信，ACE-Data-0将为进一步研究如何结合以身体为中心和外置摄像头的视角以实现更精确的姿态估计提供支持。
## 6 结论
我们提出了ACE，这是一种用于在实际住宅中记录日常家居行为的环境采集方法。ACE采用了两种不同空间尺度的互补配置：一种是用于精细手部-物体操控的桌面级设置，另一种是用于覆盖全套家具公寓内全身活动的房间级设置。这两种设置都能同步采集以身体为中心和外置摄像头的视频、身体、手部和物体运动数据、音频以及触觉信号。光学时钟程序能以毫秒级精度将所有数据流与动作捕捉时钟对齐，而基于标记桥接的校准机制则能将静态摄像头和可穿戴摄像头注册到同一个世界坐标系中。
利用ACE，我们收集了ACE-Data-0数据集，其中包含超过150小时的录制内容、75,000个交互片段、1700万帧图像以及每帧的标注信息。我们针对现有方法在视频触摸预测、全身运动还原以及从以身体为中心和外置摄像头视角进行手部运动估计等任务上的表现进行了基准测试。在这些任务中，现有方法在接触、遮挡和长期活动条件下性能都会下降——而这些条件正是真实住宅与受控实验室的区别所在。这些结果促使研究者开发能够融合多视角和多模态数据、满足物理约束，并能从接触和运动监督信号中学习的模型。
通过将以身体为中心的观测数据、演示轨迹以及接触级监督信息整合到单一的时间对齐数据流中，ACE-Data-0旨在支持关于操控策略、世界模型以及能在真实住宅中连接感知、动作和物理状态的视觉-语言-动作系统的研究。
局限性。ACE存在若干局限性。首先，它仅涵盖两个场景，因此能捕捉到的布局、家具和照明方面的变化有限。其次，基准数据仅限于已安装传感器的物体：被追踪的物体必须事先进行扫描并贴上标记，且该数据集并未对铰接机构、流体或可变形材料的状态变化进行标注。第三，服装、手套、头戴设备和标记在录像中仍可见，可能会引入特定于数据集的视觉线索。
伦理声明。所有参与者均为自愿参加，并针对录制及公开数据发布事宜给予了知情同意。
---
## 参考文献
[^1]: James J Gibson. The ecological approach to visual perception: classic edition. Psychology press, 2014.
[^2]: Rolf Pfeifer and Josh Bongard. How the body shapes the way we think: a new view of intelligence. MIT press, 2006.
[^3]: Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. ImageNet: A large-scale hierarchical image database. In CVPR, 2009.
[^4]: Christoph Schuhmann, Romain Beaumont, Richard Vencu, Cade Gordon, Ross Wightman, Mehdi Cherti, Theo Coombes, Aarush Katta, Clayton Mullis, Mitchell Wortsman, et al. LAION-5B: an open large-scale dataset for training next generation image-text models. In NeurIPS, 2022.
[^5]: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, 2021.
[^6]: Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In NeurIPS, 2020.
[^7]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, et al. Ego-Exo4D: understanding skilled human activity from first- and third-person perspectives. In CVPR, 2024.
[^8]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, Antonino Furnari, Evangelos Kazakos, Jian Ma, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price, and Michael Wray. Rescaling egocentric vision: Collection, pipeline and challenges for EPIC-KITCHENS-100. IJCV, 130(1):33–55, 2022.
[^9]: Ropedia. Xperience-10M: A large-scale egocentric multimodal dataset with structured 3D/4D annotations. Hugging Face dataset, 2026. URL .
[^10]: Bharat Lal Bhatnagar, Xianghui Xie, Ilya A. Petrov, Cristian Sminchisescu, Christian Theobalt, and Gerard Pons-Moll. BEHAVE: dataset and method for tracking human object interactions. In CVPR, 2022.
[^11]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. GRAB: A dataset of whole-body human grasping of objects. In ECCV, 2020.
[^12]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In CVPR, 2023.
## [^13]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. OAKINK2: A dataset of bimanual hands-object manipulation in complex task completion. In CVPR, 2024
---
[^14]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. HOT3D: hand and object tracking in 3D from egocentric multi-view videos. In CVPR, 2025.
[^15]: Samarth Brahmbhatt, Chengcheng Tang, Christopher D. Twigg, Charles C. Kemp, and James Hays. ContactPose: A dataset of grasps with object contact and hand pose. In ECCV, 2020.
[^16]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. DexYCB: A benchmark for capturing hand grasping of objects. In CVPR, 2021.
[^17]: Rao Fu, Dingxi Zhang, Alex Jiang, Wanjia Fu, Austin Funk, Daniel Ritchie, and Srinath Sridhar. GigaHands: A massive annotated dataset of bimanual hand activities. In CVPR, 2025.
[^18]: Taein Kwon, Bugra Tekin, Jan Stuhmer, Federica Bogo, and Marc Pollefeys. $H_{2}O$: two hands manipulating objects for first person interaction recognition. In ICCV, 2021.
[^19]: Seonghyeon Ye, Yunhao Ge, Kaiyuan Zheng, Shenyuan Gao, Sihyun Yu, George Kurian, Suneel Indupuru, You Liang Tan, Chuning Zhu, Jiannan Xiang, Ayaan Malik, Kyungmin Lee, William Liang, Nadun Ranawaka, Jiasheng Gu, Yinzhen Xu, Guanzhi Wang, Fengyuan Hu, Avnish Narayan, Johan Bjorck, Jing Wang, Gwanghyun Kim, Dantong Niu, Ruijie Zheng, Yuqi Xie, Jimmy Wu, Qi Wang, Ryan Julian, Danfei Xu, Yilun Du, Yevgen Chebotar, Scott Reed, Jan Kautz, Yuke Zhu, Linxi "Jim" Fan, and Joel Jang. World action models are zero-shot policies. arXiv 2602.15922, 2026.
[^20]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, and Xiaolong Wang. EgoVLA: learning vision-language-action models from egocentric human videos. In CoRL, 2025.
[^21]: Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, Adnan Esmail, Michael Robert Equi, Chelsea Finn, Niccolo Fusai, Manuel Y. Galliker, Dibya Ghosh, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Devin LeBlanc, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Allen Z. Ren, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springerberg, Kyle Stachowicz, James Tanner, Quan Vuong, Homer Walke, Anna Walling, Haohuan Wang, Lili Yu, and Ury Zhilinsky. $\pi_{0.5}$: a vision-language-action model with open-world generalization. In CoRL, 2025.
[^22]: Yue Su, Sijin Chen, Haixin Shi, Mingyu Liu, Zhengshen Zhang, Ningyuan Huang, Weiheng Zhong, Zhengbang Zhu, Yuxiao Liu, and Xihui Liu. World Guidance: world modeling in condition space for action generation. arXiv 2602.22010, 2026.
[^23]: Kristen Grauman, Andrew Westbury, Eugene Byrne, et al. Ego4D: around the world in 3,000 hours of egocentric video. In CVPR, 2022.
[^24]: Xin Wang, Taein Kwon, Mahdi Rad, Bowen Pan, Ishani Chakraborty, Sean Andrist, Dan Bohus, Ashley Feniello, Bugra Tekin, Felipe Vieira Frujeri, Neel Joshi, and Marc Pollefeys. HoloAssist: an egocentric human interaction dataset for interactive AI assistants in the real world. In ICCV, 2023.
## [^25]: Jingkang Yang, Shuai Liu, Hongming Guo, Yuhao Dong, Xiamengwei Zhang, Sicheng Zhang, Pengyun Wang, Zitang Zhou, Binzhu Xie, Ziyue Wang, Bei Ouyang, Zhengyu Lin, Marco Cominelli, Zhongang Cai, Bo Li, Yuanhan Zhang, Peiyuan Zhang, Fangzhou Hong, Joerg Widmer, Francesco Gringoli, Lei Yang, and Ziwei Liu. EgoLife: towards egocentric life assistant. In CVPR, 2025
---
[^26]: Toby Perrett, Ahmad Darkhalil, Saptarshi Sinha, Omar Emara, Sam Pollard, Kranti Parida, Kaiting Liu, Prajwal Gatti, Siddhant Bansal, Kevin Flanagan, Jacob Chalk, Zhifan Zhu, Rhodri Guerrier, Fahd Abdelazim, Bin Zhu, Davide Moltisanti, Michael Wray, Hazel Doughty, and Dima Damen. HD-EPIC: A highly-detailed egocentric video dataset. In CVPR, 2025.
[^27]: Shreyas Hampali, Mahdi Rad, Markus Oberweger, and Vincent Lepetit. HOnnotate: A method for 3D annotation of hand and object poses. In CVPR, 2020.
[^28]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. OakInk: A large-scale knowledge repository for understanding hand-object interaction. In CVPR, 2022.
[^29]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. HOI4D: A 4D egocentric dataset for category-level human-object interaction. In CVPR, 2022.
[^30]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. TACO: benchmarking generalizable bimanual Tool-ACtion-Object understanding. In CVPR, 2024.
[^31]: Yinghao Huang, Omid Taheri, Michael J. Black, and Dimitrios Tzionas. InterCap: joint markerless 3D tracking of humans and objects in interaction. IJCV, 132(7):2551–2566, 2024.
[^32]: Nan Jiang, Tengyu Liu, Zhexuan Cao, Jieming Cui, Zhiyuan Zhang, Yixin Chen, He Wang, Yixin Zhu, and Siyuan Huang. Full-body articulated human-object interaction. In ICCV, 2023.
[^33]: Siwei Zhang, Qianli Ma, Yan Zhang, Zhiyin Qian, Taein Kwon, Marc Pollefeys, Federica Bogo, and Siyu Tang. EgoBody: human body shape and motion of interacting people from head-mounted devices. In ECCV, 2022.
[^34]: Xiaqing Pan, Nicholas Charron, Yongqian Yang, Scott Peters, Thomas Whelan, Chen Kong, Omkar M. Parkhi, Richard A. Newcombe, and Carl Yuheng Ren. Aria Digital Twin: A new benchmark dataset for egocentric 3D machine perception. In ICCV, 2023.
[^35]: Jiaman Li, Jiajun Wu, and C. Karen Liu. Object motion guided human motion synthesis. ACM TOG, 42(6):197:1–197:11, 2023.
[^36]: Xintao Lv, Liang Xu, Yichao Yan, Xin Jin, Congsheng Xu, Shuwen Wu, Yifan Liu, Lincheng Li, Mengxiao Bi, Wenjun Zeng, and Xiaokang Yang. HIMO: A new benchmark for full-body human interacting with multiple objects. In ECCV, 2024.
[^37]: Nan Jiang, Zhiyuan Zhang, Hongjie Li, Xiaoxuan Ma, Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, and Siyuan Huang. Scaling up dynamic human-scene interaction modeling. In CVPR, 2024.
[^38]: Jeonghwan Kim, Jisoo Kim, Jeonghyeon Na, and Hanbyul Joo. ParaHome: parameterizing everyday home activities towards 3D generative modeling of human-object interactions. In CVPR, 2024.
[^39]: Lingni Ma, Yuting Ye, Fangzhou Hong, Vladimir Guzov, Yifeng Jiang, Rowan Postyeni, Luis Pesqueira, Alexander Gamino, Vijay Baiyya, Hyo Jin Kim, Kevin Bailey, David Soriano Fosas, C. Karen Liu, Ziwei Liu, Jakob J. Engel, Renzo De Nardi, and Richard A. Newcombe. Nymeria: A massive collection of multimodal egocentric daily motion in the wild. In ECCV, 2024.
[^40]: Jiaxin Lu, Chun-Hao Paul Huang, Uttaran Bhattacharya, Qixing Huang, and Yi Zhou. HUMOTO: A 4D dataset of mocap human object interactions. In ICCV, 2025.
## [^41]: Homer Rich Walke, Kevin Black, Tony Z. Zhao, Quan Vuong, Chongyi Zheng, Philippe Hansen-Estruch, Andre Wang He, Vivek Myers, Moo Jin Kim, Max Du, Abraham Lee, Kuan Fang, Chelsea Finn, and Sergey Levine. BridgeData V2: A dataset for robot learning at scale. In CoRL, 2023
---
[^42]: Haoshu Fang, Hongjie Fang, Zhenyu Tang, Jirong Liu, Chenxi Wang, Junbo Wang, Haoyi Zhu, and Cewu Lu. RH20T: A comprehensive robotic dataset for learning diverse skills in one-shot. In ICRA, 2024.
[^43]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and C. Karen Liu. DexCap: scalable and portable mocap data collection system for dexterous manipulation. In RSS, 2024.
[^44]: Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, et al. DROID: A large-scale in-the-wild robot manipulation dataset. In RSS, 2024.
[^45]: AgiBot-World-Contributors, Qingwen Bu, Jisong Cai, Li Chen, Xiuqi Cui, Yan Ding, et al. AgiBot World Colosseo: A large-scale manipulation platform for scalable and intelligent embodied systems. In RSS, 2025.
[^46]: Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, and Jian Zhang. EgoDex: learning dexterous manipulation from large-scale egocentric video. In ICLR, 2026.
[^47]: Tao Jiang, Tianyuan Yuan, Yicheng Liu, Chenhao Lu, Jianning Cui, Xiao Liu, Shuiqi Cheng, Jiyang Gao, Huazhe Xu, and Hang Zhao. Galaxea open-world dataset and G0 dual-system VLA model. arXiv 2509.00576, 2025.
[^48]: Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, Trevor Darrell, Furong Huang, Yuke Zhu, Danfei Xu, and Linxi Fan. EgoScale: scaling dexterous manipulation with diverse egocentric human data. arXiv 2602.16710, 2026.
[^49]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: Modeling and capturing hands and bodies together. ACM TOG, 36(6):245:1–245:17, 2017.
[^50]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint Transformer: solving joint identification in challenging hands and object interactions for accurate 3D pose estimation. In CVPR, 2022.
[^51]: Georgios Pavlakos, Dandan Shan, Ilija Radosavovic, Angjoo Kanazawa, David Fouhey, and Jitendra Malik. Reconstructing hands in 3D with transformers. In CVPR, 2024.
[^52]: Jinglei Zhang, Jiankang Deng, Chao Ma, and Rolandos Alexandros Potamias. HaWoR: world-space hand motion reconstruction from egocentric videos. In CVPR, 2025.
[^53]: Yufei Ye, Yao Feng, Omid Taheri, Haiwen Feng, Shubham Tulsiani, and Michael J. Black. Predicting 4D hand trajectory from monocular videos. In 3DV, 2026.
[^54]: Zerui Chen, Rolandos Alexandros Potamias, Shizhe Chen, and Cordelia Schmid. HORT: monocular hand-held objects reconstruction with transformers. In ICCV, 2025.
[^55]: Pradyumna Yalandur Muralidhar, Yuxuan Xue, Xianghui Xie, Margaret Kostyrko, and Gerard Pons-Moll. PhySIC: physically plausible 3D human-scene interaction and contact from a single image. In SIGGRAPH Asia, 2025.
[^56]: Yukang Cao, Jiahao Lu, Zhisheng Huang, Zhuowen Shen, Chengfeng Zhao, Fangzhou Hong, Zhaoxi Chen, Xin Li, Wenping Wang, Yuan Liu, and Ziwei Liu. Reconstructing 4D spatial intelligence: A survey. arXiv 2507.21045, 2025.
## [^57]: Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, Lars Paulsen, Ge Yang, Sha Yi, Guanya Shi, and Xiaolong Wang. Humanoid policy $\sim$ human policy. In CoRL, 2025
---
[^58]: Fourier ActionNet Team and Yao Mu. ActionNet: A dataset for dexterous bimanual manipulation. Dataset website, 2025. URL .
[^59]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. DexMV: imitation learning for dexterous manipulation from human videos. In ECCV, 2022.
[^60]: Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, and Danfei Xu. EgoMimic: scaling imitation learning via egocentric video. In ICRA, 2025.
[^61]: Ryan Punamiya, Dhruv Patel, Patcharapong Aphiwetsa, Pranav Kuppili, Lawrence Y. Zhu, Simar Kareer, Judy Hoffman, and Danfei Xu. EgoBridge: domain adaptation for generalizable imitation from egocentric human data. In NeurIPS, 2025.
[^62]: Qingwen Bu, Yanting Yang, Jisong Cai, Shenyuan Gao, Guanghui Ren, Maoqing Yao, Ping Luo, and Hongyang Li. UniVLA: learning to act anywhere with task-centric latent actions. In RSS, 2025.
[^63]: Xiongyi Cai, Ri-Zhao Qiu, Geng Chen, Lai Wei, Isabella Liu, Tianshu Huang, Xuxin Cheng, and Xiaolong Wang. In-N-On: scaling egocentric manipulation with in-the-wild and on-task data. arXiv 2511.15704, 2025.
[^64]: Simar Kareer, Karl Pertsch, James Darpinian, Judy Hoffman, Danfei Xu, Sergey Levine, Chelsea Finn, and Suraj Nair. Emergence of human to robot transfer in vision-language-action models. arXiv 2512.22414, 2025.
[^65]: Michael Ahn, Anthony Brohan, Noah Brown, Yevgen Chebotar, Omar Cortes, et al. Do as I can, not as I say: Grounding language in robotic affordances. In CoRL, 2022.
[^66]: Marcel Torne, Karl Pertsch, Homer Walke, Kyle Vedder, Suraj Nair, Brian Ichter, Allen Z. Ren, Haohuan Wang, Jiaming Tang, Kyle Stachowicz, Karan Dhabalia, Michael Equi, Quan Vuong, Jost Tobias Springenberg, Sergey Levine, Chelsea Finn, and Danny Driess. MEM: multi-scale embodied memory for vision language action models. arXiv 2603.03596, 2026.
[^67]: Chenyang Gu, Mingyuan Zhang, Haozhe Xie, Zhongang Cai, Lei Yang, and Ziwei Liu. Bridging semantic and kinematic conditions with diffusion-based discrete motion tokenizer. arXiv 2603.19227, 2026.
[^68]: Ronghui Li, Zhongyuan Hu, Li Siyao, Youliang Zhang, Haozhe Xie, Mingyuan Zhang, Jie Guo, Xiu Li, and Ziwei Liu. InfiniteDance: scalable 3D dance generation towards in-the-wild generalization. In ECCV, 2026.
[^69]: Yukang Cao, Liang Pan, Kai Han, Kwan-Yee K. Wong, and Ziwei Liu. AvatarGO: zero-shot 4D human-object interaction generation and animation. In ICLR, 2025.
[^70]: Zipeng Fu, Tony Z. Zhao, and Chelsea Finn. Mobile ALOHA: Learning bimanual mobile manipulation with low-cost whole-body teleoperation. In CoRL, 2024.
[^71]: Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, et al. RoboCOIN: an open-sourced bimanual robotic data Collection for INtegrated manipulation. arXiv 2511.17441, 2025.
## [^72]: Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, et al. RoboMIND 2.0: A multimodal, bimanual mobile manipulation dataset for generalizable embodied intelligence. arXiv 2512.24653, 2025
---
[^73]: Yukang Cao, Haozhe Xie, Fangzhou Hong, Long Zhuo, Zhaoxi Chen, Liang Pan, and Ziwei Liu. HSImul3R: physics-in-the-loop reconstruction of simulation-ready human-scene interactions. In ECCV, 2026.
[^74]: Haoran Jiang, Jin Chen, Qingwen Bu, Li Chen, Modi Shi, Yanjie Zhang, Delong Li, Chuanzhe Suo, Chuang Wang, Zhihui Peng, and Hongyang Li. WholeBodyVLA: towards unified latent VLA for whole-body loco-manipulation control. In ICLR, 2026.
[^75]: Haozhe Xie, Beichen Wen, Jiarui Zheng, Zhaoxi Chen, Fangzhou Hong, Haiwen Diao, and Ziwei Liu. DynamicVLA: A vision-language-action model for dynamic object manipulation. arXiv 2601.22153, 2026.
[^76]: Lawrence Y. Zhu, Pranav Kuppili, Ryan Punamiya, Patcharapong Aphiwetsa, Dhruv Patel, Simar Kareer, Sehoon Ha, and Danfei Xu. EMMA: scaling mobile manipulation via egocentric human data. IEEE RA-L, 11(3):3087–3094, 2025.
[^77]: Xiaomeng Xu, Jisang Park, Han Zhang, Eric Cousineau, Aditya Bhat, Jose Barreiros, Dian Wang, and Shuran Song. HoMMI: learning whole-body mobile manipulation from human demonstrations. arXiv 2603.03243, 2026.
[^78]: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, and Shenghua Gao. 2D Gaussian splatting for geometrically accurate radiance fields. In SIGGRAPH, 2024.
[^79]: S. Garrido-Jurado, R. Muñoz-Salinas, F.J. Madrid-Cuevas, and M.J. Marín-Jiménez. Automatic generation and detection of highly reliable fiducial markers under occlusion. PR, 47(6):2280–2292, 2014.
[^80]: Roger Y. Tsai and Reimar Lenz. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration. IEEE T-RA, 5(3):345–358, 1989.
[^81]: Bill Triggs, Philip F. McLauchlan, Richard I. Hartley, and Andrew W. Fitzgibbon. Bundle adjustment — A modern synthesis. In Vision Algorithms: Theory and Practice, 2000.
[^82]: Paul Furgale, Joern Rehder, and Roland Siegwart. Unified temporal and spatial calibration for multi-sensor systems. In IROS, 2013.
[^83]: Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive body capture: 3D hands, face, and body from a single image. In CVPR, 2019.
[^84]: Gemini Team. Gemini: A family of highly capable multimodal models. arXiv 2312.11805, 2025.
[^85]: Patrick Grady, Chengcheng Tang, Samarth Brahmbhatt, Christopher D. Twigg, Chengde Wan, James Hays, and Charles C. Kemp. PressureVision: estimating hand pressure from a single RGB image. In ECCV, 2022.
[^86]: Yuan Zeng, Yujia Shi, Tiao Tan, Xingting Li, Yaqi Qin, Zongqing Lu, Wenming Yang, Jing-Hao Xue, and Qingmin Liao. EgoTactile: learning grasp pressure for everyday objects from egocentric video. In ICML, 2026.
[^87]: Jianyi Zhou, Ziteng Gao, Feiyang Hong, Zirui Liu, Guannan Zhang, Weisheng Dai, Ruichen Zhen, Chuqiao Lyu, Haotian Wu, Yinian Mao, Xushi Wang, Yuxiang Jiang, Wenbo Ding, and Shuo Yang. TouchAnything: A dataset and framework for bimanual tactile estimation from egocentric video. arXiv 2605.13083, 2026.
## [^88]: Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. FoundationPose: unified 6D pose estimation and tracking of novel objects. In CVPR, 2024
---
[^89]: Fabien Baradel, Matthieu Armando, Salma Galaaoui, Romain Brégier, Philippe Weinzaepfel, Grégory Rogez, and Thomas Lucas. Multi-HMR: multi-person whole-body human mesh recovery in a single shot. In ECCV, 2024.
[^90]: Guénolé Fiche, Philippe Weinzaepfel, Romain Brégier, and Fabien Baradel. Multi-HMR 2: multi-person camera-centric human detection, mesh recovery and tracking. arXiv 2606.14841, 2026.
[^91]: Xitong Yang, Devansh Kukreja, Don Pinkus, Anushka Sagar, Taosha Fan, Jinhyung Park, Soyong Shin, Jinkun Cao, Jiawei Liu, Nicolas Ugrinovic, Matt Feiszli, Jitendra Malik, Piotr Dollár, and Kris Kitani. SAM 3D Body: robust full-body human mesh recovery. arXiv 2602.15989, 2026.
[^92]: Hongwen Zhang, Yating Tian, Yuxiang Zhang, Mengcheng Li, Liang An, Zhenan Sun, and Yebin Liu. PyMAF-X: towards well-aligned full-body model regression from monocular images. IEEE TPAMI, 45(10):12287–12303, 2023.
[^93]: Muhammed Kocabas, Chun-Hao P. Huang, Otmar Hilliges, and Michael J. Black. PARE: part attention regressor for 3D human body estimation. In ICCV, 2021.
[^94]: Priyanka Patel and Michael J. Black. CameraHMR: aligning people with perspective. In 3DV, 2025.
[^95]: Jing Lin, Ailing Zeng, Haoqian Wang, Lei Zhang, and Yu Li. One-stage 3D whole-body mesh recovery with component aware transformer. In CVPR, 2023.
[^96]: Zhongang Cai, Wanqi Yin, Ailing Zeng, Chen Wei, Qingping Sun, Wang Yanjun, Hui En Pang, Haiyi Mei, Mingyuan Zhang, Lei Zhang, Chen Change Loy, Lei Yang, and Ziwei Liu. SMPLer-X: scaling up expressive human pose and shape estimation. In NeurIPS, 2023.
[^97]: Wanqi Yin, Zhongang Cai, Ruisi Wang, Ailing Zeng, Chen Wei, Qingping Sun, Haiyi Mei, Yanjun Wang, Hui En Pang, Mingyuan Zhang, Lei Zhang, Chen Change Loy, Atsushi Yamashita, Lei Yang, and Ziwei Liu. SMPLest-X: ultimate scaling for expressive human pose and shape estimation. IEEE TPAMI, 48(2):1778–1794, 2026.
[^98]: Shubham Goel, Georgios Pavlakos, Jathushan Rajasegaran, Angjoo Kanazawa, and Jitendra Malik. Humans in 4D: Reconstructing and tracking humans with transformers. In ICCV, 2023.
[^99]: Zehong Shen, Huaijin Pi, Yan Xia, Zhi Cen, Sida Peng, Zechen Hu, Hujun Bao, Ruizhen Hu, and Xiaowei Zhou. World-grounded human motion recovery via gravity-view coordinates. In SIGGRAPH Asia, 2024.
[^100]: Soyong Shin, Juyong Kim, Eni Halilaj, and Michael J. Black. WHAM: reconstructing world-grounded humans with accurate 3D motion. In CVPR, 2024.
[^101]: EasyMoCap: make human motion capture easier. GitHub, 2021. URL .
[^102]: Qing Shuai, Chen Geng, Qi Fang, Sida Peng, Wenhao Shen, Xiaowei Zhou, and Hujun Bao. Novel view synthesis of human interactions from sparse multi-view videos. In SIGGRAPH, 2022.
[^103]: Mengfei Li, Peng Li, Zheng Zhang, Jiahao Lu, Chengfeng Zhao, Wei Xue, Qifeng Liu, Sida Peng, Wenxiao Zhang, Wenhan Luo, Yuan Liu, and Yike Guo. UniSH: unifying scene and human reconstruction in a feed-forward pass. arXiv 2601.01222, 2026.
[^104]: Zhizheng Liu, Joe Lin, Wayne Wu, and Bolei Zhou. Joint optimization for 4D human-scene reconstruction in the wild. arXiv 2501.02158, 2025.
## [^105]: Yue Chen, Xingyu Chen, Yuxuan Xue, Anpei Chen, Yuliang Xiu, and Gerard Pons-Moll. Human3R: everyone everywhere all at once. In ICLR, 2026
---
[^106]: Hanz Cuevas-Velasquez, Anastasios Yiannakidis, Soyong Shin, Giorgio Becherini, Markus Höschle, Joachim Tesch, Taylor Obersat, Tsvetelina Alexiadis, and Michael J. Black. MAMMA: markerless and automatic multi-person motion action capture. In CVPR, 2026.
[^107]: Xiaoben Li, Mancheng Meng, Ziyan Wu, Terrence Chen, Fan Yang, and Dinggang Shen. Human mesh recovery from arbitrary multi-view images. arXiv 2403.12434, 2024.
[^108]: Lea Müller, Hongsuk Choi, Anthony Zhang, Brent Yi, Jitendra Malik, and Angjoo Kanazawa. Reconstructing people, places, and cameras. In CVPR, 2025.
[^109]: Jiaman Li, C. Karen Liu, and Jiajun Wu. Ego-body pose estimation via ego-head pose estimation. In CVPR, 2023.
[^110]: Brent Yi, Vickie Ye, Maya Zheng, Yunqi Li, Lea Müller, Georgios Pavlakos, Yi Ma, Jitendra Malik, and Angjoo Kanazawa. Estimating body and hand motion in an ego-sensed world. In CVPR, 2025.
[^111]: Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6M: large scale datasets and predictive methods for 3D human sensing in natural environments. IEEE TPAMI, 36(7):1325–1339, 2014.
[^112]: Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: a skinned multi-person linear model. ACM TOG, 34(6):248:1–248:16, 2015.
[^113]: Aditya Prakash, Ruisen Tu, Matthew Chang, and Saurabh Gupta. 3D hand pose estimation in everyday egocentric images. In ECCV, 2024.
[^114]: Zhengdi Yu, Stefanos Zafeiriou, and Tolga Birdal. Dyn-HaMR: recovering 4D interacting hand motion from a dynamic camera. In CVPR, 2025.
[^115]: Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. WiLoR: end-to-end 3D hand localization and reconstruction in-the-wild. In CVPR, 2025.
[^116]: Dixuan Lin, Yuxiang Zhang, Mengcheng Li, Yebin Liu, Wei Jing, Qi Yan, Qianying Wang, and Hongwen Zhang. OmniHands: robust motion capture of interactive hands via a versatile transformer. ACM TOG, 42(6):197:1–197:11, 2026.