{
  "paper_id": "22cff7d6ce6ad3513519dc35cd6d371e",
  "paper_title": "ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine",
  "paper_authors": [
    "Yukang Cao",
    "Haozhe Xie",
    "Beichen Wen",
    "Runmao Yao",
    "Yinghao Liu",
    "Yue Huang",
    "Zhichao Liao",
    "Yunxiang Wang",
    "Haiheng Liu",
    "Xingshun Tian",
    "Dawei Su",
    "Long Zhuo",
    "Dacheng Tao",
    "Xiaogang Wang",
    "Liang Pan",
    "Ziwei Liu"
  ],
  "publication_date": "2026",
  "publication_venue": "unknown",
  "abstract": "具身智能面临根本性的数据瓶颈。在物理世界中学习行动，不仅需要观察动作外观，还必须同步记录第一人称感知、全身运动、灵巧操作、物体状态、声音和触觉如何随人类目标共同演化。现有数据集通常在视角、模态或空间尺度上割裂这些体验，使完整的感知—行动回路只能被部分观测。本文提出环境捕捉引擎ACE，将真实家庭环境转化为经过空间标定和时间同步的录制空间。ACE包含桌面尺度和房间尺度两种配置：前者捕捉精细手物操作，后者记录全身运动、移动以及在家具化住宅中的分布式交互。两种配置均同步记录自我中心与多视角外部视频、全身和关节化手部运动、高保真物体几何与6-DoF轨迹、多通道音频及触觉信号。基于ACE，作者构建ACE-Data-0，包含150小时、1700万视频帧、200类任务、50名参与者、2个环境和75000个交互片段。数据集覆盖原子操作、长时序家庭活动链和人—场景交互，并通过目标级而非逐步指令保留自然行为差异。论文还建立从信号到场景组件再到交互的分层基准，涵盖视觉触觉推理、人体运动恢复，以及自我中心和外部视角的手部运动重建。对现有先进方法的评估显示，在接触、遮挡、自我运动和长时序条件下仍存在显著性能差距。ACE-Data-0为模仿学习、世界模型、视觉—语言—动作系统和具身AI提供了可扩展的同步人类示范基础。\n",
  "keywords": [
    "具身智能",
    "环境捕捉引擎",
    "ACE-Data-0",
    "多模态数据集",
    "人-物交互",
    "自我中心视角",
    "外部视角",
    "触觉感知",
    "运动捕捉",
    "长时序任务",
    "模仿学习",
    "视觉-语言-动作"
  ],
  "paper_institutions": [
    "S-Lab, Nanyang Technological University",
    "ACE Robotics"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:12.355133Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决具身智能缺乏同步、真实、长时序物理交互数据的问题。相关研究中，大规模自我中心视频缺少度量身体与物体真值，动作捕捉数据集多在实验室中采集、缺少第一视角、音频或触觉，且多数片段只有数秒。作者提出以人为中心的环境捕捉引擎ACE，将真实住宅转化为经过空间标定和时间同步的录制系统；其核心机制是以OptiTrack 60 Hz时钟为公共时间基准，通过QR码光学时钟拟合设备时间关系 t_device = t_mocap + b + k·(t_mocap−t0)，再用带反光标记的ArUco板把固定外部相机和头戴相机桥接到同一世界坐标。桌面尺度采用8台近距相机、16台动捕相机和触觉手套，以验证精细手物接触；房间尺度在约200平方米带家具公寓中用8台宽基线相机和12台动捕相机，以验证全身移动、家具遮挡和跨空间长任务。基于该系统构建ACE-Data-0，包含150小时、1700万帧、200类任务、50名参与者、2个环境和75000个交互片段，并以目标级指令保留规划、犹豫、恢复和操作差异；标注涵盖相机内外参、时间轴、全身与手姿态、物体网格与6-DoF轨迹、包围盒、运动轨迹、音频、触觉压力图及语言描述。分层基准从信号、场景组件到交互，评估30余种方法：触觉预测使用时间准确率、C-IoU、V-IoU和CoP，TouchAnything表现最好但C-IoU仅0.1646、V-IoU仅0.1357，说明遮挡下压力位置和强度仍难；人体运动使用PA-MPJPE、PA-PVE、MPJPE、PVE和WA-MPJPE，结果显示局部姿态较准而世界轨迹漂移明显，场景约束主要帮助定位身体位置，自我中心视角因身体不可见而表现较差；手部运动在自我中心与外部视角下用PA-MPJPE、MPJPE、F@5、F@15、AUC_J和轨迹误差比较，外部视角WiLoR的PA-MPJPE为9.1 mm，HaPTIC轨迹误差63 mm，显著低于自我中心方法的98–102 mm，证明自我运动估计是重要误差源。这些结果支持ACE在统一多感官数据引擎、长时序家庭数据集和诊断性基准三方面的创新。后续可融合多视角与多模态、引入物理约束、开展物体姿态估计，并扩展到铰接机构、液体和可变形材料状态；真实应用面向模仿学习、世界模型、VLA系统和家庭具身AI，但当前受限于仅两个场地、物体须预先扫描并贴标记、穿戴设备可见，以及布局、光照和物体多样性有限。\n\n### 关键要点\n\n- ACE在两种互补尺度下采集：桌面尺度聚焦手指与手物接触，房间尺度覆盖厨房、餐厅、客厅和卧室中的全身运动与移动操作。\n- 所有传感器以OptiTrack 60 Hz时钟为基准；ZED One使用共享触发，QR码光学时钟补偿约0.29秒延迟及缓慢漂移，独立复核时间偏差小于4毫秒。\n- 外部相机通过带反光标记的ArUco板与动捕体积连接，中位重投影误差低于3像素；头戴相机通过标记刚体和手眼标定接入世界坐标，中位重投影误差约2像素。\n- ACE-Data-0包含150小时、1700万帧、75000个交互片段、200类任务、50名参与者和2个真实住宅环境。\n- 数据采集使用目标级而非逐步指令，包含原子HOI、约20–30分钟的HOI任务链和约5分钟的人—场景交互三类片段。\n- 每个发布片段同步提供4路鱼眼自我中心视频、8路外部视频、41关节身体与手部运动、物体6-DoF轨迹和网格、多源音频及全掌触觉压力图。\n- 触觉从视觉预测基准中，TouchAnything的时间准确率为0.7095、C-IoU为0.1646、V-IoU为0.1357、CoP为6.5846，绝对空间压力恢复仍有限。\n- 人体运动评估覆盖22种方法；部分方法在Procrustes对齐指标上可达约55.7–60毫米，但报告世界坐标轨迹的方法常出现180毫米以上的WA-MPJPE，显示局部姿态与全局轨迹之间存在明显差距。\n- 自我中心手部轨迹误差为98–102毫米，而固定外部视角HaPTIC为63毫米，说明相机自我运动估计会显著放大世界坐标手部轨迹误差。\n- 外部视角手部姿态中WiLoR表现最好，PA-MPJPE为9.1毫米、F@5为0.313、AUC_J为0.819，显示当前裁剪式手部回归器能够处理图像中占比较小的手部区域。\n- ACE-Data-0可用于模仿学习、世界模型和VLA训练，但限制包括仅两个场地、可追踪物体需预先扫描和贴标记、未标注流体或可变形材料状态，且穿戴设备在画面中可见。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}