{
  "paper_id": "22cff7d6ce6ad3513519dc35cd6d371e",
  "paper_title": "ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine",
  "paper_authors": [
    "Yukang Cao",
    "Haozhe Xie",
    "Beichen Wen",
    "Runmao Yao",
    "Yinghao Liu",
    "Yue Huang",
    "Zhichao Liao",
    "Yunxiang Wang",
    "Haiheng Liu",
    "Xingshun Tian",
    "Dawei Su",
    "Long Zhuo",
    "Dacheng Tao",
    "Xiaogang Wang",
    "Liang Pan",
    "Ziwei Liu"
  ],
  "publication_date": "2026",
  "publication_venue": "unknown",
  "abstract": "具身智能面临根本性的数据瓶颈。在物理世界中学习行动，不仅需要观察动作外观，还必须同步记录第一人称感知、全身运动、灵巧操作、物体状态、声音和触觉如何随人类目标共同演化。现有数据集通常在视角、模态或空间尺度上割裂这些体验，使完整的感知—行动回路只能被部分观测。本文提出环境捕捉引擎ACE，将真实家庭环境转化为经过空间标定和时间同步的录制空间。ACE包含桌面尺度和房间尺度两种配置：前者捕捉精细手物操作，后者记录全身运动、移动以及在家具化住宅中的分布式交互。两种配置均同步记录自我中心与多视角外部视频、全身和关节化手部运动、高保真物体几何与6-DoF轨迹、多通道音频及触觉信号。基于ACE，作者构建ACE-Data-0，包含150小时、1700万视频帧、200类任务、50名参与者、2个环境和75000个交互片段。数据集覆盖原子操作、长时序家庭活动链和人—场景交互，并通过目标级而非逐步指令保留自然行为差异。论文还建立从信号到场景组件再到交互的分层基准，涵盖视觉触觉推理、人体运动恢复，以及自我中心和外部视角的手部运动重建。对现有先进方法的评估显示，在接触、遮挡、自我运动和长时序条件下仍存在显著性能差距。ACE-Data-0为模仿学习、世界模型、视觉—语言—动作系统和具身AI提供了可扩展的同步人类示范基础。\n",
  "keywords": [
    "具身智能",
    "环境捕捉引擎",
    "ACE-Data-0",
    "多模态数据集",
    "人-物交互",
    "自我中心视角",
    "外部视角",
    "触觉感知",
    "运动捕捉",
    "长时序任务",
    "模仿学习",
    "视觉-语言-动作"
  ],
  "paper_institutions": [
    "S-Lab, Nanyang Technological University",
    "ACE Robotics"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T03:43:12.355133Z",
  "template_tag": "deep_read",
  "summary": "# ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine\n\n\n**作者 / Authors:** Yukang Cao, Haozhe Xie, Beichen Wen, Runmao Yao, Yinghao Liu, Yue Huang, Zhichao Liao, Yunxiang Wang, Haiheng Liu, Xingshun Tian, Dawei Su, Long Zhuo, Dacheng Tao, Xiaogang Wang, Liang Pan, Ziwei Liu\n\n\n**单位 / Institutions:** S-Lab, Nanyang Technological University, ACE Robotics\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 2026\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料核查：当前仅有论文正文 Markdown（含摘要、章节、表1–6、图1–14说明与参考文献），未见附录、补充材料、代码或数据下载核验；项目页与 Hugging Face 链接仅出现在文中，未实际访问。论文提出 ACE 采集系统并发布 ACE-Data-0 数据集与三级基准，正文对硬件、同步、标定、采集流程、标注和评测有较完整描述；局限在结论中自述为仅两个场地、仅可仪器化实体、穿戴设备可见。原型判断：system（系统/数据引擎论文），而非单一算法方法；核心贡献是采集系统+数据集+基准，方法创新主要是系统工程与数据构建。影响解读的缺口：发表版本/venue 未给出；代码、数据许可、标注工具与复现细节待核验；两站点限制外部有效性；部分指标和基线设置需结合附录确认。\n\n\n\n\n\n### 问题\n\n问题：具身智能缺少能同时观测第一人称感知、全身运动、灵巧操作、物体状态、声音与触觉并保持时空对齐的真实家庭数据；现有数据集在模态、视角、空间尺度上碎片化。重要性：机器人学习/世界模型/VLA 需要同一物理时刻的多感官监督，否则模仿学习与接触推理缺少可对齐信号。现有主要不足（表1）：(1) 模态碎片化，大规模 ego 数据缺真值运动/第三人称，mocap HOI 数据缺 ego 且几乎无音频/触觉；(2) 环境不自然，有物理标注的数据多在实验室，缺少家庭遮挡、家具约束和物体多样性；(3) 时序短，多数 HOI 片段仅数秒且单动作，缺少分钟级目标导向、跨子任务和跨场景移动。形式化目标不必在此展开；核心是构建在统一时空框架下同步记录多模态家庭交互的数据引擎与基准。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：ACE 把真实家庭改造成时空校准、时间同步的多模态 recording studio，并在两种尺度上采集 ACE-Data-0 及三级基准。核心思想与贡献：表尺度密集近景+触觉解决手物精细操作，房间尺度广基线+全身 mocap 覆盖整屋活动；以 OptiTrack 时钟为参考，用光学时钟/QR 码、音频同步、IMU 模板等把 ego/exo 视频、41 点身体、手、物体 6-DoF、音频、触觉对齐到毫秒级，并用 ArUco+反光标记桥接稀疏相机与 mocap 世界系。相对已有工作，强调同一物理时刻的同步多模态、真实家庭长时程、目标级指令保留自然行为变化；数据规模为 150 小时、17M 帧、200 任务类、50 参与者、2 环境、75,000 episodes，并提供逐帧标注。最重要结果：作者声称在触觉从视觉推断、人体运动恢复、ego/exo 手部运动估计上，30+ SOTA 在接触、遮挡、egomotion 和长时程下暴露显著差距；证据见表3–6，评测使用留出 10 小时测试集、官方预训练权重，触觉主要在桌面尺度，人体运动主要在房间尺度。作者 claim 与支持范围需分开：这些数字支持“在 ACE-Data-0 当前测试集和基线设置下存在差距”，不直接证明所有家庭场景或所有方法族均如此；跨视角结论受多视角基线数量有限影响，作者也承认。优先章节/图：Sec.3–4 与 Fig.2–6（系统、同步、标定）、Table 1–2（对比与硬件）、Sec.5 与 Table 3–6、Fig.14（三级基准）；下一轮应追问同步残差与漂移处理、标注自动派生与人工校验比例、基准划分/指标定义、两站点泛化与数据许可。下一步重点核查采集与标注流水线是否足以支撑复现和公平比较。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入：真实家庭环境、50 名受试者、目标级家务指令、预先扫描或 2DGS 重建并绑定 marker 的物体，以及穿戴式 ego 头显、动捕服、Manus 手套和触觉手套。关键步骤：1) 两尺度部署（Sec.3）：table-scale 为 30 m² 桌面工作区，8 台近距 GoPro（0.3–0.5 m）、16 台 OptiTrack、触觉手套，解决手-物精细操作；room-scale 为约 200 m² 公寓，8 台广基线 ZED One、12 台 OptiTrack，覆盖全身运动与房间内交互。2) 时间同步（Sec.4.1.1）：以 OptiTrack 60 Hz 时钟为参考；ZED 由 GMSL2 共触发并通过 NatNet 与 mocap 同起停，再用“光学时钟”QR 码逐帧读取并拟合“常数偏移+慢漂移”，残差到毫秒级、约一个 mocap 帧；GoPro 先用音频互同步，再读同一 QR 时钟；ego 四鱼眼内部失配 <2 ms，room-scale 靠每次拍摄开头约 10 秒“看钟”获得偏移，table-scale 靠 QR 时钟与 AprilTag 位姿对 marker 位姿配准；触觉手套用 IMU 动作模板与头显对齐。3) 空间标定（Sec.4.1.2）：exo 相机因稀疏布置常无共视，使用带四个反光角的 ArUco 板桥接 RGB 与红外；先由红外估计角点位置（毫米级），再由角点给板位姿（亚毫米级），再逐相机拟合，丢弃运动帧和边缘检测，最后联合优化，留出帧中位误差 <3 px。ego 相机用头显上 5 个 marker 组成刚体，做 hand-eye 标定，再对四个鱼眼联合 bundle adjustment，只用低角速度帧，最终中位重投影误差约 2 px；运行时由 60 Hz 刚体位姿插值到 20 FPS 帧时间戳，不靠视觉 SLAM。4) 采集流程（Sec.4.1.3）：场景准备、受试者穿戴与 T-pose、口头目标说明、连续记录并监控、拍后检查与重拍。5) 多模态记录（Sec.4.1.4）：exo RGB、4 路 ego 鱼眼+IMU、60 Hz 全身与手、60 Hz 物体 6-DoF、触觉。6) 标注（Sec.4.3）：物体类别/框/6-DoF/轨迹，人体与手 3D 位姿及逐相机 2D 投影，触觉压力图，音频与 Gemini 生成的文本描述；除文本外多为测量派生，人工检查修正。输出：统一的逐 take 时间映射表、标定参数、同步多模态流和标注，可直接把任一流配对到同一时刻、把任一 3D 点投影到任一视角。论文没有编号公式；为说明坐标链，可写（推断，不是原文公式）T_world←cam = T_world←board · T_board←cam，ego 帧位姿 T_world←cam(t)=T_world←rig(τ(t))·T_rig←cam，τ(t) 为 60 Hz 跟踪到 20 FPS 时间戳的插值；时间映射可写为 t_mocap≈t_cam+b+d·t，b 为常数偏移、d 为慢漂移，由 QR 时钟读数拟合直线。必要模块：同步模块、标定模块、采集控制、标注派生与基准评测；核心创新在系统工程与数据构建，而非单一网络。\n\n\n\n\n\n### 评测设置\n\n数据集：ACE-Data-0，150+ 小时、17M 帧、50 名受试者、2 个站点、75,000 episodes、200 个任务类别、50 个物体实例；含 atomic HOI、chain-of-HOI 与 HSI 三类 take。划分：统一留出 10 小时作为测试集，未报告训练集/验证集比例、按站点或受试者划分的细节、随机种子。评测协议：三级基准（Fig.14）。1) 触觉从 ego 视频估计（Sec.5.1，表3）：在 table-scale 近距记录上，输入 ego 视频，预测全手压力图；指标为 Temporal Accuracy、C-IoU、V-IoU、CoP 误差；基线 PressureVision、EgoPressureDiff、TouchAnything，均用官方预训练权重。2) 人体运动估计（Sec.5.2，表4）：在 room-scale 记录上，输入可为多视角 exo、单视角 exo 或 ego；指标 PA-MPJPE、PA-PVE、MPJPE、PVE、WA-MPJPE，单位 mm；22 个基线，覆盖 per-frame、temporal、scene-aware、多视角与 ego 方法，均用发布权重。3) 手部运动估计（Sec.5.3，表5–6）：同一批 take 的 ego 与 exo 视角，输出 MANO 序列与世界轨迹；指标 PA-MPJPE、MPJPE、F@5、F@15、AUC_J、Traj. err.；ego 基线 3 个（WildHands、Dyn-HaMR、HaWoR），exo 基线 5 个（HORT、HaMeR、HaPTIC、WiLoR、OmniHands）。计算预算、训练时长、GPU 型号、推理速度未报告；方法未在 ACE-Data-0 上重训，均为零样本评测。公平性：同一任务内使用同一 ground truth 与官方 checkpoint，ego/exo 手部比较使用同一 take，条件较一致；但不同方法族的输入信息量不同（单帧/视频/场景感知/多视角），跨族排名不能直接解释为架构优劣。触觉只在 table-scale 评测；人体运动主要在 room-scale；物体 6-DoF 因适用方法太少未设基准（Sec.5.2 明确留待未来）。\n\n\n\n\n\n### 结果与证据\n\n决定性结果：表3 触觉，PressureVision 几乎失效（Temp Acc. 0.0093、C-IoU 0.0007、V-IoU 0.0000、CoP 10.9807），EgoPressureDiff 提升到 0.2912/0.0197/0.0025/8.5152，TouchAnything 最好但绝对空间重叠仍低（0.7095/0.1646/0.1357/6.5846）。这说明“何时接触”比“压力在手上何处、强度多少”容易，遮挡下空间压力仍难。表4 人体运动：局部对齐指标可接近常规基准（如 SMPLest-X PA-MPJPE 55.7、MPJPE 58.8；OSX 59.2/62.5），但世界轨迹误差大（Human3R WA-MPJPE 180.2；JOSH 245.1；UniSH 196.3），ego 方法整体更差（EgoAllo PA-MPJPE 131.7、WA-MPJPE 252.2；EgoEgo 159.6/306.2）。scene-aware 方法主要改善轨迹而非局部关节配置，支持“场景约束帮助定位、少帮助姿态”的解释；多视角方法未超过最强单视角，作者承认多视角基线有限，不能据此说多视角无用。表5 ego 手：WildHands 局部最好（PA-MPJPE 11.2、MPJPE 12.6、F@5 0.175、F@15 0.774、AUC 0.776），视频世界坐标方法局部变差且轨迹误差 98.2/102.1 mm，指向 egomotion 是主要误差源。表6 exo 手：WiLoR 最好（9.1/9.9/0.313/0.854/0.819），HaMeR 9.6/10.4，HaPTIC 轨迹 63.0 mm，明显优于 ego 世界方法的约 100 mm；说明固定相机提供稳定参考系。总体证据支持“在 ACE-Data-0 当前测试集与基线设置下，接触、遮挡、ego 运动、长时程会暴露显著差距”，但不支持“所有家庭场景、所有方法族均如此”的强结论；论文没有对同步/标定/两尺度设计做消融，因此这些设计对性能的因果贡献未被实验分离。\n\n\n\n\n\n### 相关工作\n\n最接近的工作分四类。1) 大规模 ego/ego-exo 视频：Ego4D、EPIC-KITCHENS-100、HoloAssist、Ego-Exo4D。按论文表1的自述，它们有自然行为与规模，但缺真值 body/hand/object 6-DoF，普遍缺 tactile，且多数没有同步的第三人称多视角；Ego-Exo4D 有 ego-exo 配对但 body 为估计、无 hand/object 6D/tactile。2) 手-物交互数据集：ContactPose、DexYCB、GRAB、ARCTIC、OakInk2、HOT3D、GigaHands。差异是 ACE 试图在真实家庭而非桌面/动捕实验室中，同时保留 ego、多视角 exo、全身、手、物体 6-DoF、音频与触觉；ARCTIC 有 ego+8 exo 和 mocap，但无音频/触觉且为实验室；OakInk2/HOT3D 多为桌面尺度；GigaHands 相机多但无 ego、无触觉。3) 房间尺度人体/人-场景数据：BEHAVE、CHAIRS、EgoBody、ParaHome、Nymeria。ParaHome 有家庭房间与多相机、body/hand/object，但表1标为无音频/触觉；Nymeria 为野外长时 ego 与 body/audio，但无手/物体 6D/触觉。ACE 的差异点是把“同一物理时刻的多模态同步”作为数据单元，并以目标级指令保留长时程行为变化。4) 机器人数据/人类演示：DROID、AgiBot World、EgoDex、EgoScale。ACE 不提供机器人可执行动作，而是提供人类演示的测量态 body/hand/object/contact，可与机器人数据互补。代价：硬件重（表2合计 28 台 OptiTrack、8 台 ZED One、8 台 GoPro、ego 头显、Manus、触觉手套、Jetson 与 Motive 主机），约 1 TB/小时原始数据，标定每天复验两次，物体需预先扫描/重建并贴 marker，仅两个站点，穿戴设备可见。以上对 prior work 的描述来自论文表1与第2节，未做外部独立核验。\n\n\n\n\n\n### 关键图表解读\n\n1) 图2（Sec.3.1，站点平面与两尺度部署）：展示 table-scale 与 room-scale 的物理布局，是“同一采集范式、两种空间尺度”主张的直接依据；但只有两个站点，且平面图不能证明同步精度或数据多样性，外部有效性受限。2) 图3+图4（Sec.4.1，工作流与同步模态示例）：图3给出穿戴、同步、标注的流程，图4展示 ego/exo/音频/人体/物体运动被对齐后的样例；它们支持“多模态同一时间线”的工程主张，但属于示意性证据，未给出逐模态残差分布。3) 表2（Sec.3.2.2，采集硬件）：列出 OptiTrack、ZED One、GoPro、ego 头显、Manus、触觉手套、Jetson 与 Motive 主机的数量与角色，支持可复现性与成本判断；数量为两配置合计，且分辨率栏 OCR 有明显乱码（如 2048×10^88、1920×10^80），具体数值需以原表/附录核验。4) 表1（Sec.2.1，数据集对比）：用 ego、#Exo、Body、Hand、Obj. 6D、Tactile、Audio、Sync、Setup、LH 等列定位 ACE-Data-0 与 30 余个数据集的差异，是论文“碎片化模态/不自然环境/短时程”论点的核心表格；但对比项由作者定义，部分 prior work 的 ✓/(✓)/✓ 语义依赖表注，需外部核验。5) 表3–表6（Sec.5，三级基准结果）：表3 支撑触觉空间估计仍难，表4 支撑局部姿态与世界轨迹的差距及 ego 视角退化，表5–6 支撑 ego 世界轨迹受 egomotion 拖累、exo 固定相机轨迹更稳；这些结果来自留出 10 小时测试集与官方预训练权重，但没有 ACE 设计消融，不能把差距单独归因于数据引擎。总体看，证据主要证明该数据/基准的诊断价值，而非每个系统设计选择的因果必要性；下面进入评价。\n\n\n\n\n\n### 术语表\n\nACE（Ambient Capture Engine）：把真实家庭改造成时空校准、时间同步的多模态采集系统。table-scale：桌面/近距配置，密集近景相机+触觉手套，面向精细手-物操作。room-scale：房间/公寓配置，广基线相机+全屋 mocap，面向全身运动与跨场景交互。Egocentric：头戴第一人称视角；本文为 4 路鱼眼+IMU。Exocentric：第三人称固定/外部视角；本文为 8 路 GoPro 或 8 路 ZED One。6-DoF：三维平移+三维旋转的刚体位姿。OptiTrack：红外光学动捕系统，本文以 60 Hz 提供 41 点人体、物体和 ego rig 的 marker 轨迹，并作为同步参考时钟。Marker：被动反光标记点；物体和头显需预先绑定。NatNet：OptiTrack 的网络数据协议，用于让相机主机与 mocap 同起停。Optical clock/QR clock：mocap 主机屏幕显示的纳秒级时间码，被相机拍下后用于逐帧求时间偏移与漂移。ArUco board：带编码图案的标定板；本文在四角加反光 marker，使 RGB 与红外系统共享同一物理参考。AprilTag：ego 头显内部位姿估计使用的视觉标签；用于与 marker 位姿配准。Hand-eye calibration：求相机到刚体（头显）的固定变换。Bundle adjustment：联合优化相机外参、板位姿和时间偏移等变量。SMPL-X：人体参数化模型；本文提供转换后的 motion 参数。MANO：手部参数化模型；手部基准输出 MANO 序列。2DGS：2D Gaussian Splatting，用于重建物体网格。Tactile glove：全掌压力手套，输出接触压力图。Episode：一个实现有意义子目标的连续交互片段，是训练/统计单元。Long-horizon：分钟级、子任务顺序受目标约束而非固定脚本的家务活动。Goal-level instruction：只给目标、不给逐步动作脚本，以保留自然规划、犹豫与恢复。HSI：human-scene interaction，人体与桌椅沙发等场景组件的交互。C-IoU：阈值化接触区域的空间 IoU。V-IoU：进一步考虑压力幅值的体积 IoU。CoP：压力中心，预测与真值质心的空间距离，越低越好。PA-MPJPE/PA-PVE：先做 Procrustes 对齐后的关节/顶点误差，主要看局部姿态与形状。MPJPE/PVE：保留全局朝向的关节/顶点误差。WA-MPJPE：整条世界轨迹一次对齐后的平均关节误差，衡量全局轨迹漂移。F@5/F@15：误差小于 5/15 mm 的关节比例。AUC_J：0–50 mm 阈值下 PCK 曲线归一化面积。Traj. err.：整段手腕轨迹一次相似变换对齐后的平均残差，反映漂移与尺度一致性。\n\n\n\n\n\n### 全部图表索引\n\n可用材料为论文正文 Markdown、图1–14 的图像链接与表1–6；未附附录、补充材料、代码或数据卡，图像内容未逐张视觉核验。图索引：图1（首页，ACE 将家庭变为 recording studio 的总览，支撑两尺度与多模态主张）；图2（Sec.3.1，站点平面与相机布置，支撑两尺度部署；重要解读见 module_d）；图3（Sec.4.1，ACE 工作流：穿戴→记录→同步→标注，支撑流水线主张）；图4（Sec.4.1.1，同步后的 ego/exo/音频/人体/物体运动示例，支撑时间对齐主张）；图5（Sec.4.1.2，room-scale 标定相机布局，支撑稀疏 exo 与 mocap 桥接）；图6（Sec.4.1.2，table-scale 标定布局，支撑近距多相机标定）；图7（Sec.4.2.1，任务类别示例，支撑 atomic/chain/HSI 任务设计）；图8（Sec.4.2.3，数据统计：任务类别、take 长度、物体类别等，支撑规模主张）；图9（Sec.4.3.1，物体标注：名称、6-DoF、框、运动轨迹）；图10（Sec.4.3.1，人体与手部位姿及 ego/exo 投影标注）；图11（Sec.4.3.1，手部标注与多视角投影）；图12（Sec.4.3.1，触觉压力标注，支撑遮挡下接触判别）；图13（Sec.4.3.1，音频与语言描述时间线）；图14（Sec.5，三级基准：信号→场景组件→交互，支撑 benchmark 结构）。表索引：表1（Sec.2.1，与相关数据集的全量对比；重要解读见 module_d）；表2（Sec.3.2.2，采集硬件清单；数量为两配置合计，分辨率栏 OCR 乱码，数值待核验；重要解读见 module_d）；表3（Sec.5.1，ego 视频触觉估计结果，PressureVision/EgoPressureDiff/TouchAnything）；表4（Sec.5.2，人体运动估计 22 个基线，mm）；表5（Sec.5.3.1，ego 视角手部运动估计，WildHands/Dyn-HaMR/HaWoR）；表6（Sec.5.3.2，exo 视角手部运动估计，HORT/HaMeR/HaPTIC/WiLoR/OmniHands）。缺失项：无附录中的同步残差分布、标定逐相机误差、按站点/受试者划分、计算预算、许可与数据卡；表2 分辨率与部分表注需查原 PDF。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可靠结论（论文证据范围内）：\n\n1) 系统与数据规模：ACE 确有 table-scale 与 room-scale 两套配置；正文给出相机、OptiTrack、Manus、触觉手套、Jetson/Motive 主机等部署，以及 150+ 小时、17M 帧、75,000 episodes、50 名受试者、2 个站点、200 任务类、50 个物体实例的统计。这些是论文自述与表1/表2/第3–4节支持的事实，但未外部核验。\n2) 同步与标定：以 OptiTrack 60 Hz 为参考，ZED 共触发+NatNet 起停，QR 光学时钟拟合常数偏移+慢漂移；GoPro 音频互同步+QR；ego 四鱼眼内部失配<2 ms，room-scale 用约10秒看钟，table-scale 用 QR+AprilTag 配准 marker；触觉用 IMU 模板。标定用 ArUco+四角反光 marker 桥接 RGB/IR，exo 留出帧中位重投影<3 px，ego hand-eye+BA 约2 px，偏移复估<4 ms。这些是本文最强的工程证据，支持“在所述两站点、所述流程下可达到毫秒级同步和像素级标定”的有限结论。\n3) 标注与基准：除 Gemini 文本外，人体/手/物体/触觉标注多为测量派生；留出10小时测试；表3–6显示触觉空间估计、世界轨迹、ego 手部世界轨迹等存在明显差距。可支持“在这些测试集和零样本官方权重设置下，现有方法在接触、遮挡、egomotion、长时程下退化”。\n\n支持不足或需降级解读的 claim：\n\n1) “现有数据集均不满足完整感知-动作环”是作者基于表1自定维度的强主张；表1的 ✓/(✓)/✓ 语义依赖表注，且未独立核验 prior work，不能当作已证事实。\n2) “30+ SOTA 暴露 substantial gaps”只支持为所选基线的零样本评测结果，不支持所有方法族或所有家庭场景；未在 ACE-Data-0 上重训，未报告计算预算、训练时长、推理速度。\n3) 多视角未超过最强单视角，作者自己承认多视角基线有限；不能据此否定多视角。\n4) 没有对同步、标定、两尺度设计做消融，因此这些设计对下游性能的因果贡献未被分离；表3–6的差距不能单独归因于数据引擎。\n5) 触觉只在 table-scale 评测；人体运动主要在 room-scale；物体6-DoF因适用方法太少未设基准；两站点、仅可仪器化实体、穿戴设备可见，外部有效性受限。\n6) 代码、数据许可、标注工具、逐模态残差分布、按站点/受试者划分、表2分辨率（OCR乱码）均未在材料中确认，属待核验。\n\n关键假设：OptiTrack 时钟是可靠参考；QR 时钟读数可用“常数偏移+慢漂移”线性拟合；exo 相机静态且可由 ArUco+反光角桥接稀疏共视；ego 位姿由5个marker刚体+hand-eye给出而非SLAM；触觉与头显可由IMU动作模板对齐；物体先扫描/2DGS重建并绑定marker；goal-level instruction 能引出自然但可测量的行为；10小时留出集与评测设置能代表目标分布。\n\n失败场景与后果：marker 遮挡/脱落、红外反射干扰、QR 不可见或看钟不足、网络时间戳滞后与漂移非线性、高角速度帧使 hand-eye 失效，会造成同步/标定残差增大，进而使接触级标注和2D投影错位；可变形物、流体、铰接机构状态未标注，物体几何/位姿绑定错误会污染6-DoF与投影；table-scale 手部真值依赖多视角三角化+人工修正，少视/遮挡帧被 mask，可能改变评测难度；穿戴设备可见会让模型学到数据集特定线索；ego 世界轨迹受 egomotion 误差主导，长时程漂移会放大。\n\n复现计划：必需产物：发布的数据分片、每 take 的时间映射表、内外参、物体mesh与marker绑定、41点人体/手/物体6-DoF/触觉/音频流、标注定义与评测代码；项目页与HF链接需实际访问确认许可与完整性。关键设置：60 Hz OptiTrack参考；room-scale 8 ZED+12 OptiTrack；table-scale 8 GoPro+16 OptiTrack；ego 4鱼眼20 FPS；Manus/物体60 Hz；留出10小时；官方预训练权重零样本。验证步骤：重估每相机偏移并检查<4 ms；用留出帧复现 exo<3 px、ego约2 px重投影；抽查同步后手-物接触与触觉起始帧；复现表3–6指标并记录偏差；做站点/受试者留出划分与重训实验。核心创新验证应做受控实验：对同步残差注入0/1/5/10 ms抖动、对标定加噪声、比较单尺度vs两尺度、比较测量标注vs检测器伪标注，观察下游触觉/姿态/手部轨迹与策略学习变化；在ACE训练集上微调 WildHands/HaWoR/HaPTIC 等，测试是否能缩小 ego 世界轨迹差距。成功标准：同步/标定复现达到论文量级；基线结果在报告附近且排序稳定；受控扰动导致可解释退化；跨站点留出性能下降被量化。阻塞项：无附录/代码/数据卡，无法确认划分细节、许可、逐相机误差和计算预算；表2分辨率数值乱码；部分外部引用为2026年 arXiv/会议，当前不可核验。\n\n\n\n\n\n### 应用约束\n\n数据与硬件约束：一小时原始数据约1 TB，150+小时对应约150 TB量级原始存储（由文中1 TB/小时推算，非直接报告）；需28台OptiTrack、8台ZED One、8台GoPro、ego头显、Manus、触觉手套、Jetson、Motive主机、mocap服、ArUco板与大量marker。部署需改造真实家庭/公寓，标定每天复验两次，物体需预先扫描/2DGS重建并贴marker，采集需受试者穿戴和操作员监控。\n计算与延迟：论文未报告训练GPU型号、训练时长、推理延迟或吞吐；基准是离线零样本评测。采集端同步目标为毫秒级、ego 20 FPS、mocap/物体60 Hz；不是实时机器人闭环系统。\n鲁棒性与适用边界：已演示的是两站点、可仪器化实体、静态exo相机、短时看钟和marker可见条件下的采集与评测；marker遮挡、强反光、QR不可见、高角速度、可变形物/流体/铰接状态、更多家庭布局均未验证。穿戴设备可见可能引入数据集特定视觉线索。\n应用：适合作为人类演示的多模态预训练/基准数据、触觉从视觉、人体/手部运动诊断、VLA/世界模型的离线数据源；不直接提供机器人可执行动作，需重定向和策略学习；跨站点泛化、实时部署、规模化到更多家庭属于推断而非已证明。\n成本判断：采集与标注成本高但标注多为测量派生，长期可能比逐帧人工标注省；主要成本在硬件、场地、受试者、维护和存储。未报告经济成本与标注人工比例。\n\n\n\n\n\n### 探索问题\n\n问题1：同步/标定与两尺度设计是否对下游学习有因果增益？验证：在相同内容上注入0/1/5/10 ms同步抖动、标定噪声，比较单尺度vs两尺度，训练同一姿态/触觉/策略模型并做站点留出。收益：把“数据引擎”贡献从内容差异中分离。风险：内容混杂、训练成本高，且扰动可能不现实。\n问题2：ACE-Data-0 能否跨站点/跨家庭并迁移到机器人策略？验证：按站点/受试者留出，增加第三个家庭，做手部轨迹到夹爪的重定向与模仿学习。收益：检验外部有效性和实用价值。风险：仅两站点导致方差大；重定向误差可能掩盖数据问题。\n问题3：测量监督（触觉、物体6-DoF、头显位姿）能否改进 ego 世界轨迹与手-物交互？验证：在ACE训练集上微调 WildHands/HaWoR/HaPTIC，加入测量头显运动与物体位姿辅助输入，和零样本基线比较。收益：直接检验数据价值并指向误差源。风险：划分泄漏、站点特定线索过拟合，需严格去重和留出。\n\n\n\n\n\n### 引用与核验\n\n核查范围：仅基于所给论文正文、表1–6、图注与参考文献列表；未访问项目页、Hugging Face、代码或补充材料，未逐条检索外部文献。因此下列均为“论文引用支持/待外部核验”，不表示已独立确认。\n支撑新颖性与最强对比的关键引用：Ego-Exo4D [^7]、EPIC-KITCHENS-100 [^8]、Ego4D [^23]、HoloAssist [^24] 支撑 ego/ego-exo 规模与缺口；ContactPose [^15]、DexYCB [^16]、GRAB [^11]、ARCTIC [^12]、OakInk2 [^13]、HOT3D [^14]、GigaHands [^17] 支撑手-物交互对比；BEHAVE [^10]、CHAIRS [^32]、EgoBody [^33]、ParaHome [^38]、Nymeria [^39] 支撑房间尺度/人体-场景对比；DROID [^44]、AgiBot World [^45]、EgoDex [^46]、EgoScale [^48]、Xperience-10M [^9] 支撑机器人数据/大规模ego对比。这些对比的 ✓/(✓)/✓ 语义由表1表注定义，未核验原始数据集，不能把表1当作独立事实。\n最强比较与决定性外部 claim：表3 TouchAnything [^87]、EgoPressureDiff [^86]、PressureVision [^85]；表4 Human3R [^105]、SMPLest-X [^97]、OSX [^95] 等22个基线；表5 WildHands [^113]、Dyn-HaMR [^114]、HaWoR [^52]；表6 WiLoR [^115]、HaMeR [^51]、HaPTIC [^53]、HORT [^54]。这些结果依赖官方 checkpoint 与作者评测协议，当前未复现。注意 [^86] 正文称 EgoPressureDiff，而参考文献标题为 EgoTactile，命名一致性待核验。\n复现依赖引用：2DGS [^78]、ArUco [^79]、hand-eye [^80]、bundle adjustment [^81]、Kalibr [^82]、SMPL-X [^83]、MANO [^49]、Gemini [^84] 以及 OptiTrack/NatNet 相关工具；这些是流水线可复现的关键外部依赖，但文档未给版本、参数与代码。\n其他引用：第2节相关工作与第1节背景引用（如 [1–6]、[19–22]、[56–77]）多为定位性引用，未逐条核查；其中部分为2026年 arXiv/会议条目，当前环境无法确认其存在性与版本。表2分辨率栏OCR乱码（如2048×10^88、1920×10^80）明显不可用，需查原PDF。项目页与HF链接仅出现在文中，未访问，数据许可与完整性待核验。\n\n\n\n\n\n### 最终判断\n\n最终判断：把本文当作“两站点、强仪器化家庭中的多模态采集系统+数据集+诊断性基准”来信任；其工程同步/标定描述和表3–6的受限评测最有价值。不要把“完整感知-动作环”“所有SOTA普遍失败”“可泛化到真实家庭”当作已证结论；这些只在该数据、该留出集、零样本基线和两站点条件下成立。使用建议：优先用于离线基准、预训练/微调数据源和方法误差诊断；用于机器人策略前必须做重定向、站点留出和许可核验。下一步：获取发布数据与代码后，先跑同步/标定审计和站点留出复现，再决定是否投入下游训练。"
}