{
  "paper_id": "11b187ee99018423f5ad3abc841f7ec7",
  "paper_title": "Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild",
  "paper_authors": [
    "Lingni Ma",
    "Yuting Ye",
    "Fangzhou Hong",
    "Vladimir Guzov",
    "Yifeng Jiang",
    "Rowan Postyeni",
    "Luis Pesqueira",
    "Alexander Gamino",
    "Vijay Baiyya",
    "Hyo Jin Kim",
    "Kevin Bailey",
    "David S. Fosas",
    "C. Karen Liu",
    "Ziwei Liu",
    "Jakob Engel",
    "Renzo De Nardi",
    "Richard Newcombe"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2024 (Lecture Notes in Computer Science)",
  "abstract": "我们推出 Nymeria，一个大规模、多样化、标注丰富的人体运动数据集，在真实环境中利用多种多模态第一视角设备采集。数据集包含：a）全身真值运动；b）来自 Project Aria 设备的多种多模态第一视角数据，包括视频、眼动追踪、IMU 等；c）由额外“观察者”提供的第三人称视角。所有设备均经过精确同步并定位到同一个米制三维世界中。我们设计了层级化协议，为人体运动添加上下文语言描述，从细粒度运动叙述，到简化的原子动作和高层活动摘要。据我们所知，Nymeria 是全球最大的真实环境人体运动数据集；首个提供同步并定位的多设备多模态第一视角数据的数据集；也是全球最大的运动-语言数据集。它涵盖 264 名参与者在 50 个地点进行的 300 小时日常活动，总移动距离超过 399 公里。语言描述包含 6545 个词汇量中的 864 万词、31.05 万个句子。为展示数据集潜力，我们评估了若干第一视角身体追踪、运动合成和动作识别的 SOTA 算法。\n",
  "keywords": [
    "人体运动",
    "第一视角",
    "多模态",
    "数据集"
  ],
  "paper_institutions": [
    "Meta Reality Labs Research, Redmond, USA",
    "Nanyang Technological University, Singapore, Singapore",
    "University of Tübingen and Max Planck Institute for Informatics, Tübingen, Germany",
    "Stanford University, Stanford, USA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:29:16.811391Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向智能眼镜与可穿戴设备对情境化 AI 的需求，论文要解决从第一视角有限自观测中理解全身运动的问题，而现有真实数据集在规模、多样性、模态和场景上下文上不足，仿真数据又存在域差距，构建数据还面临野外长期真值获取、多设备时空对齐和语言标注规模化三项挑战。为此作者提出 Nymeria：每名参与者穿戴 XSens MVN Link 动捕服、Project Aria 眼镜和两个 miniAria 腕带，另由训练过的观察者持 Aria 记录第三人称视角；专用同步设备向所有设备提供时间戳，达到亚毫秒级同步，XSens 与 Aria 的对齐在一个运动帧即 4.2 ms 内，并利用 Aria MPS 的 VIO、SLAM、回环检测和视觉惯性光束法平差，把同一地点的多段记录统一到米制三维世界。数据处理的核心机制是将 XSens 23 节骨架上的 79 个解剖学标志点通过逆运动学优化重定向到参数化人体模型，即 arg min_{φ,θ_0…θ_{N-1},v^i} Σ_t Σ_i ||T^i(φ,θ_t)v^i − p_t^i||²，其中 θ 表示全局变换和局部关节角，φ 表示体型与骨长，v^i 表示标志点局部偏移；随后用比较局部速度的 HandEye 校准求解头部与眼镜之间的常量变换，以缓解 XSens 航位推算造成的全局漂移。语言标注采用由粗到细的层级：5 秒细粒度运动叙述、5 秒原子动作和 30 秒活动摘要，标注者同时观看第一视角视频、第三人称视频和带三维场景的运动渲染，以兼顾近距离手物交互与全身姿态语境。Nymeria 包含 1200 段、300 小时、平均 15 分钟的自然非脚本日常活动，来自 264 名参与者、50 个地点、20 类场景，累计头部轨迹 399 公里、2.6 亿身体姿态、2.012 亿图像、117 亿 IMU 样本、1080 万注视点，以及 31.05 万句、864 万词、词汇量 6545 的描述；选择密集惯性动捕是为了离线建立高可信真值，加入真实眼镜和腕带则用于检验真实传感器噪声，而不是只依赖由运动伪造的合成输入。基准结果显示：AvatarPoser 在真实设备输入上 MPJPE 为 7.97 cm，在合成输入上为 7.31 cm，说明真实噪声会引入误差但设备轨迹质量较高；三点 BoDiffusion 的 MPJPE/FID 为 7.98 cm/2.32，优于一点 EgoEgo 的 13.22 cm/5.14；VQ-VAE 在乘积量化、16384 码本和 64 维隐变量下达到 34.49 mm MPJPE，证明日常运动可被有效令牌化；在 30 小时细粒度叙述子集上，MotionGPT 的 CIDEr 为 37.27、BLEU@4 为 10.31，优于 TM2T 的 20.85 和 8.99，但更复杂、更具上下文的描述也使任务比 HumanML3D、KIT 等简短标注更难。该数据可支持全身追踪、运动预测与合成、路径规划、动作识别、行为分析、注视条件预测、多模态空间推理、视频理解、图像重定位、传感器仿真和语言-运动物理落地；真实场景涵盖家庭、办公室、校园、餐厅、徒步、骑行和运动等，主要约束包括动捕服与腕带影响外观并限制部分动作、XSens 精度受身体测量和每次校准影响、眼镜在记录中并非完全刚性因而成为注册误差主要来源、公共日常场景覆盖仍有限，以及隐私保护需依赖知情同意、EgoBlur 人脸和车牌去标识、最小数据保留与研究许可。\n\n### 关键要点\n\n- Nymeria 的采集硬件包括带 17 个惯性追踪器和磁力计的 XSens MVN Link、Project Aria 眼镜、两个由 Aria 传感器改造的 miniAria 腕带，以及额外的第三人称观察者设备。\n- Project Aria 眼镜提供 RGB、灰度、眼动相机、IMU、气压计、磁力计、麦克风、GNSS、WiFi 和蓝牙等多模态信号；miniAria 腕带保留主要运动感知能力但去除麦克风、气压计、磁力计和眼动相机。\n- 专用同步设备向所有装置提供统一时间戳，可选接收约 100 米范围内无线服务器的时间，实现亚毫秒级同步，XSens 与 Aria 的时间偏差不超过 4.2 ms。\n- Project Aria MPS 先对每段记录独立运行 SLAM，再通过回环闭合和视觉惯性光束法平差联合优化，输出同一地点统一的米制三维地图和 1 kHz 设备轨迹。\n- 运动重定向通过最小化参数化人体模型上 79 个标志点与 XSens 前向运动学标志点之间的位置误差，把模板骨架运动转换为带姿态和体型参数的解剖学人体模型。\n- 由于 XSens 航位推算存在漂移，系统将轨迹切成 4.2 ms 的短段，通过比较 XSens 与 MPS 世界坐标中的局部运动求解 HandEye 常量变换，并用滚动窗口进一步提高精度。\n- 语言标注分为细粒度运动叙述、原子动作和活动摘要三层，分别覆盖约 5 秒、5 秒和 30 秒片段；总计 38.6 小时叙述、207 小时原子动作和 196 小时摘要。\n- 数据集包含 1200 段、300 小时日常活动，参与者 264 人、地点 50 个、场景 20 类，平均每段 15 分钟，头部累计移动 399 公里，两个腕带累计轨迹 1053 公里。\n- AvatarPoser 三点追踪实验表明，真实设备输入的 MPJPE 为 7.97 cm、手部位置误差为 6.25 cm，合成输入分别为 7.31 cm 和 3.47 cm，真实噪声是主要差异来源。\n- 运动合成实验中，三点 BoDiffusion 在 Nymeria 上取得 7.98 cm MPJPE 和 2.32 FID，显著优于一点 EgoEgo 的 13.22 cm MPJPE 和 5.14 FID。\n- VQ-VAE 消融显示乘积量化、增大码本和降低隐变量维度可改善重建，最佳配置达到 34.49 mm MPJPE、26.83 mm PA-MPJPE 和 0.67 mm/帧²量级加速度误差。\n- 论文明确指出动捕服和腕带会改变外观并限制动作、校准和身体测量影响 XSens 质量、数据集尚未覆盖许多公共场景，同时通过同意机制和 EgoBlur 去标识保护隐私。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}