{
  "paper_id": "e77840a69f8366076cf500f622906587",
  "paper_title": "EGODEX: LEARNING DEXTEROUS MANIPULATION FROM LARGE-SCALE EGOCENTRIC VIDEO",
  "paper_authors": [
    "Ryan Hoque",
    "Peide Huang",
    "David J. Yoon",
    "Mouli Sivapurapu",
    "Jian Zhang"
  ],
  "publication_date": "2025",
  "publication_venue": "unknown",
  "abstract": "模仿学习在灵巧操作领域存在众所周知的数据稀缺问题。与自然语言和二维计算机视觉不同，灵巧操作没有互联网规模的数据语料库。一个有吸引力的选择是自我中心视角的人类视频，这是一种可被动扩展的数据源。然而，Ego4D等现有大规模数据集没有原生的手部姿态标注，也不专注于物体操作。为此，我们使用Apple Vision Pro收集了EgoDex：迄今最大、最多样化的灵巧人类操作数据集。EgoDex包含829小时的自我中心视频及录制时同步采集的3D手部与手指追踪数据，其中多个标定相机和设备端SLAM可用于精确追踪每只手每个关节的姿态。该数据集涵盖194种不同桌面任务中广泛的多样化操作行为，涉及日常家居物品，从系鞋带到叠衣服。此外，我们在该数据集上训练并系统评估了用于手部轨迹预测的模仿学习策略，为衡量这一日益重要领域的进展引入了指标和基准。通过发布这一大规模数据集，我们希望推动机器人学、计算机视觉和基础模型的前沿。EgoDex已在 https://github.com/apple/ml-egodex 公开提供下载。",
  "keywords": [
    "灵巧操作",
    "自我中心视频",
    "模仿学习",
    "大规模数据集",
    "基准测试",
    "3D手部姿态追踪",
    "Apple Vision Pro",
    "轨迹预测",
    "人-物交互"
  ],
  "paper_institutions": [
    "Apple"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "glm-5.3",
  "prompt_template": "simple",
  "extracted_at": "2026-09-17T09:29:58.082303Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n模仿学习在灵巧操作领域长期面临数据稀缺问题——与自然语言和二维计算机视觉不同，该领域不存在互联网规模的数据语料库：机器人遥操作数据集（如DROID、Open X-Embodiment）受物理机器人瓶颈限制难以继续扩展，Ego4D等自我中心视频数据集缺乏原生手部姿态标注且不聚焦主动操作，EgoMimic虽采用自我中心视频加3D手部追踪的思路但规模仅约4小时。为此，作者利用Apple Vision Pro（visionOS 2）的高分辨率宽视场透视与ARKit生产级姿态追踪，采集了迄今最大、最多样化的灵巧人类操作数据集EgoDex：829小时1080p、30Hz自我中心视频，共338,000个演示、194种桌面任务、9000万帧、2.0TB存储，录制时同步提供上半身各关节（含每只手25个关节）的SE(3)位姿、相机内外参、置信度与经GPT-4整合的自然语言标注；任务分为可逆、免重置与需重置三类，行为多样性远超抓取放置（如系鞋带、拧瓶盖、插充电器），其被动可扩展性与人手作为通用具身形态的特性使其适合验证大规模模仿学习。基于该数据集，作者提出两个基准：轨迹预测 f_θ(o_{0..t}, s_{0..t}, l) = â_{t:t+H}（从图像观测、骨骼姿态与语言描述预测未来H步的48维双手动作块，动作由双手腕3D位置、6D朝向及各手5个指尖的3D位置构成，以当前相机坐标系下的相对动作块表示）以及以目标图像为条件的逆动力学基准，并采用best-of-K指标（K次采样中与真值欧氏距离最近者，在12个手腕与指尖关键点上按时间步平均，单位为米）评估。实验在8块NVIDIA A100 GPU上训练14个模型（编码器-解码器与仅解码器两种Transformer架构 × 行为克隆、去噪扩散、流匹配三种策略表示，50,000步、批大小2048、约72小时），结果表明：编码器-解码器架构一致优于仅解码器，EncDec+FM在K=5/10时最优（K=10平均距离0.038m、最终距离0.041m，较其他模型提升至34%），而确定性BC在K=1时更优约15%；预测时域从2秒缩至1秒使平均/最终距离改善31%/21%，视觉目标条件化使平均/最终距离降低22%/53%，性能随数据规模增长且2亿参数的中等模型已足够，这些结果支持了灵巧标注与大规模数据对模仿学习的价值。局限与未来方向包括：场景多样性限于桌面环境、重度遮挡或高速运动下标注可能不准，可通过程序化背景随机化与更多样环境采集改进；分布外实验显示模型可泛化到与分布内相似的任务。该数据集可服务于机器人（弥合人机具身差距）、感知（动作识别、人-物交互检测）以及视频生成与自我中心世界模型等现实应用场景。\n\n### 关键要点\n\n- EgoDex是迄今最大、最多样化的灵巧人类操作数据集：829小时1080p、30Hz自我中心视频，338,000个任务演示、194种桌面任务、共9000万帧，磁盘占用2.0TB，并附带语言标注、相机外参与灵巧（多指）手部姿态标注。\n- 数据使用Apple Vision Pro（visionOS 2）采集，借助ARKit生产级姿态追踪在录制时同步获得上半身各关节（含每只手25个关节）的SE(3)位姿、相机内外参、每关节0到1的置信度，以及由GPT-4将采集者元数据整合而成的自然语言描述。\n- 任务分为可逆（76对）、免重置（28个）与需重置（14个）三类，可逆与免重置任务消除了昂贵的重置成本从而提高采集效率；行为覆盖系鞋带、拧瓶盖、插拔USB、叠衣服、发牌等远超简单抓取放置的灵巧操作。\n- 动作表示为48维：双手腕的3D位置、6D朝向及各手5个指尖的3D位置，以当前相机坐标系下的相对动作块形式在固定时域上预测。\n- 提出两个基准：轨迹预测 f_θ(o_{0..t}, s_{0..t}, l) = â_{t:t+H} 与以目标图像为条件的逆动力学（视觉目标条件策略），均以预测时域H参数化（如1秒H=30、3秒H=90），并预留1%数据作为固定测试集以保证可复现性。\n- 评估采用best-of-K指标：对每个测试点采样K次，取与真值3D关键点（双手腕与指尖共12个）欧氏距离最近的轨迹，按时间步与关键点平均，单位为米；确定性模型与K无关，随机模型随K增大而改善。\n- 实验共训练并评估14个模型：编码器-解码器与仅解码器两种Transformer架构，行为克隆、去噪扩散与流匹配三种策略表示，在8块NVIDIA A100 GPU上训练50,000步、批大小2048，完整训练约72小时，图像经预训练ResNet编码、语言经冻结CLIP编码。\n- 结果显示编码器-解码器架构一致优于仅解码器；EncDec+FM在K=5/10时最优（K=10平均距离0.038m、最终距离0.041m，较其他模型提升至34%），而确定性BC在K=1时优于扩散与流匹配约15%，说明BC的平均预测更好而生成式模型的最佳预测更好。\n- 预测时域从2秒缩短至1秒使平均与最终距离分别改善31%与21%，延长至3秒则分别恶化18%与11%；视觉目标条件化使平均距离降低22%、最终距离降低53%，为逆动力学基准提供了基线。\n- 性能随训练数据规模增大而持续提升，验证了大规模自我中心数据采集的必要性；将模型从2亿参数扩大到5亿参数没有任何收益，表明中等规模模型在当前数据量下已足够，可在商用GPU上运行。\n- 在6个完全分布外任务上的实验显示，与分布内相似的任务性能接近（如拼图平均距离0.047m），而分布差异更大的任务性能明显下降（如盖印章0.099m），表明模型可泛化到一定程度相似的任务。\n- 局限性包括：场景多样性限于桌面环境、背景单一，且灵巧标注本身是模型预测，在重度遮挡（如叠毛巾）或高速运动时可能不准确；未来工作包括对现有数据进行程序化背景随机化以及在更多样化的环境中采集数据。"
}