{
  "paper_id": "45cba66ec4bdaa3c67b7ea3899650e21",
  "paper_title": "RoboCap: A New Platform for Egocentric Robot Learning",
  "paper_authors": [
    "Qasim Ali",
    "Nikash Bhardwaj",
    "Kheri Hughes",
    "Owen Akhibi",
    "Alex Proshkin",
    "Haotian Zhan",
    "Ademi Adeniji",
    "Vincent Liu",
    "Sam Cho",
    "Ethan Lee",
    "Paul Luo",
    "Shinn Chong",
    "Sunny Yu",
    "Niresh Dravin",
    "Vivek Sharma",
    "Jonathan Victor",
    "Amanda Young",
    "Michael Cho"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "尽管第一视角操作数据有望扩展机器人学习，但其目前仍然稀缺。规模化采集需要将符合人体工学的硬件与厘米级精度的三维算法垂直整合，而这种精度此前尚未公开展示。为弥补这一空白，作者提出 RoboCap：一款重 250 克、配备六个相机和双 IMU、用于野外第一视角数据采集的帽子；同时提出设备无关且为 RoboCap 调优的三维算法套件 Grounded API。报告展示了硬件、标定和三维算法如何协同，在公开基准上实现先进性能，涵盖多种场景与设备上的 SLAM、第一视角深度估计，以及适配第三方设备后的手部追踪。\n",
  "keywords": [
    "第一视角机器人学习",
    "RoboCap",
    "Grounded API",
    "视觉惯性 SLAM",
    "立体深度估计",
    "手部追踪",
    "在线自标定",
    "可穿戴设备",
    "野外数据采集"
  ],
  "paper_institutions": [
    "Grounded Superintelligence",
    "BitRobot"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:56.062698Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n论文针对第一视角操作数据扩展潜力高但野外厘米级三维标签稀缺的问题，指出仿真、遥操作、UMI 与第一视角数据分别面临人工工程成本高、演示不自然、低自由度限制和状态估计噪声等权衡；其核心思路是将硬件按三维估计需求反向设计，并配合设备无关算法。作者提出重 250 克的 RoboCap 帽子，集成六个硬件同步全局快门 RGB 相机、两个 200 Hz IMU、前视与眼视两组标定立体对以及两个侧向广角相机，核心测量机制为双目视差 z = fb/d，且立体深度误差按 z²/(fb) 放大，因此机械热应力造成的旋转漂移必须逐会话校正；Grounded API 则包含多相机视觉惯性 SLAM、基于 Fast-FoundationStereo 的度量深度估计和多视图 MANO 手部追踪。实验选用最接近头戴城市场景的 LaMAria（63 段、27.5 小时、76 公里，真值由服务器保留）验证长程、弱光和移动平台鲁棒性，选用 UnrealEgo2 合成密集真值验证零样本第一视角深度，选用独立 ChArUco 板隔离标定效果，并在 HOT3D、UmeTrack、SHOW3D、DexYCB-Mv、OakInk-Mv、HO3D-Mv 及内部 RoboCap 仿真基准上检验跨设备迁移；自定义野外 RoboCap 数据覆盖肤色、手套、遮挡、模糊等条件，标签由无动捕多视图优化生成，用于证明可扩展性。结果显示 SLAM 在 LaMAria 平均控制点得分为 62.3，含 Aria 参考系统时位列第二、在可排名方法中最高，比其他最佳提交高 26–46 分，96%–100% 控制点轨迹误差在 5 米内；FFS 在双视图可见的 0.3–1.0 米区域 AbsRel 为 0.016，在线自标定将 ChArUco 总体 AbsRel 从 0.025 降至 0.012，并把 150 台设备的中位极线残差由 3.8 像素降至 0.56 像素；野外预训练使三个公开手部数据集 MPJPE 降低 2.9–7.5 毫米（17%–40%），内部仿真达 9.2 毫米，并在 DexYCB-Mv、OakInk-Mv 上优于 POEMv2，但在 HO3D-Mv 缺相机设置下表现下降。后续工作应验证厘米级标签对大规模策略性能的实际收益、发展无线全天佩戴形态、提升长时自相似场景回环识别和在线最终精度；该系统适用于有计划的野外人类操作数据采集与机器人动作重定向，约束包括工作视锥有限、依赖拴系电池、约 500°/s 以上快速旋转会失败、无特征长廊回环较弱、因果轨迹约为离线结果两倍误差，以及缺失相机会限制跨 rig 泛化。\n\n### 关键要点\n\n- RoboCap 是一款 250 克头戴帽式设备，配备六个 1920×1080、30 Hz 的硬件同步全局快门 RGB 相机、两个 6 轴 200 Hz IMU、磁力计和 214.5 GB 机载存储。\n- 前视立体对基线为 86.8 毫米且有 157° 重叠，眼视立体对基线为 106.2 毫米且有 154° 重叠，两个侧向相机相对前轴偏转 85° 并下俯 30°，用于覆盖离开前向视锥的手臂动作。\n- 每台设备出厂时用 AprilGrid 和连续时间批量优化单独标定内参、相机-IMU 外参与时序偏移，IMU 噪声模型则由 Allan 方差分析确定。\n- 在线自标定每个录制会话仅从自然对应点估计残余旋转，以左前相机为锚点，使用 Sampson 极线距离，并要求校正改善留出残差且接近出厂值约 1° 以内。\n- SLAM 系统融合 GPU 加速块光流前端、平方根滑窗估计、外观回环识别和离线关键帧光束法平差，同一配置可运行在 RoboCap、Aria、手持鱼眼和航空立体等不同 rig 上。\n- 在 LaMAria 上，该 SLAM 平均得分为 62.3，在短、中、长、弱光和移动平台类别均比其他最佳公开提交高 26–46 分，控制点 5 米召回率为 96.2%–99.9%。\n- 深度模型 Fast-FoundationStereo 在 UnrealEgo2 双视图可见的 0.3–1.0 米像素上达到 0.016 AbsRel，误差主要来自仅单视图可见、无法匹配的像素。\n- ChArUco 板实验表明，在线自标定把 FFS 总体 AbsRel 从 0.025 降到 0.012，在小于 0.8 米和不小于 0.8 米距离上均实现约一半误差削减。\n- 手部追踪模型以前馈多视图 ViT 接收手部裁剪图和相机参数，输出统一的 MANO 参数，从而在构造上保证多视图一致，训练标签由无动捕的野外多视图优化生成。\n- 在 HOT3D、UmeTrack 和 SHOW3D 上，仅将从零训练改为野外预训练初始化即可使 MPJPE 分别降至 14.47、11.49 和 13.68 毫米，降幅为 17%–40%。\n- 模型在 DexYCB-Mv 和 OakInk-Mv 上分别达到 5.22 和 7.25 毫米 MPJPE，优于 POEMv2，但在 HO3D-Mv 测试序列缺失两个相机时为 13.01 毫米，暴露跨 rig 泛化限制。\n- 主要应用约束包括动作离开所有相机视锥时不可恢复、系统依赖拴系电池、超过约 500°/s 的快速旋转会使跟踪失败，且离线高精度轨迹不能直接满足实时在线需求。"
}