{
  "paper_id": "643250badcbe200e90ba3cb846795b75",
  "paper_title": "ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation",
  "paper_authors": [
    "Zicong Fan",
    "Omid Taheri",
    "Dimitrios Tzionas",
    "Muhammed Kocabas",
    "Manuel Kaufmann",
    "Michael J. Black",
    "Otmar Hilliges"
  ],
  "publication_date": "2023",
  "publication_venue": "IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "机器尚难以理解无生命物体的状态变化通常由人的操作造成，其重要原因是缺少带三维真值、可用于研究手与铰接物体之间物理一致且同步运动的数据集。为此，本文提出 ARCTIC：一个双手灵巧操作铰接物体的数据集，包含 210 万帧视频，并配有精确的三维手部和物体网格以及细粒度的动态接触信息。数据集中手的姿态与剪刀、笔记本电脑等物体的铰接状态随时间共同变化。作者定义了两个新任务：一是从单目视频一致地重建双手和铰接物体的三维运动；二是从图像估计手物之间密集相对距离的交互场。文中分别提出 ArcticNet 和 InterField 两个基线，并在 ARCTIC 上进行定性与定量评估，代码和数据可在项目主页获取。\n",
  "keywords": [
    "双手灵巧操作",
    "铰接物体",
    "手部姿态估计",
    "三维重建",
    "交互场",
    "接触估计",
    "数据集",
    "ARCTIC"
  ],
  "paper_institutions": [
    "ETH Zürich, Switzerland",
    "University of Amsterdam",
    "Max Planck Institute for Intelligent Systems, Tübingen, Germany"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:19:02.108961Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对机器难以从视觉中理解人手操作导致铰接物体状态变化的问题，指出现有手物数据集多集中于单手或双手对刚性物体的抓握，缺乏同步三维网格、动态接触和铰接状态标注，难以支持物理一致的手物运动研究。为此，作者构建了 ARCTIC 数据集，包含 10 名受试者操作 11 种单自由度铰接物体的 339 个序列、共 210 万帧 RGB 图像；每帧配有 MANO/SMPL-X 手部和人体网格、铰接物体网格及动态接触信息，并通过 8 个静态第三人称视角和 1 个移动第一人称视角以 30 FPS 采集。为减少快速运动和严重遮挡造成的标注误差，数据采集同步使用 54 台高分辨率 Vicon 红外相机，手部和物体采用半径 1.5 mm 的小型标记点，再将预扫描网格和 SMPL-X 模型拟合到标记点；物体由两个刚性部件组成，其姿态由基础部件 6D 位姿和 1D 铰接角表示。该数据集支持两个新任务：一致运动重建要求从单目视频恢复双手和铰接物体，并保证接触、铰接和运动的时空一致性；交互场估计则为每个手部或物体顶点预测到对方网格的最短距离，核心机制可写为 \\(F_i^{a\\to b}=\\min_{1\\le j\\le V_b}\\|\\mathbf v_i^a-\\mathbf v_j^b\\|_2\\)。作者提出 ArcticNet 和 InterField 基线：前者用 CNN 编码器和手、物体解码器回归 MANO 参数、平移及物体铰接位姿，并有单帧与双向 LSTM 版本；后者将图像特征与规范姿态下的子采样顶点拼接，经 PointNet 回归距离，也比较单帧和时序模型。实验按受试者划分为 8 人训练、1 人验证、1 人测试，并建立第三人称 allo 与第一人称 ego 协议，以避免受试者身份泄漏并分别检验常规相机和混合现实视角；实现采用 ImageNet 预训练 ResNet-50、Adam、学习率 1e-5、输入裁剪至 224×224，LSTM 窗口按验证集设为 11，用于公平检验时序建模的价值。评估使用 CDev、MRRPE、MDev、ACC、MPJPE、AAE、物体成功率以及平均距离误差等指标。结果显示，在 allo 测试集上 ArcticNet-LSTM 相比 ArcticNet-SF 将 CDev 从 41.6 mm 降至 38.9 mm、MDev 从 10.4 mm 降至 9.3 mm、手/物体 ACC 从 5.7/7.6 降至 5.0/6.1 m/s²，物体成功率从 71.4% 提升到 73.5%；在 ego 测试集上 LSTM 也取得更平滑且更一致的运动。InterField-LSTM 在 allo 测试集上的手到物/物到手平均距离误差为 8.7/9.1 mm，优于单帧模型的 9.0/10.0 mm，ACC 均为 1.9 m/s²；在 ego 测试集上距离误差为 8.0/9.1 mm，ACC 为 1.8 m/s²，说明时序信息有利于接触一致性、运动协同和距离场平滑性。此外，在 ARCTIC 上预训练再迁移到 HO3D 可改善手部 MPJPE 9.2%、物体顶点误差 7.1%，表明铰接手物数据对刚性物体场景也有价值。未来可探索双手铰接操作生成、利用交互场改进重建、基于渲染深度的铰接物体位姿估计、未知铰接物体三维推理以及更多自由度和更复杂真实物体。该研究适用于机器人操作、AR/VR、第一人称行为理解和人机交互等场景，但主要约束包括基线假设物体模型已知、部分物体为非等比例玩具、SMPL-X/MANO 不建模接触时皮肤变形、标记点可能带来少量标签噪声，且物体目前仅限单轴铰接。\n\n### 关键要点\n\n- ARCTIC 包含 10 名受试者、11 种铰接物体、339 个序列和 210 万帧 RGB 图像，是首个面向双手灵巧操作铰接物体的大规模三维数据集。\n- 采集视角包括 8 个同步标定的静态第三人称视角和 1 个移动第一人称视角，图像原始分辨率达 2800×2000，支持多视角、单目和自我中心研究。\n- 数据采集同步使用 54 台 Vicon Vantage-16 红外相机，手部和物体上的小型标记点半径仅 1.5 mm，以降低遮挡并减少对自然交互的干扰。\n- 每帧均提供三维双手、SMPL-X 人体和铰接物体网格，以及由网格邻近性计算的顶点级动态接触信息。\n- 数据集中的物体由两个绕共同轴旋转的刚性部件构成，物体位姿由基础部件的 6D 刚性位姿和一个相对静止姿态的 1D 铰接角表示。\n- 一致运动重建任务要求从视频中恢复双手和铰接物体，并使预测结果在接触、物体铰接、顶点运动和时间平滑性上保持时空一致。\n- ArcticNet 采用编码器—解码器结构，由 CNN 提取图像特征，再由手部和物体分支回归 MANO 参数、手部平移以及物体旋转、平移和铰接角。\n- 交互场定义为一个网格顶点到另一个网格的最短距离，InterField 将图像特征与规范姿态下的子采样顶点拼接后通过 PointNet 回归密集距离。\n- 实验按受试者划分训练、验证和测试集，并设置 allo 与 ego 两种协议；ego 训练可使用全部视角，测试时仅输入第一人称图像。\n- ArcticNet-LSTM 在多数接触、运动和平滑性指标上优于单帧模型，InterField-LSTM 也取得更低距离误差和加速度误差，证明时序建模的重要性。\n- 论文指出的局限包括基线依赖已知物体模型、部分物体为玩具、人体表示不捕捉皮肤变形、物体仅有一个铰接自由度，且光学标记点可能引入少量标注噪声。"
}