{
  "paper_id": "8c010b3880e128c66a738f58dcb316b2",
  "paper_title": "ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative Modeling of Human-Object Interactions",
  "paper_authors": [
    "Jeonghwan Kim",
    "Jisoo Kim",
    "Jeonghyeon Na",
    "Hanbyul Joo"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)",
  "abstract": "为使机器理解人类在日常生活中与物理世界的交互方式，需要在自然场景中采集三维交互信号，让人能够对多个物体执行连续、随意的操作。为此，作者提出 ParaHome 系统，用于在普通家庭环境中捕捉人体与物体的动态三维运动。该系统采用包含 70 台同步 RGB 相机的多视角设置，并结合基于 IMU 的身体动捕服和手部动捕手套。利用 ParaHome，作者构建了一个新的人-物交互数据集，包含 38 名参与者、207 段采集、共 486 分钟的序列，其主要进展包括：在情境化家庭环境中同时捕捉身体运动、灵巧手部操作和多个物体；覆盖带有文本描述的连续和并发操作；以及用三维参数化模型表示具有多个部件的铰接物体。论文还给出了系统设计依据，并通过关键生成建模实验展示了数据集的潜力。\n",
  "keywords": [
    "人-物交互",
    "三维运动捕捉",
    "家庭活动",
    "灵巧操作",
    "铰接物体",
    "生成模型",
    "文本到运动生成",
    "SMPL-X"
  ],
  "paper_institutions": [
    "Seoul National University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:24:31.011559Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n论文针对现有三维人-物交互数据难以同时覆盖自然家庭环境、全身运动、灵巧双手、多物体连续操作和铰接物体状态的问题，提出 ParaHome 捕捉系统与配套参数化数据集。已有工作或只捕捉无物体人体运动，或缺少手部精细操作，或局限于桌面、站姿、单一刚性物体抓取，难以支持机器理解“拉冰箱把手—门体开启”这类人与环境响应之间的时空关联。ParaHome 在面积约 12.4 平方米的公寓式空间中集成 70 台同步 RGB 工业相机、Xsens IMU 动捕服和 Manus 数据手套，用多视角相机追踪物体，用可穿戴设备避免人体和手部被遮挡时的运动丢失；其核心参数化机制将时刻 t 的状态表示为 S(t)={S_p(t), S_e(t), T}，其中 S_p 由身体、左手和右手状态组成，S_e 中每个物体由三维平移、三维朝向和物体专属铰接参数 φ 描述，物体位姿则通过 T_obj(t)=T_mar→obj·T_mar(t) 由三维 ArUco 标记恢复。该设置选择家庭房间而非简化桌面，是为了验证严重遮挡、跨房间大尺度运动与手指微小运动并存时的鲁棒性，并支持刚性和旋转、滑动铰接部件。数据集包含 38 名参与者、22 类物体、207 段采集和约 486 分钟序列，提供 SMPL-X 人体模型、物体参数模型、逐帧接触信息和文本标注，覆盖烹饪、清洁、收纳等连续及并发操作。系统实验显示，操作时平均可见相机数为 8.59、重投影误差约 1.016 像素，三维立方体标记追踪成功率为 1.0，而表面 4 至 40 个虚拟标记方案最高仅为 0.93；手部对齐平均位置误差为 11 毫米，缺失手部标记恢复误差为 9 毫米。生成实验包括文本条件运动合成和物体引导身体运动合成：前者将 ParaHome 与 HumanML3D 均衡混合并采用 MDM 扩散框架，混合模型在 R-Precision top-3、FID 和 Diversity 上分别达到 0.73、0.85 和 15.06，证明精细操作数据与一般人体运动数据可以互补融合；后者以目标物体状态序列和初始人-物相对位姿为条件，用带物体状态编码器的 Transformer 生成全身运动，加入相对空间条件后冰箱全局关节误差由 9.26 厘米降至 6.57 厘米，抽屉全局关节误差由 9.92 厘米降至 5.88 厘米。论文还利用深度、二维关键点、文本和 ControlNet 合成真实感 RGB 图像，并通过现成 6D 物体姿态和三维手部姿态估计模型验证其效用，复杂互遮挡和铰接状态会使精度低于传统基准。未来方向包括无标记化、利用现有数据库构建运动先验、迁移到更多房间和物体类别；成果可服务于机器人学习、动画生成和家庭活动理解，但当前仍受工作室空间、物体数量、人工标定、标记对 RGB 画面和自然动作的干扰，以及遮挡与足部滑动等约束。\n\n### 关键要点\n\n- ParaHome 在约 12.4 平方米的公寓式环境中部署 70 台同步 RGB 相机，并结合 Xsens IMU 动捕服与 Manus 手部手套，以同时覆盖全身移动、精细手指运动和物体三维运动。\n- 系统将人-物交互参数化为 S(t)={S_p(t), S_e(t), T}，其中人体包含身体、左手、右手状态，物体包含平移、朝向和物体专属铰接参数，T 为对应语言描述。\n- 物体追踪采用 6 厘米三维 ArUco 立方体标记，而不是只把标记贴在物体表面；核心变换为 T_obj(t)=T_mar→obj·T_mar(t)，可在手部抓握造成遮挡时保持较高鲁棒性。\n- 对冰箱、抽屉、水槽、洗衣机、笔记本电脑等物体，作者通过扫描、部件分割和关节轴/枢轴点标定建立参数化铰接模型，关节类型包括旋转关节和滑动关节。\n- 身体对齐通过在近刚性身体部位粘贴 ArUco 标记并优化真实骨架与标记位置实现，手部对齐则要求参与者触摸标定结构的已知角点，同时约束指尖、手腕位置和穿透。\n- 后处理利用无遮挡的 IMU 身体运动加权插值手腕位置，并在物体标记缺失时依据邻近身体关节的时序变换填补轨迹，随后将运动重定向到个体化 SMPL-X 模型。\n- 数据集包含 38 名参与者、22 类物体、207 段采集和约 486 分钟序列，记录多物体连续或并发操作、逐帧接触、铰接状态和人工校对的文本标注。\n- 文本条件运动实验采用 MDM 扩散框架并混合 ParaHome 与 HumanML3D；混合模型的 R-Precision top-3 为 0.73、FID 为 0.85、Diversity 为 15.06，能够生成兼具移动和操作特征的中间动作。\n- 物体引导运动实验以目标物体状态序列和初始人-物相对位姿为输入，加入相对位姿条件后多数根中心与全局位置误差下降，说明初始空间关系对全身合成至关重要。\n- 系统评估表明，操作期间平均 8.59 台相机参与标记三角化，重投影误差为 1.016 像素；三维立方体标记成功率为 1.0，优于不同数量表面虚拟标记的 0.76 至 0.93。\n- 合成 RGB 实验用 ControlNet 结合深度、关键点和文本生成多视角图像，现成姿态估计模型可取得与传统基准相似的性能模式，但复杂人-物互遮挡和铰接运动会造成明显失败案例。"
}