{
  "paper_id": "ac8a7c829e482daa466fc483aee5d664",
  "paper_title": "HUMOTO: A 4D Dataset of Mocap Human Object Interactions",
  "paper_authors": [
    "Jiaxin Lu",
    "Chun-Hao Paul Huang",
    "Uttaran Bhattacharya",
    "Qixing Huang",
    "Yi Zhou"
  ],
  "publication_date": "",
  "publication_venue": "2025 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "我们提出 Human Motions with Objects（HUMOTO），这是一个面向运动生成、计算机视觉和机器人应用的高保真人体-物体交互数据集。HUMOTO 包含735个序列，在30 fps下总时长7,875秒，记录了与63个精确建模物体及72个铰接部件的交互。其创新包括场景驱动的大语言模型脚本流水线，用于生成具有自然进程、完整且有目的的任务；以及动作捕捉与相机录制方案，以有效处理遮挡。数据涵盖从烹饪到户外野餐等多样活动，同时保持物理准确性和逻辑任务流。专业艺术家对每个序列进行严格清理和验证，以减少脚部滑动和物体穿透。论文还提供了与其他数据集的基准比较。HUMOTO 的全面全身运动和同步多物体交互应对了关键数据采集挑战，并为动画、机器人和具身人工智能系统中的真实人体-物体交互建模提供了新的发展机会。项目页：<https://jiaxin-lu.github.io/humoto/。>\n",
  "keywords": [
    "4D人体-物体交互",
    "动作捕捉数据集",
    "场景驱动大语言模型脚本",
    "多传感器采集",
    "精细手部姿态",
    "6DoF物体位姿估计",
    "运动质量评估",
    "运动生成",
    "机器人学习",
    "具身人工智能"
  ],
  "paper_institutions": [
    "University of Texas at Austin",
    "Adobe Research"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:28:30.992601Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有4D人体-物体交互数据多局限于单一物体、缺少精细手部运动、动作孤立且常出现脚部滑动或物体穿透等问题，论文在 GRAB、BEHAVE、OMOMO、IMHD、ParaHome 等相关数据集背景下提出 HUMOTO 高保真数据集及其场景驱动构建方法。HUMOTO 包含735个经筛选序列，在30 fps下总时长7,875秒，涉及63个由专业艺术家按真实尺寸精确建模的家用物体和72个功能部件，单场景最多包含15个物体，并提供标题、短脚本、长脚本三级文本标注以及接触图和运动轨迹；选择这些设置是为了覆盖烹饪、收纳、房间布置、野餐等多尺度、多物体且具有明确目的的连续任务，验证数据能否同时支持全身、手指和物体级交互建模。其核心机制是先按概念房间逻辑组织相关物体，再由大语言模型分层生成连贯任务脚本；采集时使用 Rokoko 智能动捕服和配对手套以30 fps记录全身运动与手指关节，双 Kinect RGB-D 相机从场地两角记录物体，通过标定板建立动捕坐标系与相机坐标系的变换矩阵，并使用 FoundationPose 估计物体6DoF位姿，同时结合 SAM2 生成并经人工修正的物体掩码、基于掩码像素差异的动态重置机制以及双机 UDP 时间同步来缓解快速运动和临时遮挡。原始数据经过专业艺术家技术修正与独立团队验证两个阶段，重点处理漂移、跟踪错误、关节抖动、脚部滑动和物体穿透。论文采用脚部滑动、jerk、穿透、接触熵、状态一致性、连贯性、多样性以及新提出的 Motion Signal-to-Noise Ratio（MSNR）评估人体运动、物体运动和交互质量，并以经艺术家清理的行业标准 Mixamo 数据作为人体运动参照；MSNR 基于关节运动学的信噪比，可概括为 10 log10(信号能量/噪声能量) dB，数值越接近 Mixamo 表示运动质量越接近参照水平。结果显示，HUMOTO 的脚部滑动为0.958 cm、人体 jerk 为1.87 m/s³、MSNR 为9.42 dB、物体 jerk 为1.13 m/s³、穿透为0.0068 cm、接触熵为1.4587、状态一致性为0.5061，在脚部滑动、物体运动平滑度和最小穿透方面表现最佳，同时保留了精细手部姿态；由26名计算人体运动相关学生和研究者参与的感知研究中，HUMOTO 在人体运动、物体运动、交互质量和总体质量上分别获得4.79±0.49、4.88±0.36、4.75±0.57和4.78±0.43的5分制评分，且96%的参与者在总体质量上偏好 HUMOTO 胜于 BEHAVE。MotionGPT 测试表明现有方法仍难以根据细粒度文本生成真实的多物体交互，PyBullet 仿真显示 HUMOTO 的物体位移小于 ParaHome，其抓握姿态相较 DexGraspNet 更符合日常功能，4D Humans 和 TRAM 在 HUMOTO 渲染图的遮挡场景中仍会估计错误，这些证据支持其在文本到运动生成、机器人模仿学习、遮挡位姿估计、图像视频生成和授权内容创作等真实场景中的价值。数据集的主要约束是仅有一名表演者，可能引入体型和动作风格偏差，并且采集后需要大量人工清理；未来可利用更鲁棒的自动位姿估计方法扩大表演者规模、降低人工成本，并进一步研究高信噪比与高 jerk 并存等数据质量现象。\n\n### 关键要点\n\n- HUMOTO 包含735个动作捕捉序列，在30 fps下总时长7,875秒，覆盖63个精确建模物体和72个铰接或功能部件。\n- 场景驱动 LLM 脚本方法先将物体按房间和任务语境分组，再分层生成具有自然因果顺序的完整活动，而不是孤立动作。\n- 数据集中的物体由专业艺术家依据真实尺寸建模，以保留关节部件和可抓握表面，避免三维扫描常见的网格噪声。\n- 人体数据通过 Rokoko 动捕服和数据手套采集，可同时记录全身运动与精细手指关节运动，并被重定向到标准 Mixamo 骨骼。\n- 采集场地使用抬高12英寸的定制木质舞台以减少金属结构和传感器之间的磁干扰，两台 Kinect 布置在角落以扩大采集范围并减少遮挡。\n- 物体位姿由 FoundationPose 基于双 Kinect 数据估计6DoF位姿，并通过 SAM2 掩码、人工标注和掩码像素差异触发的动态重置提高遮挡与快速运动下的稳定性。\n- 质量保证分为艺术家技术修正和独立团队验证两个阶段，反复处理漂移、关节抖动、脚部滑动、物体穿透和交互合理性问题。\n- 定量比较中，HUMOTO 的脚部滑动为0.958 cm、物体 jerk 为1.13 m/s³、穿透为0.0068 cm，在接触精度和运动平滑度方面具有明显优势。\n- 26名参与者的感知研究显示，HUMOTO 的总体质量评分为4.78±0.43，并且在与 BEHAVE、OMOMO、IMHD 和 ParaHome 的直接比较中整体更受偏好。\n- 应用实验表明，HUMOTO 可用于检验 MotionGPT 的细粒度交互生成能力、评估 PyBullet 中物体稳定性、比较自然抓握与 DexGraspNet 仿真抓握，以及训练遮挡场景下的位姿估计和2D生成模型。\n- 数据集的主要限制是只有一名表演者且人工清理成本较高，因此后续工作需要更鲁棒的自动跟踪与清洗方法来提升身份多样性和采集规模。"
}