{
  "paper_id": "94065575d74d29449483ddfe24a39d5f",
  "paper_title": "HOH: Markerless Multimodal Human-Object-Human Handover Dataset with Large Object Count",
  "paper_authors": [
    "Noah Wiederhold",
    "Ava Megyeri",
    "DiMaggio Paris",
    "Sean Banerjee",
    "Natasha Kholgade Banerjee"
  ],
  "publication_date": "2023-10-27",
  "publication_venue": "Advances in Neural Information Processing Systems 36",
  "abstract": "我们提出 HOH（Human-Object-Human）交接数据集。该数据集包含136个物体，旨在加速交接研究、人-机器人交接实现，以及基于双人交互2D和3D数据进行交接参数估计的人工智能研究。HOH涵盖2,720次交接交互，涉及136个物体和20个递送者-接收者配对（计入角色互换为40个配对），共有40名参与者。数据包括多视角RGB与深度数据、骨架、融合点云、抓握类型和用手标签、物体/递送者手/接收者手的2D及3D分割、递送者与接收者舒适度评分、配对物体元数据和对齐3D模型。论文还展示了利用HOH训练神经网络进行抓握、朝向和轨迹预测的实验结果。作为唯一完全无标记的交接采集数据集，HOH呈现自然的人人交接交互，克服了标记数据集需要特定服装进行身体跟踪且缺乏高分辨率手部跟踪的问题；按物体数量、参与者数量、计入角色互换的配对数和采集交互总数衡量，HOH是目前最大的交接数据集。\n",
  "keywords": [
    "人人交接",
    "人-机器人交互",
    "无标记数据集",
    "多模态数据",
    "RGB-D",
    "点云",
    "6DOF物体位姿",
    "抓握预测",
    "轨迹预测",
    "舒适度评分"
  ],
  "paper_institutions": [
    "Clarkson University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:38:44.099089Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向现有人人交接研究中物体数量少、标记式动捕限制服装多样性且缺乏高分辨率手部与物体结构、少量相机难以实现360°观测的问题。相关研究已考察握力、人际距离、物体朝向、质量、手部运动、反应时间、意图沟通、共同注意和动作适应等参数，并推动了数据驱动的人-机器人交接发展，但小物体集结论难以泛化到工具、厨具、玩具、食品和办公用品等真实物体。作者提出首个公开的无标记高物体数人人交接数据集HOH，采用4台30FPS Azure Kinect RGB-D相机和4台60FPS FLIR Point Grey彩色相机进行360°非身体安装式上半身采集；选择坐姿以降低疲劳并对应咖啡馆或协作办公场景，选择136个桌面物体（116个市售、20个3D打印，覆盖17个形态/功能类别和8个日常用途类别）以系统改变尺寸、形状、质量、功能端、把手和突出物，选择无提示交互（仅要求递送者在运输阶段保持抓握）以保留自然伸手、抓握、姿态和服装多样性。数据集共包含40名参与者、20个原始配对（角色互换后为40个递送配对）和2,720次交互，提供多视角RGB-D、OpenPose骨架、融合点云、SAM辅助并经人工校验的递送者手/物体/接收者手2D与3D分割、Cini 28类抓握标签、用手标签、双方7点舒适度评分、物体元数据、3D模型及6DOF物体位姿；其核心配准机制是迭代最近点（ICP），可概括为 T* = argmin_T Σ_i ‖T·p_i − q_π(i)‖²，其中p_i是源点云中的点，q_π(i)是目标点云中的最近邻点。为验证数据用途，作者采用PoinTr完成物体点云到递送者抓握点云（o2gg）以及物体加递送者点云到接收者抓握点云（g2rg），采用PointNet加全连接层输出四元数完成递送点物体朝向预测（o2or），采用Informer完成递送者手部动作到接收者轨迹预测（g2rt）；完整点云用于验证多视角融合下的360°几何可预测性，部分点云由每场景6个随机视角渲染以模拟单视角RGB-D传感器的实时输入，物体按形态/功能箱划分为51个仅训练对象、51个仅测试对象和34个混合对象，g2rt还使用11对训练、9对测试的互斥参与者划分，以检验对未见物体和个体行为签名的泛化。评价指标包括Chamfer Distance、平均欧拉角误差、平均绝对误差以及手-物/手-手重叠率；完整点云的最佳到物体结果分别达到o2gg CD 0.135、o2or MEAE 0.365、g2rg CD 0.147和g2rt MAE 0.107，接收者手与递送者手重叠率仅约1.13%–1.44%，说明模型可预测避开递送者手的安全接收抓握；偏离真值的预测也常对应合理抓握位置、功能端延伸方向或在共享空间会合的轨迹，支持HOH对抓取、朝向和轨迹学习的价值。未来可利用舒适度评分排序预测结果、进行实时物体依赖的递送者动作预测、主动生成接收动作、处理多人遮挡下的物体分割与跟踪、结合上半身点云和骨架估计交接位置，并补充手部姿态与抓握力标注。该数据可服务于认知心理学、人-机器人交接、居家照护、厨房与办公协作、装配及日常活动等场景，但受限于坐姿桌面任务、物体小于2.5kg且至少一维小于6英寸、参与者年龄和能力范围较窄、缺少抓握力与手部姿态真值，可识别彩色数据也仅在授权范围内发布，且不应被用于故意将刀具等危险功能端朝向人的不安全递送。\n\n### 关键要点\n\n- HOH包含136个物体、40名参与者、20个原始递送配对（计入角色互换为40个配对）和2,720次坐姿人人交接交互，其中116个物体为市售、20个为3D打印。\n- 物体覆盖8个日常用途类别和17个依据长宽比、把手、功能端及标准朝向划分的形态/功能类别，用于检验几何、质量和可供性变化对交接行为的影响。\n- 采集系统使用4台Azure Kinect RGB-D相机和4台FLIR Point Grey高速彩色相机，围绕交接空间实现360°上半身、双手、面部和姿态采集。\n- 全部2,720次交互均有Kinect深度数据，2,448次交互拥有可识别彩色数据，其余因参与者未授权公开彩色信息而排除彩色帧。\n- 交互过程不规定抓握方式或交接策略，物体以随机顺序和朝向放置，每对参与者随机在4次交互中佩戴蓝色手套，并在每次交接后分别提交7点制舒适度评分。\n- 数据包含G、T、R三个关键事件，分别对应递送者首次接触、递送时双方同时抓握和接收者最后接触，并提供OpenPose骨架、SAM辅助分割、Track Anything跟踪结果和融合点云。\n- 6DOF物体位姿通过帧间ICP和3D模型到G帧物体点云的自动对齐获得，模型初始朝向经过多样化采样以覆盖完整SO(3)空间。\n- 实验设置o2gg、o2or、g2rg和g2rt四项任务，分别对应递送者抓握、物体朝向、接收者抓握和接收者轨迹预测，模型包括PoinTr、PointNet和Informer。\n- 训练时将物体按类别分为仅训练、仅测试和混合集合，并为完整点云与模拟单视角传感器的部分点云分别训练网络；g2rt使用互斥参与者配对以测试跨个体泛化。\n- 结果显示完整点云的最佳到物体误差可达到o2gg CD 0.135、o2or MEAE 0.365、g2rg CD 0.147和g2rt MAE 0.107，且接收者手与递送者手重叠率很低。\n- HOH的主要限制是无抓握力测量、无手部姿态真值、参与者年龄与能力范围较窄、场景限定为桌面坐姿，并且彩色影像受知情同意范围约束。"
}