{
  "paper_id": "87a5aeb64849d7064e760360e41745f0",
  "paper_title": "H2O: Two Hands Manipulating Objects for First Person Interaction Recognition",
  "paper_authors": [
    "Taein Kwon",
    "Bugra Tekin",
    "Jan Stühmer",
    "Federica Bogo",
    "Marc Pollefeys"
  ],
  "publication_date": "",
  "publication_venue": "2021 IEEE/CVF International Conference on Computer Vision (ICCV)",
  "abstract": "本文提出一个利用双手操作物体的无标记三维标注进行第一视角交互识别的综合框架。作者首先构建了统一的H2O数据集，逐帧提供左右手三维姿态、被操作物体6D姿态以及交互标签，并包含同步多视角RGB-D图像、物体类别、相机姿态、物体网格和场景点云。该数据集首次支持基于左右手共同操作物体姿态的第一人称动作研究，标注细节丰富。论文进一步提出仅从RGB图像联合估计双手三维姿态和物体6D姿态的方法，并通过图卷积网络学习双手与物体之间的内部及相互依赖关系以预测交互类别。实验表明，该数据集支撑的方法为联合手物姿态估计建立了强基线，并在第一视角交互识别上达到当前最优准确率。\n",
  "keywords": [
    "第一视角交互识别",
    "双手操作",
    "H2O数据集",
    "三维手部姿态估计",
    "6D物体姿态",
    "手物交互",
    "拓扑感知图卷积网络",
    "RGB-D"
  ],
  "paper_institutions": [
    "ETH Zürich",
    "Microsoft",
    "Samsung AI Center, Cambridge"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:05.119722Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有第一人称交互数据多局限于2D标注、单手操作、带标记动捕或缺乏真实时序上下文，难以在双手和物体相互遮挡条件下进行三维语义理解的问题，论文以视频理解、手物姿态估计和自我视角动作识别为背景，提出无标记H2O数据集及联合姿态估计与交互识别框架。H2O包含571645帧同步多视角RGB-D图像，由5台Azure Kinect采集，其中1台头戴相机提供第一视角、4台固定相机补充盲区；4名参与者在3类室内环境中操作8类物体并执行36种动词-名词动作，多视角RGB-D设置用于应对快速相机运动、严重遮挡和背景杂波，并验证真实场景下三维标注与识别的可行性。标注流程通过红外反射球和PnP完成相机标定，用BADSLAM重建物体网格，结合Mask R-CNN、DenseFusion和ICP获得逐帧6D物体姿态，再将MANO手模型拟合到多视角深度、OpenPose 2D/3D关节及手物物理约束上，半自动生成左右手21个关节、物体6D姿态、相机姿态、物体网格、场景点云和动作标签。识别方法先以YOLOv2为骨干的单阶段全卷积网络从RGB图像同时回归左手、右手三维关节坐标和物体三维边界框角点，再将左右手骨架与物体边界框参数化为独立图并组成多图；10层拓扑感知图卷积网络TA-GCN同时建模图内和图间依赖，核心机制可写为 f_out=Σ_j W_j f_in(A_{j,intra}+A_{j,inter}+T_{j,intra}+T_{j,inter}+S_j)，其中固定邻接矩阵保留先验结构，参数化矩阵学习双手及手物间的自适应连接，样本相关图S_j依据嵌入相似度形成实例特定拓扑。实验按受试者划分，训练集344645帧、验证集73380帧、测试集153620帧，使用3D PCK、2D重投影、ADD和分类准确率评估；500张多视角抽检标注的平均误差约为物体1.10cm、左手0.82cm、右手0.93cm，姿态基线在测试中左手、右手和物体误差分别约41.45mm、37.21mm和47.90mm，TA-GCN取得86.78%验证准确率和79.25%测试准确率，超过SlowFast的77.69%测试准确率，支持双手姿态与物体姿态互补、自适应跨图连接有效的结论。未来可利用数据集中的精确网格开展接触建模、三维可供性、机器人操作、增强现实和图形学研究，并扩展到更多主体、物体类别、户外或非受控环境及长时序推理；当前约束主要包括场景限于室内、参与者和物体数量有限、逐帧动作标签互斥、自动跟踪失败需人工剔除和平滑，以及严重遮挡下姿态估计仍有误差。\n\n### 关键要点\n\n- H2O是首个面向第一视角3D交互识别、提供双手无标记三维姿态和被操作物体6D姿态标注的统一基准。\n- 数据集包含571645帧RGB-D图像，由4台固定相机和1台头戴相机同步采集，覆盖大厅、办公室、厨房3类环境。\n- 数据资产包括左右手三维姿态、物体6D姿态、交互标签、物体类别、相机姿态、MANO手部拟合、物体网格和场景点云。\n- 动作标签由11个动词和8个名词组合而成，共36个互斥动作类别；数据中57.8%的片段使用双手，12.4%仅用左手，29.8%仅用右手。\n- 相机外参通过9个红外反射球和PnP估计，头戴相机姿态再用卡尔曼滤波平滑，以提高多视角标注的稳定性。\n- 物体网格由手持Kinect扫描并经BADSLAM重建，6D姿态由Mask R-CNN掩码、DenseFusion多视角预测、最高置信度选择和ICP精修得到。\n- 手部标注使用MANO模型，优化项综合2D/3D关节误差、轮廓、深度表面距离、姿态正则和手物穿通惩罚。\n- 姿态预测网络在3D输出网格的每个单元同时关联左手、右手和物体向量，是首个从单张RGB图像联合估计双手与物体姿态的基线。\n- TA-GCN将左右手和物体表示为多图，通过固定邻接矩阵、可学习邻接矩阵和数据依赖图共同建模手内、手间及手物关系。\n- 标注抽检误差约在1厘米内，交互识别在测试集上达到79.25%准确率，高于I3D、SlowFast、H+O和ST-GCN等对比方法。\n- 该框架适用于AR、机器人、监控和手物接触研究，但当前受限于室内场景、少量参与者与物体、人工动作标注以及遮挡和模糊造成的跟踪失败。"
}