{
  "paper_id": "05333cb90b62409d5a8430ee77aabe04",
  "paper_title": "Fine-Grained Egocentric Hand-Object Segmentation: Dataset, Model, and Applications",
  "paper_authors": [
    "Lingzhi Zhang",
    "Shenghao Zhou",
    "Simon Stent",
    "Jianbo Shi"
  ],
  "publication_date": "",
  "publication_venue": "ECCV 2022 (Lecture Notes in Computer Science)",
  "abstract": "第一视角视频能够为高保真人类行为建模提供细粒度信息，而手以及正在交互的物体是理解观看者行为与意图的关键。本文提供了一个包含11,243张第一视角图像的标注数据集，对多样化日常活动中的手和被交互物体进行逐像素分割标注。该数据集首次标注了细致的手-物接触边界。作者还提出一种上下文感知的组合数据增强技术，用于适应分布外的YouTube第一视角视频。实验表明，稳健的手-物分割模型与数据集可作为基础工具，提升或支撑多种下游视觉应用，包括手部状态分类、视频活动识别、手-物交互三维网格重建以及第一视角视频中手-物前景的视频修复。数据集与代码可在 <https://github.com/owenzlz/EgoHOS> 获取。\n",
  "keywords": [
    "数据集",
    "第一视角手-物分割",
    "第一视角活动识别",
    "手-物网格重建"
  ],
  "paper_institutions": [
    "University of Pennsylvania",
    "Toyota Research Institute"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:40:18.211038Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对现有第一视角手部分割工具在真实场景中鲁棒性不足、标注多局限于实验室或边界框层级、缺少交互物体逐像素标签与手-物关系建模的问题，构建了细粒度第一视角手-物分割数据集EgoHOS，并研究其作为下游视觉基础模型的可行性。数据来自Ego4D、EPIC-KITCHENS、THU-READ和自采GoPro视频，主训练集包含11,243张稀疏采样图像、20,701只手和17,568个物体实例，覆盖100多名参与者和300多种活动；标注包括左手、右手、左手物体、右手物体、双手物体、直接/间接交互，以及手部和手+手臂两种掩码。为检验野外泛化能力，作者额外从30个YouTube第一视角视频中标注500帧作为分布外测试集。方法上，本文提出密集接触边界，将其定义为膨胀后手与物体掩码的重叠二值区域，即 B=1[dilate(H)∩dilate(O)]，并以二值交叉熵生成中间监督；分割流程按“左右手掩码→接触边界→交互物体”三阶段顺序解码，每阶段将前一阶段预测与RGB图像拼接，基础网络采用ResNet-18骨干加HRNet解码头，并验证了Swin-L加UperNet结构。为应对光照、物体和背景混杂的域变化，上下文感知组合数据增强先通过无手分类器或图像修复构建“干净”背景，再用修复得到的查询背景检索语义相近的top-K背景并粘贴手-物前景，从而生成上下文合理的训练样本。所有分割模型基于MMSegmentation训练，基础实验使用SGD、批大小8、学习率0.01、80,000次迭代，并以mIoU、精确率、召回率和F1评估。结果显示，该数据集在左/右手分割上达到76.29/77.00 mIoU，加入CCDA后升至79.73/82.17；二值手部和手+手臂分割分别由83.18和92.46提升至85.45和95.20，明显优于EgoHand、EYTH、EGTEA及100-DOH加BoxInst或PointRend。在物体分割消融中，并行解码的三类物体mIoU为48.67、36.21、37.46，顺序解码加接触边界和CCDA后达到62.20、44.40、52.77，支持接触边界增强关系线索、组合增强提升物体像素分组学习的结论。下游应用中，手部状态分类准确率由78.53%/74.29%提升到86.72%/83.33%，SlowFast活动识别的动词/名词top-1准确率由23.95%/36.77%提升到25.98%/37.04%；将分割结果接入手-物网格优化可改善物体姿态并恢复漏检物体，结合光流引导视频修复则可移除手部、揭示被遮挡内容。该工作适用于行为理解、AR场景分析、三维交互建模等场景，但当前实验主要研究直接接触物体，间接交互虽已标注却未作为核心基准，增强数据离线生成且在YouTube测试集上约16K手部增强图和8K物体增强图时收益最佳，未来可进一步探索间接交互分割、时序建模和更多真实域适应问题。\n\n### 关键要点\n\n- EgoHOS包含11,243张逐像素标注图像，来源包括Ego4D、EPIC-KITCHENS、THU-READ和自采GoPro视频，覆盖多样化日常活动。\n- 数据集同时标注左手、右手、左手物体、右手物体、双手物体，并提供手部和手+手臂两种标签形式。\n- 每个交互物体还区分直接接触与间接交互，但本文的分割实验只聚焦直接接触物体。\n- 密集接触边界由手和物体掩码分别膨胀后的重叠区域二值化得到，可自动为全部图像生成中间监督。\n- 因果分割流程依次预测左右手、接触边界和交互物体，后一阶段将前一阶段输出与RGB图像拼接作为输入。\n- 上下文感知组合增强通过无手帧分类器或修复模型获得干净背景，再依据深度特征检索语义相似背景进行手-物前景合成。\n- 分布外测试集由30个YouTube第一视角视频中的500个稀疏标注帧构成，用于评估真实野外泛化性能。\n- 在左/右手、二值手和手+手臂三种设置下，EgoHOS训练的模型均明显超过以往数据集，CCDA还能进一步提升指标。\n- 消融实验表明，顺序解码和接触边界可提升交互物体分割，加入CCDA后三类物体mIoU分别达到62.20、44.40和52.77。\n- 手部状态分类和视频活动识别实验显示，将可靠的手或手-物掩码作为输入能够稳定提高识别性能。\n- 分割模型可用于改进手-物三维网格优化，并可与视频修复结合实现“看透手部”，揭示被手遮挡的场景内容。",
  "available_templates": [
    "deep_read",
    "simple"
  ]
}