{
  "paper_id": "57a3a89de9459570d3b4257b0ecd2da1",
  "paper_title": "FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding",
  "paper_authors": [
    "Eadom Dessalene",
    "Botao He",
    "Michael Maynord",
    "Yonatan Tussa",
    "Pavan Mantripragada",
    "Yianni Karabatis",
    "Nirupam Roy",
    "Yiannis Aloimonos"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文提出 FEEL（Force-Enhanced Egocentric Learning），这是首个将定制压阻手套采集的力测量与自我中心视频配对的大规模数据集。该手套支持可扩展的数据采集，FEEL 包含约 300 万帧与力同步的厨房环境自然、无脚本操作视频，其中约 45% 的帧涉及手物接触。由于力是驱动物理交互的根本原因，它是物理动作理解的关键基元。作者将 FEEL 用于两类任务以验证力的作用：一是接触理解，联合进行时间接触分割和像素级被接触物体分割；二是动作表征学习，将力预测作为视频骨干网络的自监督预训练目标。该方法在时间接触分割上达到当前最优水平，并在无需人工被接触物体分割标注的情况下取得具有竞争力的像素级分割结果。此外，基于 FEEL 的动作表征学习在 EPIC-Kitchens、SomethingSomething-V2、EgoExo4D 和 Meccano 上无需人工标签即可提升动作理解任务的迁移性能。\n",
  "keywords": [
    "FEEL 数据集",
    "力觉测量",
    "自我中心视频",
    "手物交互",
    "接触理解",
    "时间接触分割",
    "像素级分割",
    "动作表征学习",
    "自监督预训练",
    "可穿戴传感"
  ],
  "paper_institutions": [
    "University of Maryland, College Park, USA"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:18:44.889214Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文解决的问题是：现有自我中心视频数据集主要记录动作的外观和运动等视觉结果，缺少能够直接刻画手物交互因果动力学的力信号，而接触状态和物体受力反应又难以通过人工从 RGB 帧中可靠标注。相关研究通常依赖昂贵且有噪声的人工接触标注、受控动捕环境或合成力数据，机器人领域的真实力觉数据也多局限于 pick-and-place 等简单任务。为此，作者构建 FEEL：使用每只手套五个指尖加压阻传感器、手掌加长条压阻传感器的定制设备，每个 A301 传感器量程达 45 N，并通过 Arduino Nano 与 Meta Project Aria 眼镜同步采集 RGB、空间音频、IMU 和力信号；选择厨房场景是因为其包含丰富、自然、无脚本的手物操作，可验证力信号对真实复杂交互的可扩展性。数据集约 27 小时、300 万帧，约 45% 帧存在接触，并发布 135 万接触帧和 165 万非接触帧。其核心机制是对六路传感器先做 Hampel 去异常、高斯平滑、时变基线估计、基线扣除和归一化，再计算统一力信号 f=(s1×…×s6)^(1/6)，以双阈值判定接触、非接触和模糊排除区；接触物体伪标签则结合 SAM3 概念掩码、SEA-RAFT 光流、MLDepthPro 深度、Aria MPS 位姿与手部三维位置，选择掩码内平均 Sampson 对极误差最高且靠近手的物体，从而在无人工物体分割标注的情况下得到 50 万张二值接触伪标签和 18 万张含接触物体分割的图像。接触模型采用冻结 DINOv3 特征加 DPT 密集预测头，为每只手输出二值接触状态和接触物体掩码；动作表征模型将视频片段到逐手力的预测作为自监督目标，预训练时要求至少一只手在 50% 以上帧中可见，再丢弃力预测头迁移到动作识别。实验在 FEEL、EPIC-VISOR 和 HOI4D 上以 BC、BSC 和 IoU 评估接触理解，并在 EPIC-Kitchens-100、SomethingSomething-V2、Ego-Exo4D、Meccano 上以 Top-1 准确率评估迁移；FEEL 仅在自身数据上自监督/弱监督训练，却在三个基准的时间接触检测上达到最优，例如 FEEL 上 BC/BSC 为 95.6/88.9，VISOR 为 87.3/79.7，HOI4D 为 82.2/81.3，空间分割在 HOI4D、VISOR、FEEL 上分别取得 0.751、0.399、0.625 的 IoU，力预训练也普遍提升 Hiera-B 与 EgoVideo-B，尤其在冻结特征和较小数据集上增益更明显，支持“低维、物理接地的力监督能形成更可迁移动作表征”和“力可规模化生成精确接触监督”两项核心创新。真实应用面向机器人从人类视频学习操作、人机交互、虚拟现实和增强现实；约束包括橡胶垫长时间佩戴不适、传感器机械漂移和弯曲会导致不可靠、指尖装置妨碍精细操作，以及依赖运动的伪标签无法分割桌子或重型电器等静止被接触物体。未来可探索更细粒度手部理解、腕戴肌电等非指尖传感、力感知视觉运动控制、从人类视频学习操作策略，并随着可穿戴硬件改进扩大此类数据集。\n\n### 关键要点\n\n- FEEL 是首个将真实压阻手套力测量与自我中心视频大规模同步的数据集，用于捕捉手物交互的物理成因而不仅是视觉效果。\n- 采集硬件包括每只手套六个 Flexiforce A301 压阻传感器、Arduino Nano、锂电池和 Meta Project Aria 眼镜，可同步记录力、1440×1440 RGB 视频、空间音频和 IMU。\n- 数据集包含约 27 小时厨房环境中的自然无脚本操作，约 300 万力同步帧，其中约 45% 的帧存在手物接触。\n- 力信号经过去异常、平滑、滚动百分位基线估计、基线扣除、99.5 分位归一化和六传感器几何平均后，用上下双阈值生成接触、非接触和模糊排除标签。\n- FEEL 发布 135 万帧手物接触标签和 165 万帧非接触标签，其中接触标签由力直接派生，避免人工标注模糊接触边界。\n- 接触物体分割伪标签通过 SAM3 物体提案、光流、深度、相机内外参、手部三维中心和 Sampson 对极误差生成，训练不依赖人工物体分割掩码。\n- 接触理解网络在冻结 DINOv3 特征上使用 DPT，为左手和右手分别输出接触二分类 logit 与对应接触物体的分割图。\n- 在时间接触检测中，仅用 FEEL 自监督标签训练的模型在 HOI4D、EPIC-VISOR 和 FEEL 上均超过全监督对比方法，BSC 结果表明其还能较可靠地区分左右手。\n- 空间接触分割采用 IoU 评估，该弱监督模型在 HOI4D、VISOR 和 FEEL 上分别取得 0.751、0.399 和 0.625，整体具有竞争力且在 FEEL 上显著优于对比方法。\n- 动作表征学习把视频到力的预测作为预训练任务，再迁移到动作识别；Hiera-B 从 K710、EgoVideo-B 从 Ego4D 初始化后继续在 FEEL 上进行力预训练。\n- 力预训练在 EPIC-Kitchens、SSV2、Ego-Exo4D 和 Meccano 上大多提升 Top-1 准确率，且冻结评估增益通常大于端到端微调，在较小数据集上收益更突出。\n- 主要限制来自手套舒适度、传感器漂移与指尖遮挡，以及运动驱动的伪标签无法处理静止接触物体，后续可改用腕戴 EMG 并引入运动之外的分割线索。"
}