# FEEL（力增强型自我中心学习）：一个用于物理动作理解的数据集 Eadom Dessalene、Botao He、Michael Maynord、Yonatan Tussa、Pavan Mantripragada、Yianni Karabatis、Nirupam Roy和Yiannis Aloimonos 美国马里兰大学帕克分校电子邮箱： ![Image](images/06c88d9f6bca96a2efc817f04bec9057b39f86a766a14f880de8da6f3f924ad3.jpg)

Fig. 1: FEEL pairs egocentric video with force measurements to capture the physical causes—not just visual effects—of hand-object interaction.

摘要：我们推出了FEEL（力增强型自我中心学习），这是首个将定制压阻式手套采集的力测量数据与自我中心视频配对的大规模数据集。我们的手套能够实现可扩展的数据采集，FEEL包含约300万帧力同步帧，这些帧来自厨房环境中自然发生的无脚本操作场景，其中约45%的帧涉及手与物体的接触。由于力是驱动物理交互的根本原因，它是物理动作理解的关键基础要素。我们通过将FEEL应用于两类任务，证明了力在物理动作理解中的实用性：（1）接触理解，我们在此任务中同时执行时间维度的接触分割和像素级的接触物体分割；（2）动作表征学习，力预测被用作视频主干网络的自监督预训练目标。无需任何手动标注的接触物体分割信息，我们便取得了业界领先的时间维度接触分割结果以及具有竞争力的像素级分割结果。此外，我们证明基于FEEL的动作表征学习能够提升在EPIC-Kitchens、SomethingSomething-V2、EgoExo4D和Meccano数据集上的动作理解任务的迁移性能，且无需任何人工标签。 --- ![Image](images/0184ab242c5c318c935844b3262ccfacd2bc322473fecc467e30afdcdb03da71.jpg)

Fig. 2: Forces reveal interaction dynamics. Representative sequences showing how force measurements disambiguate physical interactions. Left: Grasping and lifting a pan exhibits distinct force signatures with an onset at the end of the reach and a spike as the pan is lifted. Right: Stirring produces rhythmic force patterns reflecting cyclic manipulation.

## 1 引言物理操作动作是由手对物体施加的力定义的。因此，力不应被视为边缘信号，而应作为物理动作理解的基础要素。相比之下，视觉主要测量的是运动和外观——它们只是动作的可见效果，本身并非因果因素。仅从视频中学习动作时，隐藏的动作结构会隐含在高维的像素流中；而引入力后，隐藏的动作结构就会转化为本质上维度更低的可学习信号。自我中心视频数据集通过聚焦视觉模态来开展动作理解任务，推动了相关领域的重大进展。这类数据虽有价值，但缺少能直接捕捉动作因果动态的模态：力。现有数据集中之所以没有力数据，主要是因为无法通过人工标注可靠获取。物体对所受力的物理响应往往非常细微，标注者很难直接从视觉变化中识别出来。这种难度在标注接触的产生与终止时尤为明显。为便于理解，请参见图3：在该案例中，仅凭外观无法判断接触情况，而力数据则能明确区分。为了解决现有数据集的不足，我们推出了FEEL（力增强型第一人称学习）。FEEL基于一款定制的力感应手套（见图4）构建，该手套在手指指腹处安装了5个压阻式传感器，在手掌处则安装了一个长条形的压阻式传感器。佩戴这款手套后，即可获取手部施加力的测量数据流。我们将这些数据流与通过Meta Aria眼镜采集的第一人称视频一同记录下来[^15]。最终得到的是时间同步的第一人称视频、音频以及自然、无脚本、非结构化操作过程中的力感应数据。图2展示了同步的视频与力感应数据流示意图。接触状态是由力的交换产生的，从而能够得出每一帧上精确的接触状态及边界信息（见图3）。采用基于力的接触标签相较于手动为RGB帧标注接触标签而言，最大的优势在于其可扩展性。 --- ![Image](images/ff1cffa9b75cf673f7a6fd21d925b9feee2e0d5e3677f367f4bf0d8d50dd5324.jpg)

Fig.3: Contact detection from force measurements. Despite visual similarity across frames, force measurements precisely identify contact boundaries. Top: Raw sensor forces (pinky and middle finger dominate this grasp). Middle: Consolidated force with dual thresholds—above C threshold indicates contact, below NC threshold indicates non-contact, between is ambiguous (excluded). Forces enable scalable contact supervision without manual annotation of ambiguous visual transitions.

我们选取厨房场景作为研究对象，因为该场景涵盖了多种交互/动作类型。FEEL数据集包含$\sim$3百万帧图像，对应$\sim$27小时的密集操作过程，其中$\sim$45%的帧涉及物体接触情况。以力作为监督信号，能够提供低维度的、基于物理规律的信号，从而约束从高维像素空间中提取动作的方式。基于此，我们开发了利用力作为监督的学习方法，用于解决以下任务：接触理解以及动作表征学习（见图5）。在接触理解任务中，我们利用力信号来建模第一人称视频中的接触现象。该任务定义为两方面：(1) 时序接触分割——识别每只手随时间变化的逐帧接触状态；(2) 像素级分割——确定与每只手接触的物体。我们的力测量数据为接触的起始与结束时刻提供了精确的监督信息，从而有助于学习到清晰的交互边界，而仅靠不精确的接触标注难以实现这一点（相关示例见补充材料）。在动作表征学习任务中，我们利用FEEL数据集证明了力在视频动作表征学习中的实用性。通过训练来预测 --- 力值，可以促使网络从视频中推断出基于物理规律的动作结构。我们评估了由此得到的表征在动作识别任务中的迁移效果。评估所用基准数据集包括EPIC-Kitchens、Ego-Exo4D、Something-Something V2和Meccano。本研究的主要贡献如下： 1. FEEL数据集的发布：我们发布了迄今为止规模最大的第一人称力-视频数据集，它捕捉的是手与物体交互的物理成因，而非仅仅是视觉表现。FEEL数据集包含在自然、无脚本操作过程中采集的大约3百万帧图像。 2. 可扩展的基于力的接触标签：我们得出了逐帧的接触状态，发布了$1.35M$帧包含手与物体接触情况的图像（附带物体分割结果），以及$1.65M$帧手与物体未接触的图像。 3. 自监督力预训练流程：这一成果展示了为下游任务训练具备力感知能力的视频骨干网络的优势。基于FEEL数据集进行的力感知预训练，几乎在所有数据集上都能提升下游动作识别的性能。 4. 一种全新的最先进接触估计模型：我们训练了一个能够同时执行静态图像上的时序接触分割和像素级物体接触分割的模型。该模型在所有三个基准测试中均取得了最先进的时序接触检测效果。本文其余部分的结构如下：第2节介绍相关工作，第3节详述我们的方法，第4节阐述评估结果，第5节进行讨论并总结全文。 ## 2 相关工作接触理解：接触理解的主流范式依赖于大规模、经过人工标注的图像数据集[^7] [^8] [^26] [^32] [^40]或视频数据集[^8] [^10] [^13] [^23]，这类数据集的标注成本极高且存在标签噪声问题。一些研究通过半自动分割流程来缓解这一问题，即利用现成的视频工具传播人工标注结果[^10] [^13]。另一种方法是于受控实验室环境中借助动作捕捉技术来精确追踪三维空间中的手与物体[^4] [^16] [^39]；或者完全避开真实世界数据采集，转而使用合成数据[^20]。力理解：赋予视觉模型物理理解能力仍是一项极具挑战性且尚未被充分探索的领域[^14] [^17] [^29] [^44]。由于真实世界的力数据十分稀缺，大多数基于视觉的方法都依赖仿真技术[^14] [^21] [^44]。在机器人领域，已有大量研究通过真实世界数据采集来构建具备力感知能力的视觉表征[^9] [^11] [^42]，不过这些研究仅局限于抓取与放置等简单操作任务。与我们最为接近的研究是[^38]；我们的数据集规模比它大$5\times$，且探索了其在[^38]中未涉及的任务。力与接触理解的应用：可靠地推断手与物体的物理交互关系能够解锁一系列重要的下游任务。研究表明，接触理解可提升动作识别性能[^13] [^23] [^34]。 --- 此外，通过从人类视频中解析手与物体间的接触信息，还能帮助机器人学习操作轨迹[^27] [^36] [^37]。力理解的应用相对较少：[^1]在一个小型的简单任务数据集上训练了具备力感知能力的机器人策略，而[^38]则成功证明了力信息能提升抓取分类性能。我们是首个证明所学习的表征可通过零样本迁移方式，应用于力数据集上的接触理解与动作表征学习的人。 ## 3 方法我们提出了两类利用力作为监督信号的学习任务：接触理解以及跨模态的动作表征学习。接触理解同时涵盖时序接触分割（逐帧接触状态分类）和接触物体的像素级分割。在动作理解方面，我们将力预测作为预训练目标，以学习比单纯基于外观的特征更具物理基础性的表征。图5展示了我们的方法：我们以力预测作为自监督预训练目标，针对图像和视频输入分别训练特定模态的骨干网络。本节其余部分的结构如下：3.1节介绍了我们的数据采集流程和定制的力传感硬件；3.2节详细阐述了接触理解相关内容；3.3节描述了动作表征学习。同步力测量数据作为一种新的监督模态，不仅能够大规模生成接触标注，还能用于学习具有物理基础的动作表征——这些应用仅靠视觉数据是无法实现或难以实现的。 ![Image](images/93d76da3b3c1e671268e718b56ea7c163f56c68fbb06dc4c525e380f4e93984c.jpg)

Fig. 4: Force-sensing glove hardware. Leftmost: Palm-facing views of the left and right gloves, showing the six piezoresistive sensors (red) mounted at each fingertip and across the palm, the Arduino microcontroller case (blue) mounted at the wrist, and the on/off switch (green). Middle and right: Side and in-use views demonstrating the glove's low-profile form factor during natural object manipulation.

--- ![Image](images/8daffb39edbaab0dc0d04b06b7b3c1125d245dc85b6e639d05afa44a87c65ffd.jpg)

Fig. 5: Learning contacts and action from forces. (a) Contact Understanding Image network trained with force-derived contact labels performs contact detection and segmentation (red mask) for each hand (L/R). (b) Action Representation Learning Video network predicts per-hand forces from clips for pretraining. The video backbone is transferred to action recognition after discarding force heads. No manual contact or action labels required during pre-training.

### 3.1 数据集采集为了获取同步的视觉、声学和力数据流，我们开发了一套轻量级的传感系统，该系统将定制压阻式手套与Meta Aria眼镜结合，用于采集第一人称视角数据。硬件方面，我们的传感系统由两个同步工作的组件构成：定制压阻式力手套和Meta的Project Aria眼镜（第一代）。这种组合能够同时采集操作过程中产生的力、第一人称视角的视觉流以及空间音频。力手套的力传感部分由六个压阻式传感器（Flexiforce A301，Tekscan品牌）组成，安装在手套上——每个指尖一个传感器，手掌处则安装一条传感器带。图4展示了我们用于数据采集的手套。每个A301传感器可测量的力最大达45牛顿（约10磅）。这些传感器连接到一个安装在外壳内的Arduino Nano微控制器上，外壳内还装有3.3V锂聚合物（LiPo）电池以及用于开启/关闭设备以开始或停止录制的切换开关。 Project Aria眼镜用于采集第一人称视角的视觉流和空间音频。该设备可采集同步的多模态数据流：一个前向RGB摄像头（1440×1440像素）、两个分别位于左右太阳穴处的单色场景摄像头（640×480像素），用于覆盖广阔的周边视野；一个包含7个麦克风的阵列用于采集空间音频；两个惯性测量单元（IMU）的采样率分别为800Hz和1000Hz。 ### 传感器校准与同步要使力手套和Aria眼镜同步工作，需要对齐两套基于不同内部时钟运行的数据流。每次录制开始时采用的三步校准流程详见补充材料。 ---

Table 1: Comparison of commonly used hand-object interaction datasets. Modality codes: V=video, A=audio, D=depth, F=force, E=eye tracking. Contact annotation for Ego4D (FHO) is partial (only a single critical frame is annotated out of each sequence). FEEL is the only real-world (Real) egocentric dataset providing both contact annotations and force measurements — all other datasets with force lack contact labels or real-world capture, and all datasets with contact lack force.

Dataset	View	Scale	Real	Modalities	Contact	Forces
EgoHands [^22]	Ego	1.5 hrs	✓	V	✗	✗
Arctic [^16]	Both	4 hrs	✓	V/D	✓	✗
VISOR [^10]	Ego	36 hrs	✓	V/A	✓	✗
HOI4D [^24]	Ego	45 hrs	✓	V/D	✓	✗
Ego4D (FHO) [^18]	Ego	120 hrs	✓	V/A	1/2	✗
100DOH [^32]	Both	-	✓	V	✓	✗
Zhang et al. [^43]	Neither	1 hour	✗	V/F	✗	✓
Ehsani et al. [^14]	Exo	0.5 hrs	✗	V/F	✓	✓
OpenTouch. [^38]	Ego	5 hrs	✓	V/A/F/E	✓	✓
FEEL (Ours)	Ego	27 hrs	✓	V/A/F/E	✓	✓

数据处理：第一人称视角姿态与手部跟踪我们利用Meta的机器感知服务（MPS）从Aria设备的录制数据中提取基础的几何与运动信息。MPS通过视觉-惯性里程计流程处理侧置摄像头流和IMU数据，从而生成高频（1kHz）的6自由度相机轨迹。此外，MPS还会对侧置摄像头图像进行3D手部跟踪，为录制中的每一帧恢复手部关键点。为了得出交互物体的名词，我们采用了一种弱标注策略：在每次录制会话中，我们将视频划分为2分钟的时间窗口，并在每个窗口内选取8帧均匀采样的图像。我们对这些图像中涉及的交互物体名词进行标注，但无需指定时间顺序或精确时刻。我们还进一步计算了密集的几何线索，以支持接触物体的分割（详见第3.2节）：利用MLDepthPro [^3] 预测以米为单位的缩放深度图，并使用SEA-RAFT [^41] 在连续帧之间密集估计光流场。 ### 3.2 接触理解以往的接触理解方法 [^10] [^32] 依赖人工标注者从RGB帧中标记接触事件——这一过程既耗费人力又难以扩展。而我们的方法则利用直接的物理测量数据——其优势之一在于能够无需人工标注即可确定接触状态并定位接触物体的时间。基于这些由力数据得出的接触状态，我们提出了一种生成接触物体伪标签分割的弱监督方法。这种基于物理的方法 --- 所提供的监督机制使得仅依靠视觉的方法无法实现的训练范式成为可能。接触检测原始的压阻式传感器存在明显的基线漂移和高频噪声问题，因此无法通过简单的阈值设定来检测接触。我们对每个传感器的数据应用多阶段滤波流程：通过Hampel滤波去除异常值，采用高斯平滑处理，通过滚动百分位数估计时变基线，再进行带负向裁剪的基线扣除，同时排除基线发生突变或均方根幅度较高的区域。随后，我们以每个传感器读数的第99.5百分位数进行归一化，再计算六个传感器的几何平均值，从而得到对单个传感器故障具有鲁棒性的统一力信号。当该信号超过上限阈值时判定为接触状态，低于下限阈值时判定为非接触状态，介于两者之间的则被视为模糊区域予以排除。更多细节请参阅补充材料。伪标签生成我们开发了一种弱监督方法，用于生成接触物体空间分割所需的伪标签，从而无需手动标注物体分割信息。我们分割流程的输入包括：(i) 由基于力的检测系统判定为包含接触情况的帧；(ii) 通过向SAM3输入一组概念提示所生成的物体掩码候选集（这些概念是唯一的弱标签，生成方式见第3.1节）；(iii) 使用SEA-RAFT预先计算的光流场；(iv) 来自MPS的相机内外参；(v) 预先计算的深度图。这些输入的产生过程在第3.1节中有详细描述。基于这些输入，我们通过以下步骤生成接触物体伪标签：(1) 提取每个物体候选区域的掩码光流；(2) 利用Aria机器感知服务（MPS）提供的内外参，计算当前帧与下一帧之间的基础矩阵；(3) 使用掩码光流和基础矩阵，在每个掩码内评估Sampson极线误差[^25]（误差越大，表明由于物体运动或操作导致的静态场景（极线）约束违反程度越严重）；(4) 选择平均极线误差最大的候选区域；(5) 只有当属于该掩码的至少一定数量的像素位于手部三维质心的3D距离阈值内时，才将该候选区域认定为接触物体（确保所选的高运动区域在空间上靠近操作手）。我们拥有50万张带有二元接触伪标签的图像，其中18万张包含接触物体的二元分割结果。完整细节请参阅补充材料。训练为了验证FEEL的实用性，我们训练了一个接触理解模型，与基于大规模人工标注的接触数据集训练的现有先进视觉网络进行对比。如图5第一行所示，我们训练该网络处理单张RGB图像，并为每只手（左手和右手）生成两个预测头：(1) 用于判断手是否与物体接触的二元接触分类器；(2) 用于分割与该手接触的物体。仅当某只手在图像中至少部分可见时，我们才会对该手对应的网络头进行监督训练。 ---

Table 2: Temporal contact detection results evaluated on the validation sets of FEEL, EPIC-VISOR, and HOI4D. We emphasize that while our model was only trained over 1 dataset (FEEL), the 100DOH model and VISOR model were both trained over the EPIC-VISOR dataset [^10]. BC represents "Binary contact detection" - a prediction is correct iff it captures the binary contact state between the hand and the object, irrespective of which predicted hand side is involved. BSC represents "Binary Signed Contact" - a prediction is correct iff it captures both the binary contact state of between the hand and the object, as well as the hand side involved.

Method	Sup.	Training Set #	HOI4D		VISOR		FEEL
Method	Sup.	Training Set #	BC	BSC	BC	BSC	BC	BSC
Depth [^3]	Self	5	66.6	66.0	52.8	39.9	48.6	30.0
HOIRef [^2]	Full	2 (inc. VISOR)	52.1	50.8	55.4	53.7	59.6	57.2
VISOR [^10]	Full	1 (VISOR)	55.3	55.0	66.3	65.2	45.2	40.2
100DOH [^32]	Full	2 (inc. VISOR)	90.0	80.5	81.3	71.9	49.0	40.0
Ours	Self	1 (inc. FEEL)	82.2	81.3	87.3	79.7	95.6	88.9

；对于视野外手对应的网络头则不进行监督训练。在数据增强方面，我们采用随机裁剪和随机水平翻转操作。翻转时，我们会同时镜像输入图像和目标输出，以维持两者间的对应关系。 ## 3.3 从视频中学习作用力传统上，视频网络是在大规模标注图像和视频数据集（如ImageNet [^12] 和Kinetics [^6]）上预训练的，这些数据集提供了强大的外观和运动层面先验信息，但关于底层物理交互的直接监督信息很少；相比之下，我们利用FEEL提供的基于物理的作用力信号来预训练视频模型，以捕捉作用力动态特征（见图5），并将这些表征迁移到下游动作理解任务中。我们将视频到作用力的预测建模为一个自监督预训练任务，随后将学到的表征迁移到下游动作识别基准测试中。在视频到作用力的预训练阶段，我们仅选取至少有一只手在50%的帧中可见的视频片段，以确保训练信号能反映在输入图像中。 ### 4 实验我们从两类任务对FEEL进行评估：(1) 接触理解，即进行时序接触检测和像素级物体分割；(2) 动作表征学习，其中作用力预测作为视频骨干网络的自监督预训练目标。图5展示了这两类任务的建模方式。 ---

Table 3: Spatial contact segmentation results evaluated on the validation sets of FEEL, EPIC-VISOR, and HOI4D. We emphasize that while our model was only trained over 1 dataset (FEEL), the 100DOH model and VISOR model were both trained over the EPIC-VISOR dataset. As the 100DOH model produces bounding boxes (not segmentations), we employ in addition a SAM model (trained over Internet-scale data) to segment the 100DOH model predictions. Results reported as intersection-over-union (IOU) ↑.

Method	Sup.	Training Set #	Dataset
Method	Sup.	Training Set #	HOI4D	VISOR	FEEL
MOVES [^19]	Weak	N/A	-	-	0.309
SAM3 [^5]	Full	Comp.	0.201	0.085	0.030
VISOR [^10]	Full	1 (inc. VISOR)	0.502	0.402	0.111
100DOH [^32]+SAM [^5]	Full	Comp. (inc. VISOR)	0.765	0.443	0.218
Ours	Weak	1 (FEEL)	0.751	0.399	0.625

![Image](images/07f68c00883f72190d0e35a04908a49a17f977108ed1cd6016402bedb5998219.jpg)

Fig. 6: Temporal contact detection. A representative sequence showing our model's contact predictions over time as a hand reaches toward and grasps a mug. The model correctly predicts no contact during the approach phase and transitions to contact precisely at the moment of grasp.

### 4.1 接触理解任务：接触理解同时解决时序接触分割（每帧接触状态分类）和接触物体的像素级分割问题。该模型以图像为输入，输出每只手的二元接触状态以及每只手所接触物体的像素级分割结果。详见图5。模型与实现：传统的接触理解模型[^32]由于训练过程中涉及不可微操作以及额外的超参数，因此训练起来较为复杂。为了简化实现流程，我们在冻结的DINOv3[^30]特征之上训练密集预测Transformer（DPT）[^35]。图像被输入到DINO中，生成特征图后再送入DPT，DPT会输出两组结果：一组是基于左右手是否检测到接触而产生的二元逻辑值；另一组是针对左右手的双通道分割图，其分辨率与输入图像一致。更多实现细节请参阅补充材料。 --- 基线设置：我们所学习的接触检测结果是完全通过自监督方式得到的；而接触分割结果则是通过弱监督方式获得的——因为伪标签生成算法会以录制过程中所有交互物体的类别作为输入。我们的训练过程完全不依赖人工提供的物体分割数据。因此，我们将其与其他方法进行比较，包括：(1)自监督方法、(2)弱监督方法以及(3)全监督方法。接触检测基线：据我们所知，目前尚无用于自监督接触检测的常见方法。因此我们提出了一种简单的零样本基线，结合了深度网络和分割网络的最新成果。我们先计算身体的分割结果，再根据场景的深度图计算出相对于两只手的带符号距离场。如果满足距离$d(x, y)$对所有像素$(x, y)$均超过阈值的条件，则判定为存在接触，反之亦然。我们还对比了三种全监督基线：HOIRef[^2]、EPIC-VISOR[^10]和100DOH[^32]。具体结果见表2。接触分割基线：在与其他接触分割方法的对比中，最接近的自监督和弱监督对比方法是[^19]和[^33]，但这两类方法并未公开。我们转而对比[^19]中生成的真实伪标签的生成方法重新实现版本——直接将我们网络的分割预测结果与这些伪标签进行对比。我们还对比了采用概念提示的SAM，以及两个全监督基线：EPIC-VISOR和100DOH。具体结果见表3。评估数据集：我们不仅在FEEL数据集的接触伪标签上评估自身方法及其他方法，还在两个包含接触标注的常用第一人称视频数据集上进行零样本迁移测试——分别是EPIC VISOR[^10]和HOI4D[^24]。 ## 4.2 基于视频的动作表征学习动作表征学习涉及在将动作表征迁移至下游任务之前，探索视频骨干网络的预训练目标。在FEEL数据集上预训练时，模型以视频为输入并输出力预测结果，详见图5。随后我们将这些学到的表征迁移至动作识别任务中——动作识别以视频为输入，输出动作类别的分布结果。由于计算资源有限，我们并未在K710/Ego4D和FEEL数据集上联合预训练，而是从K710和Ego4D的预训练权重出发，利用FEEL的力数据微调模型，再将得到的具备力感知能力的表征迁移到动作识别任务中。下游动作识别中的力信息对于理解视频中的物理动作具有至关重要的影响。因此，在基于FEEL数据集对这些视频网络进行预训练后，我们将评估重点放在以手与物体交互为核心任务的下游数据集上。这些数据集包括： --- ![Image](images/03f71ab0f421c490d158ec6874bdf8f5c3e99b8055c6d99adc091ee4f90de0e9.jpg)

Fig. 7: Qualitative contact segmentation results. Each row shows an input image, ground truth, 100DOH prediction, and our prediction across FEEL, HOI4D, and VISOR. Right and left hand contacts are shown in red and blue respectively. Our model correctly identifies hand side (row 1), avoids confusing proximity for contact (rows 2-3), and handles simultaneous two-hand contacts (rows 4-5). Where our model produces partial segmentations (row 3), 100DOH (combined with SAM) confidently segments the wrong object entirely.

我们用于评估的数据集有EPIC-Kitchens-100、SomethingSomething-V2和Ego-Exo4D。我们对每个模型均开展动作识别任务测试：在EPIC-Kitchens数据集中需预测动词和名词，而在Ego-Exo4D、SomethingSomething-V2和Meccano数据集中则需预测动作。具体结果详见表1。 ---

Table 4: Action recognition results across all benchmarks. Top-1 accuracy for frozen and unfrozen settings across EPIC-Kitchens (verb/noun), SSV2, Ego-Exo4D, and Meccano. For each model, we compare standard pretraining (K710 for Hiera-B, Ego4D for EgoVideo-B) against the same weights further pretrained on FEEL's force data. Bold denotes the better result within each model pair. Models pre-trained over FEEL's data generally outperform the models pre-trained solely over Kinetics and Ego4D. We particularly observe this in the frozen evaluation setting compared to the unfrozen, end-to-end training.

	Model	Pretrain	EPIC-Kitchens		SSV2	Ego-Exo4D	Meccano
	Model	Pretrain	Verb	Noun	Action	Action	Action
Frozen	Hiera-B	K710	41.65	15.12	36.08	13.11	26.42
	Hiera-B	Ours	46.50	21.38	39.04	20.83	29.57
	EgoVideo-B	Ego4D	59.24	29.42	49.61	26.00	36.59
	EgoVideo-B	Ours	62.00	30.11	54.34	27.75	38.23
Unfrozen	Hiera-B	K710	68.34	48.18	68.88	35.25	38.52
	Hiera-B	Ours	68.24	49.08	70.01	41.19	41.13
	EgoVideo-B	Ego4D	70.99	55.67	74.55	40.92	48.99
	EgoVideo-B	Ours	71.34	55.60	74.91	40.75	50.01

## 5 讨论时序接触检测：定性结果如图6所示。可以看出，我们的方法能够精准定位接触发生的具体时间点，且不会因手/物体的邻近关系而产生误判，能够在抓取形成的瞬间准确从无接触状态切换为接触状态。表2显示，尽管我们的力监督模型从未接收过人工标注的接触标签，但其在所有三个数据集上的表现都显著优于零样本深度基线模型，甚至超过了完全监督的竞争对手。最具竞争力的基线模型是100DOH [^32]，该模型得益于在100DOH原始数据集和EPIC-VISOR这两个大规模全标注数据集上的训练，具备较强的对第一视角视频的泛化能力。而我们的模型仅依靠物理力测量作为监督信号，便超越了100DOH模型。我们方法的另一个优势在于其对左右手区分的处理能力。相较于100DOH模型，我们的模型在二元接触（BC）指标和二元有符号接触（BSC）指标间的性能下降幅度更小，这反映出我们对左右手的区分能力更可靠。100DOH模型中较大的BC-BSC差距可能源于标注噪声：区分手侧对于人类标注者而言较为微妙且易出错，可能导致标签不一致，进而影响有符号预测的准确性。关于左右手标注的模糊性问题，可参阅补充材料。接触分割：表3表明，我们的弱监督模型在所有三个数据集上均取得了具有竞争力的空间分割性能。在VISOR数据集上，我们的模型略逊于100DOH模型，这一结果在意料之中：其一，100DOH模型依赖SAM3 [^5]——一种基于互联网规模数据训练的强大分割模型；其二，100DOH模型是在EPIC-VISOR训练集上完全训练而成的。 --- 而我们的模型则是零样本部署的。尽管存在这一劣势，两者间的差距仍很小。我们的模型能够准确识别手侧，不会将邻近关系误判为接触，还能处理双手同时接触的情况。而100DOH模型先输出边界框预测结果，再交由SAM [^5]处理，虽然生成的掩码完整，但偶尔会对错误物体给出过于确定的判断；相比之下，我们的端到端模型能更一致地识别出正确的接触物体，有时虽会导致覆盖不全面。具体示例见图7。动作表征学习：表1揭示了在Hiera [^31]和EgoVideo [^28]模型的所有四个下游基准测试中呈现的两类一致趋势。强制预训练对冻结表征的提升效果比微调后的表征更为显著。在冻结评估设置下，性能提升幅度始终大于端到端微调的情况。这表明，力感知特征比传统基于外观的预训练权重更具即时可迁移性，同时也说明力监督能形成一种性质迥异的表征先验。在规模较小的下游数据集上，性能提升最为明显。四个评估数据集的规模跨度很大（Meccano数据集最小，Ego-Exo4D次之，EPIC Kitchens为第二大的数据集，SomethingSomething-V2则是最大的数据集），而强制预训练带来的相对性能优势在规模较小的数据集上表现得最为突出。这一结果与下述假设相符：基于物理的表征能够减少学习高效动作分类器所需的标注下游数据量——考虑到大规模动作标注的成本，这一特性具有极高的实用价值。局限性：硬件方面，橡胶凝胶垫固定装置在长时间佩戴时会产生不适感；由于机械漂移和弯曲问题，个别传感器有时会出现信号不稳定的情况；在执行需要精细灵巧性的任务时，传感器会遮挡指尖——这些问题可以通过采用腕部佩戴式肌电设备等非接触式传感方案来解决。算法层面，我们的伪标签生成依赖于物体运动信息，因此无法对桌子或大型家电等静止接触的物体进行分割，要解决这一问题需要借助运动之外的其他线索。总结来说，力是驱动物理交互的根本原因，也是理解物理动作的关键要素。我们发布了规模最大的第一人称视角力-视频数据集FEEL，该数据集记录了手与物体交互的物理成因，而不仅仅是视觉表现。我们通过实验验证了FEEL在接触理解以及动作表征学习方面的实用性，且无需人工标注的动作标签或物体分割信息。我们希望FEEL能为后续研究奠定基础，推动更精细的手部理解、力感知的视觉运动控制，以及从人类视频中学习操作策略等领域的发展；随着可穿戴传感硬件在形态和舒适度上的不断改进，科研界有望扩大类似FEEL这样的数据集规模，进一步缩小物理交互的丰富性与仅通过视频所能观察到的内容之间的差距——其应用范围将涵盖机器人技术、人机交互、虚拟与增强现实等领域。 --- ## 参考文献 [^1]: Adeniji, A., Chen, Z., Liu, V., Pattabiraman, V., Bhirangi, R., Haldar, S., Abbeel, P., Pinto, L.: Feel the force: Contact-driven learning from humans. arXiv preprint arXiv:2506.01944 (2025) [^2]: Bansal, S., Wray, M., Damen, D.: Hoi-ref: Hand-object interaction referral in egocentric vision. arXiv preprint arXiv:2404.09933 (2024) [^3]: Bochkovskii, A., Delaunoy, A., Germain, H., Santos, M., Zhou, Y., Richter, S.R., Koltun, V.: Depth pro: Sharp monocular metric depth in less than a second. arXiv preprint arXiv:2410.02073 (2024) [^4]: Brahmbhatt, S., Tang, C., Twigg, C.D., Kemp, C.C., Hays, J.: Contactpose: A dataset of grasps with object contact and hand pose. In: European Conference on Computer Vision. pp. 361–378. Springer (2020) [^5]: Carion, N., Gustafson, L., Hu, Y.T., Debnath, S., Hu, R., Suris, D., Ryali, C., Alwala, K.V., Khedr, H., Huang, A., et al.: Sam 3: Segment anything with concepts. arXiv preprint arXiv:2511.16719 (2025) [^6]: Carreira, J., Zisserman, A.: Quo vadis, action recognition? a new model and the kinetics dataset. In: proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 6299–6308 (2017) [^7]: Chen, Y., Dwivedi, S.K., Black, M.J., Tzionas, D.: Detecting human-object contact in images. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 17100–17110 (2023) [^8]: Cheng, T., Shan, D., Hassen, A., Higgins, R., Fouhey, D.: Towards a richer 2d understanding of hands at scale. Advances in Neural Information Processing Systems 36, 30453–30465 (2023) [^9]: Chi, H.G., Barreiros, J., Mercat, J., Ramani, K., Kollar, T.: Multi-modal representation learning with tactile data. In: 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). pp. 9660–9667. IEEE (2024) [^10]: Darkhalil, A., Shan, D., Zhu, B., Ma, J., Kar, A., Higgins, R., Fidler, S., Fouhey, D., Damen, D.: Epic-kitchens visor benchmark: Video segmentations and object relations. Advances in Neural Information Processing Systems 35, 13745–13758 (2022) [^11]: Dave, V., Lygerakis, F., Rueckert, E.: Multimodal visual-tactile representation learning through self-supervised contrastive pre-training. In: 2024 IEEE International Conference on Robotics and Automation (ICRA). pp. 8013–8020. IEEE (2024) [^12]: Deng, J., Dong, W., Socher, R., Li, L.J., Li, K., Fei-Fei, L.: Imagenet: A large-scale hierarchical image database. In: 2009 IEEE conference on computer vision and pattern recognition. pp. 248–255. Ieee (2009) [^13]: Dessalene, E., Devaraj, C., Maynord, M., Fermüller, C., Aloimonos, Y.: Forecasting action through contact representations from first person video. IEEE Transactions on Pattern Analysis and Machine Intelligence 45(6), 6703–6714 (2021) [^14]: Ehsani, K., Tulsiani, S., Gupta, S., Farhadi, A., Gupta, A.: Use the force, luke! learning to predict physical forces by simulating effects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 224–233 (2020) ## [^15]: Engel, J., Somasundaram, K., Goesele, M., Sun, A., Gamino, A., Turner, A., Talattof, A., Yuan, A., Souti, B., Meredith, B., et al.: Project aria: A new tool for egocentric multi-modal ai research. arXiv preprint arXiv:2308.13561 (2023) --- [^16]: Fan, Z., Taheri, O., Tzionas, D., Kocabas, M., Kaufmann, M., Black, M.J., Hilliges, O.: Arctic: A dataset for dexterous bimanual hand-object manipulation. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 12943–12954 (2023) [^17]: Fermüller, C., Wang, F., Yang, Y., Zampogiannis, K., Zhang, Y., Barranco, F., Pfeiffer, M.: Prediction of manipulation actions. International Journal of Computer Vision 126(2), 358–374 (2018) [^18]: Grauman, K., Westbury, A., Byrne, E., Chavis, Z., Furnari, A., Girdhar, R., Hamburger, J., Jiang, H., Liu, M., Liu, X., et al.: Ego4d: Around the world in 3,000 hours of egocentric video. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 18995–19012 (2022) [^19]: Higgins, R.E., Fouhey, D.F.: Moves: Manipulated objects in video enable segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 6334–6343 (2023) [^20]: Leonardi, R., Furnari, A., Ragusa, F., Farinella, G.M.: Are synthetic data useful for egocentric hand-object interaction detection? In: European Conference on Computer Vision. pp. 36–54. Springer (2024) [^21]: Li, Z., Sedlar, J., Carpentier, J., Laptev, I., Mansard, N., Sivic, J.: Estimating 3d motion and forces of person-object interactions from monocular video. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 8640–8649 (2019) [^22]: Lin, F., Price, B., Martinez, T.: Ego2hands: A dataset for egocentric two-hand segmentation and detection. arXiv preprint arXiv:2011.07252 (2020) [^23]: Liu, S., Tripathi, S., Majumdar, S., Wang, X.: Joint hand motion and interaction hotspots prediction from egocentric videos. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 3282–3292 (2022) [^24]: Liu, Y., Liu, Y., Jiang, C., Lyu, K., Wan, W., Shen, H., Liang, B., Fu, Z., Wang, H., Yi, L.: Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 21013–21022 (2022) [^25]: Luong, Q.T., Deriche, R., Faugeras, O., Papadopoulo, T.: On determining the fundamental matrix: Analysis of different methods and experimental results. Ph.D. thesis, Inria (1993) [^26]: Narasimhaswamy, S., Nguyen, T., Nguyen, M.H.: Detecting hands and recognizing physical contact in the wild. Advances in neural information processing systems 33, 7841–7851 (2020) [^27]: Pan, C., Wang, C., Qi, H., Liu, Z., Bharadhwaj, H., Sharma, A., Wu, T., Shi, G., Malik, J., Hogan, F.: Spider: Scalable physics-informed dexterous retargeting. arXiv preprint arXiv:2511.09484 (2025) [^28]: Pei, B., Chen, G., Xu, J., He, Y., Liu, Y., Pan, K., Huang, Y., Wang, Y., Lu, T., Wang, L., et al.: Egovideo: Exploring egocentric foundation model and downstream adaptation. arXiv preprint arXiv:2406.18070 (2024) [^29]: Pham, T.H., Kyriazis, N., Argyros, A.A., Kheddar, A.: Hand-object contact force estimation from markerless visual tracking. IEEE transactions on pattern analysis and machine intelligence 40(12), 2883–2896 (2017) [^30]: Ranftl, R., Bochkovskiy, A., Koltun, V.: Vision transformers for dense prediction. In: Proceedings of the IEEE/CVF international conference on computer vision. pp. 12179–12188 (2021) ## [^31]: Ryali, C., Hu, Y.T., Bolya, D., Wei, C., Fan, H., Huang, P.Y., Aggarwal, V., Chowdhury, A., Poursaeed, O., Hoffman, J., et al.: Hiera: A hierarchical vision --- 不含多余功能的Transformer。载于：国际机器学习会议论文集，第29441–29454页。PMLR（2023年） [^32]: Shan, D., Geng, J., Shu, M., Fouhey, D.F.: Understanding human hands in contact at internet scale. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 9869–9878 (2020) [^33]: Shan, D., Higgins, R., Fouhey, D.: Cohesiv: Contrastive object and hand embedding segmentation in video. Advances in neural information processing systems 34, 5898–5909 (2021) [^34]: Shiota, T., Takagi, M., Kumagai, K., Seshimo, H., Aono, Y.: Egocentric action recognition by capturing hand-object contact and object state. In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. pp. 6541–6551 (2024) [^35]: Siméoni, O., Vo, H.V., Seitzer, M., Baldassarre, F., Oquab, M., Jose, C., Khalidov, V., Szafraniec, M., Yi, S., Ramamonjisoa, M., et al.: Dinov3. arXiv preprint arXiv:2508.10104 (2025) [^36]: Singh, H.G., Loquercio, A., Sferrazza, C., Wu, J., Qi, H., Abbeel, P., Malik, J.: Hand-object interaction pretraining from videos. In: 2025 IEEE International Conference on Robotics and Automation (ICRA). pp. 3352–3360. IEEE (2025) [^37]: Sivakumar, A., Shaw, K., Pathak, D.: Robotic telekinesis: Learning a robotic hand imitator by watching humans on youtube. arXiv preprint arXiv:2202.10448 (2022) [^38]: Song, Y.R., Li, J., Fu, R., Murphy, D., Zhou, K., Shiv, R., Li, Y., Xiong, H., Owens, C.E., Du, Y., et al.: Opentouch: Bringing full-hand touch to real-world interaction. arXiv preprint arXiv:2512.16842 (2025) [^39]: Taheri, O., Ghorbani, N., Black, M.J., Tzionas, D.: Grab: A dataset of whole-body human grasping of objects. In: European conference on computer vision. pp. 581–600. Springer (2020) [^40]: Tripathi, S., Chatterjee, A., Passy, J.C., Yi, H., Tzionas, D., Black, M.J.: Deco: Dense estimation of 3d human-scene contact in the wild. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. pp. 8001–8013 (2023) [^41]: Wang, Y., Lipson, L., Deng, J.: Sea-raft: Simple, efficient, accurate raft for optical flow. In: European Conference on Computer Vision. pp. 36–54. Springer (2024) [^42]: Yu, K., Han, Y., Wang, Q., Saxena, V., Xu, D., Zhao, Y.: Mimictouch: Leveraging multi-modal human tactile demonstrations for contact-rich manipulation. arXiv preprint arXiv:2310.16917 (2023) [^43]: Zhang, X., Bhatnagar, B.L., Starke, S., Petrov, I., Guzov, V., Dhamo, H., Pérez-Pellitero, E., Pons-Moll, G.: Force: Physics-aware human-object interaction. In: 2025 International Conference on 3D Vision (3DV). pp. 1473–1486. IEEE (2025) [^44]: Zhu, Y., Jiang, C., Zhao, Y., Terzopoulos, D., Zhu, S.C.: Inferring forces and learning human utilities from videos. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 3823–3833 (2016)