# TouchAnything：基于第一视角视频的双臂触觉估计数据集与框架

周建毅 $^{1}$、高子腾 $^{1}$、洪飞阳 $^{1}$、刘子睿 $^{1}$、张冠南 $^{1}$、戴伟生 $^{1}$、甄瑞辰 $^{2}$、吕楚乔 $^{3}$、吴浩天 $^{2}$、毛一宁 $^{2}$、王旭石 $^{1}$、蒋宇翔 $^{1}$、丁文博 $^{3}$、杨硕 $^{1}$

 $^{1}$哈尔滨工业大学（深圳）

 $^{2}$美团机器人研究院

 $^{3}$清华大学深圳国际研究生院

## 摘要

能够捕捉丰富的人与环境交互信息且可大规模采集的第一视角人类视频数据，已成为具身智能研究的重要驱动力。然而，现有的第一视角数据集通常缺乏触觉感知——这一能直接反映人-物交互中接触、力与压力情况的关键模态。缺少这类信号时，模型难以学习到基于物理现实的交互动态表征。虽然触觉传感器能提供这些信号，但大规模部署高质量的触觉硬件既昂贵又繁琐。这就引出了一个核心问题：能否直接从视觉观测中推断出触觉反馈，从而为第一视角视频数据提供可扩展的触觉监督，支撑基于物理现实的具身学习？为了推动该领域的研究，我们推出了EgoTouch——一个具备密集触觉监督的大规模多视角第一视角数据集，专门用于双臂手-物交互场景。EgoTouch包含208个操作任务，涵盖1891个样本片段，覆盖各类室内外环境；数据集同步记录了多视角RGB图像（头戴式第一视角摄像头与两个腕部安装摄像头拍摄）、双臂3D手部姿态，以及来自可穿戴触觉传感器的连续压力图。基于EgoTouch，我们推出了TouchAnything——一个多视角视觉到触觉预测的基准框架，该框架以第一视角图像作为主要输入，在推理阶段可灵活利用可用的腕部视角图像。实验表明，引入腕部视角图像通常能提升触觉预测效果：相较于仅使用第一视角输入，接触区域IoU的相对提升幅度可达5.0%，体积IoU的相对提升幅度可达6.1%。我们将公开发布该数据集、代码及基准测试结果。

日期：2026年5月14日

通讯作者：<mailto:shuoyang@hit.edu.cn>

项目页面：<https://jianyi2004.github.io/TouchAnything-Website/>

## 1 引言

以自我为中心的视频数据集已成为具身智能领域可扩展监督的关键来源，因为它们相对容易收集，能够捕捉自然的人与环境交互过程，并涵盖多种多样的真实世界操作行为 [^8] [^10] [^11] [^14] [^21] [^35] [^38] [^39]。然而，尽管取得了这些进展，仍有一个关键模态严重缺失：触觉感知。虽然视觉观测能够捕捉外观和运动线索，但无法直接揭示成功操作背后的物理信号，比如接触力和压力分布。若无法获取这类信号，具身模型就缺乏对支配真实世界操作的物理交互动态的直接监督 [^19] [^32]，进而限制了它们对物理世界的深入理解能力 [^27] [^30]。尽管触觉传感器能够提供这些信息，但利用高质量硬件收集大规模触觉数据既昂贵又具有侵入性，且难以规模化。

---

![Image](images/3884db9b58af92dd1dc212a5614a51cb616d8d6218a8547fe8e035de00c0a03d.jpg)

<div style="text-align: center;">Figure 1 EgoTouch combines egocentric and wrist-mounted views with synchronized 3D hand pose and dense tactile pressure maps, providing complementary visual evidence for learning contact-aware interactions.</div>

<NODE_END_0015>
大规模触觉数据的获取成本高昂、具有侵入性且难以扩展，这造成了一个根本性瓶颈：大规模视觉数据的丰富程度与触觉监督数据的稀缺性形成鲜明对比。这一差距引出了一个关键问题：能否直接从视觉观测中推断出触觉信号，从而为大规模以自我为中心的数据提供可扩展的触觉监督，并支持具备交互感知能力的具身学习？

视觉到触觉的预测已成为一个有前景的研究方向 [^18] [^31] [^34]，但其发展仍受限于数据不足。现有数据集要么依赖单视角采集 [^34]，要么仅聚焦于较为狭窄的交互场景，比如手与表面的接触或单指按压 [^9]。因此，它们在研究现实中的双手-物体交互场景下的触觉预测时支持有限，这类场景涉及多样的操作环境且手-物体接触区域常被遮挡。这种遮挡是以自我为中心的视觉到触觉预测中的一个核心挑战：接触区域往往被手部本身或被操纵的物体所遮盖，导致从头戴式摄像头获取的视图中只能观察到部分触觉信号。这种缺失的接触证据会带来极大的不确定性，尤其是在复杂的操作场景中。

为应对这些挑战，我们推出了EgoTouch（如图1所示），这是一套面向双手-物体交互的大规模多视角以自我为中心数据集，配有密集的触觉监督信息。EgoTouch将以自我为中心的视频和腕部安装的视频与同步的触觉压力图及双手姿态数据相匹配，提供了对现实手-物体交互的补充性视角。该数据集包含208个操作任务、1,891个片段，以及超过20小时分布于各类室内外环境中的交互数据，能够为物理交互动态的跨模态学习提供支持。

在EgoTouch的基础上，我们开发了TouchAnything——一种用于视觉到触觉预测的基准模型，该模型支持基于单个或多个摄像头视图的灵活推理。一个关键的设计选择是视图丢弃机制：在训练过程中，手腕摄像头的视图会被随机丢弃，从而迫使模型学习能够在推理时应对任意可用视图子集的鲁棒表征。这使得该模型能够部署在仅配备头戴式摄像头的场景中，同时又能充分利用存在的额外视图。实验表明，加入手腕安装的摄像头视图能够提升对已知和未知物体的触觉预测精度：在已知物体上，多视图完整设置使Contact IoU从0.4792提高到0.5030，Volumetric IoU从0.4311提高到0.4575；在未知物体上，Contact IoU从0.4396提高到0.4496，Volumetric IoU从0.3743提高到0.3852。

综上所述，我们的贡献如下：

1. 我们推出了EgoTouch，这是一个大规模的多视图头戴式数据集，用于研究双手与物体的交互，包含208个任务、1,891个片段，数据涵盖了来自一个头戴式摄像头和两个

---

<div style="text-align: center;">Table 1 Comparison of EgoTouch with existing hand interaction and tactile datasets. EgoTouch is the first to jointly provide multi-view video, bimanual hand pose, and real dense pressure data across diverse scenes.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Dataset</td><td style='text-align: center; word-wrap: break-word;'>In-the-wild</td><td style='text-align: center; word-wrap: break-word;'>Hand Pose</td><td style='text-align: center; word-wrap: break-word;'>Contact</td><td style='text-align: center; word-wrap: break-word;'>Wrist Views</td><td style='text-align: center; word-wrap: break-word;'>Hands</td><td style='text-align: center; word-wrap: break-word;'>Objects</td><td style='text-align: center; word-wrap: break-word;'>Frames</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>GRAB [^28]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>MoCap</td><td style='text-align: center; word-wrap: break-word;'>Analytical</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Biman.</td><td style='text-align: center; word-wrap: break-word;'>51</td><td style='text-align: center; word-wrap: break-word;'>1.6M</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ContactDB [^3]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Thermal</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Biman.</td><td style='text-align: center; word-wrap: break-word;'>50</td><td style='text-align: center; word-wrap: break-word;'>375k</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ARCTIC [^7]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>MoCap</td><td style='text-align: center; word-wrap: break-word;'>Analytical</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Biman.</td><td style='text-align: center; word-wrap: break-word;'>11</td><td style='text-align: center; word-wrap: break-word;'>2.1M</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OakInk [^33]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>MoCap</td><td style='text-align: center; word-wrap: break-word;'>Analytical</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Single</td><td style='text-align: center; word-wrap: break-word;'>100</td><td style='text-align: center; word-wrap: break-word;'>230k</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>DexYCB [^4]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Est.</td><td style='text-align: center; word-wrap: break-word;'>Analytical</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Single</td><td style='text-align: center; word-wrap: break-word;'>20</td><td style='text-align: center; word-wrap: break-word;'>582k</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>ActionSense [^6]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Glove</td><td style='text-align: center; word-wrap: break-word;'>Pressure</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Biman.</td><td style='text-align: center; word-wrap: break-word;'>21</td><td style='text-align: center; word-wrap: break-word;'>521k</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>HOI4D [^20]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Est.</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Single</td><td style='text-align: center; word-wrap: break-word;'>800</td><td style='text-align: center; word-wrap: break-word;'>2.4M</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoPressure [^9]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Est.</td><td style='text-align: center; word-wrap: break-word;'>Pressure</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Single</td><td style='text-align: center; word-wrap: break-word;'>31</td><td style='text-align: center; word-wrap: break-word;'>4.3M</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoDex [^14]</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Est.</td><td style='text-align: center; word-wrap: break-word;'>Analytical</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Biman.</td><td style='text-align: center; word-wrap: break-word;'>500</td><td style='text-align: center; word-wrap: break-word;'>90M</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>OpenTouch [^25]</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>Glove</td><td style='text-align: center; word-wrap: break-word;'>Pressure</td><td style='text-align: center; word-wrap: break-word;'>✗</td><td style='text-align: center; word-wrap: break-word;'>Single</td><td style='text-align: center; word-wrap: break-word;'>800</td><td style='text-align: center; word-wrap: break-word;'>~ 500k</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>EgoTouch (Ours)</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>Glove + Est.</td><td style='text-align: center; word-wrap: break-word;'>Pressure</td><td style='text-align: center; word-wrap: break-word;'>✓</td><td style='text-align: center; word-wrap: break-word;'>Biman.</td><td style='text-align: center; word-wrap: break-word;'>~1000</td><td style='text-align: center; word-wrap: break-word;'>2.1M</td></tr></table>

手腕安装摄像头同步采集的RGB视频、双手3D手部姿态，以及在不同环境中获取的密集连续压力图。

2. 我们在EgoTouch上建立了多视图视觉到触觉的基准测试，针对已知和未知物体以及不同的摄像头视图配置制定了评估协议，从而能够系统分析互补的手腕视图对触觉预测的影响。

3. 我们提出了TouchAnything，这是一种带有跨视图融合和视图丢弃训练机制的基准视觉到触觉模型，支持仅使用头戴式摄像头或多视图输入进行灵活推理，并在有手腕视图可用时提升触觉预测精度。

## 2 EgoTouch数据集

EgoTouch数据集包含了20小时、帧率为30Hz的多视图头戴式视频，涵盖208种不同类型的操作任务，共1,891个片段。这些数据相当于约210万帧，涉及室内外环境中的1,000多种物体。该数据集提供了丰富且结构化的标注信息，包括同步的多视图RGB视频、双手3D手部姿态，以及双手的密集触觉压力图。所有模态都在帧级实现时间对齐，以便进行精确的跨模态学习。我们在表1中对EgoTouch与现有的手物交互及触觉数据集进行了比较。

### 2.1 数据采集设置

EgoTouch是通过一套同步的可穿戴采集系统收集的，该系统在自然双手操作过程中记录互补的视觉、运动学和触觉信号（见图2）。该系统包括用于获取全局头戴式场景信息的头戴式RGB摄像头、用于近距离观察手物接触区域的两个手腕安装RGB摄像头、用于获取双手3D手部姿态的Rokoko动作捕捉手套、每只手掌上装有$16 \times 16$触觉阵列的定制压力感应手套，以及用于定位头部和手腕6自由度位置的HTC Vive追踪器。所有数据流通过时间戳和最新的有效传感器快照，被同步到共享的30Hz时间线上。由此便得到了帧级同步的多视图RGB图像、手部姿态、触觉压力图和追踪器姿态。图3展示了该数据集中具有代表性的同步观测结果。更多的硬件规格、采集细节及同步策略详见附录B.1。

### 2.2 数据模态

EgoTouch中的每一帧都组织在同步的30Hz时间线上，包含以下模态：

- 多视角RGB视频。该数据集提供了三种以人眼为中心的RGB视角：一个安装在头部的摄像头用于捕捉全局操作场景$(V^h \in \mathbb{R}^{640 \times 480 \times 3})$，以及两个安装在手腕上的鱼眼摄像头。

---

![Image](images/1267bfe0c9c19bf8b45ac40cf918dc0b9d7175da8e9744c31ce98a5a8f314903.jpg)

<div style="text-align: center;">Figure 2 Data collection setup and example multi-modal data. The participant wears a head-mounted egocentric camera, two wrist-mounted cameras, and pressure-sensing gloves. All modalities are temporally synchronized.</div>

$(V^{wL}, V^{wR} \in \mathbb{R}^{640 \times 480 \times 3})$能够近距离观测双手交互过程中手与物体接触的区域。

- 双手三维手部姿态。手部运动学由42个三维关节表示（$\mathbf{P} \in \mathbb{R}^{42 \times 3}$），包括双手的手腕、手指及指尖关节。

- 触觉压力图。密集的触觉反馈被记录为双边的$16 \times 16$原始压力数组（$M_{raw} \in \mathbb{R}^{2 \times 16 \times 16}$），这些数组经过归一化和重新映射后，会形成规范的$21 \times 21$手形网格（$M \in \mathbb{R}^{2 \times 21 \times 21}$）以供训练使用。详情见附录B.2。

• 追踪器姿态与元数据。每一帧还包含安装在头部和手腕上的HTC Vive追踪器所提供的6自由度姿态，以及任务类别、物体类别、场景描述和环境类型等元数据标注。

所有模态在帧级别上均实现时间对齐，以支持对物理交互动态的跨模态学习。

### 2.3 任务分类

EgoTouch中的208个任务被划分为五类基于环境的类别，用以反映多样化的现实世界交互模式（见图4）：

- 家居场景：日常家务活动，如打开容器、推拉物体、按下开关、擦拭表面、折叠衣物以及处理日常用品。

- 工作台场景：基于工具的操作任务，包括握持和转动工具、锯切、钻孔、打磨、切割、夹紧以及精密装配操作。

- 办公场景：办公区活动，如刷卡、键盘输入、操作办公设备以及摆弄书籍或文具。

---

![Image](images/c8c933e53e434dd30125e4ed8683ad265211b5685cf57a7a5d9ef81e5e6bbb7a.jpg)

<div style="text-align: center;">Figure 3 Example data from EgoTouch demonstrates that hardware-based tactile sensing and pose tracking reveal critical force, contact, and motion cues that vision alone cannot capture.</div>

![Image](images/1d662a52a0028c5676969ad24f3a994bc7d57a72605eee30d64d7d45c3311855.jpg)

![Image](images/563ae11aa4fc67499f53032dd3a88f43530dfcbfd6310419e82ff34421e05a65.jpg)

<div style="text-align: center;">Figure 4 Dataset statistics and analysis. EgoTouch exhibits broad task coverage across five environment categories.</div>

- 零售场景：消费者互动行为，包括挤压产品、按压包装物品、折叠商品、打开袋子以及处理零食或饮料。

• 户外场景：动态开放环境下的互动，包括球类游戏、球拍运动、户外物体操作以及其他全身协调操作活动。

## 3 方法：触觉预测框架

我们提出了一种多视角触觉预测的基准框架，该框架可将视觉观察结果和手部姿态映射到密集的双边压力图上。该框架旨在：（1）利用互补的视角来解决遮挡问题；（2）在缺失某些视角的情况下仍支持灵活的推理。

### 3.1 问题表述

给定来自部分视角的T帧视频片段$\mathcal{V} \subseteq \{V^{ego}, V^{wL}, V^{wR}\}$以及对应的双手手部姿态序列$\mathbf{P} \in \mathbb{R}^{T \times 42 \times 3}$，我们的目标是在每个时间步预测双边触觉图$\hat{\mathbf{M}} \in \mathbb{R}^{T \times 2 \times 21 \times 21}$，这些触觉图在经过预处理后会被表示为规范的$21 \times 21$手形网格。

---

![Image](images/7e708fb8554196fdd3264e5c25119c18c830ce2d8a2e1b429a7aeb1b3c02a0a6.jpg)

<div style="text-align: center;">Figure 5 Architecture of the multi-view tactile prediction model. A shared backbone encodes each view with view embeddings. Cross-view attention and gated fusion produce unified visual features, which are combined with hand pose through pose-aware fusion and decoded into bilateral pressure maps.</div>

此外还包括对原始触觉传感器布局的空间重新映射（详见附录B.2）。

### 3.2 多视角触觉预测框架

我们的框架由共享视觉编码器、跨视角融合模块、基于姿态的融合机制以及触觉解码器组成，能够实现外观、几何和运动线索的联合建模。

每个输入视图都借助共享的视觉骨干网络独立处理，随后通过可学习的视图嵌入来编码摄像头身份信息。这使得模型能够区分以身体为中心视角与腕部安装视角，同时保持参数效率。为了整合不同视图的信息，我们对视图级特征应用轻量级的跨视图注意力模块，从而实现跨视角的互补性推理。例如，腕部视图能够提供在以身体为中心视角中被遮挡的接触信息。融合后的表征会进一步通过门控机制进行聚合，该机制能动态权衡各视图的贡献程度，从而确保模型对缺失或不可靠的输入具有鲁棒性。

为了融入几何信息，我们将双手的手部姿态编码为关节级特征，并通过交叉注意力将其与视觉表征相融合。每个关节会关注最相关的视觉区域，从而实现基于空间位置的接触推理。这种设计让模型能够将触觉信号与特定的手部区域关联起来，这对于预测结构化的压力分布至关重要。时间依赖性则通过应用于融合特征的轻量级时序模块来建模，从而捕捉抓取、滑动等交互动态。

融合后的关节级特征会被解码为双手的双侧压力图。每只手均被独立预测为一个$21 \times 21$压力网格，用以表示归一化后的接触强度。这种表述方式能够实现超越二元接触预测的密集空间监督。

### 3.3 视图丢弃与训练目标

为了适配不同的传感器配置，我们在训练阶段采用视图丢弃策略。以身体为中心的视图始终被保留，而腕部视图则随机丢弃。这能让模型接触到不同的输入组合，从而在测试时无需更改架构即可实现灵活推理。模型即便仅依靠以身体为中心的输入也能运行，同时在有额外视图可用时能从中获益。

模型采用加权回归损失进行训练，该损失结合了像素级重建与空间正则化：

 $$ \mathcal{L}=\lambda_{m s e}\mathcal{L}_{M S E}+\lambda_{l1}\mathcal{L}_{L1}+\lambda_{t v}\mathcal{L}_{T V}(\hat{\mathbf{M}}) $$

其中$\mathcal{L}_{MSE}$和$\mathcal{L}_{L1}$用于衡量压力重建误差，$\mathcal{L}_{TV}$则用于保证空间平滑性。为解决触觉图的稀疏性问题并防止模型输出全零的预测结果，我们对压力超过阈值（0.1）的接触区域赋予更高的损失权重。我们使用的参数包括$\lambda_{mse}=1.0$、$\lambda_{l1}=0.5$、$\lambda_{tv}=0.01$，接触区域的权重设为3.0。

---

## 4 实验

### 4.1 实验设置

数据集划分。为避免时序数据泄露，我们按剧集级别将数据集划分为训练集、验证集和测试集，比例分别为80%/10%/10%。测试集进一步分为已见物体子集与未见物体子集，用以评估模型对新型物体的泛化能力。所有划分涵盖了多样化的交互场景，确保了物体、任务和环境方面的多样性。这种设置能够在同分布与异分布环境下进行评估。

评估指标。我们在EgoTouch上定义了以下基准任务：1）触觉预测。给定多视角视频和手部姿态，预测双侧压力图。这是主要基准任务。2）接触检测。即二值化版本：预测每个区域是否发生接触（压力$> \tau$）。该任务由触觉预测输出衍生而来。

我们采用以下指标进行评估，这些指标遵循PressureVision [^34]的规定：

• 时间精度 ↑：用于评估接触起始与终止的时间精度。如果估计的接触图和真实接触图中均存在接触，则该帧被标记为有接触状态。若估计帧与真实帧中的接触存在情况一致，则该帧判定为正确。

• 接触IoU ↑：通过计算二元接触图像之间的交并比（IoU）来评估估计接触的空间与时间精度。该指标并不考虑估计压力的大小，它是体积IoU的上限。

• 体积IoU ↑：在接触IoU的基础上进一步扩展，除了评估空间与时间精度外，还评估压力估计值的大小。每张二维压力图像会被转换为三维“压力体”，其中该体素的高度等于对应像素处的压力大小。体积IoU的计算方法如下：

 $$ IoU_{vol}=\frac{\sum^{i,j}_{}\min(P_{i,j},\hat{P}_{i,j})}{\sum^{i,j}_{}\max(P_{i,j},\hat{P}_{i,j})} $$

其中，$P_{i,j}$ 表示像素 $(i,j)$ 处的真实压力，$\hat{P}_{i,j}$ 表示预测压力。

- 平均绝对误差（MAE）$\downarrow$：针对归一化后的压力值计算平均绝对误差。我们对每个像素计算MAE。由于数据集中大部分压力图像的数值为0，因此这些数值接近于零。

实现细节：我们使用PyTorch实现TouchAnything，并在NVIDIA GPU上采用分布式数据并行方式训练模型。视觉编码器采用预训练好的DINOv2-Base（ViT-B/14）骨干网络，且参数固定不变。每个训练样本包含从三个同步的RGB视角采集的视频片段，共$T = 8$帧，帧间隔为2；这三个视角包括一个以身体为中心的视角以及两个安装在手腕上的视角。所有帧均被缩放至$224 \times 224$尺寸，并与42个三维手部关节数据及双侧的$21 \times 21$触觉图配对，这些触觉图已归一化到$[0, 1]$范围。模型训练共进行25个周期，优化器采用AdamW，学习率为$5 \times 10^{-5}$，权重衰减系数为0.05，采用余弦学习率调度策略，前10个周期为预热期。我们优化了基于接触感知的加权重建目标函数，该函数结合了均方误差（MSE）和L1损失，并加入了总变分正则项；对于压力大于0.1的触觉单元，赋予其3.0的权重，以减轻接触信号的稀疏性并避免模型输出全零的平庸结果。训练过程中，每个手腕视角会以$p = 0.3$的概率被随机丢弃，而以身体为中心的视角始终保留。这种视角丢弃策略使得模型能够利用任意可用的摄像头视角子集进行灵活推理。

### 4.2 主要结果

表2显示，与仅使用以身体为中心视角的基线模型相比，安装在水腕上的视角通常能提升触觉预测性能，尤其在接触IoU、体积IoU和MAE指标上表现更为明显。总体而言，采用“以身体为中心视角 + 左右手腕视角”的组合后，在已见过物体上的接触IoU从0.4792提升至0.5030，体积IoU从0.4311提升至0.4575；在未见过物体上，接触IoU从0.4396提升至0.4496，体积IoU从0.3743提升至0.3852。这些提升表明，手腕视角能够提供补充性的接触区域信息，尤其有助于在身体遮挡情况下定位接触点并估算压力大小。

---

<div style="text-align: center;">Table 2 Multi-view tactile prediction across five diverse scenarios. All methods use the same architecture and training recipe. Arrows ( $\uparrow / \downarrow$) show relative percentage change vs. the Ego-only baseline.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Method</td><td colspan="4">Seen Objects</td><td colspan="4">Unseen Objects</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>T.Acc</td><td style='text-align: center; word-wrap: break-word;'>C.IoU</td><td style='text-align: center; word-wrap: break-word;'>V.IoU</td><td style='text-align: center; word-wrap: break-word;'>MAE</td><td style='text-align: center; word-wrap: break-word;'>T.Acc</td><td style='text-align: center; word-wrap: break-word;'>C.IoU</td><td style='text-align: center; word-wrap: break-word;'>V.IoU</td><td style='text-align: center; word-wrap: break-word;'>MAE</td></tr><tr><td colspan="9">Home Scenario</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego-only</td><td style='text-align: center; word-wrap: break-word;'>0.8532</td><td style='text-align: center; word-wrap: break-word;'>0.4869</td><td style='text-align: center; word-wrap: break-word;'>0.4361</td><td style='text-align: center; word-wrap: break-word;'>0.0470</td><td style='text-align: center; word-wrap: break-word;'>0.8175</td><td style='text-align: center; word-wrap: break-word;'>0.4250</td><td style='text-align: center; word-wrap: break-word;'>0.3671</td><td style='text-align: center; word-wrap: break-word;'>0.0604</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL</td><td style='text-align: center; word-wrap: break-word;'>0.8659 $\uparrow 1.5\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5074 $\uparrow 4.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4598 $\uparrow 5.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0453 $\downarrow 3.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.8278 $\uparrow 1.3\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4375 $\uparrow 2.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3779 $\uparrow 2.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0591 $\downarrow 2.2\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8658 $\uparrow 1.5\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5072 $\uparrow 4.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4597 $\uparrow 5.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0453 $\downarrow 3.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.8276 $\uparrow 1.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4372 $\uparrow 2.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3776 $\uparrow 2.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0592 $\downarrow 2.0\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8659 $\uparrow 1.5\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5075 $\uparrow 4.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4598 $\uparrow 5.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0452 $\downarrow 3.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.8267 $\uparrow 1.1\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4371 $\uparrow 2.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3775 $\uparrow 2.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0590 $\downarrow 2.3\%$</td></tr><tr><td colspan="9">Workbench Scenario</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego-only</td><td style='text-align: center; word-wrap: break-word;'>0.7954</td><td style='text-align: center; word-wrap: break-word;'>0.4131</td><td style='text-align: center; word-wrap: break-word;'>0.3747</td><td style='text-align: center; word-wrap: break-word;'>0.0420</td><td style='text-align: center; word-wrap: break-word;'>0.8096</td><td style='text-align: center; word-wrap: break-word;'>0.2932</td><td style='text-align: center; word-wrap: break-word;'>0.2801</td><td style='text-align: center; word-wrap: break-word;'>0.0599</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL</td><td style='text-align: center; word-wrap: break-word;'>0.8250 $\uparrow 3.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4422 $\uparrow 7.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4080 $\uparrow 8.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0395 $\downarrow 6.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.7525 $\downarrow 7.1\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3016 $\uparrow 2.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.2841 $\uparrow 1.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0579 $\downarrow 3.3\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8242 $\uparrow 3.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4408 $\uparrow 6.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4070 $\uparrow 8.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0395 $\downarrow 6.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.7539 $\downarrow 6.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3017 $\uparrow 2.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.2840 $\uparrow 1.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0579 $\downarrow 3.3\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8241 $\uparrow 3.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4414 $\uparrow 6.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4078 $\uparrow 8.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0395 $\downarrow 6.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.7538 $\downarrow 6.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3015 $\uparrow 2.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.2840 $\uparrow 1.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0578 $\downarrow 3.5\%$</td></tr><tr><td colspan="9">Office Scenario</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego-only</td><td style='text-align: center; word-wrap: break-word;'>0.8770</td><td style='text-align: center; word-wrap: break-word;'>0.4918</td><td style='text-align: center; word-wrap: break-word;'>0.4501</td><td style='text-align: center; word-wrap: break-word;'>0.0436</td><td style='text-align: center; word-wrap: break-word;'>0.8901</td><td style='text-align: center; word-wrap: break-word;'>0.5743</td><td style='text-align: center; word-wrap: break-word;'>0.4511</td><td style='text-align: center; word-wrap: break-word;'>0.0632</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL</td><td style='text-align: center; word-wrap: break-word;'>0.8990 $\uparrow 2.5\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5249 $\uparrow 6.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4889 $\uparrow 8.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0401 $\downarrow 8.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.9035 $\uparrow 1.5\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5718 $\downarrow 0.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4673 $\uparrow 3.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0615 $\downarrow 2.7\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wR</td><td style='text-align: center; word-wrap: break-word;'>0.9001 $\uparrow 2.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5250 $\uparrow 6.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4891 $\uparrow 8.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0400 $\downarrow 8.3\%$</td><td style='text-align: center; word-wrap: break-word;'>0.9035 $\uparrow 1.5\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5718 $\downarrow 0.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4672 $\uparrow 3.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0615 $\downarrow 2.7\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL + wR</td><td style='text-align: center; word-wrap: break-word;'>0.9003 $\uparrow 2.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5256 $\uparrow 6.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4895 $\uparrow 8.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0399 $\downarrow 8.5\%$</td><td style='text-align: center; word-wrap: break-word;'>0.9035 $\uparrow 1.5\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5718 $\downarrow 0.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4672 $\uparrow 3.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0615 $\downarrow 2.7\%$</td></tr><tr><td colspan="9">Retail Scenario</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego-only</td><td style='text-align: center; word-wrap: break-word;'>0.7907</td><td style='text-align: center; word-wrap: break-word;'>0.4454</td><td style='text-align: center; word-wrap: break-word;'>0.4112</td><td style='text-align: center; word-wrap: break-word;'>0.0411</td><td style='text-align: center; word-wrap: break-word;'>0.5841</td><td style='text-align: center; word-wrap: break-word;'>0.3935</td><td style='text-align: center; word-wrap: break-word;'>0.3636</td><td style='text-align: center; word-wrap: break-word;'>0.0313</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL</td><td style='text-align: center; word-wrap: break-word;'>0.8334 $\uparrow 5.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4901 $\uparrow 10.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4414 $\uparrow 7.3\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0392 $\downarrow 4.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.6591 $\uparrow 12.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4011 $\uparrow 1.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3811 $\uparrow 4.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0310 $\downarrow 1.0\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8241 $\uparrow 4.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4851 $\uparrow 8.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4390 $\uparrow 6.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0395 $\downarrow 3.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.6670 $\uparrow 14.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4008 $\uparrow 1.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3812 $\uparrow 4.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0310 $\downarrow 1.0\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8316 $\uparrow 5.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4900 $\uparrow 10.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4411 $\uparrow 7.3\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0391 $\downarrow 4.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.6591 $\uparrow 12.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4007 $\uparrow 1.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3810 $\uparrow 4.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0309 $\downarrow 1.3\%$</td></tr><tr><td colspan="9">Outdoor Scenario</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego-only</td><td style='text-align: center; word-wrap: break-word;'>0.7905</td><td style='text-align: center; word-wrap: break-word;'>0.5339</td><td style='text-align: center; word-wrap: break-word;'>0.4769</td><td style='text-align: center; word-wrap: break-word;'>0.0456</td><td style='text-align: center; word-wrap: break-word;'>0.9745</td><td style='text-align: center; word-wrap: break-word;'>0.4879</td><td style='text-align: center; word-wrap: break-word;'>0.3750</td><td style='text-align: center; word-wrap: break-word;'>0.1071</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL</td><td style='text-align: center; word-wrap: break-word;'>0.8060 $\uparrow 2.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5533 $\uparrow 3.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5002 $\uparrow 4.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0439 $\downarrow 3.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.9628 $\downarrow 1.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4978 $\uparrow 2.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3850 $\uparrow 2.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.1043 $\downarrow 2.6\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8062 $\uparrow 2.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5530 $\uparrow 3.6\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5001 $\uparrow 4.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0439 $\downarrow 3.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.9628 $\downarrow 1.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4986 $\uparrow 2.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3854 $\uparrow 2.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.1043 $\downarrow 2.6\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8061 $\uparrow 2.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5534 $\uparrow 3.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5002 $\uparrow 4.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0439 $\downarrow 3.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.9628 $\downarrow 1.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4981 $\uparrow 2.1\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3851 $\uparrow 2.7\%$</td><td style='text-align: center; word-wrap: break-word;'>0.1043 $\downarrow 2.6\%$</td></tr><tr><td colspan="9">Overall (All Scenarios)</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego-only</td><td style='text-align: center; word-wrap: break-word;'>0.8393</td><td style='text-align: center; word-wrap: break-word;'>0.4792</td><td style='text-align: center; word-wrap: break-word;'>0.4311</td><td style='text-align: center; word-wrap: break-word;'>0.0456</td><td style='text-align: center; word-wrap: break-word;'>0.8271</td><td style='text-align: center; word-wrap: break-word;'>0.4396</td><td style='text-align: center; word-wrap: break-word;'>0.3743</td><td style='text-align: center; word-wrap: break-word;'>0.0615</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL</td><td style='text-align: center; word-wrap: break-word;'>0.8567 $\uparrow 2.1\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5030 $\uparrow 5.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4575 $\uparrow 6.1\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0437 $\downarrow 4.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.8355 $\uparrow 1.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4499 $\uparrow 2.3\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3856 $\uparrow 3.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0601 $\downarrow 2.3\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8561 $\uparrow 2.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5024 $\uparrow 4.8\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4572 $\uparrow 6.1\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0437 $\downarrow 4.2\%$</td><td style='text-align: center; word-wrap: break-word;'>0.8355 $\uparrow 1.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4497 $\uparrow 2.3\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3854 $\uparrow 3.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0602 $\downarrow 2.1\%$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Ego + wL + wR</td><td style='text-align: center; word-wrap: break-word;'>0.8566 $\uparrow 2.1\%$</td><td style='text-align: center; word-wrap: break-word;'>0.5030 $\uparrow 5.0\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4575 $\uparrow 6.1\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0436 $\downarrow 4.4\%$</td><td style='text-align: center; word-wrap: break-word;'>0.8347 $\uparrow 0.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.4496 $\uparrow 2.3\%$</td><td style='text-align: center; word-wrap: break-word;'>0.3852 $\uparrow 2.9\%$</td><td style='text-align: center; word-wrap: break-word;'>0.0601 $\downarrow 2.3\%$</td></tr></table>

时间精度方面的变化较为温和，且会因场景不同而有差异，这表明手腕视角主要有助于确定接触发生的位置及强度，而非仅仅判断是否存在接触。我们还发现，单个手腕视角就能捕捉到大量互补信息，这可能是因为鱼眼摄像头能覆盖较广的交互区域，有时还能观察到另一只手的相关细节。因此，主要优势在于至少增加一个能够感知接触的视角，而第二个手腕视角主要在双手遮挡较严重的情况下才能带来额外提升。

### 4.3 消融实验

视角丢弃机制至关重要。如表3所示，推理时缺少手腕视角的情况下，不采用视角丢弃机制会导致性能大幅下降，这说明模型高度依赖完整的多视角设置。相比之下，引入视角丢弃机制能显著提升模型的鲁棒性：在已见物体子集上，全视角推理与仅以自我为中心视角推理之间的相对性能差距（$\Delta V$）从-27.20%缩小至-5.78%。

重要的是，视角丢弃机制能够在保持有竞争力的全多视角性能的同时，实现对部分视角输入的强大泛化能力。这表明训练过程中接触到的不同视角组合，促使模型学会跨视角学习互补表征，而非依赖固定的摄像头配置。因此，模型能够在某些视角缺失或受遮挡的不同部署条件下灵活运行。

---

<div style="text-align: center;">Table 3 View-dropout ablation on the seen-object split. View dropout (p=0.3) improves robustness to missing wrist views; Ego + wL/wR reports the average performance over the two single-wrist configurations;  $\Delta V$ denotes the relative V.IoU drop from all-view inference under the same training strategy.</div>

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td rowspan="2">Training</td><td colspan="4">Ego only</td><td colspan="4">Ego + wL/wR</td><td colspan="4">All views</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>C.IoU</td><td style='text-align: center; word-wrap: break-word;'>V.IoU</td><td style='text-align: center; word-wrap: break-word;'>MAE</td><td style='text-align: center; word-wrap: break-word;'>$\Delta V$</td><td style='text-align: center; word-wrap: break-word;'>C.IoU</td><td style='text-align: center; word-wrap: break-word;'>V.IoU</td><td style='text-align: center; word-wrap: break-word;'>MAE</td><td style='text-align: center; word-wrap: break-word;'>$\Delta V$</td><td style='text-align: center; word-wrap: break-word;'>C.IoU</td><td style='text-align: center; word-wrap: break-word;'>V.IoU</td><td style='text-align: center; word-wrap: break-word;'>MAE</td><td style='text-align: center; word-wrap: break-word;'>$\Delta V$</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>No dropout</td><td style='text-align: center; word-wrap: break-word;'>0.3623</td><td style='text-align: center; word-wrap: break-word;'>0.3233</td><td style='text-align: center; word-wrap: break-word;'>0.0826</td><td style='text-align: center; word-wrap: break-word;'>-27.20%</td><td style='text-align: center; word-wrap: break-word;'>0.4497</td><td style='text-align: center; word-wrap: break-word;'>0.4073</td><td style='text-align: center; word-wrap: break-word;'>0.0527</td><td style='text-align: center; word-wrap: break-word;'>-8.29%</td><td style='text-align: center; word-wrap: break-word;'>0.4883</td><td style='text-align: center; word-wrap: break-word;'>0.4441</td><td style='text-align: center; word-wrap: break-word;'>0.0453</td><td style='text-align: center; word-wrap: break-word;'>-</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>w/ dropout</td><td style='text-align: center; word-wrap: break-word;'>0.4792</td><td style='text-align: center; word-wrap: break-word;'>0.4311</td><td style='text-align: center; word-wrap: break-word;'>0.0456</td><td style='text-align: center; word-wrap: break-word;'>-5.78%</td><td style='text-align: center; word-wrap: break-word;'>0.5027</td><td style='text-align: center; word-wrap: break-word;'>0.4573</td><td style='text-align: center; word-wrap: break-word;'>0.0437</td><td style='text-align: center; word-wrap: break-word;'>-0.04%</td><td style='text-align: center; word-wrap: break-word;'>0.5030</td><td style='text-align: center; word-wrap: break-word;'>0.4575</td><td style='text-align: center; word-wrap: break-word;'>0.0436</td><td style='text-align: center; word-wrap: break-word;'>--</td></tr></table>

![Image](images/8e4e6e69c3f95f915c37d87f18e792f623f25c76595c714ac92508348f0239fd.jpg)

![Image](images/0e45cf90fbeae90dd5bec42aaf78e5611779499fa5bd7ccac1b2ccd02b9cdd82.jpg)

![Image](images/7cf49106969a9c627ff790d84992a629367e43f1dfed1287d788079ef1b531c8.jpg)

<div style="text-align: center;">Figure 6 Data scaling ablation study. Performance improves consistently with more training data across all metrics, demonstrating the model's ability to leverage larger datasets effectively.</div>

摄像头配置。因此，该模型能够在某些视角缺失或被遮挡的不同部署条件下灵活运行。

性能会随着数据量的增加而提升。我们通过用数据集的25%、50%、75%和100%分别训练模型，来研究性能随训练数据量的变化情况。如图6所示，随着使用的数据量增多，性能会持续提升。尤其是接触IoU和体积IoU均呈现稳定增长的趋势，这说明模型从更丰富的交互模式和接触配置中获益。值得注意的是，在更大数据量下性能提升并未出现饱和现象，这表明所提出的任务对数据需求量依然很大，还能从更大规模的触觉数据集中进一步受益。这也凸显了为学习稳健的视觉到触觉映射而扩大数据收集规模的重要性。

### 4.4 定性结果

图7展示了以自我为中心的视角中因遮挡导致的触觉预测不完整现象。当接触界面无法直接被看到时，模型缺乏足够的视觉证据来准确推断压力大小，从而导致接触区域无法被识别。通过加入能直接观测接触界面的手腕视角，模型便能获取此前被遮挡的信息，进而恢复接触的位置和强度。这表明多视角观测为解决视觉到触觉预测中的遮挡引发的歧义提供了关键的互补证据。

## 5 结论

我们提出了EgoTouch，这是一个大规模多视角自我中心数据集，包含用于双手物体交互的密集触觉监督信息。EgoTouch提供了208个任务和1,891个片段中同步的头戴式和腕戴式RGB视频、双手3D手部姿态、追踪器姿态以及连续的触觉压力图。我们还进一步推出了TouchAnything，这是一种多视角视觉到触觉的基准模型，具备跨视角融合和视角丢弃功能，能够在不同摄像头配置下灵活推理。实验表明，腕戴式视角能够提供互补的接触证据，从而改善触觉预测效果，尤其是在自我中心遮挡情况下的接触定位和压力估计方面。我们希望EgoTouch能为未来的相关研究提供支持。

---

![Image](images/3f6d10ce8fe50c5672e50b5c45971b0003edf6204f92a2fc02f74575efd3d9e2.jpg)

<div style="text-align: center;">Figure 7 Multi-view wrist cameras recover occluded hand--object contact. Top: the egocentric view suffers from occlusion, while wrist-mounted views reveal the contact interface. Bottom: ego-only prediction misses contact in occluded regions, whereas multi-view prediction recovers accurate pressure distributions consistent with the ground truth.</div>

基于触觉的具身感知、操控以及从自我中心的人类交互数据中学习。

## 6 局限性与未来工作

我们的研究存在若干局限性。首先，目前所有的训练数据均通过触觉手套采集，这可能会引入特定于手套的外观偏差，进而限制其在裸手触觉估计中的泛化能力。未来的工作将探索从手套到裸手的映射与增强技术，以提升在自然人类交互中的鲁棒性。

其次，我们的数据规模分析显示模型性能尚未达到饱和状态。如图6所示，随着训练数据的增加，接触IoU和体积IoU仍在持续提升，这表明视觉到触觉的预测仍然高度依赖数据。因此，我们计划利用更多样化的物体、环境、接触模式和操控行为来扩展EgoTouch数据集。

最后，当前的基准测试主要聚焦于触觉估计。我们希望EgoTouch能够支持未来关于基于触觉的具身智能的研究，包括基于接触的操控、抓取稳定性预测、可供性学习、触觉增强的世界模型，以及从自我中心的人类演示中学习的机器人策略。

---

## 参考文献

[^1]: Amrit Aryal, Santosh Giri, Sanjeeb Prasad Panday, Suman Sharma, Babu R. Dawadi, and Sushant Chalise. Efficient 3d scene reconstruction from multi-view RGB images using optimized gaussian splatting. IEEE Access, 14:1269–1286, 2026. doi: 10.1109/ACCESS.2025.3648171. URL <https://doi.org/10.1109/ACCESS.2025.3648171>.

[^2]: Prithviraj Banerjee, Sindi Shkodrani, Pierre Moulon, Shreyas Hampali, Shangchen Han, Fan Zhang, Linguang Zhang, Jade Fountain, Edward Miller, Selen Basol, Richard A. Newcombe, Robert Wang, Jakob Julian Engel, and Tomas Hodan. HOT3D: hand and object tracking in 3d from egocentric multi-view videos. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2025, Nashville, TN, USA, June 11-15, 2025, pages 7061-7071. Computer Vision Foundation / IEEE, 2025. doi: 10.1109/CVPR52734.2025.00662. URL <https://openaccess.thecvf.com/content/CVPR2025/html/Banerjee_HOT3D_Hand_and_Object_Tracking_in_3D_from_Egocentric_Multi-View_CVPR_2025_paper.html>.

[^3]: Samarth Brahmbhatt, Cush Ham, Charles C. Kemp, and James Hays. Contactdb: Analyzing and predicting grasp contact via thermal imaging, 2019. URL <https://arxiv.org/abs/1904.06830>.

[^4]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S. Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, Jan Kautz, and Dieter Fox. Dexycb: A benchmark for capturing hand grasping of objects. In $\underline{\text{IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}}$, 2021.

[^5]: Dima Damen, Hazel Doughty, Giovanni Maria Farinella, et al. Scaling egocentric vision: The epic-kitchens dataset. In European Conference on Computer Vision (ECCV), 2018.

[^6]: Joseph Del Preore and Daniela Rus. Actionsense: A multimodal dataset and recording framework for human activities using wearable sensors in a kitchen environment. In $\underline{\text{Advances in Neural Information Processing Systems (NeurIPS)}}$, 2022.

[^7]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges. Arctic: A dataset for dexterous bimanual hand-object manipulation. In $\underline{\text{IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}}$, 2023.

[^8]: Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie, Ruijie Zheng, Dantong Niu, You Liang Tan, K. R. Zentner, George Kurian, Suneel Indupuru, Pooya Jannaty, Jinwei Gu, Jun Zhang, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang, and Linxi "Jim" Fan. Dreamdojo: A generalist robot world model from large-scale human videos. CoRR, abs/2602.06949, 2026. doi:10.48550/ARXIV.2602.06949. URL <https://doi.org/10.48550/arXiv.2602.06949>.

[^9]: Patrick Grady et al. Egopressure: A dataset for hand pressure and pose estimation in egocentric views. $\underline{\text{arXiv}}$ $\underline{\text{preprint}}$, 2024.

[^10]: Kristen Grauman, Andrew Westbury, et al. Ego4d: Around the world in 3,000 hours of egocentric video. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022.

## [^11]: Kristen Grauman, Andrew Westbury, Lorenzo Torresani, Kris Kitani, Jitendra Malik, Triantafyllos Afouras, Kumar Ashutosh, Vijay Baiyya, Siddhant Bansal, Bikram Boote, Eugene Byrne, Zachary Chavis, Joya Chen, Feng Cheng, Fu-Jen Chu, Sean Crane, Avijit Dasgupta, Jing Dong, Marfa Escobar, Cristhian Forigua, Abrham Gebreselasie, Sanjay Haresh, Jing Huang, Md Mohaiminul Islam, Suyog Dutt Jain, Rawal Khirodkar, Devansh Kukreja, Kevin J. Liang, Jia-Wei Liu, Sagnik Majumder, Yongsen Mao, Miguel Martin, Effrosyni Mavroudi, Tushar Nagarajan, Francesco Ragusa, Santhosh Kumar Ramakrishnan, Luigi Seminara, Arjun Somayazulu, Yale Song, Shan Su, Zihui Xue, Edward Zhang, Jinxu Zhang, Angela Castillo, Changan Chen, Xinzhu Fu, Ryosuke Furuta, Cristina González, Prince Gupta, Jiabo Hu, Yifei Huang, Yiming Huang, Weslie Khoo, Anush Kumar, Robert Kuo, Sach Lakhavani, Miao Liu, Mi Luo, Zhengyi Luo, Brighid Meredith, Austin Miller, Oluwatuminu Oguntola, Xiaqing Pan, Penny Peng, Shraman Pramanick, Merey Ramazanova, Fiona Ryan, Wei Shan, Kiran K. Somasundaram, Chenan Song, Audrey Southerland, Masatoshi Tateno, Huiyu Wang, Yuchen Wang, Takuma Yagi, Mingfei Yan, Xitong Yang, Zecheng Yu, Shengxin Cindy Zha, Chen Zhao, Ziwei Zhao, Zhifan Zhu, Jeff Zhuo, Pablo Arbelaez, Gedas Bertasius, David Crandall, Dima Damen, Jakob Julian Engel, Giovanni Maria Farinella, Antonino Furnari, Bernard Ghanem, Judy Hoffman, C. V. Jawahar, Richard A. Newcombe, Hyun Soo Park, James M. Rehg, Yoichi Sato, Manolis Savva, Jianbo Shi, Mike Zheng Shout, and Michael Wray. Ego-exo4: Understanding skilled human activity from first- and third-person perspectives. Int. J. Comput. Vis., 133(12):8356–8435, 2025. doi: 10.1007/S11263-025-02557-6. URL <https://doi.org/10.1007/s11263-025-02557-6>

---

[^12]: Kristen Grauman et al. Ego-exo4d: Understanding skilled human activity from first-and third-person perspectives. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024.

[^13]: Shreyas Hampali, Sayan Deb Sarkar, Mahdi Rad, and Vincent Lepetit. Keypoint transformer: Solving joint identification in challenging hands and object interactions for accurate 3d pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 11090–11100, June 2022.

[^14]: Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, and Jian Zhang. Egodex: Learning dexterous manipulation from large-scale egocentric video, 2026. URL <https://arxiv.org/abs/2505.11709>.

[^15]: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, and Jan Kautz. Hand pose estimation via latent 2.5 d heatmap regression. arXiv preprint arXiv:1804.09534, 2018.

[^16]: Mike Lambda, Po-Wei Chou, Stephen Tian, et al. Digit: A novel design for a low-cost compact high-resolution tactile sensor with application to in-hand manipulation. In $\underline{\text{IEEE Robotics and Automation Letters}}$, 2020.

[^17]: Jae Yong Lee, Daniel Scharstein, Akash Bapat, Hao Hu, Andrew Fu, Haoru Zhao, Paul Sammut, Xiang Li, Stephen Jeapes, Anik Gupta, Lior David, Saketh Madhuvarasu, Jay Girish Joshi, and Jason Wither. Ego-1k - A large-scale multiview video dataset for egocentric vision. $\underline{\text{CoRR}}$, abs/2603.13741, 2026. doi: 10.48550/ARXIV.2603.13741. URL <https://doi.org/10.48550/arXiv.2603.13741>.

[^18]: Yunzhu Li, Jun-Yan Li, Antonio Torralba, et al. Connecting touch and vision via cross-modal prediction. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[^19]: Yijiong Lin, Mauro Comi, Alex Church, Dandan Zhang, and Nathan F. Lepora. Attention for robot touch: Tactile saliency prediction for robust sim-to-real tactile control. In $\underline{\text{IROS}}$, pages 10806-10812, 2023. doi:10.1109/IROS5552.2023.10341888. URL <https://doi.org/10.1109/IROS5552.2023.10341888>.

[^20]: Yunze Liu, Yun Liu, Che Jiang, et al. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022.

[^21]: Hao Luo, Ye Wang, Wanpeng Zhang, Sipeng Zheng, Ziheng Xi, Chaoyi Xu, Haiweng Xu, Haoqi Yuan, Chi Zhang, Yiqing Wang, Yicheng Feng, and Zongqing Lu. Being-h0.5: Scaling human-centric robot learning for cross-embodiment generalization. $\underline{\text{CoRR}}$, abs/2601.12993, 2026. doi: 10.48550/ARXIV.2601.12993. URL <https://doi.org/10.48550/arXiv.2601.12993>.

[^22]: Maxime Oquab, Timothée Darcet, Théo Moutakanni, et al. Dinov2: Learning robust visual features without supervision. $\underline{\text{Transactions on Machine Learning Research}}$, 2023.

[^23]: Toby Perrett, Ahmad Darkhalil, Saptarshi Sinha, Omar Emara, Sam Pollard, Kranti Kumar Parida, Kaiting Liu, Prajwal Gatti, Siddhant Bansal, Kevin Flanagan, Jacob Chalk, Zhifan Zhu, Rhodri Guerrier, Fahd Abdelazim, Bin Zhu, Davide Moltisanti, Michael Wray, Hazel Doughty, and Dima Damen. HD-EPIC: A highly-detailed egocentric video dataset. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2025, Nashville, TN, USA, June 11-15, 2025, pages 23901-23913. Computer Vision Foundation / IEEE, 2025. doi: 10.1109/CVPR52734.2025.02226. URL <https://openaccess.thecvf.com/content/CVPR2025/html/Perrett_HD-EPIC_A_Highly-Detailed_Egocentric_Video_Dataset_CVPR_2025_paper.html>.

[^24]: Jiyoung Seo, Dong In Lee, Pilhyeon Lee, Jiwoo Lee, Youn-Hee Gil, Karthik Ramani, and Sangpil Kim. Egocentric hand activity video dataset and bidirectional motion-priors for hand action recognition. $\underline{\text{IEEE Access}}$, 14:8128–8148, 2026. doi: 10.1109/ACCESS.2026.3652803. URL <https://doi.org/10.1109/ACCESS.2026.3652803>.

[^25]: Yuxin Ray Song, Jinzhou Li, Rao Fu, Devin Murphy, Kaichen Zhou, Rishi Shiv, Yaqi Li, Haoyu Xiong, Crystal Elaine Owens, Yilun Du, Yiyue Luo, Xianyi Cheng, Antonio Torralba, Wojciech Matusik, and Paul Pu Liang. Opentouch: Bringing full-hand touch to real-world interaction, 2025. URL <https://arxiv.org/abs/2512.16842>.

[^26]: Haisheng Su, Feixiang Song, Cong Ma, Wei Wu, and Junchi Yan. Robosense: Large-scale dataset and benchmark for egocentric robot perception and navigation in crowded and unstructured environments. In IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2025, Nashville, TN, USA, June 11-15, 2025, pages 27446-27455. Computer Vision Foundation / IEEE, 2025. doi: 10.1109/CVPR52734.2025.02556. URL <https://openaccess.thecvf.com/content/CVPR2025/html/Su_RoboSense_Large-scale_Dataset_and_Benchmark_for_Egocentric_Robot_Perception_and_CVPR_2025_paper.html>.

## [^27]: Markku Suomalainen, Yiannis Karayiannidis, and Ville Kyrki. A survey of robot manipulation in contact. $\underline{\text{Robotics}}$ $\underline{\text{Auton. Syst.}}$, 156:104224, 2022. doi: 10.1016/J.ROBOT.2022.104224. URL <https://doi.org/10.1016/j.robot.2022.104224>

---

[^28]: Omid Taheri, Nima Ghorbani, Michael J. Black, and Dimitrios Tzionas. Grab: A dataset of whole-body human grasping of objects. In European Conference on Computer Vision (ECCV), 2020.

[^29]: Ashish Vaswani, Noam Shazeer, Niki Parmar, et al. Attention is all you need. In Advances in Neural Information Processing Systems (NeurIPS), 2017.

[^30]: Akihiko Yamaguchi and Christopher G. Atkeson. Recent progress in tactile sensing and sensors for robotic manipulation: can we turn tactile sensing into vision? Adv. Robotics, 33(14):661-673, 2019. doi: 10.1080/01691864.2019.1632222. URL <https://doi.org/10.1080/01691864.2019.1632222>.

[^31]: Fengyu Yang, Chenyang Ma, Jiacheng Zhang, Jing Zhu, Wenzhen Yuan, and Andrew Owens. Touch and go: Learning from human-collected vision and touch. In Sanmi Koyejo, S. Mohamed, A. Agarwal, Danielle Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems 35: Annual Conference on Neural Information Processing Systems 2022, NeurIPS 2022, New Orleans, LA, USA, November 28 - December 9, 2022, 2022. URL <http://papers.nips.cc/paper_files/paper/2022/hash/354892587fe39b17c2b727af02abff4a-Abstract-Datasets_and_Benchmarks.html>.

[^32]: Linhan Yang, Bidan Huang, Qingbiao Li, Ya-Yen Tsai, Wang Wei Lee, Chaoyang Song, and Jia Pan. Tacgnn: Learning tactile-based in-hand manipulation with a blind robot using hierarchical graph neural network. $\underline{\text{IEEE Robotics Autom. Lett.}}$, 8(6):3605–3612, 2023. doi: 10.1109/LRA.2023.3264759. URL <https://doi.org/10.1109/LRA.2023.3264759>.

[^33]: Lixin Yang, Kailin Li, Xinyu Zhan, et al. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In $\underline{\text{IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}}$, 2022.

[^34]: Patrick Grady Yang, Christian Haase-Schütz, Marcel Leonardi, et al. Pressurevision: Estimating hand pressure from a single rgb image. In European Conference on Computer Vision (ECCV), 2022.

[^35]: Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, and Xiaolong Wang. Egovla: Learning vision-language-action models from egocentric human videos. $\underline{\text{CoRR}}$, abs/2507.12440, 2025. doi: 10.48550/ARXIV.2507.12440. URL <https://doi.org/10.48550/arXiv.2507.12440>.

[^36]: Taegyoon Yoon, Yegyu Han, Seojin Ji, Jaewoo Park, Sojeong Kim, Taein Kwon, and Hyung-Sin Kim. Egoxtreme: A dataset for robust object pose estimation in egocentric views under extreme conditions. $\underline{\text{CoRR}}$, abs/2603.25135, 2026. doi: 10.48550/ARXIV.2603.25135. URL <https://doi.org/10.48550/arXiv.2603.25135>.

[^37]: Wenzhen Yuan, Siyuan Dong, and Edward H. Adelson. Gelsight: High-resolution robot tactile sensors for estimating geometry and force. Sensors, 17(12), 2017.

[^38]: Gu Zhang, Qicheng Xu, Haozhe Zhang, Jianhan Ma, Long He, Yiming Bao, Zeyu Ping, Zhecheng Yuan, Chenhao Lu, Chengbo Yuan, Tianhai Liang, Xiaoyu Tian, Maanping Shao, Feihong Zhang, Mingyu Ding, Yang Gao, Hao Zhao, Hang Zhao, and Huazhe Xu. Unidex: A robot foundation suite for universal dexterous hand control from egocentric human videos. CoRR, abs/2603.22264, 2026. doi: 10.48550/ARXIV.2603.22264. URL <https://doi.org/10.48550/arXiv.2603.22264>.

[^39]: Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castaneda, Fengyuan Hu, You Liang Tan, Letian Fu, Trevor Darrell, Furong Huang, Yuke Zhu, Danfei Xu, and Linxi Fan. Egoscale: Scaling dexterous manipulation with diverse egocentric human data, 2026. URL <https://arxiv.org/abs/2602.16710>.

[^40]: Shaohong Zhong et al. Touching a nerf: Leveraging neural radiance fields for tactile sensory data generation. $\underline{\text{arXiv preprint arXiv:2304.12828}}$, 2023.

### [^41]: Christian Zimmermann, Duygu Ceylan, Jimei Yang, Bryan C. Russell, Max J. Argus, and Thomas Brox. Freihand: A dataset for markerless capture of hand pose and shape from single RGB images. In $\underline{\text{2019 IEEE/CVF International Conference on Computer Vision, ICCV 2019, Seoul, Korea (South),}}$ October 27 - November 2, 2019, pages 813-822. IEEE, 2019. doi: $\underline{\text{10.1109/ICCV.2019.00090. URL <https://doi.org/10.1109/ICCV.2019.00090.}}$>

---

### 附录

### A 相关工作

## A.1 自我中心的手部-物体交互数据集

近期的自我中心数据集[^17] [^23] [^24] [^26] [^36]极大地推动了从第一人称视角研究手部-物体交互的发展。Ego4D[^10]和EPIC-KITCHENS[^5]提供了用于活动理解的大规模自我中心视频，但并未提供触觉推理所需的配对3D手部姿态和密集触觉标注。EgoDex[^14]扩展了包含3D手部及手指追踪信息的自我中心操控数据，涵盖194个任务，但仅依赖单一自我中心视角且未提供触觉标注。EgoPressure[^9]将自我中心视频与真实压力监督数据配对，但仅关注在受控室内环境中采集的单手手面交互，缺乏多样的手部-物体操控场景。OpenTouch[^25]引入了野外环境下的全手触觉传感技术，可提供同步的视频-触觉-姿态数据，但仍局限于单手交互和单一第一人称视角。

这些数据集共有的一个关键局限在于，缺乏能够直接观测手-物体接触区域的视角，从而导致重要的接触区域被严重遮挡，尤其是施加压力的掌面。虽然部分数据集引入了额外的视角，但它们并未提供能明确捕捉接触界面的互补视角。更重要的是，现有数据集均未同时提供同步的多视角视频、双手姿态数据以及密集的真实触觉传感信息。EgoTouch通过结合头戴式自中心相机与两个可直接观测接触区域的腕部摄像头，再加上密集的连续压力图，填补了这一空白，从而能够在真实的遮挡和视角变化条件下实现触觉预测。

### A.2 视觉到触觉的预测

尽管基于硬件的触觉传感器如GelSight [^37] 和DIGIT [^16] 能提供高分辨率的接触信号，但难以大规模部署。因此，视觉到触觉预测作为一种替代方案应运而生，旨在从视觉观测中推断触觉反馈。PressureVision [^34] 利用卷积网络从单张RGB图像预测手部压力图。VisGel [^18] 利用配对的GelSight数据学习视觉与触觉之间的跨模态表征。Touching a NeRF [^40] 则利用神经辐射场从3D几何结构合成触觉信号。EgoPressure [^9] 进一步探索了自中心场景下的压力估计问题，它从RGB观测中预测表面压力，但主要聚焦于较为简单的手-表面交互，而非多样的手-物体操控场景。

然而，现有的视觉到触觉方法在真实的自中心操控任务中仍存在局限性。在此类场景中，关键的手-物体接触区域经常被遮挡，尤其是掌面。因此，无论模型能力有多强，视觉输入往往都缺乏对接触界面的直接观测。这一局限仅靠更好的模型无法解决；它需要能明确捕捉接触区域的互补视角。基于EgoTouch，我们提出了TouchAnything——一种多视角触觉预测模型，它利用腕部摄像头直接观测接触区域，从而在遮挡和视角变化条件下实现稳健的触觉估计。

### A.3 用于手部交互的多视角学习

多视角学习 [^1] [^2] 通过利用不同视角的互补观测来缓解遮挡问题。在手部理解领域，它能通过恢复单一视角下不可见的几何信息，实现精确的三维手部姿态和网格重建 [^13] [^15] [^41]。在自中心感知领域，Ego-Exo4D [^12] 结合了自中心和外中心视角以提升活动理解能力，这凸显了跨视角互补的优势。

不过，现有的多视角方法主要针对几何重建或高层动作理解，而非建模触觉反馈等物理交互信号。此外，虽然部分数据集和方法采用了多视角，但这些视角通常是外部的或全局的，无法直接观测手-物体接触界面。因此，关键的接触区域——尤其是

---

在手掌表面，这些信息仍然被遮挡或只能间接推断。在这项工作中，我们引入了腕部安装的摄像头，它们能提供感知接触的角度，从互补视角直接捕捉手与物体的交互情况。这种设计通过提供接触区域的视觉证据来增强触觉估计能力，而这些区域从常规视角很难推断出来。

### B 附加数据集详情

## B.1 数据采集设置

我们使用可穿戴采集系统收集双手法交互的多模态数据集，该系统能以30Hz的目标频率同步记录RGB视频、追踪器位姿、双手运动学数据以及密集的触觉测量数据。

硬件配置：视觉子系统包含三台RGB摄像头：一台安装在胸部/头部的自中心摄像头，以及两台分别观测左右手的腕部摄像头。采集过程中，GUI会将这些视图直接保存为三个30帧/秒的视频文件：chest.mp4、left.mp4和right.mp4。腕部摄像头能够近距离观测手与物体的接触情况，而这些情况在自中心视角中往往会被遮挡。

为了实现全局空间定位，我们使用了三个HTC Vive Tracker，分别用于追踪胸部、左手腕和右手腕的位置。这些追踪器通过OpenXR接口以及XR_HTCX_vive_tracker_interaction扩展进行读取。每次采集时，最新的有效追踪器状态会以三维平移向量和四元数旋转的形式存储在vive_poses.json文件中。

双手姿态是通过Rokoko动作捕捉手套来采集的。Rokoko数据流通过UDP接收，解析为每只手21个三维关节点，并缓存起来以便GUI低延迟访问。当校准矩阵可用时，系统会利用相应的腕部追踪器位姿，将左右手的Rokoko关节点转换到Vive坐标系下，同时标记aligned_to_vive标志。最终得到的每帧手部关节数据会保存在Rokoko_hands.json文件中。

密集触觉反馈由定制的高压敏手套采集。每只手会通过串行连接以921600波特率发送一个包含256个通道的8位压力向量，同时还会发送一个解码为四元数的IMU数据包。双手最新的压力向量和IMU四元数会保存在jq_pressure.json文件中。

数据采集流程：当前的采集软件是基于PyQt GUI实现的。每次录制会话都会存储在一个带有时间戳的目录下，目录结构如下：

<root>/<category>/<date>/<task>/<episode_timestamp>/
chest.mp4
left.mp4
right.mp4
jq_pressure.json
rokoko_hands.json
vive_poses.json
camera_matrix.txt

这三个.json文件都是JSON Lines格式的文件：每一行存储一条带有时戳ts和整数frame_index的帧级记录。保存的记录包含以下内容：

- jq_pressure.json：sensor_left和sensor_right，分别是256个数值组成的压力向量，还有quat_left和quat_right；

• rokoko_hands.json：left_pos和right_pos，分别是$21 \times 3$格式的关节数组，还有aligned_to_vive；

- vive_poses.json：包含chest、left_wrist和right_wrist的追踪器位姿字典，每个位姿又包含trans和rot字段。

---

如果摄像头内参已知，它们会被一次性写入$\text{camera\_matrix.txt}$文件中。这种按会话存储的格式避免了生成成千上万个小的图像和文本文件，同时还能确保RGB视频流与紧凑的帧级传感器元数据在时间上保持一致。

同步策略。该系统采用软件同步方式。摄像头、Rokoko、Vive Tracker和压力手套的传感器读取器异步运行，并将最新的有效测量结果存储在内存中。一个频率为30Hz的定时器会将帧索引提交给后台保存进程。对于每个帧索引，图形用户界面会生成一个快照，其中包含最新的RGB帧、手部关节、追踪器位姿、压力向量以及手套四元数。随后，该进程会在每个JSON Lines文件中添加一行数据，并将对应的RGB帧写入视频流。录制停止时，图形用户界面会等待队列中的帧全部写入后再关闭视频文件和JSON文件，从而尽可能保证保存的JSON行数与提交的采集帧数相匹配。

### B.2 触觉网格映射与预处理

原始触觉手套数据流中每只手包含256个传感器值。虽然这些值可以被解释为紧凑的$16 \times 16$数组，但手套上传感器的物理布局并非规则的图像网格：不同传感器对应不同的手指、手掌区域以及弯曲/接触位置。为了保留手部的空间结构，我们在训练前会将原始的256维触觉向量重新映射为$21 \times 21$形状的手部压力网格。这种映射由针对特定手型的JSON文件定义，其中每个键指定目标网格坐标$(r, c)$，每个值则对应相应的原始传感器索引。由此生成的稀疏手部触觉图，其有效位置与手套传感器的物理排列一致。

对于每一帧，我们会先初始化一个$21 \times 21$网格，将无效位置标记为NaN，仅填充已映射的传感器位置。左手直接按照映射关系放置，而右手则进行水平镜像处理，从而使左右手的触觉图共享一致的标准手部坐标系。这种标准化表示使得模型输出可直接解读为手部压力分布，而非任意的传感器向量，从而为学习接触位置和压力大小提供了更强的空间先验。

我们进一步应用了多项预处理步骤以提升数据质量。首先，若根据人工标注或低压阈值判断第一帧为无接触状态，则可选择减去该帧的基准压力值。这样既能消除静态传感器偏差，又能在序列以主动接触开始时避免过度校正。其次，右手触觉网格中已知的损坏列会通过相邻有效列的插值来修复。第三，触觉传感器和弯曲相关传感器需分别归一化，以防止高弯曲传感器值压缩真实接触压力传感器的动态范围。处理后的压力网格、基准校正标记、网格尺寸以及归一化元数据会被保存到pressure_grids.npz文件中，以供后续转换和训练使用。

### B.3 HDF5数据集转换

完成数据清洗和触觉网格预处理后，我们会将每条轨迹转换为紧凑的HDF5文件，以便高效训练和推理。转换脚本要求每条轨迹包含来自三个摄像头的同步视频、处理后的压力网格以及手部姿态标注。转换过程中，RGB帧会从ego.mp4、left.mp4和right.mp4中解码；若有条件，会使用GPU加速的FFmpeg解码器，并以OpenCV作为备用方案。最终帧数会设定为三个摄像头流中最短的有效长度，以确保所有视图在时间上对齐。

每个HDF5文件都存储了一个稳定的模态层级结构。元数据包括轨迹ID、任务名称、帧数、FPS、图像分辨率，以及诸如手腕摄像头帧重复之类的质量标记。images组用于存储三种RGB流；poses组用于存储头部/胸部及双腕的7D Vive Tracker位姿；hands组在可用时存储Rokoko手部关节数据，以及基于WiLoR的左/右21关节手部位姿和有效性掩码。pressure组则存储处理后的左右$21 \times 21$压力网格，以及预处理元数据。如果配有手套掩码，它们会被存储在单独的masks组中。

---

针对大规模转换，我们使用批量转换脚本，设置64个轨迹工作进程、gzip压缩等级为4，并启用-skip_existing参数以避免重新计算已有效的HDF5文件。该脚本还支持根据故障原因筛选出的坏文件列表来重新生成轨迹，这对于修复读取错误或质量控制故障、而无需重新处理整个数据集而言非常有用。这种HDF5格式显著降低了数据加载开销，并确保所有实验都使用经过清洗、时间对齐且空间映射一致的触觉表示。

### C 额外的实现细节

我们提出了一种多视角触觉预测模型，它以三种摄像头视图中的任意子集以及双手位姿作为输入，进而预测密集的双边压力图。该架构通过视图丢弃训练策略，能够在推理阶段优雅地处理视图缺失的情况。

### C.1 问题表述

给定来自任意可用视图子集$\mathcal{V} \subseteq \{V^{ego}, V^{wL}, V^{wR}\}$的T帧视频片段，以及对应的双手位姿序列$\mathbf{P} \in \mathbb{R}^{T \times 42 \times 3}$，我们的目标是预测每个时间步下双手的双边压力图$\hat{\mathbf{M}} \in \mathbb{R}^{T \times 2 \times 21 \times 21}$。无论哪些视图可用，该模型都必须能给出合理的预测结果。

### C.2 多视角视觉编码器

采用带视图嵌入的共享主干网络。所有视图均由共享的DINOv2-ViT-B/14 [^22]主干网络处理，该网络会提取每帧中维度为$N = 256$的$D = 768$补丁令牌。为使模型能够区分补丁源自哪个摄像头，我们为每种视图$\mathbf{e}_v \in \mathbb{R}^D$添加了可学习的视图嵌入$v \in \{ego, wL, wR\}$：

 $$ \mathbf{F}_{v}=\operatorname{D I N O v2}(V_{v})+\mathbf{e}_{v},\quad\mathbf{F}_{v}\in\mathbb{R}^{T\times N\times D} $$

通过跨视图共享主干网络，参数数量从$3 \times 86M$（独立编码器）减少到了$86M + 3 \times 768$（共享编码器+视图嵌入），从而提升了效率与泛化能力。

跨视图注意力机制。我们并非对所有$N \times |\mathcal{V}|$补丁令牌进行耗时的注意力计算，而是通过全局平均池化为每个视图提取一个摘要令牌，再对这[^29]个摘要令牌应用轻量级的跨视图变换器$|\mathcal{V}|$：

 $$ \mathbf{s}_{v}=\operatorname{MeanPool}(\mathbf{F}_{v}),\quad[\hat{\mathbf{s}}_{1},\ldots,\hat{\mathbf{s}}_{|\mathcal{V}|}]=\operatorname{CrossViewTransformer}([\mathbf{s}_{1},\ldots,\mathbf{s}_{|\mathcal{V}|}]) $$

这样一来，每个视图的摘要就能关注其他视图的摘要，从而实现互补信息的交换（例如，手腕视图可以向以自我为中心的视图提供关于被遮挡接触区域的信息）。

门控视图融合。融合后的摘要令牌会传入门控网络，该网络会学习依赖视图的重要性权重：

 $$ \begin{array}{c}{w_{v}=\operatorname{s o f t m a x}\big(\operatorname{M L P}(\hat{\mathbf{s}}_{v})\big),\quad\mathbf{F}^{f u s e d}=\displaystyle\sum_{v\in\mathcal{V}}w_{v}\cdot\mathbf{F}_{v}}\\ \end{array} $$

输出$\mathbf{F}^{fused} \in \mathbb{R}^{T \times N \times D}$的形状与单视图特征相同，以确保能与下游模块兼容。

### C.3 时序建模与位姿-视觉融合

时序变换器。通过时间维度应用带窗口的时序变换器[^29]，以捕捉操作动态：

 $$ \mathbf{H}=\operatorname{T e m p o r a l T r a n s f o r m e r}(\mathbf{F}^{f u s e d}),\quad\mathbf{H}\in\mathbb{R}^{T\times N\times D} $$

姿态编码器。双手姿态$\mathbf{P} \in \mathbb{R}^{T \times 42 \times 3}$由基于变换器的姿态编码器进行编码，生成各关节特征$\mathbf{G} \in \mathbb{R}^{T \times 42 \times D}$。

---

姿态-视觉交叉注意力融合。每个关节标记通过交叉注意力查询视觉块标记，从而实现基于空间位置的融合：

 $$ \mathbf{Z}=\operatorname{C r o s s A t t n}(Q=\mathbf{G},~K=\mathbf{H},~V=\mathbf{H}),\quad\mathbf{Z}\in\mathbb{R}^{T\times42\times D} $$

这使得每个关节能够关注与其空间位置和接触状态最相关的视觉块。

### C.4 关节级触觉解码器

融合后的关节特征Z被解码为双侧压力图。42个关节特征被分为左手组（关节1–21）和右手组（关节22–42），每组分别通过MLP及重塑操作解码为$21 \times 21$压力图：

 $$ \hat{\mathbf{M}}_{t}^{left}=\sigma\big(\operatorname{MLP}(\mathbf{Z}_{t}^{left})\big)\in[0,1]^{21\times21},\quad\hat{\mathbf{M}}_{t}^{right}=\sigma\big(\operatorname{MLP}(\mathbf{Z}_{t}^{right})\big)\in[0,1]^{21\times21} $$

其中$\sigma$为Sigmoid函数，确保输出属于[^0] [^1]范围。

## C.5 视图丢弃训练策略

一个关键的设计要求是模型在推理时须能处理任意可用的视图子集。为实现这一点，我们在训练中采用$\underline{\text{view dropout}}$：始终保留以自我为中心的视图，同时每个手腕视图以$p = 0.3$的概率被独立丢弃，这一设置与我们训练脚本中的配置一致。这使得模型会接触到四种可能的输入配置：

• 仅以自我为中心的视图（两个手腕视图均被丢弃）

• 以自我为中心的视图 + 左手腕视图

• 以自我为中心的视图 + 右手腕视图

• 三种视图全部使用（无视图被丢弃）

推理时，同一模型可接收任何可用的视图，无需更改架构或进行微调。这便于在不同相机配置下开展系统性评估，包括仅以自我为中心的部署以及全多视图推理。

### C.6 训练目标与优化

训练目标结合了像素级回归、考虑稀疏性的压力拟合以及空间正则化。设$\hat{M}$和M分别为预测的触觉图和真实触觉图。我们对其进行优化：

 $$ \mathcal{L}=\lambda_{m s e}\mathcal{L}_{m s e}+\lambda_{l1}\mathcal{L}_{l1}+\lambda_{t v}\mathcal{L}_{T V}, $$

其中$\mathcal{L}_{mse}$和$\mathcal{L}_{l1}$用于衡量压力重建误差，$\mathcal{L}_{TV}$则用于保证预测的压力图具有空间平滑性。为减少模型在稀疏接触监督下预测全零压力图的倾向，压力大于0.1的像素被视为接触区域，并赋予更大的损失权重。在我们的实验中，使用的参数分别为$\lambda_{mse}=1.0$、$\lambda_{l1}=0.5$、$\lambda_{tv}=0.01$，接触区域的权重设为3.0。

我们使用AdamW优化器训练模型，学习率为$5 \times 10^{-5}$，权重衰减为0.05，beta参数设为(0.9, 0.999)。学习率遵循余弦退火调度策略，包含10个预热轮次，最小学习率为$10^{-6}$。训练共进行25个轮次。我们采用torchrun启动分布式数据并行训练；默认情况下，启动器会使用6块GPU，每块GPU的批量大小为16，梯度累积步数为3，因此有效批量大小达到288。DINOv2 ViT-B/14视觉编码器初始化为预训练权重，并在训练期间保持冻结状态。我们采用每2帧采样1帧的方式获取8帧剪辑，RGB输入图像的大小被调整为$224 \times 224$；输入特征包含来自WiLoR的42个双腕关节数据，手套颜色增强的概率为0.2，同时还有与原生压力传感器网格对齐的$21 \times 21$触觉图。

---

### C.7 推理与评估协议

评估时，我们加载最佳模型检查点，并使用训练期间所用的同一配置文件执行批量推理。推理脚本支持完整评估和用于快速查看的轻量模式。在完整评估模式下，每个数据划分最多会评估1000条轨迹；轻量模式下，会从划分文件中为每个任务类别抽取一条轨迹。除非另有说明，推理时的批量大小为64，使用两个工作进程，可视化帧率为30 FPS，并且为了节省存储空间，不会保存HDF5输出文件，仅保留视频和指标数据。

推理流程通过views参数支持可配置的视图子集。我们利用这一功能，使用同一训练好的模型分别评估仅含自我视角输入、单腕变体以及完整的多视角输入情况。输出结果按配置名称、检查点名称、视图设置和数据集划分进行分类存储。对于每一个被评估的数据划分，脚本都会保存可视化结果，并计算触觉预测指标，包括时序准确率、接触IoU、体积IoU以及平均绝对误差。这种统一的推理协议确保了所有视图配置都能在相同的检查点、数据集划分、预处理方式和指标实现下进行对比。

## D 额外的定性结果

我们提供了不同操作任务中触觉预测结果的额外定性示例。每张可视化图像展示了一个由视频序列中均匀采样的$2 \times 3$网格组成的画面，上方行显示以自我为中心的RGB输入，中间行显示双手的真实压力图，下方行则显示预测的压力图。该模型能够准确捕捉各种交互场景中的接触位置、压力强度以及时序动态特征。

这些示例证明了模型在不同物体类别、操作策略和接触配置下的泛化能力。预测的压力图在空间上与手部姿态及视觉观测结果保持一致，同时能够反映连续操作过程中接触的时序演变规律。

### D.1 失败案例与局限性

尽管该模型在大多数操作任务中表现优异，但在复杂的视觉条件下仍会出现一些失败情况。图12展示了一个典型的失败案例：在第一帧中，模型在没有发生接触的情况下错误地预测了接触现象。

这种故障是由于黑色手套和黑色短裤之间的视觉对比度较低造成的。从自我中心的视角来看，手似乎与深色织物靠得很近或相互重叠，从而产生了模糊的视觉信号，模型将其解读为接触。这表明模型已经学会将视觉上的邻近性和遮挡模式与触觉接触联系起来，但当颜色相似性导致难以区分手与物体的边界时，模型就可能被误导。

这类故障提示了几个改进方向：(1) 引入明确的深度信息或手-物体分割技术，以区分邻近性与接触；(2) 在训练数据中加入更具挑战性的颜色组合；(3) 利用时间一致性来抑制在缺乏先前接触历史的情况下，第一帧中出现的孤立性误判结果。

---

![Image](images/776708174fd28290515b701567dc8fbfa2ad825d8e2298dc0afe542a43f62355.jpg)

(a) 购买饮料

(b) 使用按摩枪

(c) 用厨房刀切割泡沫

<div style="text-align: center;">(d) Retrieving a ping-pong paddle</div>

<div style="text-align: center;">Figure 8 Tactile prediction results (1–4). Each subfigure shows a  $2\times3$ grid of frames with predicted tactile pressure maps overlaid on the egocentric RGB input.</div>

---

![Image](images/5d74e2e2b4c974533e1748095cca14f36cb845aef1dc4e0a485b6876613901f4.jpg)

(a) 喷洒护肤品

<div style="text-align: center;">(b) Opening/closing a window</div>

<div style="text-align: center;">(c) Grasping a power adapter</div>

<div style="text-align: center;">(d) Squeezing toothpaste</div>

<div style="text-align: center;">Figure 9 Tactile prediction results (5–8). The model captures fine-grained contact patterns and bimanual coordination across diverse manipulation tasks.</div>

---

![Image](images/25e535facd04a45b2cabe3afb601206949ec73f9b7d35e90b58ff515ebe2692c.jpg)

![Image](images/3942fd24a70e9dffd847e165a7523766a37db0ac71aacb85d1e1817e927ff565.jpg)

![Image](images/00fff95168616702f5e614c44e3946dadf15bcd49fd1d2c3c6ef1ef8bea7ba85.jpg)

![Image](images/c1935104bd99c45aa7d16431240eca7cc9fcbd6f9b0d8024394b602436eb5d84.jpg)

![Image](images/a0d07f4c76aa452308472c674419d59c264ba56016b6f7bf381b4564b93b2ccb.jpg)

![Image](images/93ec9d36dee98371df02c14240239d5cc2f6dffc05d28c78b4b646eeaed6c944.jpg)

(a) 推/拉黑板

![Image](images/a9224fbdb73c2ccfd7107e204b80ac244b4f69d6aeb28da00c2e4ec7db06a7bb.jpg)

![Image](images/109aafd798da3243f3b43fa948d1adcd03b2936419ac54d1207672f045ffa10d.jpg)

![Image](images/2f4c87ac01d525904e3346469d2d2ac6751e3429bfd135abd27f25f8c7ef39a8.jpg)

![Image](images/3477890dcd12a6180755a1eead1a0eb6e1f945874e48eed2acb0e01fbd0894a2.jpg)

![Image](images/7f36f49b2d7bdfac326a104dcc5c0156257ba0d9b8740fee45e9319f462cb765.jpg)

![Image](images/994ee5a9e9865f773e5669119f0f5d93dfbe16d628f373affcf42e7523eed269.jpg)

(b) 插拔USB连接器

![Image](images/0a8996be51144242b3dfa20205cbd077ba387ea4774bba57c8b7a021481f7021.jpg)

![Image](images/b64947ff93bafafbdb49d332540b16e5fd0e5d13145e46a45f07de5df7c614f9.jpg)

![Image](images/81cd7042c861aba3c1d9478c876c345c94797bb1f586361e60966d0a954d4eb8.jpg)

![Image](images/d4c4aa8d946f5e2eec8c78ab9f932de79bde92f95954e86464a2fcf019ff58ae.jpg)

![Image](images/1862f08021eb496993c2edf8af3cb9ae7b7d674665fc2ecb5c73bde1091543a3.jpg)

![Image](images/4c47a1008dcef06a2a0c53f2456d4bbc425df26161ddc26fe8cce83a0388b1ad.jpg)

(c) 整理药瓶

![Image](images/f3ccf10afdbb7d2670aae79b3b7eb0c8a4a3d7441e9614e7e27e282f805adafc.jpg)

![Image](images/fd71d906a1f392e16e8de185ed1a9d723f1c7f166184bf286ea62a16fb5eacfb.jpg)

![Image](images/49f1a6bfe7c6949e6197d415f9b1b903eb4cc9510698174878d8bc39df73f7d8.jpg)

![Image](images/2103f5440367ff2602b1063d656ce7d0fe4b7d70e86ca6c98ae2382d55247a3b.jpg)

![Image](images/10d38d3e646625c7eecae8876f0e55f6aa44d7f6f7702940fc016ceaa7a727d4.jpg)

![Image](images/905adaa9d51bd67884ebe0b54ff13ed0614086a4e91b279e30d42da203c97e85.jpg)

<div style="text-align: center;">(d) Playing table football</div>

<div style="text-align: center;">Figure 10 Tactile prediction results (9–12). The model accurately predicts contact locations during precision manipulation and dynamic gameplay.</div>

---

![Image](images/6bc372ca0cdff862ee954409fbc23a825f579e5d8c583fe87c96f8f811d49be7.jpg)

(a) 桌面整理

(b) 用水壶烧水

(c) 拍打乒乓球

<div style="text-align: center;">(d) Grasping skincare products</div>

<div style="text-align: center;">Figure 11 Tactile prediction results (13–16). The predicted pressure maps maintain spatial consistency with hand pose and visual observations while capturing temporal evolution of contact.</div>

---

![Image](images/d9bde9515932c347a0f7612649a8250e24b2813c8108dc90a71ea1d18d456ca1.jpg)

<div style="text-align: center;">Figure 12 Failure case: folding black shorts. In the first frame, the model incorrectly predicts contact on the left hand even though no contact has occurred. The black glove and black shorts create a low-contrast visual appearance that resembles contact, causing the model to hallucinate pressure. This highlights a key limitation: the model relies heavily on visual cues and can be confused by color similarity between the hand and object.</div>