# HT-Bench：基于自我中心视觉的全手触觉表征基准测试与学习
黄宇哲$^{1,2*}$、吴佳平$^{2,3*}$、蒋佳明$^{4}$、林和哲$^{2,5}$、艾克拜尔·艾尔肯$^{2,6}$、王云龙$^{2}$、程坤$^{3}$、李婉琳$^{7}$、肖晨曦$^{4}$、焦子源$^{1\dagger}$、钟远鑫$^{2\dagger,\dagger}$
$^{1}$北京航空航天大学 $^{2}$Rimbot $^{3}$北京邮电大学 $^{4}$上海科技大学 $^{5}$清华大学 $^{6}$中国科学院 $^{7}$Bigai $^{8}$
$^{*}$同等贡献者 $^{9}$通讯作者 $^{10}$项目负责人
## 摘要
由于触觉传感器的设计、数据格式以及机器人形态存在多样性，为机器人操控中的触觉表征学习建立通用基准测试仍颇具挑战性。我们并未试图建立此类基准，而是探索了一条具有可扩展性且前景广阔的未来发展方向：即自我中心视觉与全手触觉数据相结合。为此，我们推出了HT-Bench——一个大规模多任务基准测试集，包含226个任务中的1000万帧RGB图像和780万帧触觉图像。HT-Bench通过细粒度触觉检索、触觉掩码补全、视觉到触觉合成以及多模态触觉帧预测，来评估接触几何建模、视觉-触觉对齐能力以及对未见任务的泛化能力。我们进一步提出了HandTouch，这是一种采用矢量量化技术的视觉-触觉编码器，它通过空间、跨模态和时间层面的目标进行渐进式训练。在HT-Bench测试中，HandTouch的表现始终优于各类代表性基线模型：Recall@5指标从74.65%提升至85.23%，触觉掩码补全的RMSE值从0.022降至0.009，视觉到触觉的测试cIoU值则从0.628提高到0.689。此外，在实际下游操控任务中，HandTouch在四类高接触度任务上的平均成功率达到68.3%，较最强的基线模型高出18.3个百分点。这些结果表明，HandTouch能够学习到具备迁移性的触觉表征，而自我中心的全手触觉数据也为灵巧触觉学习提供了可扩展的基础。
## 1 引言
触觉传感作为构建鲁棒型多模态机器人操控基础模型的关键模态，正受到越来越多的关注，因为它能够捕捉直接的物理交互信息——包括接触力、压力分布以及滑移检测——而这些是仅靠视觉无法可靠获取的（Yang等人，2024a；Luo等人，2026；Huang等人，2026）。随着感知范式从以视觉为中心向多模态机器人策略转变，触觉传感对于需要高接触度推理（Chen等人，2026b；Li等人，2026）以及精准灵巧操控（Lin等人，2025；Pei等人，2026）的系统而言愈发重要。然而，与受益于相对标准化的数据格式、可扩展架构以及成熟评估基准的视觉感知不同，触觉表征学习仍受到异构数据集、传感器专用处理流程以及任务依赖型评估协议的限制（Chen等人，2026a；Cao等人，2026）。
这一挑战源于不同传感器设计和机器人本体在触觉信息方面的固有异质性。触觉传感器在硬件原理、空间布局、信号模式和安装配置上存在差异，而机器人本体则具有不同的末端执行器形态和接触模式（Schneider等人，2025年；Cao等人，2026年；Chen等人，2026a年）。因此，构建一个能够完全适应这些差异的通用基准测试仍不现实。相反，我们着眼于一个可扩展的方向：将自我中心视觉与全手触觉数据相结合。自我中心观测提供了以交互为中心的视觉上下文，而全手触觉传感则能捕捉灵巧操作过程中的分布式接触信息。然而，现有的评估仍留下一个关键问题：哪种编码器能作为灵巧全手触觉感知的有效表征骨干？
为填补这一空白，我们推出了HT-Bench（如图1左侧所示），这是一个用于评估灵巧全手传感中触觉表征学习的大规模多任务基准测试。HT-Bench整合了同步的自我中心视觉观测与全手触觉序列，并在四项任务下对编码器进行评估：细粒度触觉相似性检索、掩码触觉修复、视觉到触觉合成以及多模态触觉帧预测。HT-Bench并非依赖单一的下游目标，而是从三个角度来检验触觉表征：它们是否编码了有意义的接触几何信息、是否能使触觉观测与视觉信息对齐，以及它们是否能泛化到未见过的交互任务中。
基于HT-Bench，我们提出了HandTouch，这是一种用于通用灵巧触觉表征学习的矢量量化视觉-触觉编码器。如图1中间所示，HandTouch遵循渐进式训练流程：它首先通过矢量量化重构来捕捉触觉的空间拓扑结构，将连续的触觉观测映射到共享的离散令牌空间；接着通过跨模态掩码触觉修复来学习视觉-触觉对齐；最后利用多模态触觉帧预测来建模接触状态的时序演变。
---
Figure 1: Overview of HT-Bench. 1. HT-Bench pairs egocentric vision with full-hand tactile data to provide a scalable benchmark for dexterous tactile representation learning. It contains 10M RGB frames and 7.8M tactile frames collected from diverse manipulation tasks. 2. HandTouch learns a shared discrete tactile representation through progressive spatial, cross-modal, and temporal training, and 3. is evaluated on fine-grained tactile similarity retrieval, masked tactile inpainting, vision-to-tactile synthesis, and multimodal tactile frame prediction under task-level out-of-distribution splits.
在HT-Bench上的实验表明，HandTouch的性能优于典型的触觉编码器基线模型。在细粒度触觉相似性检索任务中，与性能最强的基线模型相比，HandTouch将Recall@5指标从74.65%提升至85.23%。在掩码触觉修复任务中，标准测试集上的全图像RMSE值从0.022降至0.009，全图像cIoU值则从0.762提高到0.912。在视觉到触觉合成任务中，HandTouch将OOD cIoU值从0.628提升至0.689，显示出更强的跨模态触觉生成能力以及对未见任务的更好泛化能力。此外，在实际下游操控任务中，HandTouch在四项接触密集型任务中的平均成功率达到68.3%，比性能最强的基线模型高出18.3个百分点。
综上所述，我们的贡献如下：
• 我们推出了HT-Bench，这是一个基于自我中心视觉与全手触觉数据、用于评估灵巧全手触觉表征学习的大规模多任务基准测试。
- 我们提出了HandTouch，一种矢量量化的视觉-触觉编码器，它通过渐进式的空间、跨模态及时序训练来学习触觉表征。
- 在HT-Bench及下游任务中，HandTouch的表现始终优于典型的触觉编码器基线模型，其在结构检索、掩码修复、跨模态合成以及分布外泛化方面均展现出优势。
我们将发布所有数据、评估协议、预训练权重以及训练/测试脚本，以便推动未来在通用触觉表征学习领域的研究。
## 2 相关工作
触觉与视觉-触觉表征学习。触觉表征学习已被应用于物体识别（Yang等人，2024b；Huang等人，2026）、接触理解（Xie等人，2025）、操控反馈（Li等人，2025）以及视觉-触觉预测（Chen等人，2026a）。近期研究表明，触觉信号能为富含接触的灵巧操控提供互补的物理线索。然而，大多数方法是在特定任务的流程中学习表征，这些特征与特定的传感器配置、交互领域或下游目标紧密耦合（Liu等人，2024；Zorin等人，2026）。因此，尚不清楚这些特征是可迁移的触觉表征还是任务特定的适配结果。这促使我们开发了HT-Bench，它通过评估接触几何建模、视觉对齐、时序接触动力学以及对未见任务的泛化能力，来检验触觉编码器在单一目标之外的表现。基于这一框架，HandTouch通过渐进式的空间、跨模态和时序目标来学习通用的灵巧触觉表征。
触觉数据集与基准测试。近期的触觉数据集和基准测试虽然推动了触觉学习的发展，但也揭示了其在传感器、实体形态和任务上的固有异质性。诸如Sparsh（Higuera等人，2024）、AnyTouch（Feng等人，2025，2026）、OpenTouch（Song等人，2025）以及TouchAnything（Zhou等人，2026）等资源，支持了在不同平台和场景下进行的触觉感知、视觉-触觉学习或以触摸为中心的操控研究。其他数据集，包括VT-DexManip（Liu等人，2025）、多模态触觉数据集（Chi等人，2024）以及UniVTac（Chen等人，2026a），则进一步在特定设置下研究了灵巧操控、同步感官流或统一的视觉-触觉建模。然而，由于传感原理、空间布局、信号格式以及机器人实体形态的差异，很难定义一个通用的基准测试。
因此，HT-Bench并不旨在解决所有的触觉异质性问题。相反，我们聚焦于未来具身人工智能的一种可扩展范式（Zheng等人，2026；Wang等人，2026）：即以手为中心视觉与全手触觉感知相结合。以手为中心的观测能够提供以手为中心的互动信息——
---
Figure 2: Statistics and coverage of HT-Bench. HT-Bench contains 10M RGB frames and 7.8M full-hand tactile frames from dexterous manipulation, with training, test, and task-level OOD splits. It covers diverse scenes such as home, electronics workbench, chemistry lab, retail, workbench, outdoor, and other environments.
Table 1: Comparison with existing tactile benchmarks. HT-Bench jointly supports dexterous full-hand sensing, multi-task evaluation, multi-scene data, and task-level OOD splits.
| Benchmark | Full-Hand | Tasks | Scenes | OOD Split |
| Sparsh (Higuera et al., 2024) | ✗ | Multi-task | Single-scene | ✗ |
| AnyTouch 2 (Feng et al., 2026) | ✗ | Multi-task | Multi-scene | ✗ |
| OpenTouch (Song et al., 2025) | ✓ | Multi-task | Multi-scene | ✗ |
| TouchAnything (Zhou et al., 2026) | ✓ | Single-task | Multi-scene | ✓ |
| HT-Bench (Ours) | ✓ | Multi-task | Multi-scene | ✓ |
文本（Fang等人，2026），而全手触觉感知则能捕捉灵巧操控中的分布式接触模式。这种组合使得接触几何建模、视觉对齐以及对未见任务的泛化能力得以评估。如表1所示，HT-Bench在此场景下通过标准化的四轨多任务协议来补充现有数据集。
掩蔽与离散表示学习。掩蔽建模和向量量化表示学习在构建紧凑的视觉及多模态表示方面十分有效（Razavi、Van den Oord和Vinyals，2019；Bao等人，2021；Van Den Oord、Vinyals等，2017）。然而，将其应用于灵巧手触觉信号颇具挑战性，因为触觉观测数据稀疏、具有局部结构性，且与交互动力学紧密相关（Wu等人，2026；Xie等人，2026）。HandTouch通过三个渐进阶段将这些思路应用于全手触觉学习：用于空间拓扑的向量量化重建、用于视觉-触觉对齐的跨模态掩蔽修复，以及用于时间推理的多模态触觉帧预测。这些目标旨在生成具有结构区分性且基于视觉的触觉表示，使其与HT-Bench所评估的核心能力相匹配。
## 3 HT-Bench：多任务触觉评估基准
我们在现有开源触觉及视触觉数据集的基础上（Song等人，2025；Zhou等人，2026），加入新采集的真实世界全手触觉序列，构建了用于评估灵巧全手触觉表示学习的HT-Bench。如图2(a)所示，HT-Bench包含约1000万帧RGB图像和780万帧触觉图像。为了评估模型在分布外数据上的泛化能力，我们采用任务级划分方式：留出一项交互任务用于分布外评估，其余任务则按9:1的比例划分为训练集和分布内测试集；详见图2(b)。图2(c)总结了细粒度场景类别下的数据量和片段分布情况。基于该数据集，我们定义了四项用于评估互补能力的任务：接触结构理解、视觉-触觉对齐、空间推理以及时间接触建模。
细粒度触觉相似性检索。我们通过1对20的检索任务来评估触觉嵌入是否保留了细粒度的接触特征。对于每一张查询触觉图，根据结构相似性指数度量（SSIM）对候选样本进行排序，从而得到触觉结构的参考排序，再将其与由学习到的嵌入生成的余弦相似度排序进行比较。
掩蔽触觉修复。我们通过掩蔽触觉图的某些区域，要求模型利用剩余的触觉信号和视觉线索来重建缺失的触觉响应，以此评估在不完整触觉观测下的空间推理能力。这种设定模拟了因传感器故障或区域退化导致的部分触觉信息丢失情况，用于检验所得到的表示是否能够捕捉到空间上连贯的接触模式。
视觉到触觉合成（RGB转触觉）。我们通过从单张RGB图像预测触觉压力分布来评估视觉-触觉对齐程度。受人类凭借视觉感知形成触觉预期的能力启发——这与跨模态感官整合及联觉关联有关（Cytowic，2002）——这项任务旨在探究……
---
所学习到的表示是否能够捕捉视觉观测与物体几何形状及物理交互所产生的触觉响应之间的关系。
多模态触觉帧预测。我们通过利用最近的视觉观测$t_{T}$和过去的触觉轨迹$\mathbf{v}_{T-2}$来预测触觉分布$t_{T-2}$，以此评估时间接触建模能力。这项任务旨在检验该表示能否整合视觉上下文和触觉历史，从而预判未来的接触状态并捕捉触觉交互的时间演化过程。
## 4 HandTouch：向量量化的视觉-触觉表示学习
根据HT-Bench定义的评估要求，我们提出了HandTouch——一种用于学习可迁移全手触觉表征的向量量化视觉-触觉编码器。整体流程如图3所示。HandTouch通过三个阶段逐步训练，每个阶段对应HT-Bench评估的一项核心能力。首先，它通过单模态触觉重建来捕捉空间接触拓扑结构（第4.1节）。其次，它通过跨模态掩码触觉修复引入视觉线索，以学习视觉-触觉对齐（第4.2节）。最后，它通过多模态触觉帧预测来建模接触动态（第4.3节）。
### 4.1 向量量化触觉重建
如图3（左上）所示，第一阶段通过单模态触觉重建任务来捕捉全手触觉图的空间拓扑结构。给定一个归一化的触觉图$\mathbf{t} \in [0, 1]^{1 \times 224 \times 224}$，卷积投影层会将其划分为互不重叠的块。在加入可学习的位置嵌入后，这些块标记会被送入一个包含8层的Vision Transformer（ViT）编码器中，从而生成连续的潜特征$\mathbf{Z}_e \in \mathbb{R}^{N \times D}$。
为了构建紧凑且鲁棒的离散特征空间，我们采用了一种分解式向量量化器。设$\mathcal{C} = \{\mathbf{e}_i\}_{i=1}^K \subset \mathbb{R}^d$表示大小为$K = 2048$、瓶颈维度为$d \ll D$的共享码本。对于第j个块嵌入$\mathbf{z}_e^{(j)} \in \mathbb{R}^D$，我们首先通过输入投影$\mathbf{W}_{\text{in}} \in \mathbb{R}^{d \times D}$将其映射到码本空间中：
$$ \mathbf{z}_{q}^{(j)}=\mathbf{e}_{k},\quad\mathrm{w h e r e}k=\operatorname{a r g}\operatorname*{m i n}_{i}\|\mathbf{W}_{\mathrm{i n}}\mathbf{z}_{e}^{(j)}-\mathbf{e}_{i}\|_{2}^{2} $$
量化后的标记会通过输出投影$\mathbf{W}_{\text{out}} \in \mathbb{R}^{D \times d}$映射回编码器嵌入空间，然后再传入解码器。
向量量化中常见的问题是码本坍塌，即只有少量码本条目被频繁选用，而许多条目处于未激活状态。为解决这一问题，我们在训练期间用指数移动平均值来记录每个码本条目的使用频率。那些累计使用次数低于重启阈值$\tau$的码本条目，会用当前批次中来自$\mathbf{W}_{\text{in}} \mathbf{Z}_e$的随机采样的活跃投影特征重新初始化，并添加微小的各向同性高斯噪声以促进探索。
解码器利用注意力模块和卷积上采样技术，从量化标记中重建输入触觉图$\hat{t}$。第一阶段的目标函数定义为：
$$ \begin{aligned}\mathcal{L}_{stage1}&=\|\mathbf{t}-\hat{\mathbf{t}}\|_{2}^{2}+\|\mathbf{Z}_{q}-sg[\mathbf{W}_{in}\mathbf{Z}_{e}]\|_{2}^{2}\\&\quad+\beta\|sg[\mathbf{Z}_{q}]-\mathbf{W}_{in}\mathbf{Z}_{e}\|_{2}^{2}\end{aligned} $$
其中$sg[\cdot]$表示停止梯度算子，$\beta$是承诺损失权重。如图3中的火焰图标所示，该阶段的所有模块会联合优化。
### 4.2 跨模态掩码触觉修复
第二阶段通过跨模态掩码触觉修复，将HandTouch的能力从单模态触觉重建扩展到跨模态视觉-触觉对齐。如图3（左下）所示，其目标是利用剩余的触觉观测数据以及同步的视觉线索来重建受损的触觉图。
给定触觉地图t，我们采用基于课程学习的双重掩码策略来生成掩码触觉输入$\tilde{t}$。第一种掩码模式是区域随机掩码：将对应于手部解剖部位（如拇指、食指、中指或手掌）的触觉区域进行掩码处理，以模拟部分触觉信息的丢失。第二种模式是完全掩码：此时触觉地图被完全掩码，模型必须主要依据视觉上下文来推断触觉响应。为了逐步增加任务难度，在训练过程中应用完全掩码的概率会逐渐升高。令$\gamma \in [0,1]$表示归一化的训练进度。我们定义：
$$ P_{\mathrm{f u l l}}(\gamma)=p_{\mathrm{m i n}}+\frac{(p_{\mathrm{m a x}}-p_{\mathrm{m i n}})}{1+\exp[-12(\gamma-0.5)]}, $$
其中$p_{min}$和$p_{max}$分别表示完全掩码的最小和最大概率。剩余的概率$1 - P_{full}(\gamma)$则分配给区域随机掩码。这种课程学习机制会逐渐将训练目标从局部触觉补全转变为更具挑战性的视觉条件触觉合成。
同步的视觉帧v由预训练的冻结ViT编码器提取视觉上下文特征$\mathbf{F}_v$。为了将视觉信息注入触觉重建过程，我们应用了交叉注意力层以及多层感知机。来自掩码触觉输入的触觉标记充当查询项，而视觉特征则作为键和值。这种设计使得触觉解码器在重建缺失的触觉区域时能够利用视觉上下文。由于第二阶段需要处理来自左右手的触觉观测数据，我们还引入了可学习的手部特定标记$\mathbf{t}_{\text{hand}} \in \{\mathbf{t}_{\text{left}}, \mathbf{t}_{\text{right}}\}$，以减少因左右镜像造成的几何歧义。
第二阶段的损失函数结合了重建项以及从第一阶段继承来的向量量化损失。令$\mathbf{M} \in \{0,1\}^{1 \times 224 \times 224}$表示一个二元遮挡掩码，其中$\mathbf{M}_{c,h,w} = 1$表示被掩码的像素。
$$ \begin{aligned}\mathcal{L}_{stage2}&=\lambda_{vis}\|(\mathbf{1}-\mathbf{M})\odot(\mathbf{t}-\hat{\mathbf{t}}_{cm})\|_{2}^{2}\\&\quad+\lambda_{mask}\|\mathbf{M}\odot(\mathbf{t}-\hat{\mathbf{t}}_{cm})\|_{2}^{2}\\&\quad+\|\mathbf{Z}_{q}-sg[\mathbf{W}_{in}\mathbf{Z}_{e}]\|_{2}^{2}\\&\quad+\beta\|sg[\mathbf{Z}_{q}]-\mathbf{W}_{in}\mathbf{Z}_{e}\|_{2}^{2}\end{aligned} $$
---
Figure 3: Training pipeline of HandTouch. Stage 1: Learning spatial topologies of tactile graphics via unimodal self-attention reconstruction and vector quantization with a shared codebook. Stage 2: Reconstructing highly corrupted tactile images under a dynamic regional/complete masking scheme, guided by visual priors injected through cross-attention. Stage 3: Forecasting the current tactile distribution $\mathbf{t}_T$ based on sequential visual context $\mathbf{v}_{T-2:T}$ and past tactile histories $\mathbf{t}_{T-2:T-1}$. Modules with flame icons are actively trained in each phase.
其中$\odot$表示哈达玛积运算，$\hat{t}_{cm}$是跨模态重建得到的触觉输出，$\lambda_{vis}$和$\lambda_{mask}$用于平衡可见区域与掩码区域的重建损失。我们将$\lambda_{mask} > \lambda_{vis}$设为较大值，以强调缺失触觉区域的重建质量。第4.1节中介绍的码本重启机制在本阶段仍然生效，以防止码本利用率不足。所有未冻结的模块会被联合优化。
### 4.3 多模态触觉帧预测
在最后阶段，HandTouch通过多模态触觉帧预测来学习时序接触建模。如图3（右侧）所示，该阶段通过整合最近的视觉观测数据和过去的触觉历史，来预测时间步T处的触觉帧。
具体来说，模型以最近的视觉观测$\mathbf{v}_{T-2}$和过去的触觉轨迹$\mathbf{t}_{T-2}$作为输入。这些多模态序列会被进行时域聚合，并投影到前几阶段学到的共享离散潜空间。随后解码器会预测时间步T处的触觉分布$\hat{\mathbf{t}}_{T}$。这一目标要求模型结合视觉上下文与触觉历史，从而促使模型生成具有时序感知能力的触觉表征。
第三阶段的目标函数定义为：
$$ \mathcal{L}_{\mathrm{s t a g e3}}=|\mathbf{t}_{T}-\hat{\mathbf{t}}_{T}|_{2}^{2}. $$
在此阶段，预测模块、共享码本和解码器会被微调，以提升多模态触觉预测能力，如图3中的火焰图标所示。
## 5 实验
我们在HT-Bench上对所提出的HandTouch框架进行了评估。为了评估其表征能力，我们将其与触觉感知和操作任务中常用的代表性触觉编码器基线进行比较，包括基于CNN的编码器（Lee、Grimaldi和Yu，2026）、ResNet-18（Calandra等人，2018）、基于VQ-VAE的编码器（Xu等人，2025）以及基于ViT的编码器（Zhao等人，2024）。为了公平比较，所有基线模型均在相同的训练集上预训练，并在相同的HT-Bench协议下进行评估。
### 5.1 与基线编码器的比较
我们首先在细粒度触觉相似性检索、掩码触觉修复以及视觉到触觉合成任务上，将HandTouch与代表性的触觉表征基线进行比较。结果总结在表2中。总体而言，HandTouch在大多数评估指标上均取得了最佳性能，显示出更强的触觉结构建模能力、跨模态对齐能力以及在分布内和分布外场景下的泛化能力。
细粒度触觉相似性检索。在细粒度触觉相似性检索任务中，HandTouch的表现优于所有基线编码器。Hit@1用于衡量SSIM最接近的触觉候选样本是否由学习到的嵌入相似性排在第一位，而Recall@5则衡量SSIM排名前5的候选样本中，有多少能被检索结果的前5个样本覆盖。与表现最强的基线——基于ViT的编码器相比，HandTouch将Hit@1从94.27%提升至99.27%，将Recall@5从74.65%提升至85.23%。这表明HandTouch学习到的嵌入空间能更好地保留触觉观测之间的细粒度结构相似性。相比之下，基于CNN和ResNet的模型虽然能捕捉局部空间模式，但在根据全局结构对应关系组织触觉样本方面效果较差。VQ-VAE在检索任务上的表现明显更差，这说明仅以重建为导向的离散潜变量表示可能会丢失对细粒度触觉匹配至关重要的细微结构线索。
空间掩码触觉修复。在掩码触觉修复任务中，HandTouch在标准测试集上实现了最低的重建误差和最高的接触重叠度。具体而言，其全图RMSE为0.010，全图cIoU为0.911，显著优于所有基线模型。
---
Table 2: Quantitative comparison on HT-Bench. We compare HandTouch with representative tactile encoder baselines on fine-grained tactile similarity retrieval, masked tactile inpainting, and vision-to-tactile synthesis (RGB→Tac). Retrieval performance is evaluated using Hit@1 and Recall@5, while inpainting and synthesis are evaluated on the standard test and task-level OOD splits using RMSE and contact IoU (cIoU). 'F-' and 'H-' denote metrics computed over the full tactile map and masked hole regions, respectively. ↑and ↓ indicate that higher and lower is better, and the best results are highlighted in bold.
| Model | Retrieval | Inpainting (Test) | Inpainting (OOD) | RGB $\rightarrow$ Tac (Test) | RGB $\rightarrow$ Tac (OOD) |
| Hit@1 | Rec@5 $^{\uparrow}$ | F-RMSE $\downarrow$ | F-cloU $\uparrow$ | H-RMSE $\downarrow$ | H-cloU $\uparrow$ | F-RMSE $\downarrow$ | F-cloU $\uparrow$ | H-RMSE $\downarrow$ | H-cloU $\uparrow$ | F-RMSE $\downarrow$ | F-cloU $\uparrow$ | F-RMSE $\downarrow$ | F-cloU $\uparrow$ |
| ResNet-18 | 92.13 | 72.85 | 0.025 | 0.742 | 0.025 | 0.742 | 0.041 | 0.727 | 0.056 | 0.620 | 0.038 | 0.624 | 0.084 | 0.445 |
| CNN-based | 89.61 | 70.09 | 0.030 | 0.684 | 0.030 | 0.684 | 0.047 | 0.715 | 0.068 | 0.538 | 0.036 | 0.642 | 0.083 | 0.447 |
| VQ-VAE | 63.60 | 51.98 | 0.042 | 0.570 | 0.042 | 0.570 | 0.053 | 0.630 | 0.068 | 0.499 | 0.060 | 0.456 | 0.081 | 0.408 |
| ViT-based | 94.27 | 74.65 | 0.022 | 0.762 | 0.033 | 0.662 | 0.056 | 0.615 | 0.065 | 0.522 | 0.038 | 0.628 | 0.083 | 0.446 |
| Ours | 99.27 | 85.23 | 0.009 | 0.912 | 0.024 | 0.761 | 0.041 | 0.800 | 0.063 | 0.581 | 0.032 | 0.689 | 0.080 | 0.457 |
我们定义接触IoU（cIoU）如下：
$$ \mathrm{cIoU}=\frac{\sum_{i,j}\min(P_{i,j},\hat{P}_{i,j})}{\sum_{i,j}\max(P_{i,j},\hat{P}_{i,j})} $$
其中$P_{i,j}$和$\hat{P}_{i,j}$分别表示像素$(i, j)$处的真实压力值和预测压力值。HandTouch在掩码孔洞区域的表现同样出色，其RMSE达到0.024，cIoU达到0.761，这证明了它能够从可见的触觉上下文和学习到的空间先验中推断出缺失的触觉响应。在分布外场景下，HandTouch仍保持着最佳的全图重建性能，RMSE为0.041，cIoU为0.800。不过，ResNet-18在分布外孔洞区域的指标上表现更好。这表明尽管HandTouch在全局触觉图层面具有良好的泛化能力，但在未见过的任务中对严重损坏的局部区域进行精确重建仍存在挑战。
视觉到触觉合成。在视觉到触觉合成任务中，HandTouch展现了强大的跨模态预测能力。在标准测试集上，HandTouch将全图RMSE降低至0.032，同时将cIoU提升至0.689，表现优于基于CNN、ResNet、VQ-VAE和ViT的基线模型。这些结果表明HandTouch学会了有效的视觉-触觉对应关系，能够依据视觉观测推断触觉压力分布。在分布外场景下，HandTouch的cIoU达到0.457，RMSE为0.080，显示出更好的对未见任务的跨模态泛化能力。
多模态触觉帧预测。与静态评估任务不同，多模态触觉帧预测需要基于最近的视觉观测$\mathbf{v}^{T} - 2$以及过去的触觉轨迹$\mathbf{t}^{T} - 2$来进行时序建模。由于基线模型被设计为单帧触觉编码器，我们单独报告这一时序预测任务，以评估HandTouch的预测能力。如图4所示，HandTouch预测的触觉分布$\mathbf{t}_{T}$与真实值高度吻合。它在测试集上取得了准确的预测结果（RMSE：0.031，cIoU：0.677），在分布外任务中也能保持不错的性能，这证明了其在持续交互过程中建模时序接触动态的能力。
我们开展了消融研究，以评估HandTouch中关键组件的贡献，包括基于丢弃策略的训练方法、
### 5.2 消融研究
Table 3: Ablation study of HandTouch on masked tactile in-painting and vision-to-tactile synthesis. We report cIoU on the standard test and task-level OOD splits. H-cIoU is computed over masked hole regions for inpainting, while F-cIoU is computed over the full tactile map for RGB→Tac. Higher is better, and the best result in each column is highlighted in bold.
| Variant | Inpainting | RGB $\rightarrow$Tac |
| H-cIoU Test $\uparrow$ | H-cIoU OOD $\uparrow$ | F-cIoU Test $\uparrow$ | F-cIoU OOD $\uparrow$ |
| w/o drop | 0.712 | 0.567 | 0.678 | 0.453 |
| w/o codebook | 0.765 | 0.529 | 0.708 | 0.454 |
| w/o vision | 0.698 | 0.556 | 0.467 | 0.415 |
| Ours | 0.761 | 0.581 | 0.689 | 0.457 |
训练策略、向量量化码本以及视觉条件化。如表3所示，完整模型在掩蔽触觉图像修复和RGB $\rightarrow$Tac任务上均取得了最佳的OOD性能，显示出对未见任务的更强泛化能力。
移除基于丢弃策略的方法会导致所有指标上的性能一致下降，这表明触觉噪声正则化有助于模型从不完整的观测中更好地推断缺失的接触模式。移除码本会略微提升分布内性能，但会使分布外修复的H-cIoU从0.581降至0.529。这说明离散码本起到了有效的表征瓶颈作用，能够提升触觉特征的迁移能力，而不仅仅是为了拟合训练数据分布。
视觉条件化同样至关重要。缺少视觉输入时，性能会显著下降，尤其是在RGB→Tac任务中，测试F-IoU从0.689降至0.467。这证实了自我中心的视觉线索为触觉合成提供了关键的跨模态信息，同时也有助于掩蔽触觉重建。总体而言，这些结果验证了所提出的设计：基于丢弃策略的训练提升了鲁棒性，码本增强了分布外泛化能力，视觉条件化则强化了视觉与触觉的对齐。
### 5.3 真实世界下游评估
为了进一步评估所学得的触觉表征是否能够迁移到真实的机器人操控任务中（见图5），我们在四种接触密集型任务上开展了下游实验：木板清洁、梨子采摘、倒水和铲沙。每项任务均进行15次试验，表4中列出了各方法的成功率。
---
Figure 4: Qualitative results of multimodal tactile frame prediction. HandTouch predicts tactile distributions that closely match the ground truth under both in-distribution and OOD settings. Prediction errors are magnified by a factor of 3 for better visualization. These results illustrate the temporal contact modeling capability of HandTouch.
Figure 5: Real-world downstream evaluation setup. We evaluate the learned tactile representation on four contact-rich manipulation tasks, including water pouring, pear picking, sand shoveling, and board cleaning.
Table 4: Success rates (%) on real-world downstream manipulation tasks. Each task is evaluated over 15 trials.
| Method | Board Clean | Pear Pick | Water Pour | Sand Shovel | Avg. |
| ResNet-Scratch | 20.0 | 53.3 | 13.3 | 20.0 | 26.7 |
| ResNet-Trained | 46.7 | 73.3 | 33.3 | 46.7 | 50.0 |
| ViT | 40.0 | 73.3 | 33.3 | 33.3 | 45.0 |
| HandTouch | 66.7 | 86.7 | 53.3 | 66.7 | 68.3 |
5）中，我们在四种接触丰富的任务上开展了下游实验：木板清洁、梨子采摘、倒水和铲沙。每项任务均进行了15次试验，各方法的成功率在表4中予以报告。
总体而言，HandTouch在所有任务中均取得了最佳性能，平均成功率达到68.3%，相比之下，经过训练的ResNet编码器仅为50.0%，ViT编码器更是只有45.0%。这种提升在不同交互类型中均保持一致。在需要维持稳定且分散的接触状态的木板清洁和铲沙任务中，HandTouch将成功率提升至66.7%，比最强的基线模型高出20.0个百分点。在梨子采摘任务中，HandTouch的成功率达到了86.7%，表明所学得的表征能更好地捕捉用于稳定抓取的细节接触线索。倒水任务对所有方法而言仍是最具挑战性的，因为它需要精确的接触与运动协调；即便如此，HandTouch仍取得了53.3%的最高成功率。
这些结果表明，所提出的表征不仅在离线HT-Bench评估中表现有效，还能为现实世界的操作任务带来实际益处。尤其是，相较于基于卷积和基于Transformer的基线模型，该模型始终展现出更优的性能，这反映出渐进式的空间、跨模态及时间训练设计确实提升了触觉特征向下游接触密集型机器人任务的迁移能力。
## 6 结论与局限性
在本文中，我们介绍了HT-Bench——一个面向灵巧触觉表征学习的大规模多任务基准测试平台，它结合了以自我为中心的视觉数据与全手触觉数据。HT-Bench从细粒度触觉检索、掩码触觉修复、视觉到触觉合成以及多模态触觉帧预测等维度对触觉编码器进行评估，同时设置了任务级的分布外数据划分以用于泛化能力测评。我们还提出了HandTouch，这是一种采用渐进式向量量化技术的视觉-触觉编码器，其训练过程融合了空间、跨模态及时间层面的优化目标。
在HT-Bench测试中，HandTouch的表现始终优于各类代表性基线模型，显示出其在接触结构建模、视觉-触觉对齐、时序推理以及分布外泛化方面的更强能力。在四个接触密集型任务的现实世界下游实验中，HandTouch的平均成功率达到68.3%，这一数值比最强的基线模型高出18.3个百分点，进一步验证了其迁移能力。这些结果说明，以自我为中心的全手触觉数据为灵巧操作领域的通用触觉表征学习提供了可扩展的基础。
HT-Bench的一个局限性在于它侧重于以自我为中心的视觉与全手触觉感知的组合，尚未涵盖更广泛的感知范式，例如指尖光学触觉传感器、力/扭矩传感器、类皮肤触觉阵列或非手部形态的传感设备。将这一基准测试扩展到更多样化的硬件平台、感知模式及机器人形态，是未来重要的研究方向。
---
## 参考文献
Bao, H.; Dong, L.; Piao, S.; 和 Wei, F. 2021. Beit：基于图像Transformer的Bert预训练。arXiv预印本arXiv:2106.08254。
Calandra, R.; Owens, A.; Jayaraman, D.; Lin, J.; Yuan, W.; Malik, J.; Adelson, E. H.; 和 Levine, S. 2018. 不止是感觉：利用视觉与触觉学习抓取与重新抓取技术。IEEE机器人学与自动化快报 3(4):3300–3307。
Cao, Z.; Tian, D.; Guan, R.; Mu, Y.; Sun, X.; Liang, S.; Liu, D.; Huang, T.; Yue, Y.; Ding, H.; Fang, B.; Zhou, A.; Han, Q.-L.; 和 Xiong, H. 2026. 具身智能中的基于触觉的多模态融合：视觉、语言与接触驱动范式的综述。
Chen, B.; Wan, W.; Chen, T.; Guo, X.; Xu, C.; Qi, Y.; Zhang, H.; Wu, L.; Xu, T.; Li, Z.; Wu, Y.; Li, R.; Yang, X.; Luo, P.; Sui, W.; 和 Mu, Y. 2026a. Univtac：一个用于视觉-触觉操作数据生成、学习与基准测试的统一仿真平台。
Chen, H.; Xu, J.; Chen, H.; Hong, K.; Huang, B.; Liu, C.; Mao, J.; Li, Y.; Du, Y.; 和 Driggs-Campbell, K. 2026b. 通过多模态策略共识实现多模态操作。
Chi, H.-G.; Barreiros, J.; Mercat, J.; Ramani, K.; 和 Kollar, T. 2024. 结合触觉数据的多模态表征学习。收录于2024年IEEE/RSJ智能机器人与系统国际会议（IROS），9660–9667页。IEEE出版。
Cytowic, R. E. 2002. 联觉：感官的融合。MIT出版社。
Dosovitskiy, A.; Beyer, L.; Kolesnikov, A.; Weissenborn, D.; Zhai, X.; Unterthiner, T.; Dehghani, M.; Minderer, M.; Heigold, G.; Gelly, S.; Uszkoreit, J.; 和 Houlsby, N. 2021. 一张图片相当于16×16个词：用于大规模图像识别的Transformer模型。
Fang, D.; Wu, Y.; Zhong, Y.; Zhang, R.; Wang, Y.; Jia, X.; 和 Jiang, Y.-G. 2026. Unidextok：基于真实数据构建的统一灵巧手分词器。arXiv预印本arXiv:2606.10683。
Feng, R.; Hu, J.; Xia, W.; Gao, T.; Shen, A.; Sun, Y.; Fang, B.; 和 Hu, D. 2025. Anytouch：学习跨多种视觉触觉传感器的统一静态-动态表征。arXiv预印本arXiv:2502.12191。
Feng, R.; Zhou, Y.; Mei, S.; Zhou, D.; Wang, P.; Cui, S.; Fang, B.; Yao, G.; 和 Hu, D. 2026. Anytouch 2：面向动态触觉感知的通用光学触觉表征学习。arXiv预印本arXiv:2602.09617。
Higuera, C.; Sharma, A.; Bodduluri, C. K.; Fan, T.; Lancaster, P.; Kalakrishnan, M.; Kaess, M.; Boots, B.; Lamb, M.; Wu, T.; 和 Mukadam, M. 2024. Sparsh：用于基于视觉的触觉传感的自监督触觉表征。
Huang, Y.; Lin, P.; Li, W.; Li, D.; Li, J.; Jiang, J.; Xiao, C.; 和 Jiao, Z. 2026. 视觉-语言-动作模型中用于力感知操作的触觉-力对齐。arXiv预印本arXiv:2601.20321。
Lee, W.; Grimaldi, M.; 和 Yu, T. 2026. 通过双边力先验实现视觉与触觉传感的对称性感知融合，用于机器人操作。arXiv预印本arXiv:2602.13689。
Li, Y.; Jin, Z.; Liu, J.; 和 Ma, D. 2025. 借助强化学习实现的终端装配用视觉-触觉反馈策略。《机器人与人工智能前沿》第12卷：1660244。
Li, Y.; Chen, Y.; Zhao, Z.; Li, P.; Liu, T.; Huang, S.; 和 Zhu, Y. 2026. 用于学习多模态机器人操作的同时触觉-视觉感知。
Lin, T.-Y.; Maire, M.; Belongie, S.; Bourdev, L.; Girshick, R.; Hays, J.; Perona, P.; Ramanan, D.; Zitnick, C. L.; 和 Dollár, P. 2015. Microsoft COCO：场景中的常见物体。
Lin, P.; Huang, Y.; Li, W.; Ma, J.; Xiao, C.; 和 Jiao, Z. 2025. Pp-tac：利用灵巧机械手的触觉反馈进行纸张拾取。arXiv预印本arXiv:2504.16649。
Liu, Q.; Ye, Q.; Sun, Z.; Cui, Y.; Li, G.; 和 Chen, J. 2024. 用于机器人操作的掩码视觉-触觉预训练。收录于2024年IEEE国际机器人与自动化会议（ICRA），第13859–13875页。IEEE出版。
Liu, Q.; Cui, Y.; Sun, Z.; Li, G.; Chen, J.; 和 Ye, Q. 2025. VTDexManip：用于视觉-触觉预训练及基于强化学习的灵巧操作的数据集与基准测试。收录于第十三届学习表征国际会议。
Luo, S.; Li, Y.; Hu, Y.; Yu, C.; Xu, C.; Zhang, J.; Yao, G.; Huang, T.; He, R.; 和 Wang, Z. 2026. Omnium：通过与人对齐的多模态交互实现物理基础的机器人学习。
Pei, L.; Yuzhe, H.; Wanlin, L.; Chenxi, X.; 和 Ziyuan, J. 2026. DexMove：学习基于触觉引导的非抓取式操作，适用于灵巧手。收录于第十四届学习表征国际会议。
Radford, A.; Kim, J. W.; Hallacy, C.; Ramesh, A.; Goh, G.; Agarwal, S.; Sastry, G.; Askell, A.; Mishkin, P.; Clark, J.; Krueger, G.; 和 Sutskever, I. 2021. 从自然语言监督中学习可迁移的视觉模型。
Razavi, A.; Van den Oord, A.; 和 Vinyals, O. 2019年。利用vq-VAE-2生成多样化且高保真度的图像。《神经信息处理系统进展》第32卷。
Russakovsky, O.; Deng, J.; Su, H.; Krause, J.; Satheesh, S.; Ma, S.; Huang, Z.; Karpathy, A.; Khosla, A.; Bernstein, M.; Berg, A. C.; 与 Fei-Fei, L. 2015年。ImageNet大规模视觉识别挑战赛。
Schneider, T.; Duret, G.; de Farias, C.; Calandra, R.; Chen, L.; 与 Peters, J. 2025年。Tactile MNIST：主动触觉感知基准测试。
Song, Y. R.; Li, J.; Fu, R.; Murphy, D.; Zhou, K.; Shiv, R.; Li, Y.; Xiong, H.; Owens, C. E.; Du, Y.; Luo, Y.; Cheng, X.; Torralba, A.; Matusik, W.; 与 Liang, P. P. 2025年。OpenTouch：将全手触觉技术应用于现实世界交互。
---
Van Den Oord, A.; Vinyals, O.; 等. 2017年。神经离散表示学习。《神经信息处理系统进展》第30卷。
Wang, Z.; He, B.; Yu, K.; Lee, S.; Gao, R.; Huang, F.; 与 Aloimonos, Y. 2026年。HumanEgo：从几分钟的人类第一人称视频中实现零样本机器人学习。
Wu, Y.; Lin, Y.; Lao, W.; Lin, Y.; Wei, Y.-L.; Zheng, W.S.; 与 Wu, A. 2026年。DexGrasp-Zero：一种用于零样本跨本体灵巧抓取的形态对齐策略。arXiv预印本arXiv:2603.16806。
Xie, Y.; Li, M.; Li, S.; Li, X.; Chen, G.; Ma, F.; Yu, F. R.; 与 Ding, W. 2025年。面向具身交互的通用视觉-触觉视频理解。
Xie, Y.; Li, M.; Li, S.; Li, X.; Chen, G.; Ma, F.; Yu, F.; 与 Ding, W. 2026年。面向具身交互的通用视觉-触觉视频理解。《神经信息处理系统进展》第38卷：127864–127883页。
Xu, Z.; Uppuluri, R.; Zhang, X.; Fitch, C.; Crandall, P. G.; Shou, W.; Wang, D.; 与 She, Y. 2025年。Unit：一种数据高效且能泛化到未见物体的触觉表征方法。
Yang, F.; Feng, C.; Chen, Z.; Park, H.; Wang, D.; Dou, Y.; Zeng, Z.; Chen, X.; Gangopadhyay, R.; Owens, A.; 与 Wong, A. 2024a。将触觉绑定到万物：学习统一的多模态触觉表征。
Yang, F.; Feng, C.; Chen, Z.; Park, H.; Wang, D.; Dou, Y.; Zeng, Z.; Chen, X.; Gangopadhyay, R.; Owens, A.; 与 Wong, A. 2024b。将触觉绑定到万物：学习统一的多模态触觉表征。载于《2024年IEEE/CVF计算机视觉与模式识别会议（CVPR）》，第26330–26343页。
Zhai, X.; Mustafa, B.; Kolesnikov, A.; 与 Beyer, L. 2023年。用于语言-图像预训练的Sigmoid损失函数。
Zhao, J.; Ma, Y.; Wang, L.; 与 Adelson, E. H. 2024年。可迁移触觉Transformer：用于跨多种传感器和任务的表征学习。arXiv预印本arXiv:2406.13640。
Zheng, R.; Niu, D.; Xie, Y.; Wang, J.; Xu, M.; Jiang, Y.; Castañeda, F.; Hu, F.; Tan, Y. L.; Fu, L.; Darrell, T.; Huang, F.; Zhu, Y.; Xu, D.; 与 Fan, L. 2026年。EgoScale：利用多样化的第一人称人类数据扩展灵巧操控能力。
Zhou, J.; Gao, Z.; Hong, F.; Liu, Z.; Zhang, G.; Dai, W.; Zhen, R.; Lyu, C.; Wu, H.; Mao, Y.; Wang, X.; Jiang, Y.; Ding, W.; 与 Yang, S. 2026年。TouchAnything：一个基于第一人称视频的双臂触觉估计数据集与框架。
Zorin, A.; Si, Z.; Park, M.; Park, J.; Buynitsky, A.; Bhadang, S.; Park, T.; Yoon, S. J.; Park, Y.-L.; Kroemer, O.; 等. 2026年。TACO：物体操控中触觉传感器的基准测试。arXiv预印本arXiv:2605.21976。