## 1 引言
当人拿起鸡蛋或拧干湿布时，最终结果取决于手指按压的位置和力度，但拍摄手部的摄像头只能记录其运动轨迹。类似地，以人为中心的视频数据集如今已涵盖数百到数千小时的人类活动记录，从日常任务到精细的手部与物体交互（Grauman等人，2022年、2024年；Hoque等人，2026年），这些数据集已开始用于支持机器人学习（Kareer等人，2025年；Zheng等人，2026年），但它们仅能捕捉手部的运动情况，却无法记录接触和压力信息。对于机器人技术而言，这种缺失的信号愈发重要，因为触觉感知已成为富含接触的交互场景中的常用输入（Yin等人，2023年；Yuan等人，2024年；Huang等人，2025年；Yu等人，2025年；Liu等人，2025年；Niu等人，2026年）。现有的以人为中心的视觉-触觉数据集虽能提供这类信号，但大多数包含的交互记录时长不足30小时（Song等人，2025年；Dessalene等人，2026年；Zhou等人，2026b）。因此，很难在单一数据集中研究数据规模的影响；而合并多个数据集又会带来第二个难题：不同数据集在传感硬件和采集协议上的差异会干扰跨数据集的比较。尽管近期利用以人为中心的人类数据的研究报告称，其对下游机器人学习具有积极的规模效应（Kareer等人，2025年；Zhu等人，2026年；Punamiya等人，2026年；Zheng等人，2026年），但尚不清楚当触觉数据在统一的传感框架下达到数百小时的规模时，这种优势是否也能延伸至视觉-触觉学习和机器人操控领域。
---
Figure 1 Overview. TouchScale is a large-scale human visual-tactile dataset collected with a unified wearable system. Capture: Human interactions are recorded with synchronized head RGB-D, wrist RGB from both hands, and bimanual tactile measurements. Dataset: TouchScale contains 500 hours of data, approximately 87K episodes, and approximately 2K task descriptions spanning diverse everyday interactions. Evaluation: We evaluate it on tactile prediction, action recognition, and robotic manipulation.
为填补这一空白，我们推出了TouchScale——一个时长达500小时的视觉-触觉数据集，它将多样化的人类交互数据与来自统一可穿戴采集框架的一致多模态传感数据相结合。每条记录均同步了以人为中心的RGB-D视频、手腕处的RGB视频，以及双手的密集全手触觉测量数据；这些记录涵盖了日常活动和结构化的操控任务，包含了多样的手部运动和交互模式。利用同一套可穿戴设备，我们记录了约2000种任务描述下的交互数据，涉及超过1500个物体，涵盖9种高级采集场景，包含800多种不同的场景配置。所有记录均采用同代传感硬件和同步流程，因此数据集中的视觉和触觉测量结果保持一致。这套可穿戴设备还可反复应用于不同参与者和环境中，无需手动标注动作信息，这为进一步扩大人类视觉-触觉数据的规模提供了一种实用的采集模式。
为了填补这一空白，我们推出了TouchScale——一个包含500小时数据的视觉-触觉数据集。该数据集将多样化的人类交互行为与来自统一可穿戴采集流程的一致多模态传感数据相结合。每次录制都会同步记录以佩戴者为中心的RGB-D视频、手腕处的RGB视频，以及双手的密集全手触觉测量数据；这些录制内容涵盖了日常活动以及结构化的操作任务，包含了多种手部动作和交互模式。利用同一套可穿戴设备，我们记录了约2000条任务描述下的交互数据，涉及超过1500个物体，涵盖9种高级采集场景，其中包含800多种不同的场景配置。由于所有录制均采用同一代传感硬件和同步流程，因此数据集中的视觉与触觉测量结果具有一致性。这套可穿戴设备还能在无需手动标注动作的情况下，反复应用于不同参与者和环境中，为进一步扩大人类视觉-触觉数据的规模提供了一种实用的采集方案。
借助TouchScale，我们研究了关于大规模人类视觉-触觉数据的四个问题。首先，我们探究在TouchScale上训练是否能实现针对训练期间未见过的触觉传感器的零样本视觉到触觉预测。使用相同的预测架构，在规模匹配的16小时TouchScale子集上训练的模型，在EgoTactile上的接触IoU（cIoU）达到了0.181，而在16小时EgoTouch训练集上训练的模型仅为0.134（Zhou等人，2026b）。其次，我们探讨TouchScale上的触觉监督是否能够学习可迁移至触觉预测之外的视觉表征；在三种基准测试中，无论是线性探测还是端到端微调，基于TouchScale预训练得到的动作识别准确率都高于基于其他对比性视觉-触觉数据集预训练的结果。第三，我们询问人类视觉-触觉数据是否能改善机器人策略。以往的研究要么直接将触觉观测用于机器人策略，要么将人类触觉数据与动作监督结合以实现向机器人的迁移（Liu等人，2025；Niu等人，2026；Zhang等人，2026a）；而我们仅利用TouchScale对$N_0$-VTLA（NeoteAI团队与复旦TEAI团队，2026）进行视觉-触觉中期训练，并不将人类手部动作重新映射到机器人上。这种中期训练使
---
| Dataset | Hours | Samples | Vision | Views | Hands | Sensor | Components | Taxes/hand | Coverage | Objects |
| STAG | | | | | | | | | | |
| Sundaram et al. (2019) | NR | 135K frames | - | - | Single | Glove | Normal | 548 | Hand | 26 |
| ActionSense | | | | | | | | | Hand excl. | |
| DelPreto et al. (2022) | 12.97 | NR | RGB-D | H+6Exo | Both | Glove | Normal | 682 | tips | 21 |
| PressureVisionDB | | | | | | | | | | |
| Grady et al. (2022) | 16 | ~3M frames | RGB | 4Exo | Single | Pad | Normal | - | Surface | - |
| ContactLabelDB | | 500K pressure | | | | | | | | |
| Grady et al. (2024) | NR | frames | RGB | Exo | Single | Pad | Normal | - | Tips | - |
| EgoPressure | | | | | | | | | | |
| Zhao et al. (2025) | 5 | 4.3M frames | RGB-D | H+7Exo | Single | Pad | Normal | - | Surface | - |
| OpenTouch | | | | | | | | | | |
| Song et al. (2025) | 5.1 | 2.9K clips | RGB | H | Single | Glove | Normal | 169 | Hand | ~800 types |
| FEEL | | | | | | | | | | |
| Dessalene et al. (2026) | ~27 | 3M frames | RGB | H | Both | Glove | Normal | 6 | Tips+palm | NR |
| EgoTouch | | | | | | | | | | |
| Zhou et al. (2026b) | 20 | 2.1M frames | RGB | H+2W | Both | Glove | Normal | $16 \times 16$ | Palm | 1000+ |
| EgoTactile | | | | | | | | | | |
| Zeng et al. (2026) | 5.82 | 768 clips | RGB | H/neck | Single | Glove | Normal | 162 | Hand | 63 |
| DeskTask-Tac | | | | | | | | | | |
| Zhang et al. (2026a) | 37.2 | ~4M frames | RGB | H+2Exo | Both | Glove | NR | NR | Hand | NR |
| TouchScale | 500 | ~87K episodes | RGB-D | H+2W | Both | Glove | Normal | 880 | Hand | 1.5k+ |
Table 1 Comparison of human tactile and visual-tactile datasets. H, W, and Exo denote head, wrist, and external views, respectively; NR denotes not reported and – denotes not applicable. We report the pressure-labeled subset of ContactLabelDB and the directly recorded human subset of H-Tac as DeskTask-Tac. Among these datasets, TouchScale offers the most recorded hours and the densest glove-based tactile sensing.
四项接触密集型操作任务的平均真实世界成功率从22.5%提升至57.5%。最后，我们探究在传感器和采集协议固定的情况下，这些性能提升是否会随数据规模扩大而增强。将训练数据量从TouchScale的十分之一增加到完整数据集后，EgoTactile上的零样本cIoU从0.311提升至0.383；将中期训练数据量从五分之一增加到完整数据集后，机器人成功率则从30.0%提升至57.5%。综合来看，这些结果表明大规模人类视觉-触觉数据对从感知到机器人控制的具身学习均有益处，且在我们测试的规模范围内，这种益处呈递增趋势。
综上所述，我们的主要贡献如下：
- 我们推出了TouchScale，这是一个包含500小时多样化物理交互内容的人类视觉-触觉数据集，同时配套了一种可扩展的可穿戴采集方案，该方案结合了以人为中心的红绿蓝深度相机、双腕红绿蓝相机以及全手密集触觉手套，我们将公开发布这一数据集。
- 我们对TouchScale从感知到机器人控制的应用效果进行了评估。在TouchScale上训练的模型能零样本迁移到未见过的触觉传感器上；基于TouchScale进行的触觉监督预训练所得到的视觉表征可应用于动作识别。无需进行人机动作对齐，仅将其作为中期训练的监督信号，TouchScale就能将四项接触密集型操作任务的平均真实世界成功率从22.5%提升至57.5%。
- 我们在传感器和采集协议固定的前提下研究数据规模的影响，仅改变训练数据量。随着TouchScale数据量的增加，零样本触觉预测和真实世界操作成功率均呈现整体上升趋势，这表明在以人为中心的视频领域观察到的规模效应同样适用于视觉-触觉学习。
## 2 相关工作
### 2.1 以人为中心的视觉-触觉数据集
大规模以自我为中心的互动数据正逐渐成为具身学习的重要监督来源。现有数据集涵盖了日常活动和操作场景（Damen等人，2022；Grauman等人，2022，2024；Hoque等人，2026；Liu等人，2026；Punamiya等人，2026；TARS Robotics等人，2025；Zhang等人，2026b），近期收集的数据量已超过20,000小时（Zheng等人，2026），但通常缺乏同步的触觉测量数据。EgoPressure、EgoTactile和EgoTouch研究基于以自我为中心视角或多视角视频的压力预测，涵盖手与表面的接触、物体抓取以及双手协同操作等内容（Zhao等人，2025；Zeng等人，2026；Zhou等人，2026b）；而TouchSight则通过配对手套记录数据与生成的裸手视频来推出TwinTouch-20H，这些视频共享所测量的触觉标签（Zhou等人，2026a）。OpenTouch和HT-Bench用于评估触觉表征及跨模态检索能力，其中HT-Bench还研究了掩码触觉建模与视觉到触觉的合成技术（Song等人，2025；Huang等人，2026）；FEEL则致力于探索用于物理交互理解与视觉表征学习的力监督机制（Dessalene等人，2026）。DeskTask-Tac包含了37.2小时的人类视觉-触觉记录（Zhang等人，2026a）。表1对比了各数据集的规模与传感配置。TouchScale通过统一的传感流程收集了500小时的数据，包括以自我为中心的RGB-D视频、手腕RGB视频以及双手触觉测量数据。我们研究了数据规模对跨数据集触觉预测、可迁移视觉表征以及机器人学习的影响。
---
多视角视频可用于研究手与表面的接触、物体抓取及双手协同操作，相关数据集包括Zhao等人（2025）、Zeng等人（2026）以及Zhou等人（2026b）的研究成果；TouchSight则通过配对手套记录数据与生成的裸手视频来推出TwinTouch-20H，这些视频共享所测量的触觉标签（Zhou等人，2026a）。OpenTouch和HT-Bench用于评估触觉表征及跨模态检索能力，其中HT-Bench还研究了掩码触觉建模与视觉到触觉的合成技术（Song等人，2025；Huang等人，2026）；FEEL则致力于探索用于物理交互理解与视觉表征学习的力监督机制（Dessalene等人，2026）。DeskTask-Tac包含了37.2小时的人类视觉-触觉记录（Zhang等人，2026a）。表1对比了各数据集的规模与传感配置。TouchScale通过统一的传感流程收集了500小时的数据，包括以自我为中心的RGB-D视频、手腕RGB视频以及双手触觉测量数据。我们研究了数据规模对跨数据集触觉预测、可迁移视觉表征以及机器人学习的影响。
### 2.2 用于机器人学习的人类视觉-触觉数据
人类视频已被广泛应用于视觉预训练及人机策略学习领域（Nair等人，2023；Ma等人，2023；Kareer等人，2025；Qiu等人，2025；Yang等人，2025）。触觉记录能够提供接触与压力的直接测量结果，但传感器布局与手部几何结构的差异给从人手到机器人的迁移带来了困难。Touch in the Wild利用便携式触觉夹持器收集的人类演示数据来预训练用于后续操作的视觉-触觉表征（Zhu等人，2025）。TactAlign和TTP通过共享触觉表征来研究人机迁移问题：TactAlign负责对齐人类与机器人传感器采集到的观测数据，而TTP则利用未来触觉预测技术在混合的人机交互数据上进行预训练（Wi等人，2026；Zhang等人，2026a）。触觉监督也被应用于策略训练的中期阶段。T-Rex在无需触觉测量数据的大规模人类预训练之后，引入了富含触觉信息的机器人中期训练环节（Niu等人，2026）；而$N_0$-VTLA则在机器人数据上训练未来触觉预测器，随后将其潜在标记与动作专家模型对齐（NeoteAI Team和Fudan TEAI Team，2026）。我们利用TouchScale在不依赖人类动作标签的情况下，基于人类记录数据进行视觉到触觉的中期训练。在人类数据阶段，无需重新定位手部动作或匹配人类与机器人的动作空间。随后我们评估这种监督机制是否能在针对特定机器人的训练之后，提升机器人在实际任务中的成功率。
## 3 TouchScale数据集
TouchScale是一个包含500小时人类视觉-触觉数据的数据集，采用统一的可穿戴传感设备采集而成。每条记录均包含以自我为中心的RGB-D视频、双手手腕RGB视频以及双手触觉测量数据。图2展示了数据采集设置与多模态观测结果，图3则总结了该数据集所涵盖的任务、场景及交互类型。
### 3.1 数据采集设置
TouchScale采用统一的可穿戴设备来采集人类视觉-触觉数据，如图2所示。该设备由一部以身体为中心的RGB-D相机、两台安装在手腕上的RGB相机以及双手触觉手套组成。
以身体为中心及手腕相机。如图2所示，我们选用Orbbec Gemini 345Lg立体RGB-D相机作为以身体为中心的传感器，其RGB分辨率达到$1280 \times 720$，深度分辨率达到$640 \times 480$，两者采样频率均为30 Hz。深度流能够在交互过程中提供来自以身体为中心视角的度量级3D场景几何信息。两台Intel RealSense D405相机被安装在手腕上，RGB分辨率同样为$1280 \times 720$，采样频率为30 Hz。以身体为中心的相机负责捕捉整体交互过程，而手腕相机则能提供手与物体交互的特写视图，当部分接触区域被遮挡时还能补充以身体为中心的视角信息。
触觉手套。如图2所示，我们使用柔性触觉传感手套来记录交互过程中的双手触觉信号。每只手套在五根手指和手掌部位分布有880个传感单元，空间分辨率低于2毫米。这种密集的传感布局能够在操作过程中覆盖整个手部接触区域。手套可记录手部的法向触觉压力。更多硬件规格和传感器布局信息详见附录B。
---
Figure 2 TouchScale data collection. Left: the unified wearable setup used throughout the collection, consisting of a head-mounted RGB-D camera, two wrist-mounted RGB cameras, and bimanual tactile gloves. Right: time-aligned observations from an example interaction, including head RGB-D, bimanual wrist RGB, and bimanual tactile measurements at different stages of the task.
### 3.2 数据采集与任务设计
多样化的日常活动。TouchScale包含约2000条任务描述，涵盖9种高级采集场景以及800多种不同的场景配置，包括实验室、厨房、工作台、办公室、卧室、医疗环境和包装场景等。其中实验室、厨房和工作台相关的活动占采集内容的大部分。这些任务涉及搬运与放置、倾倒与转移、插入与对齐、工具使用、开合、折叠、擦拭、按压以及其他接触频繁的交互行为，既包括单手操作也包括双手协同操作。如图3所示，“放置”是最常见的任务动词，其次是“倾倒”“转移”和“放入”，数据集中还包含了许多其他类型的交互行为。每条任务均以自然语言指令形式呈现，明确说明动作、被操纵的物体以及预期的交互方式或目标状态。必要时，指令还会进一步指定所用工具、目标位置、执行顺序、手部使用情况或完成条件。图3中的典型示例包括：“用双手搅拌玻璃制的锥形瓶”“将水从水壶倒入广口水瓶中”“卷起笔记本电脑充电线并用魔术贴绑带固定”“用胶带封住盒子顶部的接缝”。
多样化的物体、姿态与行为。这500小时的数据采集涵盖了1500多种物体，这些物体在几何形状、材料和物理特性上各不相同。对于同一任务的重复录制，我们会更换物体实例并改变初始配置，包括物体的位置、朝向、相对排列以及场景布局。约有20名参与者参与了数据采集，即便在相同的任务指令下，他们在抓握选择、动作时机、手部协调、接触顺序和运动轨迹上也存在差异。这些差异导致了多次执行过程中手与物体的姿态以及触觉接触模式的不同。图3展示了拧紧螺丝、移液操作和拧干布料时的不同接触分布，而图2则显示了抓取湿布、拧干及释放过程中接触情况的变化。我们还提供了基于以物体为中心的RGB图像重建的3D物体模型，相关流程在附录F中有说明。
---
Figure 3 Task and interaction diversity in TouchScale. Left: representative tasks across different collection settings. Right: task-description verb frequencies, example task instructions, the collection-setting composition of the 500-hour dataset, and representative tactile contact patterns.
数据质量的后期处理。如图10所示，我们采用自动化的质量控制流程，将触觉记录与手腕视角观测结果进行交叉验证。对于每只手，Gemini 3.7 Flash（Google DeepMind，2026）会先从手腕视频中识别出抓取区间、释放事件、视觉上可确认的接触手指以及无接触时段，且这一过程并不依赖触觉测量数据。这种“盲视觉”处理方式为评估触觉信号提供了独立的参照标准。我们会剔除存在明显传感器故障的记录，包括在视觉确认有交互的情况下出现整手信号丢失，以及高置信度的多手指持续信号故障。若个别手指未作出响应，则会将其送去人工审核，因为手指层面的接触情况在视觉上可能难以判断；如果某只手指在特定抓取过程中保持沉默，但只要在该片段的其他时刻有响应，就不被视为故障。我们会单独筛查无接触时段中是否存在持续的触觉活动，并通过第二次视觉检查来区分传感器噪声与未被观测到的物理接触。更多细节详见附录C。
## 4 实验
我们通过三种实验设置来探讨上述四个问题。首先，我们在EgoTactile数据集上评估跨数据集的零样本触觉预测能力，并分析性能随TouchScale训练数据量的变化情况。其次，我们评估在TouchScale上进行的触觉监督预训练是否能学到可迁移的视觉表征，这一评估涵盖三个下游动作识别基准测试，分别采用线性探测和端到端微调两种方式。最后，我们评估TouchScale作为无动作视觉-触觉中期训练数据对$\mathcal{N}_0$-VTLA模型在四类真实世界高接触性操控任务中的表现，并进一步研究机器人成功率和未来触觉预测能力随TouchScale中期训练数据量的变化情况。
### 4.1 触觉预测
我们评估触觉预测的零样本迁移能力。我们首先在完整的EgoTouch训练集（16.2小时）以及规模匹配的TouchScale子集（约16小时）上训练同一款TouchAnything模型（Zhou等人，2026b），随后直接在这两类模型上针对EgoTactile数据集（Zeng等人，2026）进行评估，无需任何后续训练。对于EgoTouch数据集而言，
---
Table 2 Tactile prediction. We compare models trained on EgoTouch and TouchScale under zero-shot transfer to EgoTactile and in-distribution evaluation on each source dataset's unseen split. Zero-shot metrics are averaged over 12 anatomical hand regions.
| Evaluation | Training data | cIoU $\uparrow$ | vIoU $\uparrow$ | CoP Loc. $\downarrow$ | Press. Mag. $\downarrow$ |
| Zero-shot (EgoTactile) | EgoTouch | 0.134 | 0.185 | 0.444 | 0.184 |
| TouchScale | 0.181 | 0.243 | 0.416 | 0.148 |
| Unseen split | EgoTouch | 0.403 | 0.302 | 0.272 | 0.095 |
| TouchScale | 0.422 | 0.299 | 0.261 | 0.061 |
Figure 4 Scaling of zero-shot tactile prediction. Increasing TouchScale training data generally improves zero-shot performance on EgoTactile across contact, localization, and pressure metrics.
我们使用已发布的WiLoR姿态估计结果（Potamias等人，2025）；对于TouchScale数据集，我们则通过自动检测的手部区域来获取WiLoR姿态信息。真实压力值会根据每个序列中的最大压力进行归一化处理，具体参照[^0] [^1]。训练过程中，各数据集均保留其原有的触觉布局。由于不同传感器的空间布局和感应密度存在差异，我们为了评估方便，会将触觉预测结果映射到一组共12个解剖学手部区域上。
我们报告四项区域级指标：接触交并比（cIoU）、体积交并比（vIoU）、压力中心定位误差（CoP Loc.）以及区域压力幅度误差（Press. Mag.）。这些指标分别用于衡量区域接触的一致性、压力重叠程度、压力定位精度以及压力强度。解剖学映射关系和完整的指标定义详见附录A。
表2显示，与基于EgoTouch训练的基线模型相比，基于TouchScale训练的模型将零样本cIoU从0.134提升至0.181，vIoU从0.185提升至0.243，相对增益分别达到35.1%和31.4%；同时，CoP定位误差从0.444降至0.416，区域压力幅度误差从0.184降至0.148。总体而言，TouchScale在未见过的触觉硬件上的接触预测与空间压力估计能力更优。在每个源数据集的未见测试集上，TouchScale同样取得了更高的cIoU（0.422 vs. 0.403）、更低的CoP定位误差（0.261 vs. 0.272）以及更低的压力幅度误差（0.061 vs. 0.095），而vIoU则保持相近水平（0.299 vs. 0.302）。
数据规模扩展。我们在固定模型与EgoTactile评估协议的前提下，研究了TouchScale数据规模对零样本触觉预测的影响。如图4所示，将训练规模从10%提升至100%后，cIoU从0.311提升至0.383，vIoU从0.252提升至0.276；同时，CoP定位误差从0.332降至0.317，区域压力幅度误差从0.108降至0.105。总体而言，这四项指标均呈现出良好的扩展趋势，表明更大的TouchScale训练集能够提升在EgoTactile上的零样本触觉预测性能。
### 4.2 视觉表征学习
接下来我们评估从TouchScale学到的视觉表征的可迁移性。我们使用相同的触觉预测目标，分别在TouchScale、OpenTouch（Song等人，2025）、FEEL（Dessalene等人，2026）以及EgoTouch（Zhou等人，2026b）数据集上预训练HierB（Ryali等人，2023）。所有编码器均采用相同的预训练Hiera-B检查点初始化，
---
Table 3 Downstream action recognition. TouchScale achieves the highest average accuracy under both linear probing and end-to-end fine-tuning. FT denotes end-to-end fine-tuning.
| Pretraining Data | MECCANO | SSv2 | Ego-Exo4D | Avg. |
| Linear | FT | Linear | FT | Linear | FT | Linear | FT |
| OpenTouch | 28.76 | 42.07 | 20.39 | 62.82 | 19.76 | 39.94 | 22.97 | 48.28 |
| FEEL | 17.71 | 21.60 | 1.51 | 12.90 | 4.32 | 5.37 | 7.85 | 13.29 |
| EgoTouch | 20.16 | 24.16 | 1.74 | 29.87 | 5.06 | 11.22 | 8.99 | 21.75 |
| TouchScale | 28.97 | 43.71 | 22.82 | 63.27 | 21.55 | 41.89 | 24.45 | 49.62 |
并采用相同的优化策略与训练预算进行训练。我们在MECCANO（Ragusa等人，2021）、Something-Something V2（SSv2）（Goyal等人，2017）以及Ego-Exo4D（Grauman等人，2024）数据集上，通过线性探测与端到端微调两种方式对得到的编码器进行评估。表3显示，在两种评估设置下，TouchScale在这三个下游基准测试中的准确率均最高。其平均线性探测准确率为24.45%，平均微调准确率为49.62%，表现优于现有的视觉-触觉预训练数据集。这些结果表明，TouchScale能学到更具可迁移性的视觉表征，以用于下游动作识别任务。
### 4.3 向机器人操控任务的迁移
我们以$\mathcal{N}_{0}$-VTLA（NeoteAI团队与复旦TEAI团队，2026）为基础构建模型，这是一种面向接触密集型操控任务的视觉-触觉-语言-动作策略，能够利用视觉观测、语言指令、机器人状态及触觉输入来预测机器人动作。给定当前的触觉观测与视觉-语言上下文，$\mathcal{N}_{0}$-VTLA会预测代表未来动作片段中预期触觉变化的潜在触觉标记，并以这些标记为条件来指导动作专家进行动作预测。在第1阶段，这些潜在触觉标记针对通过编码同一时间范围内的触觉变化得到的未来触觉目标进行训练。我们沿用第1阶段的未来触觉预测框架，同时将训练流程适配为基于TouchScale的方案，再开展机器人后续训练，并将这一阶段称为TouchScale中期训练。详细内容见附录E.2。
TouchScale中期训练与机器人后期训练。这两种变体均基于官方发布的$N_{0}$-VTLA检查点开始训练。TouchScale变体会先进行TouchScale中期训练，随后基于我们的机器人演示数据进行后期训练。基线模型则跳过TouchScale中期训练，直接采用相同流程基于同样的机器人演示数据进行后期训练。因此，这两种变体的唯一区别在于是否在机器人后期训练前执行TouchScale中期训练。
机器人设置与任务。我们的真实世界设置如图5所示。我们采用了配备BrainCo Revo 2机械手的xArm6机械臂、安装在机械手上的触觉传感手套、外部RGB-D相机以及腕部相机。我们通过人类遥操作方式，利用VR头盔、一对追踪器和动作捕捉手套，为每个任务收集50组演示数据。我们评估了四类具有不同交互需求的接触密集型操控任务。在软/硬物体分类任务中，机器人通过物理交互识别软物体并将其放置到目标位置；在瓶盖拆卸任务中，机器人拾取瓶盖并将其放入目标容器；在试管转移任务中，机器人拾取试管并将其转移到目标位置；在白板擦拭任务中，机器人用布擦拭白板上的标记区域，同时保持与表面的持续接触。评估时，我们会改变每次试验中物体和目标的初始配置，并报告任务成功率。两种模型变体均采用相同的评估流程。
TouchScale中期训练的效果。表4对比了有无TouchScale中期训练的$N_0$-VTLA模型。TouchScale中期训练提升了所有四类真实世界接触密集型操控任务的成功率，平均成功率从22.5%提升至57.5%，绝对增幅达35个百分点。其中提升最显著的是软/硬物体分类任务，成功率从10%升至60%；瓶盖拆卸任务成功率从40%提升至70%，试管转移任务从30%提升至60%，白板擦拭任务从10%提升至40%。这些
---
Figure 5 Real-world robot setup and manipulation tasks. Left: the xArm6 platform with a BrainCo Revo 2 robotic hand, tactile sensing, and an external RGB-D camera and a wrist camera, together with the teleoperation setup used to collect robot demonstrations. Right: four contact-rich manipulation tasks covering material-dependent sorting, small-object manipulation, precise transfer, and sustained surface contact. We collect 50 teleoperated demonstrations for each task.
Table 4 Real-world robot manipulation. TouchScale mid-training improves success across all four tasks. Both variants start from the same $\mathcal{N}_0$-VTLA checkpoint and use the same 50 robot demonstrations per task for robot post-training. Each task is evaluated over 20 trials.
| Mid-training | Soft/Hard Sorting | Bottle-Cap Removal | Test-Tube Transfer | Whiteboard Wipe | Avg. |
| No | 10% | 40% | 30% | 10% | 22.5% |
| Yes | 60% | 70% | 60% | 40% | 57.5% |
一致的提升涵盖了材料辨别、小物体操控、精准转移以及持续接触操控等多个领域，表明TouchScale中期训练的好处可应用于不同形式的物理交互场景。总体而言，这些结果证明TouchScale中期训练能显著改善真实世界中的接触密集型机器人操控能力。
TouchScale数据规模对机器人策略的影响。接下来我们研究中期训练中所用的TouchScale数据量对策略性能的影响。针对每种数据规模，我们均先进行TouchScale中期训练，随后采用相同流程基于同样的机器人演示数据对策略进行后期训练。如图6（左）所示，无TouchScale中期训练时，四类真实世界任务的平均成功率为22.5%；当分别使用20%、40%、60%、80%和100%的TouchScale数据时，平均成功率分别达到30.0%、32.5%、50.0%、50.0%和57.5%。结果表明整体呈现正向的规模效应，即越多的人类视觉-触觉中期训练数据越能带来更强的后续机器人性能。
利用TouchScale扩展触觉世界建模能力。我们研究了TouchScale数据规模对中期训练中触觉世界建模的影响。模型会根据当前的触觉观测和视觉-语言上下文，预测代表未来时段预期触觉变化的潜在触觉标记。我们在TouchScale中期训练期间未见过、且机器人后期训练前的机器人数据上评估这些预测结果。如图6（右）所示，当使用20%的TouchScale数据时，未来触觉预测准确率仅为2.87%
---
Figure 6 Scaling of TouchScale mid-training. Left: average post-training success rate across four real-world manipulation tasks with different amounts of TouchScale mid-training data. Right: future-tactile prediction accuracy on robot data unseen during TouchScale mid-training.
使用完整数据集时，误差率降至3.31%，而未进行TouchScale中期训练时误差率为0.18%。这些结果表明，TouchScale中期训练能够提升基于机器人观测数据的未来触觉预测能力；而将人类视觉-触觉数据量从20%增加到100%所带来的提升则较为有限。详细内容见附录D。
触觉与动作的相关性。我们进一步研究了在机器人数据上完成后续训练后，未来触觉预测与动作预测之间的关系。在保留的机器人数据上，我们计算了各时间步的未来触觉预测误差与动作预测误差之间的皮尔逊相关系数。采用TouchScale中期训练时，这两种误差呈现微弱的正相关关系（r = 0.119，p = 0.020）；而基线模型则几乎不存在相关性（r = 0.003，p = 0.953）。这一结果表明，中期训练后未来触觉预测与下游动作预测之间存在有限但可察觉的关联。
## 5 结论与局限性
我们推出了TouchScale——一个包含500小时数据、通过统一的传感与同步流程采集的人类视觉-触觉数据集。基于TouchScale的训练能够提升零样本触觉预测能力以及用于下游动作识别的视觉表征学习能力；而利用TouchScale进行中期训练则对现实世界的机器人操控有益。扩展实验结果表明，随着TouchScale数据量的增加，整体性能呈正向发展趋势，这凸显了大规模人类视觉-触觉数据在具身学习中的价值。综合来看，这些结果验证了同步的人类视觉与触觉信息作为感知与机器人控制领域的高效监督信号。目前我们的机器人评估仅局限于单一平台和四项操控任务，且TouchScale数据集并未包含动作标签。未来还需在更多机器人形态及接触密集型任务中开展更广泛的评估。此外，我们发现未来触觉预测误差与动作预测误差之间仅存在微弱关联，未来触觉预测在机器人控制中的作用仍是一个待解之谜。
---
## 参考文献
Dima Damen、Hazel Doughty、Giovanni Maria Farinella、Antonino Furnari、Evangelos Kazakos、Jian Ma、Davide Moltisanti、Jonathan Munro、Toby Perrett、Will Price和Michael Wray。Rescaling egocentric vision: Collection, pipeline and challenges for EPIC-KITCHENS-100。《国际计算机视觉杂志》，第130卷第1期：33–55页，2022年。doi: 10.1007/s11263-021-01531-2。
Joseph DelPreto、Chao Liu、Yiyue Luo、Michael Foshey、Yunzhu Li、Antonio Torralba、Wojciech Matusik和Daniela Rus。ActionSense：一个用于在厨房环境中利用可穿戴传感器采集人类活动数据的多模态数据集及记录框架。收录于神经信息处理系统会议（NeurIPS）数据集与基准测试专题，2022年。。
Eadom Dessalene、Botao He、Michael Maynord、Yonatan Tussa、Pavan Mantripragada、Yianni Karabati、Nirupam Roy和Yiannis Aloimonos。FEEL（力增强型第一人称学习）：一个用于理解物理动作的数据集。arXiv预印本arXiv:2603.15847，2026年。
Google DeepMind。Gemini 3.7 flash：模型说明文档。Google DeepMind模型说明文档，2026年8月。。发布于2026年8月13日。
Raghav Goyal、Samira Ebrahimi Kahou、Vincent Michalski、Joanna Materzynska、Susanne Westphal、Heuna Kim、Valentin Haenel、Ingo Fruend、Peter Yianilos、Moritz Mueller-Freitag等。“something something”视频数据库：用于学习与评估视觉常识。收录于ICCV会议，2017年。
Patrick Grady、唐成成、Samarth Brahmbhatt、Christopher D. Twigg、万成德、James Hays和Charles C. Kemp。PressureVision：从单张RGB图像估计手部压力。载于2022年欧洲计算机视觉会议（ECCV）。。
Patrick Grady、Jeremy A. Collins、唐成成、Christopher D. Twigg、Kunal Aneja、James Hays和Charles C. Kemp。PressureVision++：从各类RGB图像估计指尖压力。载于2024年IEEE/CVF计算机视觉应用冬季会议论文集，第8698–8708页。。
Kristen Grauman、Andrew Westbury、Eugene Byrne等。Ego4d：基于3000小时自我中心视频的全球场景记录。载于2022年IEEE/CVF计算机视觉与模式识别会议论文集，第18995–19012页。
Kristen Grauman、Andrew Westbury、Lorenzo Torresani等。Ego-exo4d：从第一人称和第三人称视角理解熟练人类活动。载于2024年IEEE/CVF计算机视觉与模式识别会议论文集，第19383–19400页。
Ryan Hoque、Peide Huang、David J. Yoon、Mouli Sivapurapu和Jian Zhang。Egodex：从大规模自我中心视频中学习灵巧操作。载于2026年第十四届学习表征国际会议。
黄炳豪、王一轩、杨欣怡、罗依月、李云柱。3D-ViTac：利用视觉触觉传感学习细粒度操作。载于2025年第8届机器人学习会议论文集，机器学习研究论文集第270卷，第2557–2578页。PMLR出版社。
黄宇哲、吴佳平、蒋嘉明、林赫哲、艾克拜尔·艾尔肯、王云龙、程坤、焦子源、钟元鑫。HT-Bench：结合自我中心视觉对灵巧全手触觉表征进行基准测试与学习。arXiv预印本arXiv:2606.19161，2026年。
Simar Kareer、Dhruv Patel、Ryan Punamiya、Pranay Mathur、Shuo Cheng、陈晨、Judy Hoffman和Danfei Xu。Egomimic：通过自我中心视频扩展模仿学习。载于2025年IEEE国际机器人与自动化会议，第13226–13233页，2025年。doi: 10.1109/ICRA55743.2025.11127989。
刘卢林、李大友、梁一清、蒋思聪、Hitesh Vijay、胡赫真、徐旭海、刘子睿、Srinivas Shakkottai、Manling Li和范志文。EgoTL：用于长 horizon 任务的自我中心思考链。arXiv预印本arXiv:2604.09535，2026年。
刘庆涛、崔宇、孙正楠、李高锋、陈继明和叶奇。Vtdexmanip：用于视觉触觉预训练及强化学习下的灵巧操作的数据集与基准测试。载于2025年第十三届学习表征国际会议。
---
Yecheng Jason Ma、Shagun Sodhani、Dinesh Jayaraman、Osbert Bastani、Vikash Kumar和Amy Zhang。VIP：通过价值隐式预训练实现通用的视觉奖励与表征。载于2023年学习表征国际会议（ICLR）。
Suraj Nair、Aravind Rajeswaran、Vikash Kumar、Chelsea Finn和Abhinav Gupta。R3M：一种用于机器人操作的通用视觉表征。载于2023年第6届机器人学习会议论文集，机器学习研究论文集第205卷，第892–909页。PMLR出版社。
NeoteAI团队和复旦TEAI团队。N0-VTLA：利用潜在触觉标记扩展视觉-触觉-语言-动作模型。arXiv预印本arXiv:2607.23782，2026年。
牛丹彤、刘卓阳、王泽凯、邵博宁、尹兆恒、Anirudh Pai、Yuvan Sharma、Stefano Saravalle、郑瑞杰、王静、Ryan Punamiya、徐梦达、谢雨琪、蒋云帆、付乐天、Konstantinos Kallidromitis、Matteo Gioia、张俊毅、葛佳欣、冯海文、Fabio Galasso、詹伟、David M. Chan、白宇彤、Roei Herzig、雷佳辉、李飞菲、Ken Goldberg、Jitendra Malik、Pieter Abbeel、朱玉科、许丹飞、范吉姆以及Trevor Darrell。T-Rex：触觉响应式灵巧操控。arXiv预印本arXiv:2606.17055，2026年。
Rolandos Alexandros Potamias、张静蕾、邓建康以及Stefanos Zafeiriou。WiLoR：野外环境下的端到端三维手部定位与重建。收录于2025年IEEE/CVF计算机视觉与模式识别会议（CVPR），第12242–12254页。IEEE出版社，2025年。
Ryan Punamiya、Simar Kareer、刘泽毅、Josh Citron、邱日昭、蔡雄毅、Alexey Gavryushin、陈嘉琪、Davide Liconti、Lawrence Y. Zhu、Patcharapong Aphiwetsa、李宝宇、Aniketh Cheluva、Pranav Kuppili、刘阳岑、Dhruv Patel、Aidan Gao、钟惠英、Ryan Co、Renee Zbizika等。EgoVerse：一个来自世界各地的机器人学习用中心视角人类数据集。收录于机器人科学与系统会议论文集，2026年。
邱日昭、杨诗琪、程旭欣、Chaitanya Chawla、李佳龙、何泰然、颜歌、David J. Yoon、Ryan Hoque、Lars Paulsen、杨歌、张健、施莎、史冠亚以及王晓龙。人形机器人策略$\sim$人类策略。收录于第九届机器人学习会议论文集，机器学习研究论文集第305卷，第2888–2906页。PMLR出版社，2025年。
Francesco Ragusa、Antonino Furnari、Salvatore Livatino以及Giovanni Maria Farinella。Meccano数据集：在工业类场景中从中心视角视频理解人与物体的交互。收录于WACV会议，2021年。
Chaitanya Ryali、胡元廷、Daniel Bolya、陈伟、Haoqi Fan、黄普耀、Vaibhav Aggarwal、Arkabandhu Chowdhury、Omid Poursaeed、Judy Hoffman、Jitendra Malik、Yanghao Li以及Christoph Feichtenhofer。Hiera：一种无需多余组件的层次化视觉Transformer。收录于第40届国际机器学习会议论文集，机器学习研究论文集第202卷，第29441–29454页。PMLR出版社，2023年。
宋宇欣·雷、李金洲、傅饶、Devin Murphy、周凯辰、Rishi Shiv、李雅琪、熊浩宇、Crystal Elaine Owens、杜一伦、罗一悦、程先毅、Antonio Torralba、Wojciech Matusik以及梁保罗。OPENTOUCH：将全手触觉技术应用于现实世界交互。arXiv预印本arXiv:2512.16842，2025年。
Subramanian Sundaram、Petr Kellnhofer、李云竹、朱俊彦、Antonio Torralba以及Wojciech Matusik。利用可扩展触觉手套学习人类抓握的特征。《自然》杂志，569卷（7758期）：698–702页，2019年。doi:10.1038/s41586-019-1234-z。。
TARS Robotics团队、郑宇航、彭继超、李伟泽、郑宇鹏、李翔、金宇杰、魏巨龙、张冠华、郑瑞玲、曹明、顾松恩、邹振宏、李凯歌、吴柯、杨明敏、刘佳豪、李鹏飞、司恒杰、朱飞宇、付王、王立坤、姚瑞文、赵杰如、陈一伦以及丁文超。World in your hands：一个用于野外环境下以人为中心的操控学习的大规模开源生态系统。arXiv预印本arXiv:2512.24310，2025年。
Youngsun Wi、Jessica Yin、Elvis Xiang、Akash Sharma、Jitendra Malik、Mustafa Mukadam、Nima Fazeli以及Tess Hellebreakers。TactAlign：通过触觉对齐实现从人类到机器人的策略迁移。收录于2026年7月在澳大利亚悉尼举办的机器人科学与系统会议论文集。doi: 10.15607/RSS.2026.XXII.006。
杨瑞涵、余沁希、吴叶成、闫瑞、李博瑞、程安杰、邹雪燕、方云浩、程旭欣、邱日昭、尹宏旭、刘思飞、韩松、卢瑶、王小龙。EgoVLA：从以自我为中心的视频中学习视觉-语言-动作模型。arXiv预印本arXiv:2507.12440，2025年。
尹兆恒、黄秉豪、秦宇哲、陈启峰、王小龙。无需视觉的旋转：通过触觉实现手部灵巧操作。收录于《机器人：科学与系统会议论文集》，韩国大邱，2023年7月。doi: 10.15607/RSS.2023.XIX.036。
---
于凯林、韩云海、王启贤、萨克斯纳·瓦伊巴夫、徐丹飞、赵烨。Mimictouch：利用多模态人类触觉演示实现高接触性操控。收录于《第八届机器人学习会议论文集》，机器学习研究论文集第270卷，第4844–4865页。PMLR出版社，2025年。
袁颖、车海川、秦宇哲、黄秉豪、尹兆恒、李康元、吴毅、林秀哲、王小龙。机器人联觉：结合视觉与触觉感知的手部操控。收录于2024年IEEE国际机器人与自动化会议（ICRA），第6558–6565页，2024年。doi: 10.1109/ICRA57147.2024.10610532。
曾元、施玉佳、谭涛、李星婷、秦雅琪、陆宗庆、杨文明、薛景豪、廖庆敏。Egotactile：从以自我为中心的视频中学习日常物体的抓取压力。收录于2026年国际机器学习会议。
张驰、蔡鹏林、习子恒、袁浩奇、罗浩、张万鹏、郑思鹏、徐超逸、陆宗庆。面向灵巧机器人操控的人体中心可迁移触觉预训练。arXiv预印本arXiv:2607.01067，2026a年。
张文康、袁承博、张子诚、程正学、高阳。EgoTac：从以自我为中心的视觉中预测真实场景下的触觉信息。arXiv预印本arXiv:2608.15060，2026b年。
赵一鸣、权泰仁、斯特雷利·保罗、波莱费斯·马克、霍尔兹·克里斯蒂安。EgoPressure：一个用于以自我为中心视觉中手部压力与姿态估计的数据集。收录于IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集，第27727–27738页，2025年。doi: 10.1109/CVPR52734.2025.02582。
郑瑞杰、牛丹彤、谢雨琪、王静、徐梦达、蒋云帆、卡斯塔涅达·费尔南多、胡丰远、陈耀良、付乐天、达雷尔·特雷弗、黄富荣、朱宇科、徐丹飞、范林熙。EgoScale：利用多样化的以自我为中心的人类数据扩展灵巧操控能力。arXiv预印本arXiv:2602.16710，2026年。
周丹燕、卢金轩、林佳伟、陈天行、吕楚乔、丁文博。TouchSight：通过生成式视觉增强从以自我为中心的视频中预测裸手触觉信息。arXiv预印本arXiv:2609.20414，2026a年。
周建毅、高子腾、洪飞洋、刘子睿、张冠楠、戴伟生、甄瑞辰、吕楚乔、吴浩天、毛一宁、王旭世、蒋宇翔、丁文博、杨硕。Touchanything：一个用于从以自我为中心的视频中进行双手触觉估计的数据集与框架。arXiv预印本arXiv:2605.13083，2026b年。
朱 Lawrence Y.、库皮利·普拉纳夫、普纳米亚·瑞安、阿菲韦萨·帕恰拉蓬、帕特尔·德鲁夫、卡雷尔·西马尔、哈·世勋、徐丹飞。EMMA：利用以自我为中心的人类数据扩展移动操控能力。《IEEE机器人与自动化快报》，第11卷第3期：3087–3094页，2026年。
朱欣悦、黄秉豪、李云珠。Touch in the wild：利用便携式视觉-触觉夹爪学习精细操控技术。arXiv预印本arXiv:2507.15062，2025年。
---
## 附录
## 一种触觉预测评估协议
### A.1 跨传感器的解剖结构映射
1. TouchScale、Ego1Touch和Ego1actile使用具有不同固有布局和传感密度的触觉传感器。在进行跨数据集评估时，我们将TouchScale表示为包含880个有效单元的$32 \times 44$手形网格，将EgoTouch表示为其固有的包含217个有效单元的$21 \times 21$手形网格，将EgoTactile表示为包含137个有效单元的$17 \times 19$手形网格。因此，直接在这些处理后的布局上进行触点级比较并无明确意义。
为了进行跨数据集评估，我们将这三种触觉布局映射到同一组共12个手部解剖区域中。设
$$ \begin{aligned}\mathcal{F}&=\{thumb,index,middle,ring,pinky\},\\\Omega&=\left\{f^{tip},f^{mid/base}\mid f\in\mathcal{F}\right\}\\&\cup\{palm,thumb-base\},\quad|\Omega|=12.\end{aligned} $$
这个共享空间包含五个指尖区域、五个手指中部/基部区域、手掌以及拇指基部。
对于含有$N_{d}$个有效固有触点的数据集d，我们定义一个针对该数据集的特定查找表。
$$ q_{d}:\{1,\ldots,N_{d}\}\to\Omega\cup\{\varnothing\}, $$
其中，$q_{d}(m)$表示与固有触点m相关联的解剖区域，而$\varnothing$则表示排除在评估之外的触点。相应的二进制赋值矩阵为：
$$ {\bf M}^{(d)}\in\{0,1\}^{12\times N_{d}},\qquad M_{r,m}^{(d)}=\mathbb{I}[q_{d}(m)=r]. $$
该查找表是根据固有触觉手套布局中每个传感触点的解剖位置构建的。当手指中部和基部的触点在固有传感器定义中被单独表示时，它们会被合并到对应的中部/基部区域中；指尖、手掌和拇指基部的触点则保留其解剖学身份。在应用映射前，左右手布局会以相同的以手为中心的方向进行表示。图7展示了针对各数据集的赋值情况以及由此产生的共享解剖空间。
重要的是，这种映射并不会调整或插值固有触觉网格的大小。在训练过程中，每个数据集都保留其固有的触觉表示形式，而解剖结构聚合仅用于跨数据集评估。同样的映射规则也应用于预测结果和真实标签。
设$p_{t,m}$和$\hat{p}_{t,m}$分别表示在固有触点m和时间t处的归一化真实压力和预测压力。真实压力会按照每个序列内的最大压力值归一化为$[0,1]$，而模型预测结果本身已被限定在$[0,1]$范围内。为表述清晰，在后续定义中我们省略了$\mathbf{M}$上的数据集上标。
### A.2 区域级触觉表示
利用上述解剖结构赋值方式，我们将每个固有触觉图聚合为区域级量值，这些量值不受各区域内传感触点数量的影响。
区域r的接触状态定义为：
$$ c_{t,r}(p)=\mathbb{I}\left[\frac{\sum_{m}M_{r,m}\mathbb{I}[p_{t,m}>\tau]}{\sum_{m}M_{r,m}}>\rho\right],\qquad\tau=0.1,\quad\rho=0.2, $$
其中，$\tau = 0.1$是应用于归一化压力的触点级接触阈值，$\rho = 0.2$是区域被视为处于接触状态所需的最低活跃触点比例。对于真实标签而言，$\tau = 0.1$对应每个序列最大压力的10%。采用活跃触点的比例而非绝对数量，可以减少不同数据集间传感密度差异所带来的影响。
---
Figure 7 Cross-sensor anatomical mapping. Dataset-specific anatomical assignments pool the TouchScale, EgoTouch, and EgoTactile tactile layouts into the same 12 anatomical regions for cross-dataset evaluation.
将其调整为每条序列最大压力的10%。采用活跃触觉像素的比例而非绝对数量，能够降低不同数据集间传感密度差异所产生的影响。
区域r内的平均压力为：
$$ \mu_{t,r}(p)=\frac{\sum_{m}M_{r,m}p_{t,m}}{\sum_{m}M_{r,m}}. $$
我们将区域压力中心（CoP）计算为：
$$ \mathbf{g}_{t,r}(p)=\frac{\sum_{m}M_{r,m}p_{t,m}\mathbf{x}_{m}}{\sum_{m}M_{r,m}p_{t,m}+\epsilon}, $$
其中，$\mathbf{x}_m \in [0,1]^2$表示在共享的以手为中心的坐标系中固有触点m的归一化空间坐标，$\epsilon$是为了保证数值稳定性而引入的一个小常数。
区域压力大小定义为
$$ s_{t,r}(p)=\frac{\sum_{m}M_{r,m}p_{t,m}^{2}}{\sum_{m}M_{r,m}p_{t,m}+\epsilon}. $$
总区域压力仅用于筛选哪些区域-时间对需要计算压力中心指标，其定义为
$$ S_{t,r}(p)=\sum_{m}M_{r,m}p_{t,m}. $$
当预测网格和真实网格在时间t下对区域r都至少贡献一个有效的触觉单元时，我们称该区域-时间对$(t,r)$为可评估的，记作$(t,r) \in \mathcal{E}$。在单手EgoTactile数据集上的评估中，每一对区域-时间都是可评估的。只有当数据集特定的布局在该区域内没有触觉单元时，这一限制才会生效。相同的区域级量值也是根据预测压力$\hat{p}$计算得出的。
### A.3 评估指标
我们使用四个区域级指标来评估触觉预测性能。每个指标先针对序列中的各帧进行计算，再对N个测试序列取宏平均。我们用$\langle\cdot\rangle_{\text{seq}}$来表示这种逐序列的宏平均值。在一个序列内，仅对分母非空的区域取平均值，各指标对应的分母定义详见下文。
---
接触交并比。我们计算每个解剖区域随时间的接触交并比，再对各区域的结果取平均：
$$ \mathrm{c I o U}=\left\langle\frac{1}{|\mathcal{R}^{c}|}\sum_{r\in\mathcal{R}^{c}}\frac{\sum_{t:(t,r)\in\mathcal{E}}c_{t,r}(\hat{p})\;c_{t,r}(p)}{\sum_{t:(t,r)\in\mathcal{E}}\mathbb{I}[c_{t,r}(\hat{p})+c_{t,r}(p)>0]+\epsilon}\right\rangle_{\mathrm{s e q}}, $$
其中平均值是对至少在一个可评估帧中有接触的区域求取的。
$$ \begin{array}{r}{\mathcal{R}^{\mathrm{c}}=\Big\{r:\sum_{t:(t,r)\in\mathcal{E}}\mathbb{I}[c_{t,r}(\hat{p})+c_{t,r}(p)>0]>0\Big\}.}\end{array} $$
体积交并比。体积交并比（vIoU）衡量随时间变化的预测区域压力与真实区域压力的重叠程度：
$$ \mathrm{v I o U}=\left\langle\frac{1}{|\mathcal{R}^{\mathrm{v}}|}\sum_{r\in\mathcal{R}^{\mathrm{v}}}\frac{\sum_{t:(t,r)\in\mathcal{E}}\min\left(\mu_{t,r}(\hat{p}),\mu_{t,r}(p)\right)}{\sum_{t:(t,r)\in\mathcal{E}}\max\left(\mu_{t,r}(\hat{p}),\mu_{t,r}(p)\right)+\epsilon}\right\rangle_{\mathrm{s e q}}, $$
其中平均值是对具有非零聚合压力的区域求取的，
$$ \begin{array}{r}{\mathcal{R}^{\mathrm{v}}=\Big\{r:\sum_{t:(t,r)\in\mathcal{E}}\operatorname*{m a x}\big(\mu_{t,r}(\hat{p}),\mu_{t,r}(p)\big)>0\Big\}.}\end{array} $$
压力中心定位误差。只有预测或真实区域压力非零的区域，其压力中心才有意义。对于区域r，设
$$ \mathcal{A}_{r}=\left\{t:(t,r)\in\mathcal{E}\mathrm{a n d}\left(S_{t,r}(\hat{p})>\tau\mathrm{o r}S_{t,r}(p)>\tau\right)\right\} $$
表示预测或真实的总区域压力$S_{t,r}$超过阈值$\tau$的帧，设
$$ \mathcal{R}^{\mathcal{A}}=\left\{r:\mathcal{A}_{r}\neq\varnothing\right\} $$
表示至少在一个此类帧中被评估的区域。压力中心定位误差为
$$ \begin{array}{r l}&{E_{\mathrm{C o P}}=\left\langle\frac{1}{\left|\mathcal{R}^{\mathcal{A}}\right|}\displaystyle\sum_{r\in\mathcal{R}^{\mathcal{A}}}\frac{1}{\left|\mathcal{A}_{r}\right|}\displaystyle\sum_{t\in\mathcal{A}_{r}}\left\|\widehat{g}_{t,r}-g_{t,r}\right\|_{2}\right\rangle_{\mathrm{s e q}}.}\end{array} $$
区域压力大小误差。在相同的区域-时间集合$\mathcal{A}_{r}$和区域$\mathcal{R}^{A}$上，区域压力大小误差衡量预测区域压力与真实区域压力之间的绝对差异：
$$ \begin{array}{r}{E_{\mathrm{m a g}}=\left\langle\frac{1}{|\mathcal{R}^{\mathcal{A}}|}\displaystyle\sum_{r\in\mathcal{R}^{\mathcal{A}}}\frac{1}{|\mathcal{A}_{r}|}\displaystyle\sum_{t\in\mathcal{A}_{r}}\left|s_{t,r}(\widehat{p})-s_{t,r}(p)\right|\right\rangle_{\mathrm{s e q}}.}\end{array} $$
这四项指标分别对应主论文中的cIoU、vIoU、CoP Loc.和Press. Mag.。cIoU和vIoU数值越高代表性能越好，而CoP Loc.和Press. Mag.数值越低代表性能越好。
### A.4 触觉预测的定性结果
图8展示了在TouchScale数据集上训练的模型所生成的代表性触觉预测结果。在各类接触丰富的交互场景中，预测结果能够还原出双手上的主要接触区域，且与真实压力的空间分布高度吻合。该模型既能捕捉到指尖处的稀疏接触，也能捕捉到大范围的多区域接触模式，在不同物体和交互模式下均表现出稳定的触觉预测能力。
---
Figure 8 Qualitative tactile prediction. Across diverse human interactions, the predictions closely reproduce the ground-truth contact regions and pressure distributions for both hands, showing consistent tactile prediction across objects and interaction patterns.
Figure 9 Tactile glove hardware. The Tachin Glove used in TouchScale contains an acquisition module on the dorsal side, while tactile sensing regions cover the five fingers and palm on the palmar side. The glove is connected to an external power module for wearable tactile recording.
## B 触觉手套详情
我们使用柔性触觉传感手套（Tachin Glove）来采集全手触觉数据。如图9所示，每只手套在五个手指和手掌上分布有880个传感单元。每个传感单元的尺寸为$1.5 \times 1.5$毫米，手套的空间分辨率低于2毫米。传感层用于记录法向触觉压力，其测量范围为0.2–30 N/cm $^2$，分辨率为0.05 N/cm $^2$。
传感层连接到安装在手背上的采集模块以及外部电源模块。该手套支持通过WiFi以50 Hz的频率进行无线采集，也能通过USB Type-C接口以100 Hz的频率进行有线采集。电池模块可支持超过10小时的连续运行。这些组件共同构成了整个数据采集过程中所使用的可穿戴触觉采集系统。
---
Figure 10 Postprocessing for data quality. Contact events and engaged fingers are first identified from wrist video without tactile input, then compared with tactile responses to detect missing signals. The resulting consistency check assigns PASS, REVIEW, or REJECT, with uncertain cases sent for human inspection.
## C触觉数据质量控制
这些数据由Overfit Lab购买，并由Noitom按照我们约定的数据采集流程进行采集。Noitom会在数据采集前获得参与者的知情同意，并在交付给我们之前执行初步的供应商端质量检查。随后，我们会在批次、片段和手部三个层面实施自身的质量控制程序。在批次层面，我们首先检查每个片段是否包含所需的摄像头流、时间戳、触觉记录以及任务元数据。我们还会计算一些基本的完整性统计数据，包括视频帧数与时间戳的一致性、帧间隔的不规律性、各数据流中录制时长的一致性，以及触觉采样的中断情况。这些统计数据会被保存以供查看，但不会直接用于判定数据质量。此外，我们还会生成摄像头流、触觉手部图谱和压力轨迹的同步可视化结果，以便后续审查。每个有效的片段会分别针对左手和右手独立处理。最终的片段标签由较严格的手部级别结果决定：REJECT（拒收）、REVIEW（需复核）或PASS（通过）。
缺失的触觉信号。对于每只手，我们首先检测在整个片段中是否所有触觉测量值都低于一个较小的响应阈值。我们采用的归一化阈值为0.03。一只完全无信号的手本身并不被视为有缺陷，因为该手可能根本未被使用。为了确定是否存在预期接触，我们会在不提供任何触觉信息的情况下，以2 fps的速率对相应的手腕视图视频运行Gemini-3.7-Flash模型。该模型能够识别出抓取与释放区间、每次接触中明显参与的手指、接触状态不确定的手指，以及手部视觉上处于空闲状态的区间。这种盲视觉分析为评估触觉记录提供了独立的参考。只有当视觉分析确认该手与物体发生交互时，才会判定这只完全无信号的手为不合格。
在进行手指级分析时，触觉测量数据会按手指分组，取指尖、中指节和指根区域的最大响应值，同时另加一条关于手掌的追踪数据。低于响应阈值的值会被视为零。我们评估拇指、食指、中指和无名指上经视觉确认的接触情况；由于从手腕视角看小指和手掌的接触状态可靠性较低，因此不将其纳入信号缺失判定范围。对于每个接触区间，我们会找出那些触觉响应始终为零的已确认接触手指。如果一个区间内所有已确认接触手指均无响应，且涉及至少两根此类手指，同时这些手指在整个事件期间也一直无响应，我们便将此情况判定为高置信度的传感器故障，并标记为REJECT。若某手指在整个事件期间无响应，但缺乏这种多手指证据，则结果为REVIEW。如果该手指在事件的其他时段有响应，则这种缺失响应会被视为不确定情况，而非传感器故障。
## 触觉噪声。我们单独分析视觉检测认定为无接触的区间内的触觉活动。持续时间不低于0.3秒、且响应值高于同一阈值的连续信号会被列为噪声候选。这些候选者会按照持续时间和峰值响应进行排序，最终保留最强的五个用于验证。对于每个候选者，Gemini-3.7-Flash会接收到一段短剪辑，其中包含放大的触觉可视化图像以及同步的手腕视图，候选前后各包含1.5秒的内容，帧率为6 fps。与第一次VLM调用不同，这次调用能够同时获取视觉和触觉信息。
---
该调用仅用于判断所观察到的触觉活动是否发生在手部确实无接触的情况下。能被可见接触解释掉的候选者会被排除；确认为无接触产生的响应则被记录为触觉噪声。
触觉噪声本身并不决定REJECT/REVIEW/PASS标签。为了进行质量分析，我们会记录其发生时间、累计持续时间、占视觉无接触时间的比例以及受影响的手指。对于每个事件，两只手会分别进行评估，以较严重的一侧的结果作为该事件的最终标签。被判定为REJECT或REVIEW的案例会附带相应的可视化结果导出，以供人工检查。
## D 未来触觉预测准确性
我们评估第一阶段学到的触觉预测模型是否能将人类视觉-触觉数据中的知识迁移到机器人观测数据中。对于第i个样本，第一阶段的预测器会生成潜触觉标记$\hat{Z}_i$，用以表示未来时间段内预期的触觉变化，而同一时间段内实际观测到的触觉变化则被编码为目标表征$Z_i^*$。
我们对这两种表征进行均值池化并采用$\ell_{2}$归一化处理，
$$ \hat{\mathbf{z}}_{i}=\frac{\operatorname{M e a n P o o l}(\hat{\mathbf{Z}}_{i})}{\|\operatorname{M e a n P o o l}(\hat{\mathbf{Z}}_{i})\|_{2}},\qquad\mathbf{z}_{i}^{*}=\frac{\operatorname{M e a n P o o l}(\mathbf{Z}_{i}^{*})}{\|\operatorname{M e a n P o o l}(\mathbf{Z}_{i}^{*})\|_{2}}, $$
并计算它们的余弦相似度如下：
$$ s_{i j}=\hat{\mathbf{z}}_{i}^{\top}\mathbf{z}_{j}^{*}. $$
准确的预测应当使其对应的目标表征与相似度更高，而非与其他样本的触觉变化目标相似度更高。
评估指标。对于每个预测表征$\hat{z}_{i}$，我们会根据余弦相似度对所有目标表征进行排序。Top-K准确率衡量的是对应未来触觉目标出现在排名前K位的样本比例：
$$ Top-K=\frac{1}{N}\sum_{i=1}^{N}\mathbb{I}\left[rank\left(\mathbf{z}_{i}^{*}\mid\hat{\mathbf{z}}_{i}\right)\leq K\right]. $$
数值越高表明未来触觉预测越准确。主论文中我们以Top-10准确率作为主要指标。此外我们还报告平均倒数排名（MRR），
$$ \mathrm{M R R}=\frac{1}{N}\sum_{i=1}^{N}\frac{1}{\mathrm{r a n k}\left(\mathbf{z}_{i}^{*}\mid\hat{\mathbf{z}}_{i}\right)}, $$
数值越高，表示对应的未来触觉目标排名越靠前。最后，我们报告了针对完整候选集的对比损失。
$$ \mathcal{L}_{\mathrm{p o o l}}=-\frac{1}{N}\sum_{i=1}^{N}\log\frac{\exp(s_{i i}/\tau)}{\sum_{j=1}^{N}\exp(s_{i j}/\tau)}, $$
其中 $\tau$ 代表温度参数。较低的Pool NCE值意味着对应的未来触觉表征与其余候选样本之间的区分度更好。
评估协议：我们在相同的下游机器人轨迹上对所有Stage-1检查点进行评估。训练集包含55个片段，经过时间采样后共有5,469个有效样本；验证集包含13个片段，共有3,070个有效样本。两者合并后形成包含8,539个样本的汇总集。这些轨迹在Stage-1中期训练阶段均未被使用。我们以Train Top-10作为主要指标，因为它能在策略后期训练所用的机器人数据分布上评估未来触觉预测能力；验证集和汇总集的结果则作为额外参考。
---
Table 5 Future-tactile prediction accuracy on robot observations. TouchScale mid-training improves prediction accuracy, with a modest positive scaling trend in Train Top-10.
| Mid-training Data | Train | Val | Pooled |
| Top-10 $\uparrow$ | MRR $\uparrow$ | Top-10 $\uparrow$ | MRR $\uparrow$ | Top-10 $\uparrow$ | MRR $\uparrow$ | Pool NCE $\downarrow$ |
| None | 0.18 | 0.0016 | 0.62 | 0.0039 | 0.14 | 0.0012 | 9.031 |
| 20% | 2.87 | 0.0083 | 2.93 | 0.0165 | 2.34 | 0.0063 | 8.890 |
| 40% | 3.11 | 0.0090 | 2.80 | 0.0170 | 2.63 | 0.0070 | 8.889 |
| 60% | 3.18 | 0.0108 | 3.13 | 0.0154 | 2.58 | 0.0075 | 8.884 |
| 80% | 3.24 | 0.0094 | 3.13 | 0.0158 | 2.69 | 0.0066 | 8.890 |
| 100% | 3.31 | 0.0094 | 4.17 | 0.0176 | 2.49 | 0.0064 | 8.883 |
未进行TouchScale Stage-1训练时，Train Top-10准确率仅为0.18%，大致相当于随机水平。经过TouchScale Stage-1训练后，准确率提升至2.87%–3.31%。随着TouchScale数据量从20%增加到100%，Train Top-10准确率也从2.87%提高到3.31%。验证集和汇总集的结果详见表5，作为额外参考。总体而言，TouchScale Stage-1训练提升了未经过人类中期训练的检查点的Train Top-10表现，而将TouchScale数据比例从20%提高到100%也能带来适度的性能提升。
### E 真实世界下的高接触需求机器人操控
### E.1 定性结果
我们提供了定性示例来展示机器人的执行效果。图11展示了经过TouchScale中期训练后，在四项任务中的典型成功执行案例：瓶盖拆卸、软/硬物体分类、试管转移以及白板擦拭。每一行对应一次随时间推进的执行过程，展现了从建立物理交互到完成操控目标的整个过程。这些示例涵盖了不同的接触需求，包括物体柔韧性、小物体处理、精准转移以及擦拭过程中的持续接触。
图12展示了基线$\mathcal{N}_0$-VTLA策略在未进行TouchScale中期训练时的典型白板擦拭失败案例。尽管该基线模型能够启动与白板的交互，但这些执行过程并未成功完成擦拭任务。结合主论文中的定量结果，这些示例说明了经过TouchScale中期训练后，在高接触需求操控方面的改进效果。
---
Figure 11 Successful executions with TouchScale mid-training. Representative real-world rollouts across the four manipulation tasks. Each row shows the progression from initial interaction to successful task completion.
Figure 12 Failure cases without TouchScale mid-training. Representative Whiteboard Wipe rollouts from the baseline $\mathcal{N}_{0}$-VTLA policy that fail to complete the manipulation task.
---
## E.2 实现细节
TouchScale中期训练：我们基于官方发布的$N_0$-VTLA检查点进行初始化，沿用其Stage-1未来触觉预测框架，同时调整训练流程以适应TouchScale。在TouchScale中期训练期间，视觉-语言-动作主干网络被冻结，且不使用人类动作标签。我们仅更新触觉投影层、触觉预测器以及一个辅助的触觉重建头。预测器采用tactile_kv架构，使用五个潜触觉标记，这与官方检查点的配置一致。给定当前的触觉观测以及视觉-语言上下文信息，预测器会生成潜触觉标记，用以表示在$H = 50$帧的未来时间范围内预期的触觉变化。
对于每个训练样本，未来触觉目标是通过当前观测与$t + H$时刻的观测之间的触觉差异来构建的。这种触觉差异会经由触觉编码器进行编码，随后将来自不同触觉视角的目标取平均值，从而得到目标隐表示$z^{*}$。在第一阶段训练期间，目标分支会停止梯度传播。我们会对预测的隐触觉表示和目标隐触觉表示进行均值池化以及$\ell_{2}$归一化处理，接着在全局训练批次上优化对称的InfoNCE目标函数。此外，一个两层重建头会将预测的隐触觉特征映射为对应未来触觉变化的$8 \times 8$表示。第一阶段的目标函数如下：
$$ \mathcal{L}_{\mathrm{m i d}}=\mathcal{L}_{\mathrm{N C E}}+\lambda_{\mathrm{r e c}}\mathcal{L}_{\mathrm{r e c}}, $$
其中$\mathcal{L}_{\mathrm{rec}}$是$\ell_{1}$重建损失，而$\lambda_{\mathrm{rec}} = 0.5$。我们在对比目标函数中采用了0.07的温度参数。
训练配置方面，我们采用AdamW优化器来更新可训练的触觉通路，全局批量大小为64，梯度裁剪阈值为1.0。学习率会在前500步内预热至$1 \times 10^{-4}$，随后在2万步内衰减到$1 \times 10^{-5}$。在TouchScale中期训练过程中，大约有1.238亿个参数会被更新，而基础策略模型剩余的37.1亿个参数则保持冻结状态。视觉-语言骨干网络会处于评估模式，且在此阶段不会进行梯度计算。
多模态对齐方面，TouchScale数据集中的录音保留了原始时间戳。在$N_{0}$-VTLA中期训练时，三个RGB流和两个触觉流会通过基于时间戳的最近邻关联方式，被转换到统一的30 Hz训练时间线上。这种转换仅在构建模型训练样本时进行，并不会修改原始的TouchScale录音。我们使用从训练集估算得到的固定触觉归一化统计数据，并在整个中期训练过程中应用相同的归一化操作。
机器人后期训练方面，TouchScale中期训练完成后，得到的检查点会通过$N_{0}$-VTLA机器人适配流程，在我们的机器人演示数据上进行后期训练。基线模型则从同一个发布的检查点开始，但跳过了TouchScale中期训练环节。这两种变体均采用每个任务50个机器人演示数据、相同的优化和数据处理逻辑来进行后期训练。因此，两者之间的唯一区别在于触觉预测器在机器人后期训练前，是否经过了TouchScale上的无动作人类视觉-触觉中期训练。
## F 3D物体重建
对于TouchScale中的物体，我们会通过移动相机围绕每个物体拍摄短小的以物体为中心的RGB视频，从而从多个视角捕捉物体图像。我们挑选出物体完全可见的几帧画面，并将前景物体从背景中分割出来。得到的多视角RGB图像会被输入到Meshy的多图像转3D API中，以重建每个物体的3D模型。这些重建后的物体模型会与TouchScale数据集一同提供。