{ "paper_id": "490f837b3de38b9e8c4dfbddb4258d98", "paper_title": "TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning", "paper_authors": [ "Dayou Li", "Hao Wang", "Qianqian Yang", "Zihao Zhu", "Haoquan Fang", "Ziyao Zeng", "Yan Han", "Zihan Wang", "Yan Wang", "Baoru Huang", "Dilin Wang", "Kenji Shimada", "Yiyue Luo", "Manling Li", "Teresa Lv", "Mustafa Mukadam", "Rakesh Ranjan", "Ruohan Zhang", "Qi He", "Changliu Liu", "Xu Chen", "Marco Pavone", "Bangya Liu", "Jiachen Li", "Masayoshi Tomizuka", "Zhiwen Fan" ], "publication_date": "2026年9月27日", "publication_venue": "unknown", "abstract": "大规模第一视角人类交互数据正成为具身学习物理监督的重要来源，但仅用视频无法记录刻画物理交互的接触与压力。近期视触觉数据集提供了这种缺失监督，但其同步触觉数据的规模仍远小于人类视频。此外，最大规模的资源往往合并来自不同传感器或标注流程的记录，使数据规模的影响难以被隔离。简言之，通过单一一致传感管线采集数百小时人类视觉与触觉的数据集仍然稀缺。因此，本文提出TouchScale：一个使用单一统一可穿戴设备记录的500小时接触丰富人类交互数据集。其约2K个预定义任务描述涵盖日常活动与结构化操作，每条记录都将第一视角RGB-D视频、腕部RGB视频与密集全手双手触觉测量在时间上对齐。借助TouchScale，作者探究规模化人类视触觉数据能为感知和机器人学习带来什么。与既往触觉数据相比，使用完整TouchScale训练后，在未见触觉传感器数据上的零样本接触IoU从0.134提升至0.383。在TouchScale上预训练视觉编码器，还在三个基准的动作识别准确率上超过所比较的视触觉数据集。将TouchScale用于机器人策略的视触觉中期训练，使四项接触丰富操作任务的平均真实世界成功率从22.5%提升到57.5%。在传感器和采集协议保持固定时，零样本触觉预测和机器人成功率总体随TouchScale数据用量增加而上升。结果表明，以一致传感大规模采集的人类视触觉数据同时有利于感知和机器人操作。作者将公开发布TouchScale，包括所有同步视触觉记录和重建物体模型，以支持可扩展视触觉学习的未来研究。\n", "keywords": [ "视觉-触觉学习", "第一视角数据集", "机器人操作" ], "paper_institutions": [ "Texas A&M University", "Google DeepMind", "CMU", "Stanford University", "Yale University", "Microsoft", "Overfit Lab", "NVIDIA", "University of Liverpool", "Meta", "University of Washington", "Northwestern University", "Sony", "Georgia Tech", "UC Berkeley" ], "output_language": "zh", "provider": "doubao", "model": "doubao-seed-2.1-pro", "prompt_template": "simple", "extracted_at": "2026-10-20T04:27:03.961311Z", "template_tag": "simple", "summary": "### 摘要\n\n针对大规模第一视角人类视频只能记录手部运动、无法记录接触位置与压力，而现有同步视触觉数据多不足30小时，且跨传感器、跨流程合并会混淆规模效应的问题，本文构建TouchScale。相关研究已表明第一视角视频有助于机器人学习，但是否能从统一管线的百小时级触觉数据中获得缩放收益仍不清楚。TouchScale通过同一可穿戴系统采集500小时、约87K段接触丰富的交互，同步头部RGB-D、双手腕部RGB和每只手套880个触觉单元的全手法向压力，覆盖约2K任务、1500余物体、9类高层采集设置和800多种场景配置；自然语言任务与无需手动动作标注的可重复采集流程支持继续扩展，自动质控则用腕部视频独立核验触觉信号缺失和噪声。实验选择EgoTactile作为未见传感器以验证跨硬件零样本迁移，在MECCANO、SSv2和Ego-Exo4D上验证视觉表征迁移，并在xArm6平台的软硬分拣、瓶盖移除、试管转移和白板擦拭四类真实任务中验证控制效果；所有规模对比均保持传感器、协议、模型或机器人后训练流程不变，仅改变数据量。触觉预测使用cIoU、vIoU、压力中心定位误差和压力幅值误差，16小时等规模TouchScale相较EgoTouch将零样本cIoU从0.134提升到0.181，全量数据进一步达到0.383；HieraB在相同触觉预测目标和训练预算下预训练，取得三项基准最高的平均线性探测准确率24.45%和端到端微调准确率49.62%。机器人侧采用$N_0$-VTLA的无动作人类视触觉中期训练：模型依据当前触觉和视觉语言上下文预测未来$H=50$帧的触觉变化潜令牌，再由动作专家据此预测动作，核心目标为$L_{mid}=L_{NCE}+0.5L_{rec}$，该阶段不进行人手到机器人动作重定向，只训练触觉投影层、触觉预测器和辅助重建头；中期训练后四项任务平均真实成功率由22.5%升至57.5%，使用20%至100% TouchScale时成功率由30.0%升至57.5%，未来触觉Top-10准确率由2.87%升至3.31%。这些结果支持一致传感的大规模人类视触觉数据可同时促进感知与操作，适用于日常操作、工具使用、搬运、擦拭等接触丰富场景；当前限制在于仅评估一个机器人平台、四项任务且数据集不含动作标签，未来需跨本体和更多任务验证，并进一步厘清未来触觉预测与动作控制之间仅弱相关（r=0.119）的作用机制。\n\n### 关键要点\n\n- TouchScale包含500小时数据、约87K个片段、约2K个任务描述、1500多个物体、9类采集设置和800多种场景配置，约20名参与者带来了抓取、时序和接触模式差异。\n- 统一可穿戴系统包括Orbbec Gemini 345Lg头部RGB-D相机、两个Intel RealSense D405腕部RGB相机，以及双手触觉手套；头部和腕部RGB均为1280×720、30Hz。\n- 每只Tachin触觉手套具有880个覆盖五指和手掌的传感单元，空间分辨率低于2mm，记录法向触觉压力，可提供全手密集接触监督。\n- 数据质控先由Gemini 3.7 Flash在不查看触觉数据的情况下从腕部视频识别抓握、释放、接触手指和无接触时段，再与触觉响应交叉核验，明显故障会被拒绝，模糊案例进入人工复核。\n- 在零样本触觉预测中，相同TouchAnything架构分别使用约16小时TouchScale和16.2小时EgoTouch训练，并直接在EgoTactile上测试；TouchScale将cIoU从0.134提升到0.181、vIoU从0.185提升到0.243。\n- 跨传感器评估将不同原生触觉布局映射到12个解剖手部区域，不插值原生网格；cIoU和vIoU越高越好，压力中心定位误差和区域压力幅值误差越低越好。\n- 当训练数据从TouchScale的10%增加到100%时，EgoTactile上的零样本cIoU从0.311升至0.383，vIoU从0.252升至0.276，显示总体正向缩放趋势。\n- 使用HieraB和相同触觉预测目标进行预训练时，TouchScale在MECCANO、SSv2和Ego-Exo4D上均取得最高准确率，平均线性探测为24.45%，平均端到端微调为49.62%。\n- 机器人实验采用xArm6、BrainCo Revo 2机械手、触觉手套、外部RGB-D和腕部相机，每个任务通过遥操作收集50个演示，并在20次试验中评估成功率。\n- TouchScale中期训练冻结视觉语言动作主干，不使用人类动作标签或动作重定向，仅更新约123.8M参数的触觉通路；四项真实任务平均成功率从22.5%提高到57.5%。\n- 随中期训练数据从20%增至100%，机器人平均成功率由30.0%升至57.5%，机器人数据上的未来触觉Top-10准确率由2.87%升至3.31%，而无中期训练仅为0.18%。\n- 论文指出当前机器人验证局限于单一平台和四项任务，TouchScale不含动作标签，且未来触觉预测误差与动作预测误差仅呈弱正相关r=0.119，跨本体评估和因果机制仍属未来工作。", "available_templates": [ "deep_read", "simple" ] }