{
  "paper_id": "2d78eba0a37a0fbee063ab7dba8ccfca",
  "paper_title": "TouchAnything: A Dataset and Framework for Bimanual Tactile Estimation from Egocentric Video",
  "paper_authors": [
    "Jianyi Zhou",
    "Ziteng Gao",
    "Feiyang Hong",
    "Zirui Liu",
    "Guannan Zhang",
    "Weisheng Dai",
    "Ruichen Zhen",
    "Chuqiao Lyu",
    "Haotian Wu",
    "Yinian Mao",
    "Xushi Wang",
    "Yuxiang Jiang",
    "Wenbo Ding",
    "Shuo Yang"
  ],
  "publication_date": "2026-05-14",
  "publication_venue": "unknown",
  "abstract": "自我中心人类视频数据捕获丰富的人与环境交互并可大规模采集，已成为具身智能研究的关键驱动力。然而，现有自我中心数据集通常缺少触觉感知，而触觉是提供人与物交互中接触、力和压力直接线索的关键模态。没有这些信号，模型难以学习真实交互动态的物理扎根表征。虽然触觉传感器能提供这些线索，但大规模部署高质量触觉硬件仍然昂贵且繁琐。这引出核心问题：能否直接从视觉观察推断触觉反馈，从而为自我中心视频数据提供可扩展的触觉监督，并支持物理扎根的具身学习？为推动该方向研究，作者提出 EgoTouch，一个面向双手手物交互、带密集触觉监督的大规模多视角自我中心数据集。EgoTouch 包含208项操作任务、1,891个回合，覆盖多样室内外环境，并同步提供多视角RGB（头戴自我中心相机和双腕戴相机）、双手3D手部姿态以及来自可穿戴触觉传感器的连续压力图。在 EgoTouch 基础上，作者提出 TouchAnything，这是一个多视角视觉到触觉预测基线框架，以自我中心视角作为主要输入，并在推理时灵活利用可用的腕戴视角。实验表明，加入腕戴视角通常比仅用自我中心输入改善触觉预测，Contact IoU 相对提升最高达5.0%，Volumetric IoU 相对提升最高达6.1%。数据集、代码和基准将公开发布。\n",
  "keywords": [
    "自我中心视频",
    "视觉到触觉预测",
    "双手操作",
    "多视角学习",
    "密集压力图",
    "手部姿态",
    "视角丢弃",
    "具身智能",
    "EgoTouch",
    "TouchAnything"
  ],
  "paper_institutions": [
    "Harbin Institute of Technology, Shenzhen",
    "Meituan Academy of Robotics",
    "Tsinghua Shenzhen International Graduate School, Tsinghua University"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:41:28.736771Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对现有自我中心数据缺少触觉、触觉硬件难以规模化，且手物接触区在头戴视角中常被手或物体遮挡的问题，论文在相关视觉到触觉研究多受限于单视角、单手或狭窄交互场景的背景下，提出 EgoTouch 数据集和 TouchAnything 框架。EgoTouch 包含208项任务、1,891个回合、20多小时数据、约210万帧和1,000多个物体，覆盖家居、工作台、办公室、零售、户外五类室内外场景；每帧同步头戴RGB、双腕戴鱼眼RGB、42个三维手部关节以及双手16×16原始压力，并将压力映射为2×21×21规范手形网格，这些设置用于验证互补腕部视角能否直接补充被遮挡的接触证据并支持跨模态物理交互学习。TouchAnything 使用冻结的 DINOv2-B/14 编码任意可用视角，加入可学习视角嵌入，再通过跨视角注意力、softmax 门控加权融合、时序 Transformer、手部姿态交叉注意力和关节级解码器预测双手压力；其核心机制是训练时始终保留头戴视角并以 p=0.3 独立随机丢弃腕部视角，损失函数为 L = 1.0·L_MSE + 0.5·L_L1 + 0.01·L_TV，同时对压力大于0.1的接触区域赋予3倍权重，以适应触觉稀疏性并避免全零预测。实验按回合以80%/10%/10%划分训练、验证和测试集，并进一步评估已见和未见物体，指标包括 Temporal Accuracy、Contact IoU、Volumetric IoU 和 MAE；全多视角相对仅头戴视角在已见物体上将 Contact IoU 从0.4792提升到0.5030、Volumetric IoU 从0.4311提升到0.4575，在未见物体上将二者分别从0.4396提升到0.4496、从0.3743提升到0.3852，最大相对提升约5.0%和6.1%，支持了腕部视角提供互补接触证据、跨视角融合和视角丢弃增强鲁棒性等创新。消融显示，不使用视角丢弃时从全视角推理退化为仅头戴推理的 V.IoU 相对下降为27.20%，使用视角丢弃后仅下降5.78%，且数据扩展实验表明性能尚未饱和。该成果可用于从自我中心人类演示中获取可扩展触觉监督，服务接触感知操作、抓取稳定性预测、可供性学习、触觉增强世界模型和机器人策略学习，但当前仍受触觉手套外观偏差、裸手泛化不足、低对比度颜色易造成假接触、视角可能缺失以及数据规模仍需扩大等约束，未来可探索手套到裸手重定向、深度或分割信息、时序一致性校验以及更多对象、环境和接触模式的采集。\n\n### 关键要点\n\n- EgoTouch 是首个在多样真实场景中联合提供多视角视频、双手3D手部姿态和真实密集压力数据的手物交互数据集。\n- 数据集包含208项操作任务、1,891个回合、约210万帧、1,000多个物体和20多小时30Hz交互数据。\n- 采集系统包括1个头戴RGB相机、2个腕戴鱼眼RGB相机、Rokoko动作捕捉手套、每只手掌16×16阵列的定制压力手套和HTC Vive追踪器。\n- 原始256维压力向量按手部物理布局重映射为21×21手形网格，右手经水平镜像形成统一规范坐标，便于学习接触位置和压力强度。\n- TouchAnything 由共享视觉编码器、视角嵌入、跨视角注意力、门控视角融合、时序模块、姿态交叉注意力和双手压力解码器组成。\n- 视角丢弃训练保证头戴视角始终存在，而左右腕部视角各自以0.3概率被随机丢弃，使同一模型可在推理时接受任意可用视角组合。\n- 训练目标结合MSE、L1和全变分正则项，并对压力大于0.1的接触单元施加3倍权重，以缓解触觉图稀疏导致的全零预测问题。\n- 主要实验在已见和未见物体设置下比较仅头戴、头戴加单腕和头戴加双腕等配置，评估接触时间、空间接触、压力体积和归一化压力误差。\n- 全多视角配置在总体已见物体上达到0.5030的Contact IoU和0.4575的Volumetric IoU，在未见物体上达到0.4496和0.3852。\n- 腕部视角主要改善接触位置和压力大小估计，对是否发生接触的 Temporal Accuracy 影响较小，且单个腕部视角通常已能捕获大部分互补信息。\n- 视角丢弃将缺失腕部视角时的V.IoU相对降幅从27.20%缩小到5.78%，证明该策略显著提升部分视角部署的鲁棒性。\n- 方法在黑色手套与黑色物体低对比度等场景下可能产生虚假接触，且现有数据来自触觉手套，未来需增强裸手泛化、扩大数据规模并引入深度、分割或时序约束。"
}