{
  "paper_id": "959441b6a46197f23da996f5744438f7",
  "paper_title": "HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision",
  "paper_authors": [
    "Yuzhe Huang",
    "Jiaping Wu",
    "Jiaming Jiang",
    "Hezhe Lin",
    "Aikebaier Aierken",
    "Yunlong Wang",
    "Kun Cheng",
    "Wanlin Li",
    "Chenxi Xiao",
    "Ziyuan Jiao",
    "Yuanxin Zhong"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "由于触觉传感器设计、数据格式和机器人本体的多样性，为机器人操作中的触觉表征学习建立通用基准仍具挑战。本文不再追求构建这样的通用基准，而是探索一个可扩展且有前景的方向：自我中心视觉与全手触觉数据相结合。为此，作者提出 HT-Bench，这是一个大规模多任务基准，包含覆盖226项任务的1000万张RGB帧和780万张触觉帧。HT-Bench通过细粒度触觉检索、掩码触觉修复、视觉到触觉合成和多模态触觉帧预测，评估接触几何建模、视觉-触觉对齐以及对未见任务的泛化能力。作者进一步提出 HandTouch，这是一种向量量化的视觉-触觉编码器，采用空间、跨模态和时间目标进行渐进式训练。HandTouch 在 HT-Bench 上持续优于代表性基线，将 Recall@5 从74.65%提升到85.23%，将掩码修复 RMSE 从0.022降至0.009，并将视觉到触觉测试 cIoU 从0.628提升到0.689。此外，在真实世界下游操作中，HandTouch 在四项接触密集型任务上取得68.3%的最佳平均成功率，比最强基线高出18.3个百分点。这些结果表明，HandTouch 学到了可迁移的触觉表征，自我中心全手触觉数据为灵巧触觉学习提供了可扩展基础。\n",
  "keywords": [
    "触觉表征学习",
    "HT-Bench",
    "全手触觉",
    "自我中心视觉",
    "HandTouch",
    "向量量化",
    "视觉-触觉对齐",
    "灵巧操作",
    "多任务基准",
    "分布外泛化"
  ],
  "paper_institutions": [
    "Beihang University",
    "Rimbot",
    "BUPT",
    "ShanghaiTech University",
    "Tsinghua University",
    "CAS",
    "Bigai"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:21.255561Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n机器人操作中的触觉表征学习受限于传感器原理、空间布局、信号格式和机器人本体的异构性，现有方法又多与特定传感器、交互域或下游目标耦合，因此构建完全通用的触觉基准并不现实。论文转向自我中心视觉与全手触觉相结合的可扩展路线：自我中心图像提供以交互为中心的视觉上下文，全手触觉则捕捉灵巧操作中的分布式接触。作者构建 HT-Bench，在扩展开源触觉与视觉-触觉数据并加入新采集真实全手触觉序列的基础上，形成约1000万张RGB帧、780万张触觉帧和226项任务，覆盖家庭、电子工作台、化学实验室、零售、工作台和户外等多类场景；采用任务级划分，保留一个交互任务用于OOD评估，其余任务按9:1划分训练集和分布内测试集，以验证接触几何建模、视觉-触觉对齐、时间接触推理和未见任务泛化。基准包含细粒度触觉相似检索、掩码触觉修复、RGB到触觉合成和多模态触觉帧预测四项任务。对应地，论文提出 HandTouch：归一化触觉图为1×224×224，经卷积分块和8层ViT编码后，使用含2048个码字的因子化向量量化器建立共享离散令牌空间，其核心选择机制为 $k=\\arg\\min_i\\|\\mathbf W_{\\mathrm{in}}\\mathbf z_e^{(j)}-\\mathbf e_i\\|_2^2$；随后分三阶段渐进训练，先通过向量量化重建学习触觉空间拓扑，再利用冻结预训练ViT视觉特征、交叉注意力、左右手令牌和区域性/完全掩码课程完成跨模态掩码修复，最后融合近期视觉观测与历史触觉轨迹预测未来触觉帧。实验以相同训练划分和协议对比CNN、ResNet-18、VQ-VAE和ViT等代表性编码器：HandTouch将检索Hit@1和Recall@5分别提升至99.27%和85.23%，将分布内掩码修复全图RMSE降至0.009、cIoU提升至0.912，将RGB到触觉测试cIoU提升至0.689，并在时序预测上取得0.031 RMSE和0.677 cIoU；这些结果支持离散瓶颈、渐进式空间-跨模态-时间目标和视觉条件化对结构判别、跨模态生成与OOD泛化的作用。真实世界下游评估在擦板、摘梨、倒水和铲沙四项接触密集型任务上各进行15次试验，HandTouch以68.3%的平均成功率超过最强基线18.3个百分点，证明表征可迁移到实际操作。其适用场景是需要稳定、分布式精细接触的灵巧操作，主要约束是HT-Bench目前仅覆盖自我中心视觉加全手触觉，尚未包含指尖光学触觉传感器、力/力矩传感器、皮肤式触觉阵列或非手部本体，而且未见任务中严重损坏局部区域的精确修复仍有困难；未来将扩展更多硬件平台、传感模态和机器人本体，并公开数据、协议、预训练权重及训练测试脚本。\n\n### 关键要点\n\n- HT-Bench包含约1000万张RGB帧、780万张全手触觉帧和226项任务，数据来自多场景真实灵巧操作。\n- 基准使用任务级OOD划分：保留一个交互任务作分布外评估，其余任务按9:1划分训练集和分布内测试集。\n- 四项评估任务分别是细粒度触觉相似检索、掩码触觉修复、RGB到触觉合成和多模态触觉帧预测。\n- 细粒度检索采用1对20设置，以触觉图之间的SSIM排序作为结构参考，再比较嵌入余弦相似度排序。\n- HandTouch第一阶段用向量量化重建学习触觉空间拓扑，采用8层ViT编码器和大小为2048的共享码本。\n- 第二阶段通过区域性随机掩码与完全掩码组成的课程策略增强损坏触觉修复，并用交叉注意力注入冻结视觉编码器的特征。\n- 第三阶段根据近期视觉观测和过去触觉轨迹预测时刻T的触觉分布，以学习接触状态的时间演化。\n- 在公平训练与评估下，HandTouch的Recall@5达到85.23%，掩码修复全图RMSE为0.009、cIoU为0.912，RGB到触觉测试cIoU为0.689。\n- 多模态触觉帧预测在测试集上取得0.031 RMSE和0.677 cIoU，显示其能够建模连续交互中的视觉上下文与触觉历史。\n- 真实世界四项下游任务各评估15次，HandTouch平均成功率为68.3%，比最强基线50.0%高出18.3个百分点。\n- HT-Bench的主要局限是尚未覆盖指尖光学传感器、力/力矩传感器、皮肤式阵列和非手部本体，跨硬件扩展是重要未来方向。"
}