{
  "paper_id": "959441b6a46197f23da996f5744438f7",
  "paper_title": "HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision",
  "paper_authors": [
    "Yuzhe Huang",
    "Jiaping Wu",
    "Jiaming Jiang",
    "Hezhe Lin",
    "Aikebaier Aierken",
    "Yunlong Wang",
    "Kun Cheng",
    "Wanlin Li",
    "Chenxi Xiao",
    "Ziyuan Jiao",
    "Yuanxin Zhong"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "由于触觉传感器设计、数据格式和机器人本体的多样性，为机器人操作中的触觉表征学习建立通用基准仍具挑战。本文不再追求构建这样的通用基准，而是探索一个可扩展且有前景的方向：自我中心视觉与全手触觉数据相结合。为此，作者提出 HT-Bench，这是一个大规模多任务基准，包含覆盖226项任务的1000万张RGB帧和780万张触觉帧。HT-Bench通过细粒度触觉检索、掩码触觉修复、视觉到触觉合成和多模态触觉帧预测，评估接触几何建模、视觉-触觉对齐以及对未见任务的泛化能力。作者进一步提出 HandTouch，这是一种向量量化的视觉-触觉编码器，采用空间、跨模态和时间目标进行渐进式训练。HandTouch 在 HT-Bench 上持续优于代表性基线，将 Recall@5 从74.65%提升到85.23%，将掩码修复 RMSE 从0.022降至0.009，并将视觉到触觉测试 cIoU 从0.628提升到0.689。此外，在真实世界下游操作中，HandTouch 在四项接触密集型任务上取得68.3%的最佳平均成功率，比最强基线高出18.3个百分点。这些结果表明，HandTouch 学到了可迁移的触觉表征，自我中心全手触觉数据为灵巧触觉学习提供了可扩展基础。\n",
  "keywords": [
    "触觉表征学习",
    "HT-Bench",
    "全手触觉",
    "自我中心视觉",
    "HandTouch",
    "向量量化",
    "视觉-触觉对齐",
    "灵巧操作",
    "多任务基准",
    "分布外泛化"
  ],
  "paper_institutions": [
    "Beihang University",
    "Rimbot",
    "BUPT",
    "ShanghaiTech University",
    "Tsinghua University",
    "CAS",
    "Bigai"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:22:21.255561Z",
  "template_tag": "deep_read",
  "summary": "# HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision\n\n\n**作者 / Authors:** Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Wanlin Li, Chenxi Xiao, Ziyuan Jiao, Yuanxin Zhong\n\n\n**单位 / Institutions:** Beihang University, Rimbot, BUPT, ShanghaiTech University, Tsinghua University, CAS, Bigai\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料核对：文档含正文、图1–5、表1–4和参考文献，足以理解基准与HandTouch方法；但未附附录、代码/数据链接、实现超参数、数据采集协议细节与统计检验，文中仅声称将发布数据、协议、权重和脚本，当前无法核验。文献中的发表时间/venue未在文档中明确给出，需外部核验。\n原型判断：method。理由：论文虽同时提出HT-Bench基准，但核心贡献是HandTouch这一向量量化视觉-触觉编码器及其渐进训练流程，并用多任务评测和真实机器人实验验证，符合方法论文而非纯综述或系统论文。\n影响解释的材料缺口：缺少数据采集与标注细节、训练/推理算力与耗时、基线公平训练细节、OOD任务选择依据、真实实验控制条件与显著性，第二轮需重点核查。\n\n\n\n\n\n### 问题\n\n问题：机器人灵巧操作需要触觉表征来捕捉接触力、压力分布和滑移等视觉难以可靠估计的物理信息；但触觉传感器设计、数据格式和机器人 embodiment 高度异质，难以建立统一基准。\n为何重要：缺乏可迁移、可比较的触觉表征会阻碍接触丰富操作、多模态策略和灵巧操作的可复现进展。\n现有不足：Sparsh、AnyTouch等不支持全手触觉；OpenTouch支持全手但无任务级OOD划分；TouchAnything有OOD但偏单任务；多数方法在任务特定管线中学习，特征与传感器配置或下游目标耦合，难以判断其是否为可迁移表征。\n本文关注的问题：在“第一人称视觉+全手触觉”这一可扩展设定下，什么编码器能作为灵巧全手触觉感知的有效表征骨干，并同时评估接触几何建模、视觉-触觉对齐和未见任务泛化。检索任务以SSIM参考排序对比嵌入余弦排序，属于操作性定义而非唯一形式化目标。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话概述：论文构建HT-Bench（约10M RGB帧、7.8M触觉帧、226任务）并提出HandTouch——按空间、跨模态、时间三阶段渐进训练的向量量化视觉-触觉编码器。\n核心思想与贡献：先以VQ重建学习触觉空间拓扑，再用课程式区域/完全掩码的跨模态 masked tactile inpainting 注入冻结ViT视觉特征，最后用多模态触觉帧预测建模接触时序；相对先前工作，贡献在于把全手触觉、第一人称视觉、四轨多任务评测和任务级OOD划分放在同一基准中。\n最重要结果与条件：作者声称HandTouch在HT-Bench上全面优于CNN、ResNet-18、VQ-VAE、ViT基线：检索Recall@5由74.65%升至85.23%，掩码修复全图RMSE由0.022降至0.009、全图cIoU由0.762升至0.912，RGB→触觉测试cIoU由0.628升至0.689；真实四任务平均成功率68.3%，高于最强基线18.3个百分点。文档内证据支持这些数字大体来自表2和表4，但存在口径不一致：5.1节写修复RMSE 0.010、cIoU 0.911，与表2的0.009/0.912不符；引言称RGB→触觉“OOD cIoU 0.628→0.689”，而表2与摘要显示0.628→0.689是测试集，OOD为0.446→0.457。真实实验每任务仅15次试验，未见显著性检验，故“全面优于”应视为作者 claim，需第二轮核验。\n优先阅读：第3节与图1/2（数据与四任务定义）、第4节与图3（三阶段训练与VQ/掩码/时序目标）、表2（主结果）、表3（消融）、表4与图5（真实迁移）。\n下一轮问题：数据来源与任务级OOD划分如何保证无泄漏；基线是否同预算同调参；VQ码本与课程掩码的消融是否充分；为何OOD孔洞区域弱于ResNet-18；真实实验的控制、试次独立性与统计功效如何。\n过渡：第二轮将沿这些口径与证据链核对方法细节和实验可信度。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n一、输入/输出接口（图3）\n\n- 触觉图 t ∈ [^0] [^1]^{1×224×224}：单通道、归一化的全手触觉压力图；\n- 第一人称 RGB 帧 v（同步采集）；\n- Stage3 额外需要视觉上下文与触觉历史；\n- 输出：重建/预测触觉图 t̂，以及供检索与下游任务使用的离散触觉表征 Z_q。\n原文公式均未编号，下文按出现顺序标为式1–式5。\n\n二、Stage1 向量量化触觉重建（§4.1，图3左上）——学空间接触拓扑\n步骤1 tokenize：卷积投影把 t 切成不重叠 patch → 加可学习位置编码 → 8 层 ViT 编码器 → 连续隐特征 Z_e ∈ R^{N×D}。\n步骤2 分解式量化（factorized VQ）：先用输入投影 W_in ∈ R^{d×D} 把 D 维压到低维 d（d ≪ D，bottleneck），再在共享码本 C = {e_i}_{i=1}^{K}（K = 2048）中做最近邻：\n  k = argmin_i ‖ W_in z_e^{(j)} − e_i ‖_2²， z_q^{(j)} = e_k （式1）\n动机：直接在 D 维做最近邻，距离会被高维噪声与尺度差异主导；分解为「低维选码 + D 维输出」让码本维度与编码器宽度解耦，是该类量化自编码器的常见做法（本文未给消融证明 d 的必要性）。\n步骤3 输出投影 W_out ∈ R^{D×d} 把量化 token 映回编码器空间，解码器（attention block + 卷积上采样）重建 t̂。\n步骤4 码本重启：用 EMA 跟踪每个码字的累计使用频率，低于阈值 τ 的码字用当前 batch 中随机采样的活跃投影特征 W_in Z_e 重新初始化，并加小幅各向同性高斯噪声。目的：缓解码本坍缩（少数码字被反复选中、大部分失效），噪声用于探索。\n阶段损失（式2）：\n  L_stage1 = ‖t − t̂‖_2² + ‖Z_q − sg[W_in Z_e]‖_2² + β‖sg[Z_q] − W_in Z_e‖_2²\n逐项含义与推导要点：第一项是像素重建；第二项（codebook loss）只更新码本，把码字拉向编码器输出；第三项（commitment loss）只更新编码器，把编码输出拉向已选码字，防止编码器输出无界漂移；sg[·] 为 stop-gradient，β 为权重。之所以需要这两项：argmin 不可导，前向用量化值、反向用 straight-through 把解码器梯度绕过量化器回传给 Z_e，于是「码本↔编码器」的相互靠近必须由两个单向损失显式约束（此推导为分析性补充，原文只给公式）。\n\n三、Stage2 跨模态掩码触觉修复（§4.2，图3左下）——学视觉-触觉对齐\n掩码：课程式双模式。① 区域随机掩码：按解剖手部区域（拇指/食指/中指/掌等）整块遮挡，模拟局部触觉信息丢失；② 完全掩码：整图全遮，只能靠视觉推断。完全掩码概率随归一化训练进度 γ∈[^0] [^1] 用 sigmoid 上升（式3）：\n  P_full(γ) = p_min + (p_max − p_min) / (1 + exp[−12(γ − 0.5)])\n小例子：γ=0 时 P_full ≈ p_min + 0.0025(p_max − p_min)；γ=0.5 时恰为中点 (p_min+p_max)/2；γ=1 时 ≈ p_max − 0.0025(p_max−p_min)。斜率 12 使过渡集中在 γ∈[0.3,0.7]，即「先局部补全、后视觉条件生成」。剩余概率 1−P_full 分配给区域掩码。p_min、p_max 数值未报告，无法判断课程起点/终点强度。\n视觉注入：同步 RGB 由冻结的预训练 ViT 编码得 F_v；在触觉解码器中插入 cross-attention，触觉 token 作 query、F_v 作 key/value，后接 MLP。语义：缺失区域的填充可以「查询」视觉上下文。冻结视觉塔的理由原文未说明；推断是为了省算力并避免在触觉数据上过拟合破坏视觉先验。\n手别 token：Stage2 同时处理左右手触觉，加入可学习 t_hand ∈ {t_left, t_right}，减少左右镜像造成的几何歧义——这是针对全手触觉图「左右手在 224×224 图上近似镜像」的具体工程设计。\n阶段损失（式4）：\n  L_stage2 = λ_vis‖(1−M)⊙(t − t̂_cm)‖_2² + λ_mask‖M⊙(t − t̂_cm)‖_2² + ‖Z_q − sg[W_in Z_e]‖_2² + β‖sg[Z_q] − W_in Z_e‖_2²\nM ∈ {0,1}^{1×224×224} 为二值遮挡掩码（M=1 表示被遮像素），⊙ 为 Hadamard 积，t̂_cm 为跨模态重建输出；λ_mask > λ_vis 用于强调缺失区域。λ_vis、λ_mask 数值未报告。码本重启在本阶段继续生效，所有非冻结模块联合优化。\n\n四、Stage3 多模态触觉帧预测（§4.3，图3右）——学接触时序\n输入视觉上下文与触觉历史，经时间聚合后投影回前两阶段学到的共享离散空间，解码器预测 t_T；损失（式5）：\n  L_stage3 = ‖t_T − t̂_T‖_2²（原文写作 |t_T − t̂_T|_2²，记号与式2/式4 不一致，应为 L2 平方）。\n本阶段微调预测模块、共享码本与解码器（图3 火焰图标）。\n输入时间窗存在口径冲突，待核实：§3 与 §4.3 正文写「recent visual observations v_{T−2} and past tactile t_{T−2}」（各 1 帧），图3 图注写 v_{T−2:T} 与 t_{T−2:T−1}（3 帧 / 2 帧），§5.1 又写作 v^{T−2}、t^{T−2}。窗口长度直接决定「时序建模」的强度，复现前必须先定口径。\n\n五、推理路径（原文未明说，属推断）：编码器 + 量化器给出离散触觉 token；检索按 embedding 余弦相似度排序，但用 Z_q 的哪种池化（mean pooling / 展平 / 附加 token）作为检索向量未交代，这是复现检索结果的必要细节缺口。\n\n\n\n\n\n### 评测设置\n\n数据与划分：HT-Bench 由 OpenTouch、TouchAnything 等开源触觉/视觉-触觉数据集扩展，并加入新采集的真实全手触觉序列构成（§3）。规模约 10M RGB 帧、7.8M 触觉帧、226 个任务（图2a）；场景覆盖 home、电子工作台、化学实验室、零售、工作台、户外等（图2c）。触觉输入统一为 224×224 单通道归一化压力图。划分采用任务级 OOD：留出 1 个交互任务做 OOD，其余任务按 9:1 分训练/分布内测试（图2b）。文档未说明留出的具体是哪个任务、如何保证任务/场景/物体不泄漏，也未给各任务 episode 数。\n四条评测轨道协议：\n\n- 细粒度触觉检索：1-vs-20，候选按 SSIM 排序得「结构参考排序」，与 embedding 余弦排序比对；指标 Hit@1（SSIM 最近邻是否排第 1）与 Recall@5（SSIM top-5 是否落在检索 top-5）。这是操作性定义：以 SSIM 作为「结构相似」的代理真值，SSIM 对压力幅值与平移敏感，会限制该指标的构念效度。\n- 掩码触觉修复：随机遮区域，用剩余触觉 + 视觉重建；指标 RMSE 与 cIoU，分全图（F-）与孔洞区（H-）。\n- RGB→触觉合成：单帧 RGB 预测触觉压力分布，同指标。\n- 多模态触觉帧预测：由视觉上下文与触觉历史预测 t_T；只有 HandTouch 参与，无可比基线。\ncIoU 定义（§5.1）：cIoU = Σ_{i,j} min(P_{i,j}, P̂_{i,j}) / Σ_{i,j} max(P_{i,j}, P̂_{i,j})，P/P̂ 为真值/预测压力像素值。这是连续版软 IoU，不是二值 IoU：对幅值绝对误差敏感、对阈值不敏感，量纲依赖压力归一化方式；原文未说明是否截断或归一化，跨方法比较时需注意。\n基线：CNN 编码器 (Lee, Grimaldi, and Yu, 2026)、ResNet-18 (Calandra et al., 2018)、VQ-VAE 编码器 (Xu et al., 2025)、ViT 编码器 (Zhao et al., 2024)。作者称所有基线「在同一训练划分上预训练、同一 HT-Bench 协议下评测」（§5）。公平性隐患：各基线的容量/参数量、训练步数与算力、是否同等调参、是否也给多目标训练均未报告；「same training split」不等于同预算同调参。\n真实实验：4 个接触密集任务（board clean、pear pick、water pour、sand shovel，图5），每任务 15 次试验；对照 ResNet-Scratch、ResNet-Trained、ViT、HandTouch（表4）。缺失：机器人平台与末端执行器型号、触觉传感器型号与标定、示教/训练数据量、下游策略结构（表征是冻结还是微调、如何接入动作输出）、成功判据、试验顺序随机化与操作者盲法、置信区间或显著性检验。\n缺失的超参：p_min、p_max、λ_vis、λ_mask、β、码本重启阈值 τ、patch 大小、N 与 D、低维 d 取值、训练轮数与优化器、冻结 ViT 的具体预训练权重与输入分辨率、随机种子数。这些直接妨碍复现与「同预算公平比较」的判断。\n口径不一致（需核对）：§5.1 正文写修复 F-RMSE 0.010 / F-cIoU 0.911，表2 为 0.009 / 0.912；引言写 RGB→触觉「OOD cIoU 0.628→0.689」，但表2 与摘要显示 0.628→0.689 是 test，OOD 为 0.446→0.457（引言把 test 数字错标为 OOD）；§5.1 写「HandTouch achieves the highest cIoU of 0.457 and 0.080 RMSE」，与表2 一致。\n\n\n\n\n\n### 结果与证据\n\n检索（表2）：HandTouch Hit@1 99.27%（最强基线 ViT 94.27%）、Recall@5 85.23%（ViT 74.65%、ResNet-18 72.85%、CNN 70.09%、VQ-VAE 51.98%）。Recall@5 +10.6pp 是全文最干净的增益；但 VQ-VAE 检索最差（51.98）反过来提示「仅靠 VQ 重建」不足以支撑检索，增益应归于三阶段训练而非量化本身，这与表3 中 w/o codebook 在分布内不降反升相互印证。\n掩码修复（表2，test）：F-RMSE 0.009 / F-cIoU 0.912（ViT 0.022 / 0.762；ResNet-18 0.025 / 0.742；VQ-VAE 0.042 / 0.570）；孔洞区 H-RMSE 0.024 / H-cIoU 0.761（ViT 0.033 / 0.662）。全图指标的大幅领先部分来自可见区域已被 Stage1 重建得很好；更接近「传感器局部失效」语义的孔洞区优势为 +9.9pp cIoU，量级更可信。\nOOD 修复：F-RMSE 0.041 / F-cIoU 0.800 为最佳（ViT 0.056 / 0.615），但孔洞区输给 ResNet-18：H-RMSE 0.063 vs 0.056、H-cIoU 0.581 vs 0.620。作者在 §5.1 承认「未见任务中严重缺损局部的精确重建仍具挑战」。这条负面结果削弱了「离散码本带来更强局部泛化」的强表述。\nRGB→触觉（表2）：test F-RMSE 0.032 / F-cIoU 0.689，优于 CNN 0.036/0.642、ViT 0.038/0.628、ResNet-18 0.038/0.624、VQ-VAE 0.060/0.456。但 OOD 只剩边际优势：cIoU 0.457 vs CNN 0.447、ViT 0.446、ResNet-18 0.445；RMSE 0.080 vs VQ-VAE 0.081、CNN 0.083。约 +1pp 的 OOD 差距、无多种子与置信区间，不足以支撑「更好的跨模态 OOD 泛化」，最多算「不退化」。\n时序预测：test RMSE 0.031 / cIoU 0.677，OOD 仅称「reasonable」（正文未给数值，图4 为定性）；无基线，故该轨道目前是能力展示而非相对优势证据。\n消融（表3，单位 cIoU，Inpainting 报 H-cIoU、RGB→Tac 报 F-cIoU；列序 test-H / OOD-H / test-F / OOD-F）：\n\n- w/o drop：0.712 / 0.567 / 0.678 / 0.453，四项全降 → 掩码课程/腐蚀正则有效，是消融中最稳的一项。\n- w/o codebook：0.765 / 0.529 / 0.708 / 0.454。test 两项反而高于完整模型（0.765>0.761、0.708>0.689），OOD 修复从 0.581 掉到 0.529，OOD RGB→Tac 基本不变（0.454 vs 0.457）。作者解读为「离散瓶颈提升可迁移性而非拟合训练分布」，方向合理但证据单薄：仅一个 OOD 任务、单次运行，且 OOD 提升只出现在修复轨道的孔洞区。\n- w/o vision：0.698 / 0.556 / 0.467 / 0.415，RGB→Tac test 从 0.689 掉到 0.467，符合「视觉条件是跨模态合成的必要条件」；但去视觉后掩码修复仍达 0.698，说明修复任务存在很强的触觉上下文捷径，不能单独证明已学到视觉-触觉对齐。\n- 缺项：未单独拆 Stage3 时序目标、未拆 hand token、未比较冻结 vs 微调视觉塔、未做码本大小 K 与低维 d 的敏感性分析。\n真实下游（表4，每任务 15 次）：HandTouch 66.7 / 86.7 / 53.3 / 66.7，均值 68.3%；ResNet-Trained 50.0%、ViT 45.0%、ResNet-Scratch 26.7%。与最强基线差 18.3pp，四个任务方向一致，是相对可信的迁移证据（预训练 vs scratch 的 23.3pp 差距说明预训练本身有效）。但 n=15 时单任务成功率的标准误约 ±12pp（二项近似），18.3pp 的均值差在无多种子/多操作者/置信区间条件下只能算趋势性证据；「outperforming the strongest baseline by 18.3 percentage points」应视为作者 claim。\n支持度小结：检索与分布内修复被证据较好支持；薄弱环节有四处——OOD 修复的孔洞区（输给 ResNet-18）、RGB→触觉的 OOD 增益（约 +1pp）、时序轨道（无基线）、真机实验（n=15、无显著性）。\n\n\n\n\n\n### 相关工作\n\n最接近的四类工作与本论文的真实差异（作者自述为主，外部未核验）：\n\n1) OpenTouch (Song et al., 2025)：同样支持全手触觉、多任务、多场景，表1 标注其无任务级 OOD 划分。HT-Bench 的增量是：在 OpenTouch/TouchAnything 等开放数据上补充新采集的真实全手触觉序列（§3），加入 hold-out 任务的 OOD 协议，并把评测统一为四条轨道。差异主要在评测协议与数据规模，而非传感硬件或新传感器设计。\n2) TouchAnything (Zhou et al., 2026)：同样全手 + OOD，但从第一人称视频估计触觉基本是单任务（表1）。HT-Bench 增加检索、掩码修复、时序预测三条诊断轨道；因此差异是「多任务可诊断性」，不是「更强的生成模型」。\n3) Sparsh (Higuera et al., 2024)、AnyTouch / AnyTouch 2 (Feng et al., 2025, 2026)：指尖光学触觉，非全手，不能直接对比；它们追求跨传感器统一表征，而本文 §1 明确放弃「universal benchmark」目标，代价是结论不能外推到指尖光学、力/力矩、skin taxel 阵列与非手部本体（§6 局限自述）。\n4) 表征方法侧最近的是 VQ-VAE 类离散表征（Van Den Oord et al., 2017；Xu et al., 2025 UNIT）与可迁移触觉 Transformer（Zhao et al., 2024，即本文最强基线 ViT）。HandTouch 与它们的真实差别不是「用了 VQ」或「用了 ViT」，而是三阶段渐进课程 + 跨模态掩码 curriculum + 时序预测目标；表3 支持「码本主要买 OOD、视觉条件主要买 RGB→Tac」这一分解，但 w/o codebook 在 test 上反而更好（H-cIoU 0.765 vs 0.761，F-cIoU 0.708 vs 0.689），说明离散瓶颈的收益是条件性的，而非普适。\n成本对比（本文未给算力）：HandTouch 需三阶段串行训练、额外冻结 ViT 视觉塔 + cross-attention、K=2048 码本与 EMA 重启维护；推理比单塔 ResNet-18 重（多一次跨注意力与量化查表），但因视觉塔冻结可预计算，实际开销可能低于端到端双塔。单帧基线无法参与时序轨道（§5.1），该轨道没有对照，成本/收益无法比较。\n需外部核验：表1 对 Sparsh/AnyTouch 2/OpenTouch/TouchAnything 能力的四格归类是作者判断，文档内无支撑证据；尤其「TouchAnything 有 OOD 但单任务」「OpenTouch 无 OOD」应在原文核对。\n\n\n\n\n\n### 关键图表解读\n\n1) 图3「Training pipeline of HandTouch」（§4）：全图最重要的方法证据，把三阶段的空间/跨模态/时序目标、码本共享、冻结视觉塔与火焰图标（本阶段可训练模块）画在同一张图上，支撑「渐进训练」这一核心创新。解读限制：图注未标 N、d、patch 大小；Stage3 的时间窗在图上是区间（v_{T−2:T}、t_{T−2:T−1}）而正文写单帧，图与文在此处互为矛盾，不能据图断定时序深度。\n2) 图2「Statistics and coverage of HT-Bench」+ 表1（§3）：支撑「规模与场景覆盖」以及任务级 OOD 划分的定义（2b 给 9:1 与留出任务的示意）。限制：只有汇总柱状/饼状统计，没有逐任务 episode 数、场景×任务交叉表，无法判断 9:1 划分的类别平衡，也无法判断 OOD 任务是否同时在场景上被隔离（若场景也隔离，则 OOD 难度被放大，与「任务级」表述不符）。\n3) 表2「Quantitative comparison on HT-Bench」（§5.1）：支撑三个静态轨道的总体领先（检索、修复、RGB→触觉）。关键读法见 module_c5：F- 指标涨幅大但部分来自易重建的可见区域，H- 指标才是「缺损推断」的真实检验，而 H- 在 OOD 修复上输给 ResNet-18；同时引言把 test 的 0.628→0.689 误标为 OOD，需以表为准。\n4) 表3「Ablation study」（§5.2）：支撑三个设计分量的归因——drop 课程（四项全降，最稳）、码本（只买 OOD 修复）、视觉条件（主要买 RGB→Tac）。限制：只报 cIoU 一种指标、无 RMSE、无重复实验与方差；w/o codebook 在 test 上反超完整模型，与「码本必要」的叙述不完全一致，作者用「瓶颈提升迁移性」解释，属事后解读。\n5) 表4 + 图5「Real-world downstream evaluation」（§5.3）：支撑「表征可迁移到真实接触密集操作」。图5 给出四任务与装置外观，表4 给成功率。限制：每任务 15 次试验，无置信区间/显著性、无操作者盲法、无随机化说明；ResNet-Scratch（26.7%）偏弱，使「预训练有效」的对比被放大，而真正的对手 ResNet-Trained（50.0%）与 ViT（45.0%）差距虽一致但统计功效不足。\n（图4 的时序预测定性结果见 module_h，仅作能力展示，无对照。）\n过渡：机制与证据链已铺开，下面转入术语约定与图表清单，为第三轮的复现/评审判断做准备。\n\n\n\n\n\n### 术语表\n\n全手触觉（full-hand tactile）：整只灵巧手表面分布式压力图，而非指尖单点/局部贴片；本文把它渲染成 224×224 单通道压力图，因此「触觉帧」等价于一张图。\n第一人称视觉（egocentric vision）：安装在手/头部随手运动的相机视角，提供以交互为中心的视觉上下文；本文把它作为触觉的互补模态而非监督标签。\n任务级 OOD 划分（task-level OOD split）：按交互任务而非按样本留出，留出任务完全不出现在训练中，用于测「未见任务泛化」；与按场景/物体留出的 OOD 含义不同，本文未说明是否为多因素隔离。\n向量量化（VQ, vector quantization）：把连续特征映射到有限码本中最近码字，得到离散 token；作用是提供信息瓶颈与共享离散空间。\n码本（codebook）C = {e_i}_{i=1}^{K}：K=2048 个 d 维向量；共享于三个阶段，是跨阶段「同一离散语义」的载体。\n分解式量化（factorized quantizer）：先用 W_in 把 D 维投影到低维 d 再做最近邻、再用 W_out 映回 D 维；动机是降低码本维度、解耦码本与编码器宽度。\n码本坍缩（codebook collapse）：少数码字被反复选中、其余失效，导致有效容量下降；本文用 EMA 使用频率 + 阈值 τ 重启缓解。\n码本重启（codebook restart）：把累计使用率低于 τ 的码字用当前 batch 的活跃投影特征重初始化并加高斯噪声。\n停止梯度（sg[·], stop-gradient）：阻断该支路梯度，用于让 codebook loss 只更新码本、commitment loss 只更新编码器。\n承诺损失（commitment loss）：β‖sg[Z_q] − W_in Z_e‖²，约束编码器输出靠近所选码字，防止其无界增长；β 数值未报告。\n直通估计（straight-through，本文未点名但为式1可训练的前提）：反向传播时把量化算子视为恒等，将解码器梯度绕过 argmin 回传给编码器。\n课程式双掩码（curriculum dual masking）：区域随机掩码（按拇指/食指/中指/掌等解剖区域整块遮挡）+ 完全掩码（整图全遮，只靠视觉），二者概率随训练进度由 sigmoid 调度。\n完全掩码概率 P_full(γ)：式3，γ 为归一化训练进度，p_min/p_max 为端点概率（数值未报告），斜率 12 使过渡集中在 γ≈0.5 附近。\n掩码触觉修复（masked tactile inpainting）：在部分/全部触觉缺失下重建压力图，模拟传感器失效；是 Stage2 的训练目标，也是评测轨道之一。\n跨注意力注入（cross-attention）：触觉 token 作 query、冻结 ViT 的视觉特征 F_v 作 key/value，使缺失区域可查询视觉上下文。\n手别 token（hand token）t_hand ∈ {t_left, t_right}：可学习嵌入，用于区分左右手，缓解 224×224 图上左右镜像的几何歧义。\n多模态触觉帧预测（multimodal tactile frame prediction）：由视觉上下文与触觉历史预测 t_T，是 Stage3 目标与第四条评测轨道。\nSSIM 参考排序：用结构相似度给检索候选排「结构参考序」，作为检索的代理真值；这是操作性定义，不是唯一正确形式化。\nHit@1 / Recall@5：Hit@1 = SSIM 最近邻被判为第 1 的比例；Recall@5 = SSIM top-5 中被检索 top-5 覆盖的比例。1-vs-20 指每个查询在 20 个候选中排序。\ncIoU（contact IoU）：Σ min(P, P̂)/Σ max(P, P̂) 的连续软 IoU，衡量压力分布重叠；非二值 IoU，对幅值敏感。\nF- / H- 前缀：F- 为整张触觉图上的指标，H- 为仅掩码孔洞区域的指标；H- 更贴近「缺损推断」能力。\nRMSE：重建/预测压力图与真值的 L2 均方根误差，数值在 0–1 压力归一化尺度上，故 0.009 与 0.022 的差别对应较小绝对误差但较大相对差。\n冻结 ViT 视觉塔：Stage2/3 使用的预训练视觉编码器，参数不更新（具体权重未报告），视觉特征可预计算以省算力。\n\n\n\n\n\n### 全部图表索引\n\n图索引（本文档共 5 图 4 表，均内嵌于正文；无附录、无补充材料、无代码/数据链接，参考文献后即结束）：\n\n- 图1（§1，images/fd6c5ca8155f.jpg）：HT-Bench 总览三联图——① 基准定位（egocentric vision + 全手触觉，10M RGB / 7.8M 触觉帧）② HandTouch 三阶段渐进训练 ③ 四条评测轨道与任务级 OOD。支撑「基准+方法」双重贡献的整体叙事；属示意，不含定量信息。\n- 图2（§3，images/47eda27b2869.jpg）：(a) RGB/触觉帧规模，(b) train/test/task-level OOD 划分示意，(c) 细粒度场景类别的数据量与 episode 分布。支撑规模与 OOD 协议；重要解读见 module_d 第 2 条。\n- 图3（§4，images/2c457022c23c.jpg）：HandTouch 三阶段训练流水线（Stage1 VQ 重建 / Stage2 跨模态掩码修复 / Stage3 时序预测），火焰图标标注各阶段可训练模块。方法核心图，见 module_d 第 1 条。\n- 图4（§5.1，images/a0fac7a56d02.jpg）：多模态触觉帧预测的定性对比（分布内与 OOD），误差放大 3 倍可视化；支撑「能预测接触时序」的定性主张，无数值、无基线对照。\n- 图5（§5.3，images/a71fde9a62a4.jpg）：真机下游装置与四任务（water pouring、pear picking、sand shoveling、board cleaning）场景。支撑实验设置的可信度；未标机器人型号、传感器型号与相机布置。\n表索引：\n- 表1（§2）：与 Sparsh / AnyTouch 2 / OpenTouch / TouchAnything 在 Full-Hand、Tasks、Scenes、OOD Split 四维的对比。支撑「HT-Bench 是唯一同时满足四项」的定位；归类为作者判断，需外部核验（见 module_c2）。\n- 表2（§5.1）：主结果，14 列（Retrieval Hit@1/Rec@5；Inpainting Test 与 OOD 各 F-RMSE/F-cIoU/H-RMSE/H-cIoU；RGB→Tac Test 与 OOD 各 F-RMSE/F-cIoU）× 5 方法。支撑三个静态轨道的比较；重要解读见 module_c5 与 module_d 第 3 条。\n- 表3（§5.2）：消融（w/o drop、w/o codebook、w/o vision、完整模型）× 4 列 cIoU。支撑三分量归因；见 module_d 第 4 条。\n- 表4（§5.3）：真机四任务成功率（%）+ 平均，每任务 15 次试验，4 方法。支撑迁移性主张；见 module_d 第 5 条。\n缺失与不可读项：无附录/补充材料；正文公式（式1–式5）均未编号，本文按出现顺序自行编号；图表中的关键超参（p_min、p_max、λ_vis、λ_mask、β、τ、N、D、d、patch 大小）全文未给；图4 为图像而非曲线，具体 OOD 数值只能从正文「reasonable」推断，属不可核验。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n总体判断：论文的‘基准+方法’叙事完整，但可核验证据集中在表2–表4；由于缺少附录、超参、数据/代码链接和统计检验，强结论需分层。\n\n一、较可信的结论（文档内有直接证据）\n\n1) 检索增益最干净：表2中 HandTouch Hit@1 99.27%、Recall@5 85.23%，最强基线 ViT 为 94.27%/74.65%；+10.6pp Recall@5 与 §5.1 叙述一致。\n2) 分布内掩码修复的全图指标领先：表2 test F-RMSE 0.009、F-cIoU 0.912，优于 ViT 0.022/0.762；但 §5.1 正文写 0.010/0.911，与表2不一致，引用时应以表2为准并标注口径冲突。\n3) 消融中‘w/o drop’四项全降（表3：H-cIoU test 0.712、OOD 0.567；F-cIoU test 0.678、OOD 0.453），说明掩码课程/腐蚀正则至少在本设置下有效，是较稳的归因。\n4) ‘w/o vision’使 RGB→Tac test F-cIoU 从 0.689 降至 0.467（表3），支持视觉条件对跨模态合成重要；但去视觉后修复 H-cIoU 仍 0.698，说明修复任务有较强触觉上下文捷径。\n5) 真机四任务上 HandTouch 均值 68.3% 高于 ResNet-Trained 50.0%、ViT 45.0%（表4），方向一致；但每任务仅15次，只能视为趋势性证据。\n\n二、证据不足或需下调的论断\n\n1) ‘consistently outperforms’过强：OOD 修复的孔洞区输给 ResNet-18（H-RMSE 0.063 vs 0.056；H-cIoU 0.581 vs 0.620，表2），作者在 §5.1 也承认严重缺损局部重建仍难。\n2) RGB→Tac 的 OOD 优势仅约 +1pp（cIoU 0.457 vs CNN 0.447/ViT 0.446/ResNet 0.445，表2），无多种子/置信区间，不能支撑‘更好的跨模态 OOD 泛化’。\n3) 引言把 test 的 0.628→0.689 写成 OOD cIoU（§1），与表2/摘要口径冲突；表2 的 OOD 是 0.446→0.457。这是明确的引用风险。\n4) 时序轨道只有 HandTouch 数值（test RMSE 0.031、cIoU 0.677；OOD 仅称 reasonable，§5.1、图4），无基线，属能力展示而非相对优势。\n5) 码本必要性是条件性的：表3 的 w/o codebook 在 test H-cIoU 0.765、F-cIoU 0.708 反超完整模型 0.761/0.689，仅在 OOD 修复 H-cIoU 明显下降（0.581→0.529）；单任务单次运行不足以证明‘离散瓶颈提升迁移性’。\n6) 真机 n=15、无显著性/盲法/随机化说明；18.3pp 均值差在二项标准误约 ±12pp/任务的量级下只能算趋势。\n\n三、关键假设与失效场景\n假设A：任务级 OOD 留出任务与训练任务在场景/物体/传感器上充分隔离且无泄漏；文档未给具体留出任务与场景×任务交叉表，若场景也隔离则难度被放大，若共享物体则 OOD 被低估。\n假设B：SSIM 参考排序是‘结构相似’的有效代理；SSIM 对压力幅值和平移敏感，检索指标构念效度有限。\n假设C：cIoU 跨方法可比；它是连续软 IoU，依赖压力归一化与是否截断，原文未说明。\n假设D：基线在同预算同调参下训练；§5 只说同一训练划分与协议，未给参数量、步数、算力、调参预算。\n假设E：224×224 单通道压力图与冻结 ViT 足以表达接触；跨传感器/力/力矩/非手部本体不覆盖（§6 自述）。\n失效场景：OOD 局部严重缺损（已见表2负面结果）；换手/换传感器/换 embodiment；高分辨率或动态滑移；码本坍缩（τ 未报告）；课程掩码端点 p_min/p_max 未报告导致训练难度不可复现；左右手镜像歧义仅靠 hand token 缓解；真实控制频率与延迟未测。\n\n四、复现计划（以验证核心创新为目标）\n必需产物：HT-Bench 数据与划分清单（含具体 OOD 任务）、预处理/标定脚本、HandTouch 代码与预训练权重、四个基线同预算训练脚本、评测脚本（检索 1-vs-20、cIoU/RMSE、真机协议）、真机平台与传感器型号。当前文档均未提供链接，是首要 blocker。\n关键设置（需从作者处补齐，不能臆造）：K=2048、8层ViT、224×224、Stage3 时间窗（正文单帧 vs 图3 的 v_{T-2:T}/t_{T-2:T-1} 冲突）；p_min、p_max、λ_vis、λ_mask、β、τ、N、D、d、patch 大小、优化器/学习率/轮数、冻结 ViT 权重与分辨率、随机种子数。\n验证步骤：\n\n1) 数据审计：复现 10M/7.8M 规模与图2(c) 分布；确认 OOD 任务、9:1 划分、无场景/物体泄漏；固定评测 episode。\n2) Stage1：训练 VQ 重建，检查重建 RMSE 与码本使用率/重启次数；若码本坍缩，先调 τ 与 EMA 而非改结构。\n3) Stage2：复现课程掩码与 cross-attention；分别评测区域掩码与完全掩码，核对 H- 与 F- 指标。\n4) Stage3：固定时间窗口径，复现 test RMSE/cIoU；因无基线，只作能力检查。\n5) 主表复现：表2 四轨道 + 表3 消融；至少 3 个种子，报告均值/标准差。\n6) 真机：每任务 ≥50 次或功效分析，随机化试验顺序、固定操作者/盲法，报告置信区间。\n成功判据（建议，不是论文给定）：检索 Recall@5 与表2 差距 ≤2pp；test F-RMSE ≤0.012 且 H-cIoU 与表2 差距 ≤0.02；OOD 方向与表2 一致（尤其孔洞区不显著劣于 ResNet-18）；消融中 w/o drop 一致下降；真机均值优于最强基线且置信区间不跨 0。\n伪代码（结构性，占位不填超参）：for stage in [VQ重建, 跨模态掩码修复, 时序预测]: 构造输入/掩码/视觉条件；前向编码器→量化→解码器；按式2/式4/式5计算损失；反向更新非冻结模块；Stage1/2 维护码本 EMA 与重启。\n风险：若数据/代码不释放，只能做协议级复现；若 OOD 任务只有1个，统计功效不足，需扩展多个 held-out 任务。\n\n\n\n\n\n### 应用约束\n\n数据约束：HT-Bench 约10M RGB帧、7.8M触觉帧、226任务，全手触觉+第一人称视觉；存储、同步、任务级划分与标定成本高。文档称将发布数据/协议/权重/脚本（§1），但当前无链接，实际可用性待核验。\n算力约束：三阶段串行训练；Stage2/3 需冻结预训练 ViT + cross-attention，Stage1 为8层ViT+VQ解码器；K=2048码本与EMA重启。文档未报告GPU型号、训练时长、FLOPs、参数量，无法估算预算。\n延迟/吞吐：推理需触觉编码器+量化查表+跨注意力；视觉塔冻结可预计算，可能低于端到端双塔，但每帧触觉编码与解码仍重。真实机器人控制频率、端到端延迟、是否在线运行均未报告；不能从离线结果推断实时性。\n鲁棒性：已演示的弱点是 OOD 孔洞区修复不如 ResNet-18（表2），RGB→Tac OOD 仅边际优势；未演示跨传感器、跨手型、力/力矩、指尖光学、非手部本体（§6 自述）。课程掩码超参未给，训练稳定性未知；码本坍缩需 τ 与EMA维护。\n适用性：最适合‘全手压力图+第一人称RGB’的灵巧操作表征与基准评测；不适合直接外推到其他触觉硬件或通用触觉基础模型。已演示：离线四轨道+四任务真机趋势；推断：预计算视觉塔可降延迟、跨 embodiment 需微调。部署前需补延迟测量、失败模式监控与传感器标定。\n\n\n\n\n\n### 探索问题\n\n问题1：任务级 OOD 是否真正隔离任务而非场景/物体泄漏？验证：索取划分清单，做场景×任务交叉表与泄漏审计；在同一模型上比较任务级、场景级、物体级 OOD。收益：决定 0.581/0.457 等 OOD 数字的解释力；风险：若泄漏，OOD 结论需重写。\n问题2：码本与课程掩码的收益在多种子、多 held-out 任务下是否稳健？验证：3–5 个种子，2–3 个留出任务，K∈{512,1024,2048}、d 扫描，w/o codebook、w/o drop、w/o vision 全复现，报告均值±标准差。收益：判断 VQ 瓶颈是必要设计还是条件性正则；风险：单任务单次结果可能消失，论文核心归因被削弱。\n问题3：真机优势是否具有统计与跨 embodiment 意义？验证：每任务≥50次、随机化顺序/盲法、报告置信区间；在另一只灵巧手或另一触觉传感器上冻结/微调评测。收益：区分‘表征可迁移’与‘单平台调参’；风险：样本与硬件成本高，可能得到负结果。\n\n\n\n\n\n### 引用与核验\n\n核查范围：仅基于所给文档与其中参考文献列表，未访问外部网页/代码库，因此以下外部事实均标记‘待核验’。\n\n1) 新颖性/最强对比：表1 对 Sparsh、AnyTouch 2、OpenTouch、TouchAnything 的四格归类是作者判断；尤其‘OpenTouch 无任务级 OOD’、‘TouchAnything 单任务但有 OOD’直接支撑 HT-Bench 的定位，文档内无证据，需查原文。\n2) 最强基线 ViT（Zhao et al., 2024, arXiv:2406.13640）被表2 用作最强对手；其实现、预训练数据与调参预算未在本文给出，复现依赖外部代码。ResNet-18（Calandra et al., 2018）与 CNN（Lee, Grimaldi, and Yu, 2026）同样是外部基线，‘same training split’不等于同预算（§5）。\n3) 方法组件引用：VQ-VAE（Van Den Oord et al., 2017）、VQ-VAE-2（Razavi et al., 2019）、BEiT（Bao et al., 2021）支持离散/掩码建模背景；UNIT（Xu et al., 2025）是 VQ-VAE 基线来源之一；这些引用与本文三阶段设计的直接对应需查原文，文档只给背景性引用。\n4) 数据依赖：OpenTouch（Song et al., 2025）与 TouchAnything（Zhou et al., 2026）是 HT-Bench 的扩展来源；其数据许可、传感器与划分方式未在本文说明，是复现的关键外部依赖。§1 称将发布数据/协议/权重/脚本，但无链接，待核验。\n5) 时间/venue：文档未给发表日期与 venue；参考文献含 2026 年条目，疑似 preprint/最新投稿，不能据此断言已正式发表。\n6) 引用卫生：Yang et al. 2024a/2024b 与 Xie et al. 2025/2026 出现同题重复，可能影响引用准确性但不改变核心论证；其余 peripheral 引用未逐条核查。\n\n\n\n\n\n### 最终判断\n\n最终判断：把本文当作‘全手触觉+第一人称视觉’的基准与三阶段训练模板是合适的；可信度最高的是检索增益、分布内全图修复和 w/o drop 消融，OOD 孔洞区、RGB→Tac 的 OOD 边际增益、时序轨道与真机 18.3pp 应降级为待验证 claim。使用时引用表2/表3/表4 的具体条件，避免复述‘consistently outperforms’；复现优先解决数据/代码、OOD 划分、超参与多种子。下一步：获取发布物并先做 OOD 孔洞区与真机统计功效的复现实验。"
}