{
  "paper_id": "d78f6347df8d55a0755eec434ff4c628",
  "paper_title": "TactiDex: A Real-World Tactile-Guided Benchmark for Human-Like Dexterous Manipulation",
  "paper_authors": [
    "Suting Ni",
    "Hanbing Zhang",
    "Zhenyu Wei",
    "Guo Chen",
    "Chixuan Zhang",
    "Ye Shi",
    "Jingya Wang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "触觉反馈是手物交互的基础，决定接触形成、力调节和稳定操作，因此对于实现真正类人的灵巧操作至关重要。然而，当前人到机器人的灵巧迁移流程主要依赖运动学轨迹，导致只模仿动作而缺乏物理真实的交互。为此，本文提出 TactiDex，一个真实世界触觉引导基准，旨在将灵巧操作从运动学模仿推进到接触层面的类人性。TactiDex 提供将全手触觉信号与多粒度运动学和物体状态精确对齐的综合数据集，并配套标准化评估指标。基于该数据范式，作者提出触觉驱动的迁移框架，将人类演示转化为物理合理的机器人执行。该框架名为 TactiSkill，其核心是新颖的三组件触觉奖励，将触觉信号用作结构化监督，并把引导、类人对齐和接触约束统一到单一目标中。在单手和双手任务上的大量实验表明，TactiSkill 在操作成功率和物理真实感方面均取得更优表现，为推进触觉感知的灵巧操作奠定了重要基础。\n",
  "keywords": [
    "Tactile-Guided Transfer",
    "HOI Dataset",
    "Dexterous Manipulation"
  ],
  "paper_institutions": [
    "Shanghaitech University",
    "InstAdapt"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:30:59.053161Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n触觉反馈决定手物接触的形成、力的调节与操作稳定性，但现有人到机器人灵巧迁移方法主要依赖视觉和关节轨迹，虽能复现表面动作，却常出现空中抓握、网格穿透、力分布不一致和瞬时冲击力等问题；相关HOI数据集也多通过几何接近或视觉推断接触，缺少同步的全手真实压力测量。为弥补这一缺陷，本文构建真实世界触觉引导基准TactiDex，采集约510万帧、757个交互序列，覆盖10名受试者、49个经过三维扫描与标定的日常物体，包含单手、双手、工具使用和长时序物物交互；硬件采用可穿戴在动作捕捉手套外的162点压阻式触觉手套，力分辨率达0.01 N、采样率17 Hz，并通过8台OptiTrack PX13W相机以120 fps同步记录手部关节、手腕6D位姿和物体6D轨迹，因而能够验证从几何轨迹模仿转向物理接触对齐的有效性。数据处理采用MANO拟合、触觉门控的真实接触区间识别、触觉加权手指对齐、时序逆运动学传播和基于物体SDF的碰撞修正，以同时保证运动学精度与接触物理合理性。在方法上，TactiSkill将接触感知操作建模为约束MDP，由冻结的运动学模仿策略和可学习残差策略组成，并把残差策略重新定义为力调制器；训练基于NVIDIA Isaac Gym、PhysX和PPO，采用非对称Actor-Critic：Actor只接收目标触觉参考和可部署状态，Critic额外获取仿真指尖接触力等特权信息。其核心机制是三组件触觉奖励 $R_{tactile}=w_g r_{guide}+w_a r_{align}+w_s r_{safe}$，分别奖励复现人类主动接触、用Tanh距离对齐逐指力分布、以动态安全上限指数惩罚过大接触力，并与位姿跟踪、物体轨迹和能量约束共同组成总奖励。实验从TactiDex中选取73个代表性序列，使用OTEt、OTEr、MPJPE、TipErr、MTFE、Contact F1、PeakSafe@3N、SafeTac@3N以及两级成功率评估；完整TactiSkill取得81.95%的运动学成功率、64.64%的触觉感知成功率、0.7384的Contact F1、72.80%的PeakSafe@3N和53.57%的SafeTac@3N，并将物体平移误差降至0.9577 cm，证明触觉监督不仅提升接触真实感，也作为物理正则项改善几何跟踪。该方法进一步在双7自由度Franka臂和Inspire灵巧手平台上完成零样本 sim-to-real 部署，适用于拿取、递送、工具操作和双手协作等接触丰富场景；当前约束包括仿真与真实硬件在传感器噪声、分辨率和柔顺性上的差异，Inspire手仅6个独立驱动器，且部署时触觉传感器不在线反馈。未来可利用真实触觉进行机器人本体微调与闭环适应，并融合视觉、本体感觉和全手触觉，构建更鲁棒的接触中心学习框架。\n\n### 关键要点\n\n- TactiDex包含约510万帧、757个交互序列、49个标定物体和10名受试者，覆盖单手、双手、工具使用及长时序物物交互。\n- 触觉手套使用162个压阻传感单元，力分辨率最高为0.01 N，采样率为17 Hz，并设计为可穿戴在动作捕捉手套外部。\n- OptiTrack系统由8台PX13W相机构成，以120 fps记录手腕和物体6D位姿，并与17 Hz触觉流实现硬件级帧同步。\n- 数据标注包含任务阶段时间戳、任务标识、自然语言描述和层级任务信息，物体则通过三维扫描、标定和网格注册获得高保真模型。\n- TactiSkill的最终策略由冻结的运动学模仿策略和可学习残差策略组成，残差策略负责主动诱导并调节接触力，而非仅修正几何轨迹。\n- 人到仿真的标定模块将原始触觉ADC信号转换为与物理仿真一致的牛顿级法向力，为逐指力监督建立统一物理尺度。\n- 非对称Actor-Critic中，Actor只观察目标触觉参考和可部署状态，Critic额外获得实时仿真指尖力、精确物体动力学和内部物理信息。\n- 三组件触觉奖励分别处理接触触发、力分布类人对齐和超限力安全约束，可缓解空中抓握、错误接触补丁和瞬时破坏力尖峰。\n- 评估使用73个代表性序列，指标涵盖运动学与物体跟踪、触觉力误差、接触状态F1值、3 N峰值安全约束以及两级任务成功率。\n- 完整TactiSkill的运动学成功率为81.95%，触觉感知成功率为64.64%，Contact F1为0.7384，SafeTac@3N为53.57%，整体优于纯运动学基线。\n- 去掉安全项虽得到较低平均MTFE，却会允许偶发高力脉冲，使PeakSafe@3N和SafeTac@3N下降，说明平均误差不能替代任务级安全评估。\n- 真实平台采用双Franka臂和6驱动器Inspire手，当前为开环执行、不使用在线触觉反馈；未来需通过真机触觉微调和多模态融合缩小仿真与现实差距。"
}