# TactiDex：一个面向类人灵巧操控的真实世界触觉引导基准测试 倪素婷 $^{1,2}$ 张寒冰 $^{1,2}$ 魏振宇 $^{1}$ 陈果 $^{1}$ 张驰轩 $^{1}$ 石烨 $^{1,2}$ 王静雅 $^{1,*}$ {nist2024, zhanghb2025, weizhy2024, chenguo2024, zhangchx12024, shiye, wangjingya}@shanghaitech.edu.cn $^{1}$ 上海科技大学 $^{2}$ InstAdapt ## 摘要 触觉反馈是手-物交互（HOI）的基础，它决定了接触的形成、力的调节以及操控的稳定性，对于实现真正的类人灵巧操控至关重要。然而，当前的人机灵巧操控迁移流程主要依赖运动学轨迹，导致仅能模仿动作而无法实现基于物理的交互。为解决这一问题，我们推出了TactiDex——这一专为推动灵巧操控从运动学模仿迈向接触层面的类人化而设计的真实世界触觉引导基准测试。TactiDex提供了一套完整的数据集，能够巧妙地将全手触觉信号与多粒度运动学及物体状态对齐，同时配套标准化的评估指标。基于这一数据范式，我们提出了一种触觉驱动的迁移框架，可有效将人类演示转化为符合物理规律的机器人执行动作。我们推出的Tactiskill框架基于一种新颖的三组件触觉奖励机制，该机制创新性地利用触觉信号作为结构化监督依据。这种奖励机制将引导、类人对齐以及接触约束统一为一个目标函数。通过在单臂和双臂任务上开展的全面实验，我们证明Tactiskill在操控成功率和物理真实性方面均表现出卓越性能。本研究为推进触觉感知型灵巧操控奠定了重要基础。我们的项目页面位于。 ## 关键词 触觉引导迁移、HOI数据集、灵巧操控 ## 1 引言 手-物交互（HOI）是具身智能的核心，它使人类能够操控工具、操作日常物品并完成复杂的灵巧技能。人类灵巧性的显著特征在于通过触觉反馈持续调节接触状态，这一过程决定了接触的形成、力的调节以及操控的稳定性。虽然视觉提供了空间与几何层面的感知能力[^13] [^50] [^51]，但触觉感知决定了手-物界面处物理交互的建立与维持方式。神经科学与机器人领域的研究一致表明，成功的操控很大程度上依赖于力的调节，而非单纯的空间定位[^30] [^38] [^52] [^56]。因此，人类的灵巧性并非仅仅由运动学轨迹决定，其根本基础在于接触层面的物理交互。 将这种人类灵巧性转移到机器人系统上仍是一个长期存在的挑战。近期在灵巧操控领域的研究通过模仿学习[^2] [^8] [^26] [^39] [^47]、运动重定向[^24] [^40] [^49] [^53]以及强化学习框架[^48] [^54]，探索了从人类到机器人的技能迁移方法。这些方法通常将人类手部运动学与机器人实体相匹配，利用视觉观测和关节级运动监督来复现任务行为。尽管取得了令人瞩目的进展，但这种以轨迹为中心的范式本质上忽略了调节接触形成与力分布所必需的触觉动力学。因此，机器人策略往往能成功复制表面的运动模式，但在接触行为、交互稳定性和力调节方面却存在显著偏差。 造成这一差距的一个关键因素是缺乏触觉丰富的基准测试和标准化的评估协议。没有严格同步的触觉-运动学演示，学习目标就会被迫优先考虑运动匹配而非基于物理的交互，从而在实现真正类人的机器人灵巧性方面留下巨大缺口。 为填补这一缺口，我们推出了TactiDex——一个用于接触感知型人类到机器人灵巧转移的真实世界触觉丰富HOI数据集。TactiDex提供了同步的全手触觉传感数据、精细的手部运动学信息、手腕6D姿态以及物体6D轨迹，形成了在时间上对齐且富含接触信息的人类操控动态表征。与以往主要侧重于视觉观测或关节轨迹的数据集不同[^4] [^12] [^33] [^34] [^55] [^58]，TactiDex通过空间分布的压力测量来捕捉手与物体之间的接触交互。该数据集涵盖了多种单手和双手操控任务，涉及不同的物体几何形状与交互模式，从而为研究触觉感知型转移提供了广泛的测试平台。除了数据采集外，我们还制定了标准化的接触感知型评估协议，用以量化接触保真度、力对齐程度以及交互稳定性。通过将同步的多粒度触觉与空间状态整合到一个统一框架中，TactiDex建立了一个专门用于研究触觉感知型人类到机器人转移的基准。 基于这一数据范式，我们提出了TactiSkill，它建立在触觉引导的三组件转移框架之上，该框架利用同步的接触信号来指导机器人策略的学习。然而，直接将原始压力测量值纳入强化学习目标中，会带来不小的挑战。 --- 面临的挑战在于：仅基于接触力匹配的简单模型往往会导致优化过程不稳定、奖励被过度利用，或在仿真中出现不符合物理规律的行为 [^3] [^14] [^22] [^31] [^59]。为解决这一问题，我们提出了一种三组分触觉目标函数，将触觉信号视为结构化监督信息，该函数整合了以下三方面内容：(1) 接触引导机制，用于促进有意义且及时的接触形成；(2) 类人对齐机制，使力分布模式与人类演示中的情况相匹配；(3) 安全约束条件，用于限制过大的作用力并促进稳定的交互。这种结构化表述方式能够在保持接触级精度的同时实现稳定的优化，从而有效推动灵巧操作从运动学模仿迈向具有物理基础的类人行为。 总而言之，我们的贡献如下： (1) 我们推出了TactiDex——首个面向灵巧双手操作的高精度、长时域触觉丰富型手-物体交互数据集，该数据集提供了时间同步的全手触觉信号、精细的手部运动学数据以及物体的6D轨迹信息，同时还包含了用于人机交互迁移的触觉感知评估指标。 (2) 我们提出了TactiSkill——一种以触觉为导向的人机交互迁移框架，该框架将触觉传感作为灵巧策略学习的核心监督信号。为了稳定富含接触的交互过程，我们设计了三组分触觉奖励框架，该框架能够：(i) 促进主动的接触形成；(ii) 使触觉分布与人类演示保持一致，从而实现力层面的类人行为；(iii) 限制过大的接触力以确保操作的物理稳定性。 (3) 大量实验表明，基于触觉导向的迁移方法显著提升了各类操作任务中的几何鲁棒性与物理精度；我们还通过真实环境下的灵巧手部署验证了TactiSkill的有效性，结果显示基于该数据集训练出的策略能够在实体硬件上复现稳定的富含接触的操作行为。 ## 2 相关工作 ### 2.1 手-物体交互数据集 大量数据集为手-物体交互（HOI）建模提供了支持 [^4] [^12] [^23] [^33] [^34] [^46] [^55] [^58]。动作捕捉数据集 [^4] [^12] [^44] [^58] 能够提供高精度的3D轨迹，用于细致的操作分析；而以自我为中心的数据集 [^19] [^33] 则拓展了开放世界及指令引导场景下的语义多样性。不过，这两种范式主要都是根据几何邻近性或视觉观察来推断接触情况，实际的力量调节过程并未被真正测量到。合成基准测试 [^18] 虽然能提供可扩展的接触信号，但依赖于模拟几何模型，缺乏真实世界的触觉保真度。最近，OPENTOUCH [^42] 引入了带有文本注释的真实世界全手触觉感知技术；不过它主要聚焦于以自我为中心的感知任务（如跨模态检索和抓取分类），而非动态操作控制。因此，正如表1所总结的，现有的HOI数据集大多缺乏物理交互策略学习所需的触觉基础。为了填补这一缺口，我们推出了TactiDex——一种基于触觉基础的HOI基准测试，它将全手触觉感知与多粒度运动状态同步，并建立了标准化的、考虑接触因素的评估协议，从而能够实现超越几何模仿、基于物理的人体灵巧性建模。 ### 2.2 灵巧操作与人机迁移 通过基于模型的控制、强化学习以及大规模策略学习，灵巧操作领域取得了显著进展 [^1] [^7] [^27] [^48] [^54]。与此同时，从人类演示中学习为将灵巧性迁移到机械手上提供了一条直观的路径 [^39] [^47]。模仿学习和动作重定向等方法能够在形态约束下对齐轨迹 [^24] [^40]；而最近的强化学习框架则利用参考动作和任务特定的奖励来优化这些迁移后的策略 [^6] [^9] [^26] [^32] [^35]。尽管这些方法显著提升了轨迹复现能力，但接触层面的差异往往依然存在。几何对齐并不能保证力量调节或压力分布的一致性，这常常导致在复杂的接触密集型任务中出现抓取不稳定、力量过大或物理上不合理的交互现象。因此，虽然轨迹模仿是一个良好的起点，但它无法完全解决物理交互方面的差距。相比之下，我们的方法引入了触觉引导的监督机制，直接约束接触形成与力量分布，从而将人机迁移范式从纯粹的几何轨迹对齐转变为基于物理的交互对齐。 ### 2.3 触觉引导的策略学习 触觉传感正日益被视为实现稳健操作的关键模态。早期基于触觉引导的强化学习（RL）应用主要利用平行夹爪来解决插销入孔和末端装配等基础任务 [^15] [^16] [^28] [^45]。为提高泛化能力，后续研究广泛探索了视觉-触觉融合以及从仿真到现实的迁移范式，以解决未知物体操作过程中的现实差距问题 [^10] [^11] [^17] [^21] [^29] [^36] [^43] [^60]。最近，触觉强化学习已拓展至高度灵活的多指灵巧手领域 [^20] [^22]，同时还开发了多模态预训练基准测试 [^31]，并尝试利用人类触觉演示来进行模仿学习 [^57]。尽管取得了这些快速进展，现有框架仍大多将触觉信号仅仅视为无约束试错优化中的辅助观测向量，其根本缺陷在于缺乏同步的、全手层面的手-物交互（HOI）物理数据集。为填补这一缺口，我们的工作通过利用真实的TactiDex数据集，引入了真正的人机触觉迁移范式。TactiSkill并非从头学习接触启发式规则，而是将高保真的人类力分布不仅作为被动观测，更将其视为主动的、具有结构性的物理先验。通过直接监督机械手的力调节，我们的框架确保所生成的策略能够超越单纯的几何模仿，从而实现基于物理规律、类人的灵巧性。 ## 3 TactiDex数据集 如图1所示，TactiDex是一个大规模的真实世界触觉数据集，旨在捕捉人类灵巧操作的物理动态特性。 ---
Table 1: Comparison with existing HOI datasets. High-Prec. Kinematics: Global motion capture vs. vision-based estimation. Tactile: Whole-hand pressure maps. TactiDex uniquely unifies exact kinematics, physical tactile sensing, and text annotations for long-horizon bimanual manipulation.
DatasetFrameSubjObjReal-WorldBimanualHigh-Prec. KinematicsTactileText Annot.Long-horizon
ObMan [^18]154K203K
ContactPose [^51]2.99M5025✓✓✓
HOI4D [^33]3M91000✓
DexYCB [^4]582K1020✓✓
ARCTIC [^12]2.1M1911✓✓✓
OakInk2 [^58]4.01M975✓✓✓✓✓
GRAB [^44]1.62M1051✓✓✓
OPENTOUCH [^42]0.54M-800✓✓✓
TactiDex (Ours)5.1M1049✓✓✓✓✓✓
![Image](images/4c0ecf987c303dec7935d62e6cbb00d3cb8f375e2e280d96a6dabfdce95a317e.jpg)
Figure 1: Overview of the TactiDex Data Collection and Annotation Framework. (Left) Our hardware setup integrates a high-precision motion capture system with a novel dual-glove design—an inner capture glove for kinematics and an outer tactile glove for whole-hand pressure mapping, strictly synchronized via an eSync module. Manipulated objects are digitally reconstructed via 3D scanning. (Center) A user performs complex, contact-rich interactions (e.g., bimanual grinding) within the capture volume. (Right) The pipeline yields strictly synchronized multi-modal data streams, including tactile signals, hand kinematics, and hand-object 6D poses, enriched with comprehensive language descriptions and hierarchical task phase annotations.
该数据集在统一的运动捕捉环境中同步记录了全手触觉传感数据、灵巧手运动学状态、手腕6D姿态以及物体6D轨迹。数据集包含49个经过校准的物体和757组交互序列，涵盖了从基本的抓取放置行为到复杂的功能性操作及物体间的双手交互。通过提供结构化的交互注释、任务级文本描述以及多模态传感数据流，TactiDex建立了一个可量化物理特性且语义明确的、用于感知接触的人机迁移基准测试。 ### 3.1 硬件设置 为了构建TactiDex数据集，我们搭建了一个用于采集触觉引导的手-物交互数据的多模态系统，该系统能够在全局坐标系下同步记录手部接触信息、手部运动学状态以及精确的物体6D姿态。该系统由三个硬件组件构成：用于采集压力分布的全手触觉手套、用于获取关节状态的手部追踪手套，以及能够提供物体和手部6自由度姿态的OptiTrack运动捕捉系统。 3.1.1 触觉测量。这种触觉手套通过柔性传感器中的压阻变化来测量压力。触觉阵列由162个传感元件组成，它们密集分布在指尖和手掌上，其力分辨率高达0.01牛顿，采样率为17赫兹。我们进一步重新设计了触觉手套的结构及佩戴方式，使其可以套在动作捕捉手套外部使用。这一改进能够在不降低动作捕捉手套的运动追踪质量的前提下，稳定采集整只手的触觉信号，同时还能最大限度减少对自然操作的影响，从而提升长时间数据采集的可靠性和一致性。 3.1.2 动作捕捉。手部运动学数据是通过动作捕捉手套获取的，其中惯性测量单元（IMU）的测量结果与光学追踪数据相融合，用以估算高精度的关节状态。手腕和物体的全局六自由度位姿则由配备8台PX13W摄像头的OptiTrack系统提供，该系统在$1.2 \, m \times 1.8 \, m$工作空间内以120帧/秒的速度运行。由于手部和物体的位姿是在同一动作捕捉环境中处理的，因此它们本质上会在统一的空间坐标系和时间基准下对齐。 ### 3.2 数据采集与处理 同步多模态捕捉。为确保数据采集的高保真度，我们制定了严格的采集协议。参与者需在经过校准的多摄像头光学工作空间内执行操作任务。硬件同步的数据流确保了120赫兹的运动学/位姿数据流与触觉压力数据之间在帧级别的时间对齐。 --- 这种时间对齐能够实现对接触形成及演变过程的精确时序建模。 物体建模与校准。我们数据集中的49个物体是经过精心挑选的，涵盖了多种几何形状、尺寸和物理特性。物体网格是通过混合流程重建的，该流程结合了高分辨率移动式三维扫描应用与基于SAM3D的重建方法[^5]。为克服由反光、透明或高度对称表面导致的特征匹配失败问题，我们在扫描阶段使用了特殊的无反光纹理胶带和临时基准标记。这种严谨的处理方式确保了视觉特征的稳健提取，无论物体材料特性多么复杂，都能生成高保真的三角网格模型。重建完成后，每个物体都会在OptiTrack系统中进行动态校准，以确保其六维轨迹与手的全局坐标系在空间上保持一致。 任务覆盖范围与数据范畴。我们共记录了757组交互序列，涵盖单手操作和双手协作场景。任务复杂度从基本的物理交互（如抓取、查看）到工具使用和功能性操作（如点击、切割、摇晃）不等。每组序列都将同步的多模态传感数据与结构化注释相匹配，这些注释包括交互阶段时间戳、任务标识符和自然语言描述，从而为多模态策略学习提供了全面的基础。优化与处理。遵循OMOO [^25]的方法，我们采用MANO模型[^41]来表示运动学特征。我们通过L-BFGS优化算法，将MANO参数与原始的3D动作捕捉关键点进行独立拟合。为确保解剖学上的合理性和时间连续性，我们对每位受试者的所有帧共享形状参数，同时应用$f_{2}$姿态正则化项和二阶时间平滑惩罚项，以抑制高频抖动现象。 虽然运动学拟合能够准确捕捉自由空间的轨迹，但残余误差往往会导致物体交互过程中出现物理上不合理的“漂浮”或穿透现象。为解决这一问题，我们提出了一种两阶段的触觉约束后优化方法。在第一阶段，我们通过将几何接近性与实测触觉压力相结合来识别真正的接触区间，从而有效过滤掉视觉上具有欺骗性的近似接触情况。在每个区间内，我们会选定一个稳定的参考抓取框架，并利用触觉调节的手指权重来优化其空间对齐：对于超过压力阈值的活跃手指，会使其强烈趋向于物体表面；而对于不活跃的手指则降低其权重，以防止出现虚假接触。在第二阶段，通过时间逆向运动学将这种优化后的抓取姿态在整个接触区间内传播，从而保留非接触区域的原始运动。最后，利用碰撞感知调整功能，根据物体的有向距离场（SDF）[^37]来优化手指关节动作，以消除残余穿透现象。这一流程最终生成TactiDex标注结果，确保交互过程既在运动学上精确，又基于真实的触觉证据而具备物理合理性。 ## 4 方法论 如图2所示，我们框架的核心目标是利用TactiDex数据集在仿真环境中训练灵巧手，使其能够复现人类演示中的时空运动学特征以及动态接触模式。 ### 4.1 概述与问题表述 为了实现基于物理规律的迁移，我们将考虑触觉信息的灵巧操作建模为一个受限马尔可夫决策过程（MDP），用元组$\mathcal{M} = \langle \mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma \rangle$表示。与传统以运动学为中心的设置不同，我们明确将高保真的触觉信号作为目标接触特征纳入状态空间，以强制实现物理真实性： - 状态空间S：在时间步t，状态$s_t \in S$包含标准的本体感知数据（关节位置$q_t$、速度$\dot{q}_t$）以及物体状态（姿态$p_t$）。关键在于，我们引入了源自TactiDex的目标触觉参考值$\mathbf{F}_t^{\text{human}}$，它用于指导机器人确定当前时刻每个手指应施加的精确法向力。 - 动作空间 $\mathcal{A}$：该动作 $a_t = \Delta q_t$ 被定义为残余关节位置指令，用于微调基础运动学轨迹。 优化目标是找到最优策略$\pi^{*}(\mathbf{a}_{t}|\mathbf{s}_{t})$，在最小化运动学跟踪误差的同时，最大化与人类演示中的力一致性。 ### 4.2 触觉引导的三组件人机迁移方法 为了有效地将人类演示迁移到形态各异的机械手上，我们提出了TactiSkill——一种基于TactiDex数据集的新型策略学习方法。如图2中央模块所示，TactiSkill通过我们提出的触觉引导三组件迁移框架来运作。 在基于近期为形态重定向设计的残差强化学习架构基础上[^26]，我们的最终策略$\pi^{*}$由冻结的运动模仿策略$\pi_{base}$和可学习的残差策略$\pi_{res}$组成。不过，TactiSkill并非仅仅充当修正轨迹误差的几何补偿器，它从根本上重新定位了$\pi_{res}$的功能——将其变为力调制器。通过主动诱导并调节模拟接触力，$\pi_{res}$借助紧密集成的三步流程，弥合了几何运动模仿与真实物理交互之间的差距。 ## (1) 逐手指传感器数据到仿真数据的对齐 TactiDex数据集记录的是原始传感器信号（高频ADC读数），而物理仿真引擎则根据刚体动力学计算出以牛顿为单位的接触力。为了建立统一的物理基准用于监督，我们构建了逐手指的非线性校准映射函数$\mathcal{M} : \mathbb{R}^{\text{raw}} \to \mathbb{R}^N$。该函数能精确地将人类演示的原始信号转换为与仿真环境一致的对齐法向力。 ## (2) 带有特权触觉信息的非对称观测机制 为了提升训练稳定性和采样效率，TactiSkill采用了非对称的演员-评论家架构。演员仅接收目标触觉参考值$\mathbf{F}_t^{\text{human}}$，这模拟了现实世界中的部署约束：机器人拥有期望的力参考值，但无法直接预知最终的接触动力学结果。相反，评论家会获取特权信息——即实时模拟的指尖接触力$\mathbf{F}_t^{\text{sim}}$。这使得评论家能够准确评估潜空间中的价值梯度， --- ![Image](images/3d2cb0f7138d1c848e4e3e60acccf3c5b53c40cc3a15f17dac4d887dd2885bf3.jpg)
Figure 2: Overview of the TactiSkill Pipeline. (Left) Data Collection & Preparation: Raw multi-modal signals from human demonstrations undergo a two-stage tactile-constrained post-optimization and sensor-to-sim mapping, yielding the physically aligned TactiDex dataset. (Center) Tactile-Guided Tri-Component Transfer Framework: We train a residual tracking policy using an asymmetric Actor-Critic architecture, where the Critic receives privileged simulated contact forces. A physics-aware tri-component reward (Tactile Guidance, Human-Like Alignment, and Contact Constraints) enforces force-level human-likeness. (Right) Real-World Deployment: The composite policy ( $\pi^{*}$) enables zero-shot sim-to-real transfer, achieving physically grounded, human-like dexterous manipulation on actual robotic hardware across diverse tasks.
从而有效引导演员调整关节姿态，以逼近目标力分布。 (3) 物理感知奖励：三组分监督机制。为了强制实现类人的力级表现，复合触觉奖励$R_{tactile}$会对第i根手指（共$F_i$根手指）的法向接触力$N_f$进行调控。该奖励由三个独立组分求和而成：触觉引导$r_{guide}$、类人对齐$r_{align}$以及接触约束$r_{safe}$，各组分由权重$w_g$、$w_a$、$w_s$平衡调节。 $$ R_{\mathrm{tactile}}=w_{g}\cdot r_{\mathrm{guide}}+w_{a}\cdot r_{\mathrm{align}}+w_{s}\cdot r_{\mathrm{safe}}. $$ i. 触觉引导。它通过提供二元接触奖励来解决常见的“空中抓取”问题。它充当“接触触发器”，只有当智能体成功复现人类演示者发起的有效接触事件时才会给予奖励，其中$\tau$为最小接触阈值： $$ r_{\mathrm{g u i d e}}=\frac{1}{N_{f}}\sum_{i=1}^{N_{f}}\mathbb{I}\left(F_{i}^{\mathrm{s i m}}>\tau\right)\cdot\mathbb{I}\left(F_{i}^{\mathrm{h u m a n}}>\tau\right). $$ ii. 类人对齐。仅仅触碰物体是不够的，机器人必须复现力的调节模式。我们采用稳健的基于Tanh的距离度量方法，来最小化模拟力与人类力之间的差异。与均方误差不同，这种公式能提供归一化的梯度，在抵御传感器异常值的同时保留各手指间的力分布（$\sigma$为缩放因子）： $$ r_{\mathrm{a l i g n}}=\frac{1}{N_{f}}\sum_{i=1}^{N_{f}}\left(1-\tanh\left(\frac{|F_{i}^{\mathrm{s i m}}-F_{i}^{\mathrm{h u m a n}}|}{\sigma}\right)\right). $$ iii. 接触约束。它防止策略利用物理引擎产生不切实际的高力。我们定义了动态安全限值$F_{limit} = F_{i}^{human} + \delta$（其中$\delta$为安全裕度）。只有当模拟力超过该限值时，才会施加指数型惩罚，从而确保物理上的稳定性以及从仿真到现实的可靠迁移： $$ r_{safe}=\exp\left(-\lambda\sum_{i=1}^{N_{f}}\max\left(0,F_{i}^{sim}-F_{limit}\right)^{2}\right). $$ 总奖励公式。为确保策略能够收敛到运动学上精确且物理上合理的解决方案，每个时间步t的最终奖励函数将我们创新的触觉监督与标准运动学约束相结合： $$ R_{total}=\underbrace{\lambda_{im}r_{im}+\lambda_{task}r_{task}+\lambda_{reg}r_{reg}}_{\text{Kinematic\&Task Constraints}}+\underbrace{\lambda_{tactile}R_{tactile}}_{\text{Physical Realism}}, $$ --- 虽然$r_{im}$（姿态跟踪）、$r_{task}$（物体轨迹）和$r_{reg}$（能量效率）引导机器人到达正确的时空配置，但$R_{tactile}$项作为关键的动态正则化项，能保证交互力保持类人特性且物理上稳定。 ## 5 实验 ### 5.1 数据划分与评估指标 为严谨评估我们的触觉引导迁移框架的有效性，我们从TactiDex数据集中选取了73个具有代表性的交互序列。该评估集涵盖了单手和双手操作场景，包含多种物体几何形状、材质以及不同复杂度的任务。基于表2所示的评估维度，我们从四个不同方面全面评估迁移后的策略性能： 1) 运动学与物体跟踪。遵循既定惯例[^26]，我们使用平移方向的物体跟踪误差（OTEt）和旋转方向的物体跟踪误差（OTEr）来评估几何对齐程度。为衡量机械手模仿人类运动学的程度，我们计算平均关节位置误差（MPJPE），尤其是指尖位置误差（TipErr），因为指尖是主要的交互介质。 2) 触觉与物理保真度。为衡量物理接触层面的类人程度——这也是TactiSkill的核心贡献——我们引入了一套细粒度的触觉指标。设$f_{t,i}^{\text{sim}}$和$f_{t,i}^{\text{gt}}$分别表示时间步t（共T帧）中第i根手指（共$N_f$根手指）上的法向力大小。 - 平均触觉力误差（MTFE）：计算所有手指和时间帧上模拟力与对齐后的人类基准值之间的平均绝对差异： $$ MTFE=\frac{1}{T\cdot N_{f}}\sum_{t=1}^{T}\sum_{i=1}^{N_{f}}\left|f_{t,i}^{\mathrm{sim}}-f_{t,i}^{\mathrm{gt}}\right| $$ - 接触F1分数：我们使用最小接触阈值$C_{t,i} = \mathbb{I}(f_{t,i} > \tau_c)$将连续的力信号二值化为接触状态$\tau_c$。F1分数用于评估模拟接触状态相对于基准值的时空精确度和召回率，以此判断机器人是否在最佳时机使用正确的手指进行接触。 3) 安全性与可靠性。为明确惩罚不稳定的物理峰值和瞬间的破坏性穿透现象，我们监测峰值瞬时力偏差MaxErr = $\max_{t,i} |f_{t,i}^{\mathrm{sim}} - f_{t,i}^{\mathrm{gt}}|$，并引入两个回合级的安全指标： - PeakSafe@3N：计算最大瞬时力误差严格低于3N安全阈值的回合数占比（MaxErr < 3N），该指标反映执行过程稳定且无破坏性力峰值的程度。 SafeTac@3N：这是一个严格的综合指标，要求回合同时满足触觉感知成功的条件以及峰值安全约束（MaxErr < 3N）。 4) 任务成功率（SR）。我们在两个不同严格程度的层面上评估任务完成情况。首先，运动学成功率（$SR_{kin}$）采用来自[^26]的标准：若满足$OTE_r \leq 30^\circ$、$OTE_t \leq 3$厘米、MPJPE $\leq 8$厘米以及TipErr $\leq 6$厘米的条件，则判定该次试验成功。对于双手协作任务，两只手必须同时符合这些空间条件。其次，为了着重强调物理真实性，我们采用了更为严格的触觉感知成功率（$SR_{tac}$）。只有同时满足运动学标准且表现出高物理保真度的试验才能算作触觉层面的成功，具体要求是MTFE达到$\leq 3.0$牛顿，且接触F1分数达到$\geq 0.3$。 ### 5.2 主要结果与消融分析 为了分离出触觉引导监督机制所起的作用，我们将TactiSkill框架与运动学基线模型（ManipTrans [^26]）进行对比评估，并开展了移除核心触觉组件的消融实验：(1) 无奖励项（w/o Bonus），(2) 无对齐机制（w/o Align），以及(3) 无安全约束（w/o Safety）（见表2）。 纯运动学模仿的局限性。纯运动学基线模型（Base）虽然能很好地适应几何对齐要求，但却牺牲了物理真实性。尽管其看似不错的成功率$_{kin}$（72.91%）和OTE$_{t}$（1.1947厘米）令人满意，但这种表现具有误导性。由于忽略了接触力学特性，该基线模型经常通过“空中抓取”或穿透物体网格来实现目标。因此，其触觉感知成功率（SR$_{tac}$）骤降至39.35%，安全指标也较低（接触F1分数为0.5569，SafeTac@3N为35.84%）。这明确表明，仅靠运动学模仿不足以实现稳健的触觉操控。 触觉引导的协同效应。相比之下，完整的TactiSkill框架证明，触觉监督与运动学跟踪相结合能发挥强大的物理正则化作用。通过强制建立有效接触，TactiSkill避免了陷入无效的几何最优解，从而取得了最高的成功率$_{kin}$（81.95%），同时跟踪误差也最低（OTE$_{t}$=0.9577厘米，OTE$_{r}$=6.1974°）。最重要的是，TactiSkill在物理保真度方面远远优于所有基线模型。它获得了最高的接触F1分数（0.7384），并将SR$_{tac}$提升至64.64%。出色的单段任务安全指标，尤其是PeakSafe@3N（72.80%）和SafeTac@3N（53.57%），验证了该方法能实现高度可靠且类人的操控行为，而不会产生破坏性的力峰值。这种触觉保真度的显著提升，标志着从被动的轨迹跟随向主动的力调节的关键转变。 接触初始化与对齐机制的消融分析。消融实验验证了我们的三组件设计理念。移除接触奖励项（w/o Bonus）会削弱启动稳定抓握的动力，导致接触F1分数骤降至0.5425，PeakSafe@3N也降至57.00%。省略力对齐机制（w/o Align）则会导致抓握姿势在空间上显得笨拙；无法匹配真实的力分布意味着策略无法利用解剖学上最优的接触面，这种错位应用严重破坏了动态稳定性，使得接触F1分数降至0.5134，触觉感知成功率（$SR_{tac} = 42.20\%$）也表现不佳。 安全惩罚的悖论。有趣的是，移除安全惩罚（无安全机制）时，平均误差反而最低（MPJPE = 5.0327厘米，MTFE = 0.0921牛顿）。然而，这些看似更优的平均指标极具误导性。由于缺乏针对瞬时力峰值的明确惩罚机制，不受约束的策略便会利用平均指标的特性，允许偶尔出现极具破坏性的力脉冲。这一点从峰值安全性的下降中可见一斑：与完整模型相比，PeakSafe@3N降至68.70%。 ---
Table 2: Quantitative comparison of TactiSkill against the kinematic baseline and ablation variants over 73 sequences. $SR_{kin}$ denotes kinematic success, while $SR_{tac}$ enforces strict tactile fidelity criteria. PeakSafe@3N measures the fraction of episodes whose peak force error stays below 3N, and SafeTac@3N further requires tactile-aware success under the same safety constraint. Best results are bolded.
MethodSuccess RateObject TrackingHand KinematicsTactile FidelitySafety & Reliability
$SR_{kin} \uparrow$$SR_{tac} \uparrow$OTE-t (cm) $\downarrow$OTE-r (°) $\downarrow$MPJPE (cm) $\downarrow$TipErr (cm) $\downarrow$MTFE (N) $\downarrow$Contact F1 $\uparrow$PeakSafe@3N $\uparrow$SafeTac@3N $\uparrow$
Kinematic Base [^26]0.72910.39351.19477.45095.09005.18330.14910.55690.63660.3584
TactiSkill (w/o Bonus)0.76870.41931.20318.25075.17435.17460.15290.54250.57000.3568
TactiSkill (w/o Align)0.76370.42201.08286.95565.23085.26430.14120.51340.59880.3441
TactiSkill (w/o Safety)0.77050.41241.02656.38605.03275.23980.09210.56860.68700.3872
TactiSkill (Full)0.81950.64640.95776.19745.09155.07930.12360.73840.72800.5357
LH: Pick up CupRed, lift, hover, and move top-bottom.
![Image](images/1b16589d7baf2d08a438b0376280ce5fec5c04920f9122d19afeb4338ac7d0f1.jpg) RH：拿起碗，执行饮水动作，再将碗放回原处。 ![Image](images/0ea9f0a81d5c56fa152174725e451ecccd56716590baeb0711d31dd7281cd05a.jpg)
BiH: Left hold Book, Right use BookShelf to Book.
![Image](images/3c986bb7c294a78ee5cacc4f7648816c2541b23a38a30552cc49afaa12a27a30.jpg)
BiH: Pass PicnicBasket from left hand to the right hand.
![Image](images/8d90645aef53b92071140e8808bd06843465623c9953799343e2dbcc54c2d12e.jpg)
Figure 3: Qualitative Results of TactiSkill. Transfer sequences for single-hand (LH/RH) and bimanual (BiH) tasks. Left: Optimized human HOI reference and whole-hand tactile prior. Right (colored panels): Five-frame execution rollout of the simulated dexterous hand. Guided by our tactile supervision, the policy establishes physically grounded contact, effectively avoiding unnatural hovering or penetrations.
功能性安全成功率（SafeTac@3N）显著下降至38.72%。这恰恰印证了我们的核心理念：安全项的作用并非为了最小化孤立的局部平均误差，而是为了抑制瞬间的破坏性行为，从而在任务层面实现真正可靠、具备安全意识的操作。 ### 5.3 定性分析 图3展示了在TactiDex数据集的四个代表性序列上评估得到的TactiSkill框架的定性迁移结果。针对每项单手及双手任务，我们给出了手-物交互（HOI）参考图像，以及模拟执行的五帧过程展示。 在我们基于触觉的监督引导下，灵巧手成功建立了平整且物理稳定的接触，有效避免了不自然的穿透或悬空现象。具体而言，在动态单手任务中（第1-2行），我们的策略能根据物体的不同几何形状灵活调整多指姿态，在复杂的平移和模拟动作过程中保持稳固的抓取。此外，在要求较高的双手场景中（第3-4行），TactiSkill展现出了卓越的协调能力。无论是执行不对称操作还是动态空间传递任务，该框架都能精准对齐相应的接触面，并调节交互力，而不会让物体掉落。 --- ![Image](images/b008a1e72cd4f86b24f439c2b561fa8e1e88a6d870ad7622689bdf3c8e98184b.jpg)
Figure 4: Real-world deployment on our bimanual Franka-Inspire platform. Left: hardware setup with dual Franka arms and Inspire dexterous hands. Right: representative contact-rich execution snapshots.
最终，这种高保真的序列执行过程证明了我们的物理感知三组件奖励机制在长时序环境中的有效性。 ### 5.4 现实世界部署 我们将该策略部署在由两台7自由度Franka机械臂和两只Inspire灵巧手组成的双手平台上。由于Inspire手仅有6个独立驱动器，我们将模拟轨迹$\mathbf{q}_{1:T}^{\text{sim}}$重新定位为驱动轨迹$\tilde{\mathbf{q}}_{1:T} \in \mathbb{R}^6$。 粗略的锚点映射$\mathbf{q}_t^{\text{anchor}} = \Psi(\mathbf{q}_t^{\text{sim}})$提供了初始化条件，通过$\Gamma(\cdot)$将驱动器配置扩展至完整的运动链。重新定位的目标是 $$ \begin{array}{r l}&{\mathcal{L}=\mathbb{E}_{t}\left[\displaystyle\sum_{f}\|\mathbf{x}_{t,f}^{\mathrm{s i m}}-\Phi_{f}(\boldsymbol{\Gamma}(\tilde{\mathbf{q}}_{t}))\|_{2}+\lambda_{a}\|\tilde{\mathbf{q}}_{t}-\mathbf{q}_{t}^{\mathrm{a n c h o r}}\|_{2}^{2}+\lambda_{s}\|\tilde{\mathbf{q}}_{t+1}-\tilde{\mathbf{q}}_{t}\|_{2}^{2}\right.}\end{array} $$ 机械臂的运动是通过求解逆运动学来实现的，以追踪重新定位后的腕部姿态。Inspire手上配备了触觉传感器，但在当前的部署中并未将其用作反馈。 ## 6 结论与讨论 结论：在这项工作中，我们提出了TactiDex——一个富含触觉信息的基准测试，旨在推动灵巧操作从单纯的运动模仿向基于物理规律、类人交互的方向发展。TactiDex提供了同步的物体轨迹、手部关节运动以及时间对齐的触觉信号，从而支持对接触过程的评估与学习。基于这一基准，我们在触觉引导的三组件迁移框架下提出了TactiSkill，该框架明确调控接触形成、作用力大小以及时间对齐。通过全面的定量与定性实验，我们证明引入结构化的触觉监督能够显著提升物体的稳定性、接触精度以及操作成功率，优于单纯的运动迁移方法。总体而言，我们的研究结果表明：触觉引导并非可有可无的辅助手段，而是弥合运动模仿与物理真实的灵巧操作之间差距的关键。 局限性与未来工作：仿真环境与真实硬件之间在传感器噪声、分辨率及物理顺应性方面的差异，可能导致直接部署策略时所学到的力交互准确性下降。为缓解这一问题，未来的工作将探索利用真实触觉反馈进行的机器人端微调，从而实现闭环自适应。更广泛而言，将视觉、本体感知与全手触觉传感整合到一个以接触为中心的统一学习框架中，是实现鲁棒的真实世界灵巧操作的有前景方向。 ## 致谢 本研究得到了国家自然科学基金（62406195、62303319）、上海科技大学高性能计算平台、上海科技大学计算机与通信核心设施平台、教育部智能感知与人机协作重点实验室（上海科技大学）以及上海智能视觉与成像工程研究中心的支持。 --- ## 参考文献 [^1]: Sridhar Pandian Arunachalam, Sneha Silwal, Ben Evans, and Lerrel Pinto. 2023. Dexterous imitation made easy: A learning-based framework for efficient dexterous manipulation. In 2023 IEEE international conference on robotics and automation (icra). IEEE, 5954–5961. [^2]: Homanga Bharadhwaj, Jay Vakil, Mohit Sharma, Abhinav Gupta, Shubham Tulsiani, and Vikash Kumar. 2024. Roboagent: Generalization and efficiency in robot manipulation via semantic augmentations and action chunking. In 2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 4788–4795. [^3]: Bibit Bianchini, Mathew Halm, and Michael Posa. 2023. Simultaneous learning of contact and continuous dynamics. In Conference on Robot Learning. PMLR, 3966–3978. [^4]: Yu-Wei Chao, Wei Yang, Yu Xiang, Pavlo Molchanov, Ankur Handa, Jonathan Tremblay, Yashraj S Narang, Karl Van Wyk, Umar Iqbal, Stan Birchfield, et al. 2021. Dexycb: A benchmark for capturing hand grasping of objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 9044–9053. [^5]: Xingyu Chen, Fu-Jen Chu, Pierre Gleize, Kevin J Liang, Alexander Sax, Hao Tang, Weiyao Wang, Michelle Guo, Thibaut Hardin, Xiang Li, et al. 2025. Sam 3d: 3dfy anything in images. arXiv preprint arXiv:2511.16624 (2025). [^6]: Yuanpei Chen, Yiran Geng, Fangwei Zhong, Jiaming Ji, Jiechuang Jiang, Zongqing Lu, Hao Dong, and Yaodong Yang. 2023. Bi-dexhands: Towards human-level bimanual dexterous manipulation. IEEE Transactions on Pattern Analysis and Machine Intelligence 46, 5 (2023), 2804–2818. [^7]: Yuanpei Chen, Chen Wang, Yaodong Yang, and C Karen Liu. 2024. Object-centric dexterous manipulation from human motion data. arXiv preprint arXiv:2411.04005 (2024). [^8]: Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, and Xiaolong Wang. 2024. Open-television: Teleoperation with immersive active visual feedback. arXiv preprint arXiv:2407.01512 (2024). [^9]: Sudeep Dasari, Abhinav Gupta, and Vikash Kumar. 2023. Learning dexterous manipulation from exemplar object trajectories and pre-grasps. In 2023 IEEE international conference on robotics and automation (ICRA). IEEE, 3889–3896. [^10]: Zihan Ding, Nathan F Lepora, and Edward Johns. 2020. Sim-to-real transfer for optical tactile sensing. In 2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 1639–1645. [^11]: Zihan Ding, Ya-Yen Tsai, Wang Wei Lee, and Bidan Huang. 2021. Sim-to-real transfer for robotic manipulation with tactile sensory. In 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 6778–6785. [^12]: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J Black, and Otmar Hilliges. 2023. ARCTIC: A dataset for dexterous bimanual hand-object manipulation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 12943–12954. [^13]: Hao-Shu Fang, Chenxi Wang, Hongjie Fang, Minghao Gou, Jirong Liu, Hengxu Yan, Wenhai Liu, Yichen Xie, and Cewu Lu. 2023. Anygrasp: Robust and efficient grasp perception in spatial and temporal domains. IEEE Transactions on Robotics 39, 5 (2023), 3929–3945. [^14]: Harrison Field, Max Yang, Yijiong Lin, Efi Psomopoulou, David Barton, and Nathan F Lepora. 2025. Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions. arXiv preprint arXiv:2509.07445 (2025). [^15]: Letian Fu, Huang Huang, Lars Berscheid, Hui Li, Ken Goldberg, and Sachin Chitta. 2023. Safe self-supervised learning in real of visuo-tactile feedback policies for industrial insertion. In 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 10380–10386. [^16]: Beining Han, Abhishek Joshi, and Jia Deng. 2025. Zero-shot Sim2Real Transfer for Magnet-Based Tactile Sensor on Insertion Tasks. arXiv preprint arXiv:2505.02915 (2025). [^17]: Johanna Hansen, Francois Hogan, Dmitriy Rivkin, David Meger, Michael Jenkin, and Gregory Dudek. 2022. Visuotactile-rl: Learning multimodal manipulation policies with deep reinforcement learning. In 2022 International Conference on Robotics and Automation (ICRA). IEEE, 8298–8304. [^18]: Yana Hasson, Gul Varol, Dimitrios Tzionas, Igor Kalevatykh, Michael J Black, Ivan Laptev, and Cordelia Schmid. 2019. Learning joint reconstruction of hands and manipulated objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 11807–11816. [^19]: Ryan Hoque, Peide Huang, David J Yoon, Mouli Sivapurapu, and Jian Zhang. 2025. Egodex: Learning dexterous manipulation from large-scale egocentric video. arXiv preprint arXiv:2505.11709 (2025). [^20]: Wenbin Hu, Bidan Huang, Wang Wei Lee, Sicheng Yang, Yu Zheng, and Zhibin Li. 2025. Dexterous in-hand manipulation of slender cylindrical objects through deep reinforcement learning with tactile sensing. Robotics and Autonomous Systems 186 (2025), 104904. [^21]: Binghao Huang, Yixuan Wang, Xinyi Yang, Yiyue Luo, and Yunzhu Li. 2024. 3d-vitac: Learning fine-grained manipulation with visuo-tactile sensing. arXiv preprint arXiv:2410.24091 (2024). [^22]: Yitaek Kim, Casper Hewson Rask, and Christoffer Sloth. 2025. Tac2Motion: Contact-Aware Reinforcement Learning with Tactile Feedback for Robotic Hand 灵巧操作。arXiv预印本arXiv:2509.17812（2025年）。 [^23]: Taein Kwon, Bugra Tekin, Jan Stühmer, Federica Bogo, and Marc Pollefeys. 2021. H2o: Two hands manipulating objects for first person interaction recognition. In Proceedings of the IEEE/CVF international conference on computer vision. 10138–10148. [^24]: Arjun S Lakshmipathy, Jessica K Hodgins, and Nancy S Pollard. 2025. Kinematic motion retargeting for contact-rich anthropomorphic manipulations. ACM Transactions on Graphics 44, 2 (2025), 1–20. [^25]: Jiaman Li, Jiajun Wu, and C Karen Liu. 2023. Object motion guided human motion synthesis. ACM Transactions on Graphics (TOG) 42, 6 (2023), 1–11. [^26]: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, and Siyuan Huang. 2025. Maniptrans: Efficient dexterous bimanual manipulation transfer via residual learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 6991–7003. [^27]: Sizhe Li, Zhiao Huang, Tao Chen, Tao Du, Hao Su, Joshua B Tenenbaum, and Chuang Gan. 2023. Dexdeform: Dexterous deformable object manipulation with human demonstrations and differentiable physics. arXiv preprint arXiv:2304.03223 (2023). [^28]: Yuchao Li, Ziqi Jin, Jin Liu, and Daolin Ma. 2025. Visuo-tactile feedback policies for terminal assembly facilitated by reinforcement learning. Frontiers in Robotics and AI 12 (2025), 1660244. [^29]: Wenyu Liang, Fen Fang, Cihan Acar, Wei Qi Toh, Ying Sun, Qianli Xu, and Yan Wu. 2022. Visuo-tactile manipulation planning using reinforcement learning with affordance representation. arXiv preprint arXiv:2207.06608 (2022). [^30]: Yijiong Lin, Alex Church, Max Yang, Haoran Li, John Lloyd, Dandan Zhang, and Nathan F Lepora. 2023. Bi-touch: Bimanual tactile manipulation with sim-to-real deep reinforcement learning. IEEE Robotics and Automation Letters 8, 9 (2023), 5472–5479. [^31]: Qingtao Liu, Yu Cui, Zhengnan Sun, Gaofeng Li, Jiming Chen, and Qi Ye. 2025. VTDexmanip: A dataset and benchmark for visual-tactile pretraining and dexterous manipulation with reinforcement learning. In The Thirteenth International Conference on Learning Representations. [^32]: Xueyi Liu, Kangbo Lyu, Jieqiong Zhang, Tao Du, and Li Yi. 2024. Parameterized quasi-physical simulators for dexterous manipulations transfer. In European Conference on Computer Vision. Springer, 164–182. [^33]: Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, and Li Yi. 2022. Hoi4d: A 4d egocentric dataset for category-level human-object interaction. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 21013–21022. [^34]: Yun Liu, Haolin Yang, Xu Si, Ling Liu, Zipeng Li, Yuxiang Zhang, Yebin Liu, and Li Yi. 2024. Taco: Benchmarking generalizable bimanual tool-action-object understanding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 21740–21751. [^35]: Viktor Makoviychuk, Lukasz Wawrzyniak, Yunrong Guo, Michelle Lu, Kier Storey, Miles Macklin, David Hoeller, Nikita Rudin, Arthur Allshire, Ankur Handa, et al. 2021. Isaac gym: High performance gpu-based physics simulation for robot learning. arXiv preprint arXiv:2108.10470 (2021). [^36]: Elle Miller, Trevor McInroe, David Abel, Oisin Mac Aodha, and Sethu Vijayakumar. 2025. Enhancing Tactile-based Reinforcement Learning for Robotic Control. arXiv preprint arXiv:2510.21609 (2025). [^37]: Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. 2019. Deepsdf: Learning continuous signed distance functions for shape representation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 165–174. [^38]: Haozhi Qi, Ashish Kumar, Roberto Calandra, Yi Ma, and Jitendra Malik. 2023. In-hand object rotation via rapid motor adaptation. In Conference on Robot Learning. PMLR, 1722–1732. [^39]: Yuzhe Qin, Yueh-Hua Wu, Shaowei Liu, Hanwen Jiang, Ruihan Yang, Yang Fu, and Xiaolong Wang. 2022. Dexmv: Imitation learning for dexterous manipulation from human videos. In European Conference on Computer Vision. Springer, 570–587. [^40]: Yuzhe Qin, Wei Yang, Binghao Huang, Karl Van Wyk, Hao Su, Xiaolong Wang, Yu-Wei Chao, and Dieter Fox. 2023. Anyteleop: A general vision-based dexterous robot arm-hand teleoperation system. arXiv preprint arXiv:2307.04577 (2023). [^41]: Javier Romero, Dimitrios Tzionas, and Michael J Black. 2022. Embodied hands: Modeling and capturing hands and bodies together. arXiv preprint arXiv:2201.02610 (2022). [^42]: Yuxin Ray Song, Jinzhou Li, Rao Fu, Devin Murphy, Kaichen Zhou, Rishi Shiv, Yaqi Li, Haoyu Xiong, Crystal Elaine Owens, Yilun Du, et al. 2025. OPEN-TOUCH: Bringing Full-Hand Touch to Real-World Interaction. arXiv preprint arXiv:2512.16842 (2025). [^43]: Entong Su, Chengzhe Jia, Yuzhe Qin, Wenxuan Zhou, Annabella Macaluso, Binghao Huang, and Xiaolong Wang. 2024. Sim2real manipulation on unknown objects with tactile-based reinforcement learning. In 2024 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 9234–9241. ## [^44]: Omid Taheri, Nima Ghorbani, Michael J Black, and Dimitrios Tzionas. 2020. GRAB: A dataset of whole-body human grasping of objects. In European conference on computer vision. Springer, 581–600 --- [^45]: Jiaxian Tang, Xiaogang Yuan, and Shaodong Li. 2025. Visual-Tactile Fusion and SAC-Based Learning for Robot Peg-in-Hole Assembly in Uncertain Environments. Machines 13, 7 (2025), 605. [^46]: Jie Tian, Ran Ji, Lingxiao Yang, Suting Ni, Yuexin Ma, Lan Xu, Jingyi Yu, Ye Shi, and Jingya Wang. 2024. Gaze-guided hand-object interaction synthesis: Dataset and method. arXiv preprint arXiv:2403.16169 (2024). [^47]: Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, and C Karen Liu. 2024. Dexcap: Scalable and portable mocap data collection system for dexterous manipulation. arXiv preprint arXiv:2403.07788 (2024). [^48]: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, and He Wang. 2022. Dexgraspnet: A large-scale robotic dexterous grasp dataset for general objects based on simulation. arXiv preprint arXiv:2210.02697 (2022). [^49]: Youzhuo Wang, Jiayi Ye, Chuyang Xiao, Yiming Zhong, Heng Tao, Hang Yu, Yumeng Liu, Jingyi Yu, and Yuexin Ma. 2025. DexH2R: A benchmark for dynamic dexterous grasping in human-to-robot handover. In Proceedings of the IEEE/CVF International Conference on Computer Vision. 12702–12712. [^50]: Bowen Wen, Jonathan Tremblay, Valts Blukis, Stephen Tyree, Thomas Müller, Alex Evans, Dieter Fox, Jan Kautz, and Stan Birchfield. 2023. Bundlesdf: Neural 6-dof tracking and 3d reconstruction of unknown objects. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 606–617. [^51]: Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. 2024. Foundationpose: Unified 6d pose estimation and tracking of novel objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 17868–17879. [^52]: Ziwei Xia, Zhen Deng, Bin Fang, Yiyong Yang, and Fuchun Sun. 2022. A review on sensory perception for dexterous robotic manipulation. International Journal of Advanced Robotic Systems 19, 2 (2022), 17298806221095974. [^53]: Chendong Xin, Mingrui Yu, Yongpeng Jiang, Zhefeng Zhang, and Xiang Li. 2026. Analyzing Key Objectives in Human-to-Robot Retargeting for Dexterous 灵巧操作。IEEE机器人与自动化实践会议论文集（2026年）。 [^54]: Yinzhen Xu, Weikang Wan, Jialiang Zhang, Haoran Liu, Zikang Shan, Hao Shen, Ruicheng Wang, Haoran Geng, Yijia Weng, Jiayi Chen, et al. 2023. Unidexgrasp: Universal robotic dexterous grasping via learning diverse proposal generation and goal-conditioned policy. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 4737–4746. [^55]: Lixin Yang, Kailin Li, Xinyu Zhan, Fei Wu, Anran Xu, Liu Liu, and Cewu Lu. 2022. Oakink: A large-scale knowledge repository for understanding hand-object interaction. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 20953–20962. [^56]: Jessica Yin, Haozhi Qi, Youngsun Wi, Sayantan Kundu, Mike Lambeta, William Yang, Changhao Wang, Tingfan Wu, Jitendra Malik, and Tess Hellebreakers. 2025. OSMO: Open-Source Tactile Glove for Human-to-Robot Skill Transfer. arXiv preprint arXiv:2512.08920 (2025). [^57]: Kelin Yu, Yunhai Han, Qixian Wang, Vaibhav Saxena, Danfei Xu, and Ye Zhao. 2023. Mimictouch: Leveraging multi-modal human tactile demonstrations for contact-rich manipulation. arXiv preprint arXiv:2310.16917 (2023). [^58]: Xinyu Zhan, Lixin Yang, Yifei Zhao, Kangrui Mao, Hanlin Xu, Zenan Lin, Kailin Li, and Cewu Lu. 2024. Oakink2: A dataset of bimanual hands-object manipulation in complex task completion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 445–456. [^59]: Shenao Zhang, Wanxin Jin, and Zhaoran Wang. 2023. Adaptive barrier smoothing for first-order policy gradient with contact dynamics. In International Conference on Machine Learning. PMLR, 41219–41243. ### [^60]: Zifan Zhao, Siddhant Haldar, Jinda Cui, Lerrel Pinto, and Raunaq Bhirangi. 2025. Touch begins where vision ends: Generalizable policies for contact-rich manipulation. arXiv preprint arXiv:2506.13762 (2025) --- ### A. TactiDex详情 ### A.1 数据规模与物品清单 TactiDex数据集包含了超过700个精心录制的交互序列，专门针对人机灵巧操作场景。为确保覆盖丰富的接触型场景，我们挑选了49种日常物品，涵盖多个类别。 如图5所示，这些物品具有多样的几何形状、尺寸和物理特性。我们的物品清单不仅限于简单的刚体，还包括易碎品（如鸡蛋）、日常容器，以及复杂的工具和配套部件（如带杆的研磨机、带盖的炒锅）。这种有针对性的选择明确支持了复杂且长时序的物体间交互任务。 此外，为了全面展示交互多样性，图6可视化了我们所记录序列的宏观分布。借鉴以往大规模交互数据集的做法，我们采用桑基图来呈现任务划分（即单手操作与双手操作）、细粒度动作类型（如功能模拟、双手传递、物体间交互）以及特定物体类别之间的明确层级关系。 光学动作捕捉系统。全局追踪系统由配备8台PrimeX 13W（PX13W）摄像头的OptiTrack系统构成，采样率高达120帧/秒。在数据采集前，会利用厂商提供的专用活动棒对捕捉区域进行精细校准。这一严格的校准过程可使平均光线误差精确控制在0.2毫米以内，从而确保对手部轨迹和物体6D姿态的记录能达到亚毫米级精度。 ## A.2 硬件设置与捕捉系统 为了捕捉高保真且同步的人类演示数据，我们搭建了一个定制化的多模态捕捉系统，该系统能够无缝整合全局动作捕捉、细粒度手部运动学数据以及全手触觉感知功能。 运动学与触觉双手套设置。为了实现细粒度的手指运动学测量，人类演示者会佩戴MANUS Metagloves Pro手套，该手套以其高精度和低延迟的关节追踪能力而著称。为确保不同受试者之间的解剖结构一致性，每次录制前都会严格执行标准化的校准流程。 与此同时，用户会在手套外部佩戴我们的高分辨率触觉手套以捕捉连续的压力分布图。将这两套尖端系统整合起来面临独特的硬件挑战：要在OptiTrack系统中追踪Metagloves手套，需要借助刚性的标记背板。为了在不损坏触觉手套内部精密线路或影响传感器精度的前提下安装外部触觉手套，我们为背板集成设计了定制的非破坏性机械改装方案（如图7所示）。 物体注册与迁移。除了捕捉原始轨迹外，我们还确保所有物体交互都基于统一的物理空间。在生成49个物体的3D网格后，我们会手动在多视角OptiTrack坐标系统内调整它们的尺寸、平移量和旋转角度。这一标准化的空间注册流程能保证记录的物体6D姿态与网格几何形状完美对齐，从而使整个数据集能够轻松迁移并在任何新的计算平台或仿真环境中正确渲染。 ### A.3 标准操作流程（SOP）与数据采集流程 鉴于TactiDex数据集的规模前所未有，若依靠人工方式记录700多个多模态序列，极易出现不一致性和人为错误。 为了系统化地规范采集流程，我们设计并部署了一套专用的基于网页的数据采集系统。这个集成式网页平台在演示过程中充当中央指挥枢纽，它会向受试者动态显示所需的任务指令，实时跟踪任务进度，并记录每次试验的元数据。通过这套自动化SOP界面将整个工作流程标准化，我们不仅大幅减少了额外开销，还确保了整个数据集中的任务执行具有高度一致性。 ### B TactiSkill实现 ## B.1 网络架构与状态-动作空间 我们的TactiSkill框架采用近端策略优化（PPO）算法，搭配非对称的Actor-Critic架构。两个网络均被建模为多层感知机（MLP），其隐藏层维度为[^512] [^256] [^128]，激活函数为ELU。 为了弥合仿真到现实之间的差距，我们对状态空间进行了严格解耦。以12自由度的Inspire手作为主要的单手示例，观测空间由三个独立的部分组成（注：对于双手任务，所有维度都会翻倍）： 1. 本体感知状态（$S_{prop} \in \mathbb{R}^{46}$）：包含机械手的内部运动学状态。 • 关节状态（36维）：当前关节位置$\mathbf{q} \in \mathbb{R}^{12}$及其三角编码$\sin(\mathbf{q})$、$\cos(\mathbf{q}) \in \mathbb{R}^{24}$，以确保旋转空间的连续性。 - 腕部基座状态（10维）：腕部基座的6D位姿（四元数）以及线速度/角速度，排除绝对全局定位信息以促进空间不变性。 2. 目标参考$(S_{target} \in \mathbb{R}^{330})$：提供来自人类演示的密集空间与时间线索，用以指导模仿过程。 - 触觉与几何先验（133维）：物体的点云的基点集（BPS）编码（128维），加上指尖处的真实目标触觉距离信息（5维）。 • 未来运动学轨迹（197维）：未来时间段内腕部（23维）、手指关节（135维）、被操纵物体（23维）的增量运动学数据（位置、旋转、线速度/角速度），以及物体与关节间的相对变换关系（16维）。 3. 特权信息$(S_{priv} \in \mathbb{R}^{49})$：仅在仿真训练期间供Critic网络使用，以准确估计价值函数。 --- ![Image](images/02f7bcf58e8dce99938dfcf9c734aed06d4c7f8d06933f332ca4a3582720eca9.jpg)
Figure 5: Object Inventory of TactiDex. Rendered meshes of the 49 diverse everyday objects utilized in our data collection. The collection spans a wide range of geometries, physical scales, and functional categories. Notably, our inventory intentionally includes matching multi-part object pairs (e.g., teacups with lids, grinders with rods) to explicitly facilitate complex, long-horizon bimanual interactions and tool use.
![Image](images/54c91b183c3694452b1b8e74e62900249f7cad9c8e7f91f1494166f01b64a9a7.jpg)
Figure 6: Task and Interaction Distribution. A Sankey diagram illustrating the hierarchical mapping among task actions, semantic grasp types, and object categories across the 700+ sequences in the TactiDex dataset.
--- ![Image](images/1993a24cf69285b7fda56c260f4895bdd7f90fc91bf32511da5a6e04f6b06ef0.jpg)
Figure 7: Custom Dual-Glove Hardware Integration. To synchronously capture high-precision kinematics and tactile signals, we developed a customized backplate modification. This design safely routes the tracking markers without interfering with the dense wiring matrix of the outer tactile glove.
• 精确的物体动力学参数（14维）：真实的笛卡尔坐标（3维）、四元数（4维）、速度（6维）以及物体重量（1维）。 高保真接触力（20维）：模拟得到的指尖接触力$\mathbf{F}^{sim} \in \mathbb{R}^{20}$，明确记录了5个指尖处的3D方向力矢量及其标量大小。 - 内部物理参数（15维）：关节速度$\dot{\mathbf{q}} \in \mathbb{R}^{12}$以及物体的精确质心（CoM）坐标（3维）。 网络输入与动作空间：训练期间，Actor网络仅能观测到可部署的现实世界状态：$S_{actor} = S_{prop} \oplus S_{target} \in \mathbb{R}^{376}$（双手任务则为752维）。Critic网络则接收包含特权动力学信息的完整状态：$S_{critic} = S_{prop} \oplus S_{target} \oplus S_{priv} \in \mathbb{R}^{425}$（双手任务则为850维）。动作空间$\mathcal{A} \in \mathbb{R}^{12}$会输出残差目标关节位置，这些位置会通过底层PD控制器来执行。 ### B.2 超参数与奖励权重 表3详细列出了训练残差策略时所用的超参数，包括我们提出的触觉引导型三分量奖励的具体权重。 仿真环境基于NVIDIA Isaac Gym搭建，后端采用PhysX。 • 物理参数：仿真以60 Hz的频率运行，每帧包含2个子步骤。为确保稳定的抓取效果与逼真的交互动力学，我们将指尖和物体的侧向摩擦系数设为1.0，关节阻尼系数设为0.5 Ns/m。 - 触觉信号映射：为了弥合人类演示与仿真引擎之间的差距，物理触觉传感器采集的原始ADC信号会通过线性校准模型映射到模拟的正压力值：$F_{sim} = k \cdot (ADC_{raw} - ADC_{offset})$，其中参数k是通过校准过的测力计确定的。在PhysX引擎中，这一真实力值对应于刚体接触冲量除以仿真时间步长。 ### C 实际硬件部署细节 虽然正文第5节已经阐述了我们针对零样本仿真到现实迁移的适配目标，但本节将详细介绍复现我们的双臂硬件实验所需的最低层工程实现与通信细节。 ### C.1 双臂系统架构与机械臂控制 我们的实际部署平台由两台7自由度Franka Emika Panda机械臂和两只Inspire灵巧手组成。整个双臂控制框架通过Deoxys控制接口进行协调管理。 为消除仿真到现实的全局坐标差异，Franka机械臂追踪的是相对位移姿态而非绝对笛卡尔坐标。在执行前，需先将仿真轨迹的初始姿态与物理机器人的起始状态对齐。在每个时间步，相对位置与相对旋转量（通过四元数变换计算得出）会被应用到物理锚点姿态上。随后，机械臂由运行在100 Hz控制循环下的操作空间控制器（OSC）（$\Delta t = 0.01$秒）驱动，该控制器会将笛卡尔跟踪误差转换为可执行的关节扭矩。 ### C.2 Inspire手的运动学优化 仿真中的手拥有12个自由度，而实际的Inspire手属于欠驱动结构，仅由6个独立线性执行器驱动：食指屈曲、中指屈曲、无名指屈曲、小指屈曲、拇指俯仰以及拇指偏转。 为了在物理手上执行仿真轨迹$\mathbf{q}_{1:T}^{\text{sim}}$，我们采用了基于离线优化的适配流程。我们利用PyTorch Kinematics构建Inspire手的可微运动学链。针对每条轨迹，我们先通过启发式锚点映射初始化一个6自由度的指令序列$\tilde{\mathbf{q}}_{1:T}$。随后利用Adam优化器（学习率=0.01， ---
Table 3: Key Hyperparameters and Reward Coefficients for TactiSkill Training
CategoryParameterValue
PPO Algorithm
Learning Rate$3 \times 10^{-4}$
Batch Size (Total)32, 768
Mini-batch Size8, 192
Optimization Epochs5
Discount Factor ( $\gamma$)0.99
GAE Parameter ( $\lambda$)0.95
Tactile Reward
Guidance Weight ( $w_g$)0.6
Alignment Weight ( $w_a$)1.4
Safety Penalty Weight ( $w_s$)0.01
Contact Threshold ( $\tau$)0.3 N
Safety Force Limit ( $F_{limit}$)40.0 N
Kinematic & Task Reward
Object Tracking Weight (Pos / Rot)5.0 / 3.0
Fingertip Tracking Weight (Thumb / Others)0.9 / 0.6~0.8
Joint Tracking Weight (Level 1 / Level 2)0.5 / 0.3
Energy Penalty & Velocity Constraints0.05~0.5
迭代100次）来最小化下述复合损失函数： $$ \mathcal{L}=W_{\mathrm{pos}}\mathcal{L}_{\mathrm{pos}}+W_{\mathrm{anchor}}\mathcal{L}_{\mathrm{anchor}}+W_{\mathrm{smooth}}\mathcal{L}_{\mathrm{smooth}} $$ 其中，$\mathcal{L}_{\text{pos}}$用于惩罚12自由度仿真指尖与6自由度适配后指尖之间的笛卡尔距离；$\mathcal{L}_{\text{anchor}}$用于防止解偏离锚点先验值过远；$\mathcal{L}_{\text{smooth}}$则用于惩罚时间上的抖动。根据经验调试，各权重分别设为$W_{\text{pos}} = 50.0$、$W_{\text{anchor}} = 20.0$和$W_{\text{smooth}} = 10.0$。 ## C.3 指令映射与开环执行 优化完成后，6.7个参数会被校准并线性映射到$^{1000}$。这些指令随后通过……被发送到手部执行。 关键在于，虽然实体Inspire机械手配备了触觉传感器，但我们目前的部署仍完全依赖开环执行方式（即触觉信号不会实时反馈给策略网络）。成功的仿真到现实迁移证明了TactiSkill框架的核心优势：通过在训练期间利用三分量奖励机制主动调节模拟接触力，策略网络便能内在地学习到稳健且符合物理规律的力分布。最终，由此生成的零样本运动轨迹能够在真实硬件上自然形成稳定且基于物理规律的抓取效果，无需依赖脆弱的在线触觉反馈回路，便成功克服了常见的几何域差异问题。 ### D.1 TactiDex数据集的可视化 ### D 补充定性结果与视频指南 在评估所学策略之前，我们首先可视化TactiDex数据集中收录的丰富多模态人类演示数据。作为我们触觉引导强化学习框架的基础，该数据集超越了常规的运动学跟踪范畴，能够同步记录高分辨率的接触力数据。 如图8所示，我们展示了涵盖多种操作场景的典型序列，包括左手操作、右手操作以及长时序双臂操作任务。除了三维运动学层面的手-物体空间关系外，我们还可视化了每个时间步对应的人类接触热图（采用紫色到黄色的颜色渐变表示）。这些动态压力分布清晰地揭示了演示者的潜在物理意图。例如，热图可以明显区分捏苹果或握电话时所需的指尖局部作用力，与紧压黑板擦时所需的整个手掌层面的压力。通过捕捉这些细腻且基于物理规律的互动细节，TactiDex数据集为TactiSkill框架在策略训练过程中提供了至关重要的密集触觉先验知识。 ## D.2 交互质量的定性对比 为了直观评估我们所提出的三分量触觉奖励机制的效果，我们提供了TactiSkill策略与传统的仅基于运动学的模仿基准模型之间的逐帧对比结果。如图9所示，我们选取了左手操作、右手操作以及双臂操作任务在其执行过程中的典型时刻进行对比。 由于缺乏触觉先验的明确指导，基准策略完全依赖于最小化关节空间的误差。这种纯粹的运动学方法在复杂交互过程中常常会出现严重的物理一致性问题，这一点可以从放大的红色区域中看出： --- ![Image](images/673bbf12559080dc632d2acf95b9b9118460f23af4c5e225499d3a2686e5a503.jpg)
Figure 8: Multi-modal Human Demonstrations from the TactiDex Dataset. Representative sequences for LH (Apple), RH (TelephoneHand), and BiH (Grinder, WhiteBoard) tasks. Each frame pairs the 3D kinematic hand-object interaction with its synchronized tactile pressure heat map (where purple indicates low pressure and yellow indicates high pressure). These sequences demonstrate how our dataset captures the precise, task-specific force distributions required for complex object manipulation.
- 仅基于运动学的基准模型：该策略无法遵守物理接触边界规则。这导致出现明显不自然的现象，比如手指在电话手柄或桨周围留下较大空隙，或者出现严重的网格穿透现象（例如手指强行穿过水壶手柄来强行实现抓取）。 - TactiSkill（我们的方法）：通过在强化学习过程中主动调节模拟接触力，我们的策略能够确保机器人指尖与物体表面紧密贴合且符合物理规律（放大的绿色区域显示了这一效果）。这种触觉引导的策略能够很好地适配物体的表面边界，在所有操作阶段都能保持稳定且逼真的抓取效果。 ## D.3 补充视频指南 我们框架的动态性能、时间稳定性以及零样本真实世界部署能力，只有在实际运行中才能被充分领略。我们强烈建议审稿人观看附带的补充视频，以全面评估未经筛选的策略部署及硬件实验情况。 --- ## 仅基于运动学的基线模型 ![Image](images/8f9738bc3d8c5d8b758931279f686664575c26c204cfc9385f17350d8f3a5c27.jpg) ## TactiSkill（我们的触觉引导模型） ![Image](images/e12ed924e8af40effd1e9961763c379ebe393738a39b09b1e5399a475ab3943c.jpg) ![Image](images/4a64799ee291b0b959eae9aa80c36b9e42984d19ac4d22eb9a7f44901ed2e145.jpg) ![Image](images/c4769cd9d460fb9843d4722a1bdb6c530b00f7e6e68d6859b73b5a777066493b.jpg) ![Image](images/519784a0d34f8f1d7df422e5f3688f8a9e2a4cb761ce5dc972948a199f4ba72d.jpg) ![Image](images/f28e9007d210532d87ccb7131b3735688c13b504a1dd9bc12048bc384ae76734.jpg)
Figure 9: Qualitative Comparison of Contact Quality. Frame-by-frame rollouts of LH (TelephoneHand), RH (PingPang), and BiH (KettleBlack) tasks. (Left) The kinematic-only baseline often results in unnatural hovering or severe mesh penetration, as explicitly highlighted by the red magnified views. (Right) Our TactiSkill policy seamlessly establishes flush, stable contact with diverse object geometries, effectively preventing physical artifacts as shown in the green magnified views.