研究论文 开放获取 # T-800：一种用于精确手部姿态追踪的800 Hz数据手套 罗浩阳 $^{1,2}$ | 赵子航 $^{1,3,4,5}$ | 崔雷耀 $^{1,3,4,5,6}$ | 张赛尧 $^{1,3,4,5,6}$ | 杨刘 $^{7}$ | 韩志 $^{6}$ | 唐希远 $^{1,2}$ | 朱艺欣 $^{1,3,4,5,8}$ $^{1}$北京大学人工智能研究院，中国北京 | $^{2}$北京大学集成电路学院，中国北京 | $^{3}$北京大学心理与认知科学学院，中国北京 | $^{4}$北京大学通用人工智能国家重点实验室，中国北京 | $^{5}$北京大学行为与健康北京市重点实验室，中国北京 | $^{6}$中国科学院沈阳自动化研究所，中国沈阳 | $^{7}$清华大学航空航天学院，中国北京 | $^{8}$北京大学-武汉人工智能研究院具身智能实验室，中国武汉 通讯作者：唐希远 () | 朱艺欣 () 收稿日期：2026年2月4日 | 修订日期：2026年5月6日 | 录用日期：2026年5月22日 关键词：数据手套 | 灵巧操作 | 高频运动 | 运动学映射 | 多惯性测量单元同步 ## 摘要 人类的灵巧性依赖于亚秒级的快速运动调节，但捕捉这种高频动态一直是生物力学和机器人领域长期面临的挑战。现有的动作捕捉方案受限于时间分辨率与视觉遮挡之间的权衡，无法记录快速且涉及大量接触的操作中精细的手部运动。在此，我们推出了T-800——一种带宽极高的数据手套系统，能够实现800 Hz频率下的全手运动同步追踪。通过整合创新的基于广播的同步机制与机械应力隔离架构，该系统在长时间、剧烈的运动过程中，仍能保持18个分布式惯性测量单元（IMU）之间的帧级时间对齐。我们的研究表明，T-800能够还原因时间采样不足而丢失的精细操作细节。分析结果显示，人类灵巧动作中存在大量频率超过100 Hz的运动能量成分，而这些成分由于以往硬件限制导致的奈奎斯特采样极限而无法被捕捉到。为了验证该系统在机器人操作中的实用性，我们实现了一种运动学映射算法，可将T-800采集的高保真人体手势映射到灵巧的机器人手模型上。实验表明，高频运动数据能够被准确转换，同时还能满足机器人手的运动学约束，从而为未来训练鲁棒的控制策略提供丰富的行为数据。 ## 1 | 引言 人类的手是进化的奇迹，能够执行亚秒级、高精度的运动调整，这种能力至今仍未被人工系统所超越。高自由度机械手的进步使机器更接近这种灵巧程度 [^1] [^2] [^3] [^4] [^5]，从而在微创外科手术 [^6] [^7]、精密装配 [^8] [^9]、非结构化家庭环境 [^10] [^11] [^12] 等领域具有潜在应用前景。然而，这些平台的机械复杂性也带来了控制瓶颈：需要实时协调数十个执行器才能产生自然且敏捷的行为。 随着深度学习的进步，数据驱动的模仿学习凭借利用人类演示来引导机器人穿越复杂的动作空间，已成为一种极具前景的解决方案[13–17]。因此，所记录数据的保真度 --- 人类运动数据集的保真度决定了机器人性能的上限[^18]。为了复现人手的动作灵活性，系统必须捕捉完整的运动频谱——尤其是那些表征快速操作与接触响应的高频动态特征（> 100 Hz）[^19]。 尽管有这一迫切需求，当前的运动捕捉技术仍面临时间分辨率与空间可靠性之间的根本矛盾。光学系统（如Vicon [^20]）虽然采样率较高，但在物体交互过程中容易出现严重遮挡——而这恰恰是最需要精准追踪的时刻。相反，基于可穿戴惯性测量单元（IMU）的方法虽能避免遮挡问题，但历来存在两大局限：其一，采样率很少超过200 Hz [21–25]，无法满足奈奎斯特采样定理对快速瞬态运动的捕捉要求，从而导致信号混叠；其二，独立传感器时钟会随时间漂移，造成时间上的错位，使得同时发生的关节协同运动被分散到不同时间点。这种时间上的模糊会破坏数据的完整性，使其无法用于学习精确的动态模型（表1详细对比了目前主流的基于IMU的手部运动捕捉系统）。 为填补这一缺口，我们推出了T-800——一种高频全手追踪系统，旨在捕捉此前被忽视的人体灵巧性动态。如图1所示，T-800集成了紧凑型18节点IMU阵列，并采用可重构通信协议，从而实现在线同步的800 Hz数据采集。与以往依赖运动学先验从指尖IMU读数 [^24] [^25] [^27] [^32] 或弯曲传感器数据 [^26] [^28] [^30] 中推测全手姿态的系统不同，我们的系统可直接测量所有手指节段。通过将传统数据手套的带宽提高四倍，并强制实现帧内同步，T-800为我们观察和分析人体操作的高速频谱内容提供了新契机。 ## 我们的主要贡献如下 • 高频全手捕捉：我们开发了一种柔性手套架构，可在18个关节上实现800 Hz的追踪能力。独特的机械隔离设计（“三明治结构”）既保证了内部IMU的正常运行，又保留了手部的自然灵巧性。 • 基于广播的时间校准：我们提出了一种同步协议，可有效消除时钟漂移现象。通过广播全局时间戳锁定指令，我们能够在长时间的记录过程中保持所有分布式传感器之间的帧级对齐。 • 灵巧性的频谱分析：我们的系统发现，快速的手部与物体交互（如笔的旋转）包含大量频率高于100 Hz的能量信息，这表明传统的200 Hz采样系统无法充分捕捉人类的敏捷动作。 可穿戴平台设计与机械隔离策略。随后我们介绍了核心算法成果：消除时钟漂移的基于广播的同步协议（第2.2节），以及用于解剖结构对齐的空间校准框架（第2.3节）。在第2.4节中，我们通过对手部与物体快速交互的频谱分析，验证了该系统的高频采集能力。第2.5节则介绍了运动重定向框架，并分析了其在机器人手模型上的映射性能。最后，第3节总结了我们的研究成果并探讨了未来的研究方向，其中详细的实现细节——包括制造、硬件及固件规格——均在第4节中给出。 • 运动重定向：我们实现了一种几何重定向算法，将高速的人类手部数据映射到灵巧的机器人手模型上，从而验证了采集数据的运动兼容性，为未来鲁棒控制算法的训练奠定了数据基础。 本文的其余部分安排如下：我们首先在第2.1节详细介绍系统架构，包括 ## 2 | 结果与讨论 ### 2.1 | T-800系统概述 如图1所示，T-800系统旨在解决可穿戴动作捕捉中的权衡问题：在实现对手部运动的高保真、高频跟踪的同时，对自然手部灵巧性的物理限制降至最低。该系统架构集成了三个紧密耦合的子系统：机械隔离的可穿戴传感平台、低惯量腕部安装枢纽，以及实时时空重建流水线。 可穿戴组件（图1a），即数据手套，采用根据人类手部复杂解剖曲率定制的柔性手套基底（制造细节见第4.1节）。为了捕捉人类手部的所有自由度，该系统采用了18个分布式IMU单元。我们设计中的一个关键创新是微型化IMU单元，其尺寸仅为长9.8毫米、宽6.8毫米、高2.2毫米。这种超紧凑的外形经过专门优化，旨在在精细操作任务中最大限度地减少手指间的干扰以及本体感觉的阻碍。此外，该单元采用了一种新型机械结构，以解决传感器与骨骼之间牢固耦合这一长期存在的难题——因为皮肤变形和织物滑动通常会导致传感器与下方的骨骼运动脱钩。 如图1b、1c的分解图和剖视图所示，每个IMU模块均采用“三明治结构”。定制的金属顶盖和底部支撑板构成了一个刚性的外壳，将中央的IMU机械地封装起来。这种结构能够产生应力屏蔽效果：手套织物产生的拉力（蓝色箭头）以及指骨的反作用力（紫色箭头）都会通过这个刚性外壳传递，从而有效避开传感元件。因此，IMU在中心位置保持机械上的分离状态，免受剪切应力和压力集中的影响——这些因素往往会导致测量误差。同时，这种刚性界面还能集中法向力以产生足够的摩擦力，确保传感器与指骨之间在高速运动过程中仍能牢固贴合、不易滑动。 分布式传感器阵列通过五条定制设计的柔性印刷电路（FPC）相互连接，这些电路能够贴合手部复杂的几何形状。与普通线缆不同，每条FPC片段都针对其对应的关节活动范围进行了几何优化——从近端的指节到远端的指尖。这种设计确保了互连部件具有足够的柔韧性，以适应手指的完全弯曲而不限制关节活动，同时又足够紧绷，避免产生过多松弛而导致传感器移位。关于这些柔性条带的具体材料组成和布局，将在4.2节中进一步详细说明。 ---
TABLE 1 | Comparison of different hand motion capture systems with IMU-based sensing.
NameSensor typeIMU typeConnectivityHaptic obstructionSynchronizationPalm & arm sensors $\uparrow$Finger sensors $\uparrow$IMU count $\uparrow$Sample rate (Hz) $\uparrow$
iSEG-Glove [^21]IMUMPU9150Wi-FiFully-obstructedNo131640
M. Edmonds et al. [^22]IMUBNO055WiredFully-obstructedNo13 (2 for thumb)1520
G. Saggio et al. [^23]IMUMPU9250WiredCutout ringsNo331840
Z. Yang et al. [^24]IMU + magneticMPU9250WiredFingertipPost-process1 + 01 + 13100
FI-HGR [^25]IMU + flexICM20948BluetoothFully-obstructedPost-process1 + 01 + 0 (1 + 1 for index)650
M.A. Ahmed et al. [^26]IMU + flexMPU9250BluetoothFully-obstructedNo1 + 11 + 16—
C. Lu et al. [^27]IMUICM20948Wi-FiFinger dorsalPost-process235200
HIMT [^28]IMU + flexBNO085Wi-FiFully-obstructedPost-process2 + 00 + 12—
ASTRA [^29]IMUMPU9250WiredFully-obstructedPost-process1316100
L. Fan et al. [^30]IMU + flexMPU6050BluetoothFully-obstructedNo1 + 00 + 11—
B. Lin et al. [^31]IMULSM9DSOBluetoothFully-obstructedNo231725
C. Lu et al. [^32]IMUICM20648BluetoothFully-obstructedNo116200
Metagloves Pro [^33]IMU + magnetic—BLEPalm & fingertip—1 + 01 + 16120
TI-Glove [^34]IMU + flexMPU9250Wi-FiFully-obstructedNo1 + 00 + 11100
T-800 (This work)IMUBHI360Wi-FiCutout ringsOnline3318800
注意：向上箭头表示数值越高越好。加粗的数值代表最优值。 --- ![Image](images/c3d5e933ad5afb41c375ed0221e639ef6326eccd58bbfd8e984214e547d61a1d.jpg)
FIGURE 1 | System architecture and processing pipeline of the T-800 high-frequency tracking system. (a) The wearable platform features an anatomically aligned, flexible sensor array designed to minimize restriction on natural hand movements. (b–c) Mechanical isolation strategy. (b) Exploded and (c) cross-sectional views of the “sandwich structure.” The rigid metal shield and support plate mechanically decouple the sensor from the fabric and skin; tension forces (blue arrows) and bone reaction forces (purple arrows) are routed through the rigid housing, ensuring stable coupling. (d) Wrist-mounted sensor hub consolidating heavy components (battery, MCU) to minimize inertial loading on the finger segments. (e) Topology of the 18-sensor array covering the full kinematic chain. (f) Spatiotemporal reconstruction workflow. The pipeline transforms raw, asynchronous, and drifting data streams into a coherent 800 Hz signal via broadcast-based temporal calibration, followed by spatial alignment to reconstruct high-fidelity gestures (visualized via the MANO model [^35]).
为确保互连部件具有足够的柔韧性以适应关节的全范围运动，同时又不至于过于松弛而导致传感器移位，这些柔性条带的材料组成和布局在4.2节中有更详细的介绍。 为了尽量减少对手部动态特性的影响，T-800设计巧妙地将所有质量较大的组件——包括微控制器单元（MCU）、电池、无线天线和主印刷电路板（PCB）——整合到一个腕部安装的传感器中枢中（见图1d）。通过将质心从远端部位转移到手腕处，该设计大幅减轻了作用在手指上的质量和惯性，从而在动态运动中保留用户的自然灵活性。这个中枢不仅为电子元件提供了保护外壳，还充当分布式传感器的中央汇聚点。关于传感器中枢的硬件细节，详见4.3节。 传感器中枢通过五条FPC与17个IMU模块相连，其中中枢内部直接嵌入了一个$18^{th}$参考IMU。传感器拓扑结构与手部的骨骼结构相匹配（见图1e），每条FPC分支上分布着3~4个节点，分别对应单个手指的掌骨和指骨（颜色从黄色到红色渐变）。这种全面的覆盖设计确保了从手腕到指尖的完整运动链都能被精确捕捉，没有任何关节被遗漏。 端到端的操作流程如图1f所示。该系统作为一个分布式网络运行，每个IMU以800 Hz的标称频率异步采集姿态数据。这些原始的、未同步的数据流会连同其本地时间戳一起通过无线方式传输给主机计算机进行实时处理。为了从这些独立的数据流中还原出连贯的运动模型，主机需要执行两阶段的校准流程。 --- 为了从这些独立的数据流中还原出连贯的运动模型，主机需要执行两阶段的校准流程。 #### 2.1.1 | 时间校准 针对独立传感器振荡器所呈现的随机特性，本阶段采用了我们基于广播的同步算法（详见第2.2节）。该算法将所有18个传感器的漂移本地时间基准对齐到一个统一的全局参考系中，从而将不规则的异步采样数据有效地插值到严格同步的800 Hz网格上（图1f）。 #### 2.1.2 | 空间校准 为了应对传感器安装位置不可避免存在的物理差异，本阶段利用初始化过程中采集的数据，计算每个惯性测量单元（IMU）的本地坐标系与其对应解剖骨骼坐标系之间的变换关系（详见第2.3节）。 最终输出的是一套高保真且同步的运动数据集，其中每个手部节段的方向均以一致的世界参考系来表示。这一校准流程为复杂交互动作的精确重建提供了保障，例如图1f中所展示的抓取动作。 ### 2.2 | 多惯性测量单元同步 在可穿戴计算领域，实现分布式传感器阵列间的精确时间一致性是一项挑战。在缺乏专用同步线路的紧凑型系统中，传统架构依赖微控制器（MCU）依次轮询各个节点（图2a）。这种方法存在根本性的硬件局限：每个惯性测量单元都采用独立的内部振荡器。由于制造差异和温度变化的影响，这些振荡器的频率会出现随机偏差。这导致采样率不仅偏离800 Hz的标称值，还会产生不可预测的波动。这些微小的频率差异会随时间累积，致使本地时钟逐渐产生偏差（图2b）。即便经过一次性的初始校准，这种累积的漂移仍会在长时间记录过程中导致毫秒级的对齐误差，进而破坏快速协调的手部运动的时间连续性。 为消除这种漂移现象，T-800系统采用了一种基于可重构通信架构的新型同步协议。除了常规的点对点传输外，我们还对微控制器的I/O矩阵进行了编程，使其支持硬件级的广播模式（图2c）。在该模式下，一条捕获时间戳指令会通过I/O矩阵同时传输至所有惯性测量单元的数据线和芯片选择线。指令到达后，每个传感器会立即锁定其当前的本地时间戳。这些全局同步事件便成为了绝对的时间锚点（图2d）。主机计算机利用这些锚点来重构统一的全局时间线（具体实现细节见第4.4节）。通过将每个传感器的本地时钟与主时钟之间的关系建模为一系列受连续广播锚点约束的分段线性段，该算法能够动态补偿时变频率漂移。如此一来，异步的原始数据流便能被插值到具有亚帧精度的严格对齐的800 Hz网格上。 这种方法的必要性通过高速手部翻转实验得到了验证（图2e）。图2f量化了在标准一次性校准下18个传感器时钟的时间演化情况；在140秒的实验中，时间偏移量出现了明显差异。这种时钟漂移会导致重建后的运动出现严重的时间偏差。如图2h所示，残余的时钟偏差会造成记录运动中的累积误差，使得手指看似在同步运动却实际异步翻转。相比之下，我们基于广播机制的校准方法在整个实验过程中都能保持紧密且有界的误差分布。最终的重建结果（图2i）保留了运动的时间精确度，确保所有手指的运动阶段保持一致——这是分析灵巧动作高频动态特性的前提。 ### 2.3 | 全手姿态重建 要将原始的惯性测量数据转化为连贯的生物力学模型，需要完成从传感器任意安装坐标系到解剖关节坐标系的映射。我们利用重力矢量和物理约束，推导出了用于校准该映射的严谨的两步框架。 #### 2.3.1 符号与坐标系 我们使用符号$R_i^l \in SO(3)$来表示将坐标系$\{i\}$转换为坐标系$\{j\}$的旋转矩阵。我们的校准过程涉及四个主要的坐标系，如图3所示：世界坐标系$\{W\}$、IMU世界坐标系$\{IW\}$、手部坐标系$\{H\}$以及IMU机体坐标系$\{I\}$。 IMU世界坐标系{IW}在传感器初始化时确立，此后便固定不变。{IW}的一个关键特性是其z轴与初始化时确定的重力矢量反向对齐。旋转$R_{I}^{IW}$表示当前IMU相对于该初始坐标系的方向测量结果。在不失一般性的前提下，我们定义世界坐标系{W}，使其z轴同样与重力方向相反。根据这一定义，坐标系{W}和{IW}仅通过绕共同z轴的旋转$\theta$相关联，由此可得旋转矩阵： $$ R_{I W}^{W}=\left[\begin{matrix}{\operatorname{c o s}\theta}&{-\operatorname{s i n}\theta}&{0}\\ {\operatorname{s i n}\theta}&{\operatorname{c o s}\theta}&{0}\\ {0}&{0}&{1}\\ \end{matrix}\right]. $$ #### 2.3.2 问题表述 我们的重建目标是根据瞬时的传感器测量值$R_{H}^{W}$恢复出手部的解剖学方向$R_{I}^{IW}$。运动链遵循以下通用变换关系： $$ R_{H}^{W}=R_{I W}^{W}R_{I}^{I W}R_{H}^{I}. $$ 该方程中包含两个未知的静态变换：全局航向偏移$R_{IW}^{W}$（由$\theta$参数化）以及骨骼到—— ---
(a)
![Image](images/28ed2fceb744f28e08ff927d7a602c13d60714a27fb1c975b33734017bae95eb.jpg)
(b)
传统的基于IMU的事务处理 ![Image](images/7a729e3fb03c2f59ebf035242a72e265427f9d120b0a8b6f9f71e1e9c27407db.jpg)
(c)
Proposed broadcast mechanism
(d)
![Image](images/a7e0cf03a884967c55e8fe62d2f4110646f06525929dc4977145e5d837c25b6e.jpg) ![Image](images/b6cb3c1fe924a2a70fa781bb1c6046ef7333eae79262248d788ad5036950db02.jpg)
(e)
(f)
(h)
![Image](images/21710638ca6cc8d476e3da3724db9b4a5ffa97cdf630a1f12317e83b513ade39.jpg) ![Image](images/84c525b2f221e35a8bbe30828053650b1c5d8affdfaa4762cdf45f0755e88409.jpg) ![Image](images/b421ab016f641a605cd45a7c408255b043d508e6add77062a0e024d64166487e.jpg) ![Image](images/32b94abc54ab0780b56f6016e4420f9540b58e690bf0c248a169081fac22b743.jpg)
Time (s)
FIGURE 2 | Broadcast-based temporal calibration mechanism for drift-free multi-sensor synchronization. (a–b) The desynchronization bottleneck. (a) Conventional architectures rely on sequential polling of individual nodes. (b) Each IMU runs on an independent internal oscillator. Slight frequency variations accumulate into significant clock drift, causing nominally simultaneous samples to scatter across the timeline (temporal jitter). (c–d) Broadcast synchronization protocol. (c) The proposed architecture utilizes a simultaneous broadcast command to latch a global timestamp across all IMUs instantly. (d) These latched timestamps serve as shared anchor points, enabling the system to interpolate asynchronous raw readings onto a unified, strictly aligned temporal grid. (e–i) Validation via rapid dynamics. (e) A rapid hand-flipping task (140 s duration) serves as a stress test. (f) Quantitative analysis of time offsets reveals diverging clock drift across the 18 sensors using standard one-time calibration. (g) Signal coherence analysis: the proposed method (blue) maintains tight synchronization of finger pitch angles, whereas the baseline (red) exhibits severe temporal divergence. This divergence manifests visually as (h) the drifted hand gesture in the baseline reconstruction, contrasted with (i) the sustained kinematic fidelity and sub-frame precision achieved by our broadcast approach.
传感器安装方向$R_{H}^{I}$。我们通过基于约束的校准协议来求解这些未知量。 ## 步骤1：零姿态校准 $$ R_{H_{0}}^{W}=I, $$ 如图3a所示，我们首先将手平放在水平表面上，比如桌面，掌心朝下。我们将手的前进方向定义为世界坐标系的y轴，并将这种姿态定义为零姿态： 其中I表示$3 \times 3$单位矩阵。将方程(3)代入方程(2)，并记录对应的IMU读数$R_{I_0}^{IW}$，我们就可以用$R_H^I$来表示$R_{IW}^W$： $$ \boldsymbol{R}_{H}^{I}=\boldsymbol{R}_{I W}^{I}\boldsymbol{R}_{W}^{I W}\boldsymbol{R}_{H}^{W}=\boldsymbol{R}_{I W}^{I_{0}}\boldsymbol{R}_{W}^{I W}. $$ --- ![Image](images/b251cad22cb50728a727435194a5eb1cb4f00b502aa40bac1ab7bd53e4223ec8.jpg)
FIGURE 3 | Two-stage framework for calibrating sensor-to-bone mapping. (a) Zero pose calibration: the hand is placed flat on a horizontal surface in the zero pose. The frames W and IW differ only by a rotation $\theta$ about their common z-axis (aligned antiparallel to gravity). (b) $\theta$ calibration: the hand is rotated by angle $\alpha$ about the world-frame x-axis against a vertical YZ-plane (e.g., a wall). to determine the unknown parameter $\theta$.
这种替换利用了方程(1)中给出的更易处理的$R_{IW}^{W}$形式，从而将未知量缩减为单一参数$\theta$。 ## 步骤2：$\theta$校准 为了确定$\theta$的值，我们让手部绕世界坐标系的x轴旋转一个角度$\alpha \in (0, \pi)$，如图3b所示。这种旋转可以通过将手靠在垂直的YZ平面（如墙壁）上来实现。我们记录下旋转开始和结束时的IMU读数，分别记为$R_{I_s}^{IW}$和$R_{I_e}^{IW}$。利用方程(2)，这些坐标系之间的关系可以表示为： $$ R_{I_{0}}^{I W}R_{I W}^{I s}R_{I_{e}}^{I W}R_{I W}^{I_{0}}=R_{W}^{I W}R_{H_{e}}^{H_{s}}R_{I W}^{W}, $$ 其中$R_{H_e}^{H_s}$表示绕x轴旋转角度$\alpha$所对应的变换。为了表述简便，我们将已知的左侧项记为R。展开右侧项后可得： $$ \begin{aligned}R&=\left[\begin{array}{ccc}{{{\cos\theta}}}&{{{\sin\theta}}}&{{{0}}} \\{{{-\sin\theta}}}&{{{\cos\theta}}}&{{{0}}} \\{{{0}}}&{{{0}}}&{{{1}}}\end{array}\right]\left[\begin{array}{ccc}{{{1}}}&{{{0}}}&{{{0}}} \\{{{0}}}&{{{\cos\alpha}}}&{{{-\sin\alpha}}} \\{{{0}}}&{{{\sin\alpha}}}&{{{\cos\alpha}}}\end{array}\right]\left[\begin{array}{ccc}{{{\cos\theta}}}&{{{-\sin\theta}}}&{{{0}}} \\{{{\sin\theta}}}&{{{\cos\theta}}}&{{{0}}} \\{{{0}}}&{{{0}}}&{{{1}}}\end{array}\right]\\&=\left[\begin{array}{ccc}{{{\ast}}}&{{{\ast}}}&{{{-\sin\theta\sin\alpha}}} \\{{{\ast}}}&{{{\ast}}}&{{{-\cos\theta\sin\alpha}}} \\{{{\ast}}}&{{{\ast}}}&{{{\ast}}}\end{array}\right],\end{aligned} $$ 其中星号表示求解过程中不需要用到的元素。由于$\alpha \in (0, \pi)$，我们有$\sin \alpha > 0$。通过观察第三列，我们可以直接解出$\theta$： $$ \theta=\mathrm{atan2}(-R_{13},-R_{23}), $$ 这里$R_{ij}$表示R中第i行第j列的元素。一旦确定了$\theta$，两个未知的变换$R_{IW}^{W}$和$R_{H}^{I}$也就完全确定了，校准过程就此完成。 ### 2.3.3 | 验证 这种闭式解使我们能够一次性计算出整个手部所需的18组不同的校准矩阵。为了验证该方法的运动学准确性，我们将其与标准的33种抓取类型[^36]进行对比测试。如图4所示，T-800能够准确重建从强力握持到精细捏取的全范围人类抓取类型，且不会出现运动学奇异性，这证明空间校准确实有效消除了传感器安装差异带来的影响。 ### 2.4 | 高速操控的频谱分析 T-800具备18通道同步采集能力，采样率稳定达到800 Hz，这为观察人类灵巧动作的频率组成提供了独特的研究窗口。凭借对以往硬件带宽限制的突破，我们现在能够深入研究快速操控任务中可能存在的高频运动信息（>100 Hz）。为了探究这一点，我们让系统执行一系列涉及精细动作控制（笔转）和冲击吸收（抛接）的动态任务，如图5所示。 #### 2.4.1 | 频域信号处理 我们通过一套系统的信号处理流程来量化手部运动的频谱功率密度，以提取瞬态运动特征。首先，我们计算每个解剖学节段的角速度矢量的瞬时大小。为了在时域内定位瞬态频谱特征，我们对角速度信号应用短时傅里叶变换（STFT）。我们采用长度为256个采样点的汉宁窗，滑动步长为16个采样点，从而得到每个频率点上的时变能量强度。 关键在于，我们的分析仅针对能量值严格超过100 Hz阈值的光谱能量成分。这一临界值正是针对当前技术的盲区而设定的。由于传统可穿戴式IMU系统的采样率通常低于200 Hz，根据奈奎斯特采样定理，其信号重建能力在数学上被限制在100 Hz以内。T-800所观测到的>100 Hz的能量成分证明：快速操作能够产生可测量的高频惯性信号，而这些信号超出了200 Hz采集系统所能重建的频率范围。 #### 2.4.2 | 生物力学能量特征 图5b和5e中绘制的能量分布图，是将高频成分（>100 Hz）线性叠加而成（未采用对数缩放以突出差异），结果显示人类的灵巧性所表现出的光谱内容远远超出了以往硬件的采样极限。 在涉及逆时针笔旋转操作的精细操控任务中（图5b），需要动用拇指、食指和中指，我们观察到了尖锐且明显的高频能量爆发。这些爆发仅局限于参与操作的三个手指，且与维持物体旋转所需的快速动作阶段在时间上同步。当扩展到双向操作任务时（图5c），会出现额外的高频特征， --- ![Image](images/55a45ae2598f5a8d9c7ec348f350c8d85897f867183e098a5dd1eeb467ade605.jpg)
FIGURE 4 | Validation of kinematic fidelity across the 33-grasp taxonomy. Systematic evaluation comparing physical hand configurations (left columns) with real-time reconstructions (right columns) captured by T-800. The dataset is stratified according to the Feix et al. taxonomy [^36] into three biomechanical categories: Power grasps (red) requiring high-force closure involving the palm, Intermediate grasps (yellow) balancing active manipulation with stability, and Precision grasps (green) demanding fine-grained fingertip articulation. The consistent reconstruction accuracy across this diverse range confirms two critical system properties: (i) the mechanical design preserves the hand's natural kinematic workspace without perceptible impedance; and (ii) the spatial calibration framework remains robust across the entire manifold of human hand poses.
这些特征对应于反转笔的角动量时所必需的复杂快速减速与加速过程。 我们还进行了排除拇指参与的四指旋转任务（图5d）。所得的能量特征显示，食指、中指、无名指和小指以及手掌均出现了强烈的光谱激活现象。相比之下，拇指和前臂区域则呈现光谱上的静默状态（能量响应平坦）。这一对照实验证实：所观测到的高频信号源自手与物体的交互过程，而非传感器噪声或通过手套结构传播的机械共振。 最后，在投掷重质软球任务中（图5e），系统捕捉到了冲击吸收阶段的情况。与笔旋转时的局部手指动态不同，该任务会引发整个手部（不包括下臂）的同步高能响应，此时手指与手掌协同工作以吸收球的冲击力。 #### 2.4.3 | 关于灵巧操控的见解 这些结果共同揭示了两个关键见解。首先，灵巧的手部运动包含丰富的100 Hz以上的高频成分，而这些成分超出了现有动作捕捉系统的探测范围。其次，T-800的高采样率与同步多传感器设计，能够精确定位这些高频成分所对应的具体手指和手部区域。这种选择性激活模式既验证了校准的空间准确性，也证明了捕捉系统的时间精确度，为理解和分析复杂的手部运动开辟了新途径。 观测到的频率高于100 Hz的成分表明，快速操作能够产生可测量的高频惯性信号，而这些信号超出了200 Hz采集系统的重建带宽。尽管空间选择性激活模式降低了纯全局噪声或整个手套共振的可能性，但当前实验并未完全排除局部结构振动、接触冲击伪影或处理参数敏感性的影响。因此，这些频谱结果被解释为与高频操作相关的证据，而不能作为所有高于100 Hz的能量均源自关节自主运动的决定性证明。 ### 2.5 | 运动学映射至机械手 为了验证所采集的高频数据与机器人系统的运动学兼容性，我们设计了一种映射算法， ---
(a)
![Image](images/1a390b29f14db37c89e78aac21e2ea424ba38894353ff6687ea055a5f18d2ed2.jpg)
(b)
![Image](images/1c81b21c7569f5439afb1ef6fd80f7878e2ac278d54e4a0be8ab9db87e3e8e01.jpg)
(c)
![Image](images/adc999cf9e25588e526f54bd1464f9838449e1d31c6ce061e3babda459074a17.jpg) ![Image](images/7eeba4cbef163a0727fe3884bf3031a20f490e8bc299a456d07df993b5282365.jpg) ![Image](images/c474e81ca3d175ccc24aa9cd7b40369700132e0633528293db1484083a0c4e62.jpg)
(d)
![Image](images/5e185e07c9143911cfb089f270af9937b1aa0d093c03b8cec9b46048bac417d2.jpg)
(e)
![Image](images/4c9285beedd3200d1b8743fb4718e00205ab78e40a2781223f127ddc2255782e.jpg) ![Image](images/52709bf423da6d8e8372e3ec987a4d886bc18908187e1f28b18113a51daae5cf.jpg) ![Image](images/a6eb842c4ec4fe4907577f455ba209457bd2a4eb2ba5387a975af32e3289e98b.jpg)
FIGURE 5 | Spectral discovery of high-frequency kinematics in human dexterity. (a) Anatomical sensor mapping of the 18-node array (MC: metacarpal, PP: proximal, MP: middle, DP: distal phalanx). (b–e) Biomechanical energy landscapes. Time-resolved spectral power summation for frequencies strictly >100 Hz—a band theoretically invisible to conventional 200 Hz systems. (b–c) Pen spinning tasks (unidirectional and bidirectional) reveal distinct, high-amplitude spectral bursts spatially localized to the manipulating digits (Thumb, Index, Middle). These transient spikes coincide with rapid actuation phases, confirming the existence of manipulation-associated high-frequency components that lie beyond the capabilities of previous hardware. (d) In a four-finger spinning task explicitly excluding the thumb, the thumb sensor exhibits spectral quiescence (flatline). (e) Catching a heavy object elicits a synchronized, global high-frequency response across the entire hand. Together, these profiles validate that signal energy >100 Hz is kinematic information essential for high-fidelity modeling. Detailed manipulation processes and reconstructed gestures are available in the > 该算法可将人手运动映射到灵巧的机械手模型上。其目标是计算出最优的机器人关节配置$\mathbf{q} \in \mathbb{R}^d$，使得人手与机械手的关键运动特征在各自腕部坐标系下的欧几里得距离最小化。 #### 2.5.1 问题表述 我们将此问题表述为一个带约束的优化问题。对于每一根手指f，我们以指尖位置$\mathbf{p}_{t}$作为优化目标，以确保操作精度。令$\mathbf{p}^{r}$表示由T-800手套数据得出的目标位置，$\mathbf{p}(\mathbf{q})$ --- ![Image](images/0ae2946a5bf3e4e6a97b73b48c29e5049fcd619a261d10c7daaa274d2afee73f.jpg)
FIGURE 6 | Kinematic retargeting validation across diverse robotic hand platforms. Representative frames from dynamic manipulation tasks demonstrating the mapping of captured human hand motions by T-800 (top row) to three robotic hand models with progressively diverse kinematic structures: Shadow Dexterous Hand, Allegro Hand, and Leap Hand. The sequential frames illustrate the algorithm's ability to transfer high-frequency human manipulation dynamics to robotic platforms while respecting their kinematic constraints.
则表示通过机器人正运动学计算出的位置。为了求解关节更新量，我们将瞬时跟踪误差视为刚体变换群李代数中的一个向量$\mathbf{e} \in \mathfrak{se}(3)$。映射问题的数学表述如下： $$ \begin{array}{r l}{\underset{\mathbf{q}}{\mathrm{m i n}}\quad}&{\displaystyle\sum_{f=1}^{N_{f}}\|\Lambda\mathbf{e}_{t,f}(\mathbf{q})\|_{2},}\\ {\mathrm{s.t.}\quad}&{\mathbf{q}_{l}\preccurlyeq\mathbf{q}\preccurlyeq\mathbf{q}_{u}}\end{array} $$ 其中$N_f$为手指数量，$\Lambda \in \mathbb{R}^{6 \times 6}$是一个对角选择矩阵，其前三个元素设为1，其余元素设为0，用于提取扭曲矢量中的平移分量。$\mathbf{q}_l$和$\mathbf{q}_u$分别代表机械手的关节下限和上限。 #### 2.5.2 | 序列规划 为了高效求解这一非线性优化问题，我们围绕当前配置$\mathbf{q}$对正运动学进行一阶近似$\Delta \mathbf{p} \approx \mathbf{J}_e \Delta \mathbf{q}$，并采用序列规划框架[^37] [^38]。该方法会在迭代过程中根据线性模型的近似程度以及关节约束的满足情况，自适应调整步长，从而逐步优化解。 我们通过链式法则推导出有效的任务雅可比矩阵$\mathbf{J}_e$，该矩阵描述了关节空间的变化与李代数误差矢量之间的关系。这一推导过程涉及标准的框架雅可比矩阵$\mathbf{J}(\mathbf{q})$，它可将关节速度映射到末端执行器的位姿$E \in \mathrm{SE}(3)$；同时还涉及对数映射的右导数$\mathbf{J}(E)$，它负责将位姿关联到李代数误差坐标： $$ \mathbf{J}_{e}=\Lambda\mathbf{J}(E)\mathbf{J}(\mathbf{q}). $$ #### 2.5.3 | 验证 为了验证所提出框架的通用性以及T-800数据的运动学兼容性，我们在三种具有逐渐多样化的运动学结构的机械手上评估了重定位算法：五指Shadow Dexterous Hand [^4]（24个自由度）、四指Allegro Hand [^5]（16个自由度）以及四指Leap Hand [^2]（16个自由度）。这些机械手涵盖了从高度仿人设计到自由度更少的受限结构，能够严格测试该算法应对巨大运动学差异的能力。 我们将重定位算法应用于第2.4节中记录的动态人类操作任务，相关代表性帧如图6所示。性能通过均方根误差（RMSE）来量化： $$ \mathrm{RMSE}=\sqrt{\frac{1}{3N_{f}}\sum_{f=1}^{N_{f}}\left\|\Lambda\mathbf{e}_{t,f}(\mathbf{q})\right\|_{2}^{2}}. $$ 结果表明，在所有平台上都能实现精确的运动传递，且性能与运动学能力密切相关。矛盾的是，尽管Shadow Hand在解剖结构上与人手最为相似，其RMSE却达到了最大值（$8.3 \pm 6.8$毫米）。这主要是由于其紧凑的设计限制了每个自由度的运动范围。相比之下，Allegro Hand和Leap Hand虽然采用四指结构导致了显著的运动学不匹配，却分别取得了具有竞争力的性能（$1.0 \pm 1.8$毫米和$0.6 \pm 1.4$毫米）。它们出色的性能源于两个关键因素：更大的自由度范围，以及优化器利用冗余关节零空间来弥补解剖结构差异的能力。 --- 重定位结果证实，所捕获的手部运动学可以在关节限制范围内映射到典型的机器人实体上，从而证明了控制各类机器人平台的直接运动学兼容性。 ## 3 | 结论与展望 在这项工作中，我们借助T-800这一快速全手跟踪系统，弥合了高速运动学捕获与人类灵活操作之间的差距。该系统突破了以往基于惯性测量单元的系统在带宽上的限制。通过将应力屏蔽机械结构与基于广播的同步协议相结合，我们实现了对18个解剖学关节以800赫兹频率进行的连续且无漂移的运动跟踪。关键在于，该系统让我们得以通过实验揭示人类操作中的频谱丰富性：在精密旋转和吸收冲击等精细动作中，存在超过100赫兹的重要能量，而这超出了以往硬件的奈奎斯特极限。这些此前被频率混叠掩盖的高频动态信息，在精密旋转和吸收冲击等精细动作中承载着宝贵的信息。 T-800的意义不仅限于生物力学分析，它还可作为具身智能的基础设施。通过提供无遮挡、高保真的人类演示数据，该平台解决了机器人模仿学习中的数据质量瓶颈问题。基于这类运动学数据训练的算法，有望掌握以往因信号平滑而无法习得的高效行为[13-16, 39]。关于基于原生800赫兹数据和降采样数据训练的策略或控制器的对比研究，将留待未来开展。 展望未来，该平台的自然演进方向在于运动学与动力学之间的融合。将密集的触觉传感阵列集成到手套结构中，开辟了一个极具前景的研究前沿：将时空接触图谱与同步的高速运动数据相结合，便能完整捕捉人类操作过程中的感觉运动环路。这类多模态数据集对于学习触觉反馈与运动控制之间的双向映射至关重要，它能让机器人策略建立在接触物理原理的基础之上 [^40] [^41] [^42] [^43]。此外，引入其他传感模式，如摩擦电传感与sEMG [^34] [^44]，也能提升整个系统的精度与鲁棒性。最终，通过开源硬件基准测试和标准化的数据格式，我们期望T-800能成为基础性工具，推动整个领域从准静态抓取向真正具备类人灵活性的动态操作迈进。 ## 4 | 方法 ### 4.1 | 可穿戴平台的制造 中间指骨部分及指尖套的尺寸被设定为普通成年人对应手指直径的约90%。这种刻意缩小的设计在佩戴时会产生可控的预紧力。 可穿戴基底采用高弹性聚酯纤维制成，因其耐用且贴合性好。其结构包含贴合手部轮廓的背侧骨架，以及用于固定两个掌心传感器的掌侧绑带。为确保传感器与骨骼之间无需胶粘剂就能紧密耦合，我们采用了基于张力的固定机制。弹性环（分别位于近端和 ### 4.2 | 柔性互连件与传感器集成 惯性测量单元（IMU）被安置在背侧骨架的重叠区域下方。预紧的弹性元件所产生的正压力能产生足够的摩擦力，将IMU牢固锁定在原位，从而避免在剧烈动态运动中发生相对滑动。 分布式传感器阵列通过定制的多层柔性印刷电路板（FPC）实现互连，这些电路板能够承受反复弯曲。其结构由两层35 µm厚的铜箔组成，夹在三层25 µm厚的聚酰亚胺之间，再辅以两层25 µm厚的粘合中间层。每条FPC条带的几何形状都经过参数化优化，以匹配手指最大屈曲（握拳姿势）时的外轮廓长度，从而不会对手部活动造成任何限制。 每个IMU模块都集成了一枚六轴惯性测量单元（BHI360，博世传感器技术公司生产），包含三轴陀螺仪和加速度计。为实现应力屏蔽的“三明治结构”，FPC通过底部的钢制支撑板与顶部的保护性钢罩进行机械加固。“三明治结构”的制造分为两个阶段：先将底部支撑板热压在FPC基板上以增强结构刚度，组装完成后再焊接顶部罩体。 部署前，每个传感器单元都会经过利用静态测量数据的校准流程。该过程可补偿确定性误差源，包括陀螺仪偏差漂移、加速度计零重力偏移以及交叉轴灵敏度矩阵。校准参数会被存储在传感器中枢的非易失性存储器中，并在系统初始化时上传至IMU。 ### 4.3 | 传感器中枢电子设备 这款腕戴式传感器中枢（图1d）以高度集成的无线系统级封装（SiP）（ESP32-S3-PICO-1，乐鑫科技）为核心。它集成了双核32位微处理器、支持2.4 GHz Wi-Fi的无线电模块以及可配置的I/O矩阵。为了使微控制器的I/O电压（3.3 V）能够与低功耗传感器阵列（1.8 V）相匹配，定制印刷电路板中加入了专用的电平转换逻辑。该系统由一块紧凑的锂聚合物电池（型号802,025，容量400 mAh）供电，并通过高效的电源管理集成电路（ETA6093）进行稳压，其工作时长约为2小时。 SiP与惯性测量单元之间的数据传输通过高速串行外设接口（SPI）总线完成。为了减少连线数量，同一手指区域的传感器共享公共时钟线和数据线，而各传感器的寻址则通过专用的片选线来管理。 --- ### 4.4 | 用于同步采集的固件架构 上电后，每个惯性测量单元均被配置为以其内部振荡器为基准，以800 Hz的固定频率采样局部姿态数据。为了实现稳定的端到端延迟，固件采用了确定性的超级循环架构，将时间关键型信号传输与数据处理分离开来。 #### 4.4.1 | 命令广播 为实现全局同步机制，我们对微控制器的硬件抽象层进行了修改，使其能以广播模式操作I/O矩阵。这样，单个内部信号便可同时被路由到多条物理线路上。在广播过程中，该技术被应用于SPI时钟线、数据输出线以及片选线（图2c），从而确保时间戳锁存命令能够实现帧内同步。 #### 4.4.2 | 数据读取 广播锁存完成后，固件便会启动顺序数据读取流程。为了最大化吞吐量，两个独立的硬件SPI控制器会被并行使用，从而能够同时轮询两个传感器区域的数据。 #### 4.4.3 | 核心亲和性 为了消除系统级芯片中实时操作系统调度所带来的时间抖动，负责广播和SPI事务处理的关键任务循环被绑定到其中一个微处理器核心（核心0）上，而第二个核心（核心1）则负责处理Wi-Fi协议栈及后台维护工作。这种分离机制确保了800 Hz的采集周期能够保持严格的周期性，且不会受到无线传输开销的干扰。 ### 4.5 | 主机端遥测与实时重建 主机计算机充当运动学合成的集中式聚合节点。为了保持信号完整性，原始方向数据包和硬件时间戳会通过混合网络拓扑结构从传感器中枢传输过来：尽管中枢通过Wi-Fi进行无线传输，但主机工作站通过以太网线连接到路由器。这种配置能够最大限度地减少无线竞争和数据包延迟抖动。在协议层面，传感器数据被封装成固定长度的有效载荷，以确保确定的传输延迟并避免分片带来的开销。T-800的端到端延迟大约为5-8毫秒，其中包括IMU以800 Hz频率进行的内部处理（约1.25毫秒）、固件处理以及所有18个传感器的SPI数据读取（约1.2毫秒），还有在以太网连接配置下的Wi-Fi传输时间（约2-5毫秒）。主机端的时间和空间校准仅涉及固定大小的矩阵运算，对总延迟的影响微乎其微。在正常的实验室环境下，我们并未观察到明显的数据包丢失或中断现象。在严重的Wi-Fi拥塞情况下，数据包到达抖动可能会增大；不过由于同步是基于硬件时间戳而非数据包到达时间，因此适度的传输抖动并不会直接破坏传感器之间的对齐。持续的数据包丢失无法被恢复，只会表现为同步后的800 Hz网格中出现缺失样本，这一点可以通过主机端重建流程中的时间戳监测功能来察觉。 接收到二进制流后，会将其解包为特定于IMU的浮点四元数和时间戳元组。时间校准引擎利用广播同步阶段获取的锚点，将每个传感器的本地时钟映射到全局主时钟上。这种映射能够实现两项关键操作：(i)重采样，即将异步测量数据插值到统一的时间对齐网格上；(ii)漂移监测，即持续追踪振荡器偏差，以验证同步稳定性，且该过程独立于校准算法。 完成时间对齐后，数据会经历空间变换。第2.3节中得出的校准矩阵（$R_{IW}^{W}$和$R_{H}^{I}$）会被应用于原始读数，从而将本地传感器坐标系映射到世界坐标下的解剖学骨骼坐标系上。这一经过同步且物理对齐的运动学数据流构成了主要数据集，会被记录下来以供离线分析使用。 ### 4.6 | 手部姿态可视化 为了更好地可视化IMU读数及背后的手部姿态，我们采用了MANO [^35]——这是一种用于人体手部重建的统计模型，能够同时捕捉手部姿态和形状。MANO利用特定于个体的形状参数$\boldsymbol{\beta} \in \mathbb{R}^D$以及姿态参数$\phi \in \mathbb{R}^{N \times 3}$来对特定姿态下的手部网格进行参数化描述。此处，$N = 16$表示运动学关节的数量，而$n^{\text{th}}$行$\phi_n \in \mathbb{R}^3$则指定了第n个关节沿轴角的旋转方式。给定$(\beta, \phi)$后，MANO会通过线性混合蒙皮技术（LBS）[^45]来重建特定姿态下的手部网格，同时还会加入依赖于姿态的校正变形，以减轻极端手部姿态下常见的蒙皮伪影。 具体来说，MANO通过将规范化的、特定于个体的网格顶点$V \in \mathbb{R}^{M \times 3}$与关节位置$T \in \mathbb{R}^{M \times 3}$及混合权重$J \in \mathbb{R}^{N \times 3}$一起应用LBS技术，从而得到特定姿态下的手部网格顶点$\mathcal{W} \in \mathbb{R}^{M \times N}$，其公式可表示为： $$ \begin{array}{l}V=\mathrm{LBS}(T,J;\mathcal{W}),\\ J=f\big(\beta;\overline{T},\mathcal{I},\mathcal{S}\big),\\ T=g\big(\beta,\phi;\overline{T},\mathcal{S},\mathcal{P}\big).\end{array} $$ 关节位置 $J \in \mathbb{R}^{N \times 3}$ 是在标准姿态下，通过将关节回归权重 $\mathcal{J}$ 应用于特定个体的网格顶点来计算的；该回归器由 $f(\cdot)$ 封装，并由模板网格顶点 $\overline{T}$ 以及学习得到的形状基 S 和系数 $\beta$ 驱动。标准网格顶点 T 由 $g(\cdot)$ 计算得出，它从相同的模板网格顶点 $\overline{T}$ 出发，加上由 $\beta$ 通过 S 引起的依赖于形状的形变，再进一步加上由学习得到的姿态校正基 $\mathcal{P}$ 和手部姿态 $\phi$ 参数化的依赖于姿态的校正形变。最后，LBS( $\cdot$) 利用混合权重 $\mathcal{W}$ 以及由 $\phi$ 和 J 所隐含的运动学变换，将 T 变形为已建模的姿态网格顶点 $\mathcal{V}$。 在我们的实现中，我们使用了公开可用的 MANO 模型，该模型带有预先训练好的参数 $\left(\overline{T},\mathcal{J},S,\mathcal{P},\mathcal{W}\right)$，这些参数是从 --- 大规模手部网格数据集 [^35] 中学习得到的。我们将形状参数设为零（$\beta = \mathbf{0}$），以获得与个体无关的手部网格，并利用从 IMU 读数得到的旋转信息来驱动 MANO 姿态，从而可视化生成的手部动作。如图 4 所示，建模后的 MANO 网格能够准确再现所执行的手部动作，且与拍摄图像中的对应动作在视觉上高度一致。 ## 作者贡献 罗浩阳：概念化、方法论、软件、数据整理、调查、验证、形式分析、监督、可视化、项目管理、论文撰写——初稿。赵子航：概念化、方法论、软件、数据整理、调查、验证、形式分析、监督、可视化、项目管理、论文撰写——初稿。崔雷耀：方法论、软件、数据整理、调查、验证、形式分析、可视化、论文撰写——初稿。张赛尧：软件、数据整理、可视化。杨刘：方法论、调查。韩志：经费获取、资源支持。唐希源：监督、经费获取、项目管理、资源支持、论文审阅与编辑。朱艺欣：监督、经费获取、项目管理、论文审阅与编辑、资源支持。 ## 致谢 我们衷心感谢北京大学的高晴同学和刁海康同学在数据收集方面的帮助，感谢北京理工大学的梁伟教授和北京服装学院的宁冰教授在手套制造上的协助，感谢 LeapZenith AI Research 的闫磊先生在机械设计上的支持，还要感谢北京大学的杨海璐同学为本研究采购所需的所有原材料所提供的帮助。 ## 经费支持 本研究得到了脑科学与类脑智能技术国家科技重大专项（2025ZD0219400）、国家自然科学基金（62376009）以及武汉市重大科技专项（2025060902020304）的支持。 ## 利益冲突声明 作者声明没有利益冲突。 ## 数据可用性声明 由于本研究期间并未生成或分析任何数据集，因此本文不适用数据共享条款。 ## 参考文献 1. R. Deimel和O. Brock，“一种用于灵巧抓取的新型柔顺且欠驱动机械手”，《国际机器人研究杂志》（IJRR）第35卷，第1–3期（2016年）：161–185页，。 [^2]: K. Shaw, A. Agarwal, and D. Pathak, "Leap Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning," in Robotics: Science and Systems (RSS) (RSS Foundation, 2023). 3. Z. Zhao、W. Li、Y. Li等，“在机械手上嵌入高分辨率触觉传感器可实现类人的自适应抓取”，《自然·机器智能》第7卷，第6期（2025年）：889–900页，。 4. ShadowRobot公司，Shadow灵巧手（2026年），。 5. W. Robotics公司，“Allegro手”（2026年），。 6. V. Vitiello、S. L. Lee、T. P. Cundy和G. Z. Yang，“用于微创手术的新型机器人平台”，《IEEE生物医学工程评论》第6卷（2012年）：111–126页，。 7. W. Li、Z. Zhao、L. Cui等，“MINITAC：一种超紧凑型8毫米视觉触觉传感器，可提升机器人辅助微创手术中的触诊能力”，《IEEE机器人与自动化快报》第9卷，第12期（2024年）：11170–11177页，。 [^8]: D. Li, L. Zhong, W. Zhu, Z. Xu, Q. Tang, and W. Zhan, "A Survey of Space Robotic Technologies for on-orbit Assembly," Space: Science and Technology (2022). 9. A. Keshvarparast、D. Battini、O. Battaia和A. Pirayesh，“制造与装配系统中的协作机器人：文献综述与未来研究方向”，《智能制造杂志》第35卷，第5期（2024年）：2065–2118页，。 10. Z. Zhao、Y. Li、W. Li等，“TAC-MAN：基于触觉信息的无先验知识多关节物体操控方法”，《IEEE机器人学报》第41卷（2025年）：538–557页，。 11. Z. Zhao、Z. Qi、Y. Li等，“TACMAN-TURBO：用于稳健高效的多关节物体操控的主动触觉控制技术”，《IEEE自动化科学与工程学报》第23卷（2026年）：8296–8317页，。 [^12]: L. Cui, Z. Zhao, S. Xie, W. Zhang, Z. Han, and Y. Zhu, "VI-TAC-MAN: Articulated Object Manipulation via Vision and Touch," in IEEE International Conference on Robotics and Automation (ICRA) (IEEE, 2026). [^13]: Y. Qin, Y. H. Wu, S. Liu, et al., "DEXMV: Imitation Learning for Dexterous Manipulation From Human Videos," in Proceedings of European Conference on Computer Vision (ECCV) (Springer, 2022), 570–587. [^14]: P. Mandikal and K. Grauman, “DEXVIP: Learning Dexterous Grasping With Human Hand Pose Priors From Video,” in Conference on Robot Learning (CoRL) (PMLR, 2022), 651–661. [^15]: S. P. Arunachalam, S. Silwal, B. Evans, and L. Pinto, “Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation,” in IEEE International Conference on Robotics and Automation (ICRA) (IEEE, 2023), 5954–5961. [^16]: Z. Jiang, Y. Xie, K. Lin, et al., “Dexmimicgen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning,” in IEEE International Conference on Robotics and Automation (ICRA) (IEEE, 2025), 16923–16930. 17. Q. Sheng、Z. Zhou、J. Li等，“人形机器人的全面综述”，《SmartBot》第1卷，第1期（2025年）：e12008，。 18. C. Yifan、M. Wei、X. Wang等，“具身人工智能：从感知智能到行为智能的演进综述”，《SmartBot》第1卷，第3期（2025年）：e70003，。 19. S. Sundaram、P. Kellnhofer、Y. Li、J. Y. Zhu、A. Torralba和W. Matusik，“利用可扩展触觉手套学习人类抓握的特征”，《自然》第569卷，第7758期（2019年）：698–702页，。 20. VMS有限公司，Vicon动作捕捉系统（2026年），。 ## [^21]: J. Connolly, J. Condell, B. O'Flynn, J. T. Sanchez, and P. Gardiner, "IMU Sensor-based Electronic Goniometric Glove for Clinical Finger --- 运动分析，《IEEE传感器杂志》第18卷，第3期（2017年）：1273–1281页，。 22. M. Edmonds、F. Gao、H. Liu等，“两种解释的故事：通过解释机器人行为来增强人类信任”，《科学·机器人》第4卷，第37期（2019年）：eaay4663，。 23. G. Saggio、A. Calado、V. Errico、B. S. Lin和I. J. Lee，“基于电阻式柔性传感器和惯性测量单元的传感手套动态测量评估”，《IEEE仪器仪表与测量学报》第72卷（2023年）：1–10页，。 24. Z. Yang、S. Yan、vB. J. F. Beijnum、B. Li和P. H. Veltink，“利用单个磁力计和已知的相对方位估算手-手指位置”，《IEEE仪器仪表与测量学报》第70卷（2021年）：1–11页，。 25. J. Xue、T. Zhen、H. Su等，“FI-HGR：一种基于可穿戴数据手套和多模态融合算法的鲁棒手势识别系统”，《IEEE物联网期刊》第12卷，第22期（2025年）：48116–48130页，。 26. M. Ahmed、B. Zaidan、A. Zaidan、M. M. Salih、Z. Al-Qaysi和A. Alamoodi，“基于3D打印仿人机器人中的可穿戴传感设备：一种新型实时手语识别系统”，《Measurement》第168卷（2021年）：108431页，。 27. C. Lu、Z. Dai和L. Jing，“利用基于惯性传感器的动作捕捉系统测量手部关节角度”，《IEEE Transactions on Instrumentation and Measurement》第72卷（2023年）：1–11页，。 28. X. Zou、X. Li、J. Zhang、Q. Pan、Z. Yang和K. W. C. Lai，“用于增强虚拟交互的智能手套界面，集成感知模拟与运动追踪功能”，《Cell Reports Physical Science》第5卷第11期（2024年）：102287页，。 29. A. N. Bahrami、M. R. Nayeri、R. A. Ghaleh和B. Moshiri，“ASTRA手套：一种用于‘精准感知与实时关节追踪’的可穿戴追踪设备”，《IEEE Sensors Journal》第25卷第5期（2025年）：8631–8644页，。 [^30]: L. Fan, Z. Zhang, Y. Wang, D. Zuo, Y. Wang, and Z. Chen, "Data Glove-Based Personalized Continuous Gesture Segmentation," in ICASSP 2025-2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (IEEE, 2025), 1–5. 31. B. S. Lin、I. J. Lee、S. Y. Yang、Y. C. Lo、J. Lee和J. L. Chen，“用于手部功能评估的基于惯性传感器的数据手套设计”，《Sensors》第18卷第5期（2018年）：1545页，。 32. C. Lu、H. Zhang、Y. Pei等，“无人机运动规划中的在线手势检测与识别”，《Machines》第11卷第2期（2023年）：210页，。 33. MANUS，“Metagloves Pro——MANUS出品的高精度、低延迟数据手套”，（2026年），。 34. B. Yang、J. Cheng、X. Qu等，“采用电荷保持策略增强的人机交互摩擦电-惯性传感手套”，《Advanced Science》第12卷第3期（2025年）：2408689页，。 35. J. Romero、D. Tzionas和M. J. Black，“具身化手部：手部与身体的联合建模与捕捉”，《ACM Transactions on Graphics》第36卷第6期（2017年）：1–17页，。 [^36]: T. Feix, J. Romero, H. B. Schmiedmayer, A. M. Dollar, and D. Kragic, "The Grasp Taxonomy of Human Grasp Types," IEEE Transactions on 《Human-Machine Systems》第46卷第1期（2015年）：66–77页，。 37. Z. Zhao、L. Cui、S. Xie等，“B*：固定基座机械臂的高效最优基座布置方法”，《IEEE Robotics and Automation Letters》第10卷第10期（2025年）：10634–10641页，。 [^38]: J. Nocedal and S. J. Wright, Numerical Optimization (Springer, 1999). 39. Y. Li、Y. Chen、Z. Zhao等，“用于学习多模态机器人操控的触觉-视觉同步感知技术”，《IEEE Robotics and Automation Letters》第11卷第4期（2026年）：5254–5261页，。 40. R. S. Johansson和J. R. Flanagan，“物体操控任务中指尖触觉信号的编码与应用”，《Nature Reviews Neuroscience》第10卷第5期（2009年）：345–359页，。 41. D. Jiang、T. Wang、E. Wang等，“用于类人灵巧机器人操控的摩擦电与离子电子双响应仿生离子皮肤”，《Nano Energy》第131卷（2024年）：110257页，。 [^42]: Y. Li, W. Du, C. Yu, et al., “TACCEL: Scaling up Vision-based Tactile Robotics via High-performance GPU Simulation,” in Proceedings of Advances in Neural Information Processing Systems (Neurips) (NeurIPS Foundation, 2025). 43. X. An、S. Niu、J. Chen等，“机器人系统中的柔性电子器件：从设备到应用”，《SmartBot》第2卷第1期（2026年）：e70017页，。 44. H. Fang、L. Wang、Z. Fu等，“用于人机界面的解剖学设计型摩擦电腕带，具备自适应加速学习能力”，《Advanced Science》第10卷第6期（2023年）：2205960页，。 [^45]: J. P. Lewis, M. Cordner, and N. Fong, “Pose Space Deformation: A Unified Approach to Shape Interpolation and skeleton-driven Deformation,” in Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques (ACM, 2000).