# FSGlove：一种基于惯性、具备形状感知校准功能的手部追踪系统李宇彤 $^{1,*}$、张洁怡 $^{1,*}$、徐文强 $^{1}$、唐图天 $^{1}$ 和卢策吾 $^{1,\dagger}$ 摘要— 精准的手部运动捕捉（MoCap）对于机器人、虚拟现实和生物力学领域的应用至关重要，但现有系统在捕捉高自由度（DoF）关节运动学以及个性化手部形状方面存在局限。市面上的商用手套最多只能提供21个自由度，既无法满足复杂操作的需求，也忽略了在接触类任务中至关重要的手部形状差异。我们推出的FSGlove是一种基于惯性的系统，能够同时追踪多达48个自由度的运动，并通过一种名为DiffHCal的新型校准方法重建个性化的手部形状。每个手指关节及手背均配备了惯性测量单元（IMU），从而实现高分辨率的运动感知。DiffHCal通过可微优化与参数化的MANO模型相结合，可在一次简洁的校准过程中同时确定关节运动学参数、形状参数以及传感器偏差。该系统达到了业界领先的准确性，其关节角度误差小于$2.7^{\circ}$；在形状重建和接触保真度方面也优于商用产品。FSGlove的开源硬件与软件设计确保了其与当前虚拟现实及机器人生态系统的兼容性，而其捕捉细微动作（如指尖摩擦）的能力则填补了人类灵巧性与机器人模仿能力之间的鸿沟。通过与Nokov光学运动捕捉系统对比评估可知，FSGlove通过统一运动学与接触保真度指标，推动了手部追踪技术的发展。硬件设计、软件及相关更多结果可查看：。 ## 一、引言人类手部是一种极其灵巧的执行器，能够完成复杂的任务，它既是机器人手部设计与操控研究的灵感来源，也是相关技术的衡量基准。操控过程中对手部运动的精准捕捉，对于收集各类下游应用所需的数据至关重要，这些应用包括手部姿态估计、遥操作以及模仿学习等。要实现高保真的手部运动捕捉，取决于两个因素：关节运动学与手部形状建模。目前，市售最全面的手部 MoCap 手套 [^1] 最多只能捕捉 21 个自由度（DoFs）。然而，诸如 ![Image](images/b1e2d4eabd81baae6788d385c99c53eceeb2ba959a4978f044ddb5537b343058.jpg)

(a)

(c)

(d)

Fig. 1: Hand shape variation. (a) The variation in hand shapes across different human subjects and a robotic hand. (b) Thumb-index fingertip rubbing requires a slight twist DoF. (c), (d) Motion transfer often fails when adapted between hands with heterogeneous shapes, even when all the joints are mapped.

拇指-食指指尖摩擦，仍超出捕捉能力，因为它们需要在近节或中节指骨中增加常被忽视的扭转 DoFs（Fig. 1），但最近，一些灵巧机器人手 [^2] 倾向于支持对此类 DoFs 的控制。类似地，由骨骼长度和软组织组成差异驱动的手部形状变化，需要个性化模型以实现精确的运动重建，特别是在涉及物体或自我交互的接触丰富任务中。现有的手部运动捕捉系统，无论是商业 [^3], [^4] 还是研究型 [^5], [^6], [^7]，主要专注于有限 DoFs 的关节角度估计，而忽视形状变化。这一疏漏阻碍了将操作中的运动迁移到虚拟化身或拟人机器人手，而运动学与接触保真度在其中至关重要（Fig. 1）。为了填补这一空白，我们推出了FSGlove——一种新型的基于惯性的手部追踪系统，能够同时捕捉多达48个自由度的关节运动数据以及个性化的手部形状。每个手指关节和手背区域都配备了惯性测量单元（IMU），从而实现高分辨率的动作感知。其中的关键创新是DiffHCal，这是一种具备形状感知能力的校准方法，可将个性化手部形状估计融入简化的校准流程中。借助参数化的MANO手部模型[^8]，DiffHCal通过可微分的优化过程，将采集到的传感器数据与MANO的关节及形状参数相匹配。该框架利用一系列预定义的参考姿态来同时确定骨骼关节参数、形状参数以及手动安装误差。 --- 这一过程能在单次优化中同步解出骨骼关节参数、形状参数以及手动安装误差。此外，该流程能无缝集成到常规手套校准工作流程中，与商用系统相比无需额外步骤，却能生成接触一致性良好的手部模型。为了普及该技术，我们开源了硬件设计、用于传感器校准的低层驱动程序，以及与动作捕捉生态系统（如OptiTrack、HTC Vive）集成的高层接口，从而实现了与机器人及虚拟现实框架的即插即用兼容性。我们从四个指标对FSGlove进行了评估：(1) 关节角度精度（$\leq 2.7^\circ$）；(2) 形状重建精度（平均网格误差$\leq 3.6$毫米）；(3) 指尖追踪误差（平均位置误差$\leq 16$毫米）；(4) 手物交互保真度（平均位置误差$\leq 20$毫米），并与商用手套系统进行了对比。尽管FSGlove的设计成本低廉，但在具备形状感知能力的追踪方面仍达到了业界领先水平，在接触密集的操作任务中表现优于商用产品（如Manus Metaglove Pro、VRTRIX）。我们的贡献总结如下： - FSGlove是首款开源、高自由度（高达48个自由度）的数据手套，集成了惯性传感技术与形状感知校准功能。 - DiffHCal是一种可微分的校准框架，能够在常规佩戴过程中推断出个性化的手部形状。 ### II. 相关工作 - 全面的验证结果表明，该技术在关节测量和形状重建方面具有高精度特性。 ### A. 数据手套系统数据手套的发展可追溯至20世纪70年代。此后，基于不同传感器的各类手套相继问世，各有优劣。1977年出现的早期Sayre手套[^9]采用了柔性管和光电元件，虽能测量手指弯曲程度，但传感器数量有限，且为有线连接、使用不便，应用场景受限。20世纪80年代，Data Glove[^10]是一项重要进展，它利用塑料管和光敏传感器来测量关节角度，随后又出现了Power Glove[^11]和Super Glove[^12]。这些手套虽能测量手指关节弯曲情况，但布料支撑限制了手部活动，影响了测量精度；它们还需要复杂的校准过程，部分产品还存在非线性映射和采样限制等问题[^12]。 MemGlove[^13]结合了电阻式传感器与流体传感器，用于手部姿态重建。不过，其制造和传感器集成过程较为复杂。配备弯曲传感器的手套[^14]价格低廉且易于使用，可用来测量手指弯曲程度。然而，这类传感器对温度敏感，且容易磨损。此外，传感器体积较大，限制了它们所能捕捉的自由度。随着微电子技术的发展，配备基于MEMS的惯性测量单元（IMU）传感器的手套应运而生。传感器芯片的标准化生产大幅降低了成本，使得这类手套能够批量生产。这些手套[^15]、[^16]利用IMU的特性提供出色的动态响应能力，从而全面捕捉手部和手臂的运动。[^6]提出了一种采用柔性印刷电路（FPC）的数据手套原型，并建议利用角度传感器来验证IMU的准确性。同样，[^17]也展示了一种基于模块化IMU的数据手套设计。不过，这些方法忽略了对不同手尺寸的适应性，也未针对机器学习应用进行优化。尽管如此，这些传感器仍面临校准难题[^16]，且偶尔还会受到外部磁场的干扰。 ### B. 手套校准方法为缓解或解决手套传感器引发的问题，近年来数据手套校准研究不断发展。Chou等人[^18]采用线性回归方法对Cyberglove进行校准，借助视觉系统来处理传感器读数与关节角度之间的复杂关系。Kahlesz等人[^19]针对Cyberglove这类高自由度数据手套建立了传感器交叉耦合模型，无需额外硬件设计即可实现效果理想的校准。Sun等人[^20]运用遗传算法对外骨骼数据手套进行校准，考虑了手尺寸及佩戴位置的差异。Zhou等人[^21]通过人工神经网络简化了虚拟康复场景中的CyberGlove校准流程，从而造福残疾患者。Connolly等人[^22]利用神经网络提升了5DT Data Glove 14 Ultra的准确性和易用性，在关节活动范围受限时无需进行传统校准。 ### III. 系统架构与设计无论是机器人领域还是动作捕捉应用，多个传感器的稳定运行及实时数据处理都至关重要。为满足这一需求，我们开发了图2所示的分布式动作捕捉系统。该系统由三个独立于硬件的子系统组成：(1)用于记录手指运动学数据的FSGlove；(2)用于捕捉手部整体位移的背部追踪器；(3)用于传感器融合与可视化的数据采集套件。这些组件通过以太网或Wi-Fi通信，且时钟同步。我们将在第III-A节详细介绍FSGlove硬件，第III-B节介绍背部追踪器，第III-C节说明数据采集流程。 ### A. FSGlove的硬件设置 a) 拓扑与机械设计：人手指关节起到类似铰链的约束作用，允许在层级连接的指骨（近节 $\rightarrow$ 中节 $\rightarrow$ 远节）之间旋转。为捕捉该运动链，我们在每根手指上部署三个 IMU，分别置于近节、中节和远节指骨的背侧，并辅以安装于手背的一个 IMU 以获得全局朝向。这构成了一个 16-IMU 网络（5 根手指 $\times$ 3 + 1 手背）。为在保持灵巧性的同时降低布线复杂度，我们将IMU焊接在定制的柔性电路板（FPC）上。该FPC被粘贴 --- ![Image](images/eb51cae3a200a7f825a098c7c0fd187514ec702d4e8321b5779ac7d78767fcf3.jpg)

Fig. 2: System Architecture. The system gathers IMU sensor data via an SBC and then sends them to the DiffHCal framework. The DiffHCal framework calibrates and models the hand shape, aligns the data, and outputs a final hand-and-object mesh.

![Image](images/e5d3801c33cb945399b7488ca67efd8043c5c9e4c262d91681fd7e527794f06e.jpg)

Fig. 3: Glove hardware design. The Raspberry Pi Zero 2W serves as the system's core, receiving sensor data from a custom UART-USB daughter board over a USB bridge. The daughter board collects IMU data via a flex-printed circuit, and the IMUs are attached to the glove surface.

![Image](images/32917ca176da02fd872b98038b84cefc3aa680dfed93b21e720ff5377460cae3.jpg)

Fig. 4: FSGlove's board compatibility. (a) Basic FSGlove without a dorsal tracker, capturing only finger kinematics. (b) FSGlove is equipped with an optical dorsal tracker and tapped FPC, which is integrated with the Nokov MoCap system. (c) FSGlove is equipped with an HTC Vive Tracker, integrated with the Vive VR system.

到可拉伸的尼龙手套上，并使用3D打印的支架固定，以防止传感器滑动。用于容纳单板计算机（SBC）和定制子板的手背外壳会与手部同步移动。 b) IMU选型：我们选择了HI229模块[^23]（采用BNO055芯片），因其体积小、成本低且精度高。该模块能提供融合后的方向估计值，其静态角度误差为$0.8^{\circ}$，动态误差为$2.5^{\circ}$，采样率可达400 Hz——其性能可与商用手套相媲美[^4]。 c) 单板计算机（SBC）：我们选用Raspberry Pi 2W（Pi2W），因其配备四核1.0 GHz CPU和集成Wi-Fi，足以处理来自16个IMU的数据并无线传输。作为现成的组件，Pi2W确保了系统的可复制性。 d) USB-UART子板：为解决Pi2W的端口限制问题，我们设计了一块搭载双CH9344八端口USB-UART桥接芯片的子板。该子板可将连接数扩展至16个UART端口，通过定制的USB桥接器保持与Pi2W之间480 Mbps的上行链路，所有元件都封装在3D打印的外壳中，以防短路。 e) 用于移动性的电池系统：一块容量为1100 mAh的锂离子电池搭配充电管理电路为Pi2W供电，从而实现无线操作。在默认配置下，该手套可连续工作2小时。续航时间与手套重量（110克）之间的平衡，确保了其在长时间操作任务中的可用性。 f) 成本分析：这套16个IMU的手套配置的材料清单总成本约为$426, including assembly expenses (detailed breakdown in Supplementary). IMUs account for 75% of this cost ($320），这表明对于需要较少传感器的其他应用场景，仍有很大的成本压缩空间。 ### B. 手背追踪器虽然IMU能捕捉手部关节的方向，但全局平移运动还需要额外的追踪手段。我们采用Nokov光学系统来确定6自由度（6DoF）的手背姿态。如图4所示，手套上安装了一个带有红外反射标记的三维打印树状结构，以确保稳定追踪。柔性电路板用胶带遮盖，以减少红外反射噪声。 ### C. 数据采集套件数据采集套件整合了FSGlove和手背追踪器同步传输的数据流。下文将详细介绍四个关键的设计要点。 a) 通信协议：我们采用gRPC实现低延迟的双向数据传输，其集成的协议栈简化了序列化过程。对于手背追踪，中间件层利用进程间通信（IPC）与各类追踪系统集成，从而最大程度降低延迟和计算开销。 b) 时间同步：为使整个系统同步，单板计算机会定期通过网络时间协议（NTP）将其时钟与PC时间服务器对齐。虽然建议采用精确时间协议（PTP）与第三方手背追踪系统同步，但我们使用的Nokov系统 --- 该系统采用自定义协议进行同步。16个机载惯性测量单元（IMU）基于带时间戳的数据包到达时间进行同步，其策略借鉴了机器人操作系统（ROS）消息过滤器的相关思路。 c) 数据流：单板计算机（SBC）与个人电脑（PC）通过Wi-Fi通信。SBC对来自16个IMU、采样率为100 Hz的原始字节流进行处理，将其转换为包含三轴加速度、角速度和融合姿态的单条数据记录。这一采样率是电池消耗、计算负载和运动精度之间权衡的结果。这些数据记录会被流式传输到PC端，由校准模块结合背部追踪器获取的姿态信息来计算最终的手部姿态，具体细节详见第IV-A节。 d) 延迟分析：系统延迟测量结果显示，手套的总延迟为24毫秒，其中主要源于SBC端的Wi-Fi信道拥堵；而有线Nokov追踪器的延迟仅为1毫秒。中间件和内存操作带来的开销可忽略不计（< 0.5毫秒）。借助NVIDIA 2080 Ti显卡的加速能力，可实现25 Hz的实时可视化，最终显示延迟为40毫秒。 ### 四、动作捕捉数据对齐与形状感知校准在基于FSGlove的动作捕捉系统中，我们需要将原始传感器读数转换为手部运动数据。我们提出了一种统一的方法DiffHCal，用于对齐和校准动作捕捉系统的数据，同时兼顾关节和形状因素。DiffHCal是一个基于MANO手部模型构建的端到端处理流程[^8]，该模型广泛应用于各类手部相关任务，拥有完善的生态系统。重要的是，它对手部的关节和形状都进行了参数化描述。DiffHCal的架构如图2所示，它由姿态校准模块、形状校准模块以及与背部追踪系统的对齐支持模块组成。 ### A. 姿态对齐与校准手套采集的原始IMU数据并非直接代表关节角度，而是指指骨的旋转情况。因此，我们首先需要将其转换为关节角度。此外，考虑到手套的佩戴方式，每次佩戴时IMU与对应手指指骨的相对姿态都可能有所不同。这种安装姿态需要在每次佩戴手套时进行校准。 a) 姿态对齐：我们首先为MANO建立一个虚拟世界坐标系$\mathcal{M}$。IMU采用统一的西-北-上（WNU）坐标系作为世界坐标系$\mathcal{W}$。IMU会根据MANO中的手指连杆ID进行编号。理想情况下，我们假设每个IMU的安装都与连杆坐标系完美对齐。$R_i^{\mathcal{W}}$表示第i个IMU的读数，而$R_i^{\mathcal{M}}$则表示第i个手指连杆在M坐标系中的旋转情况。那么，从WNU世界坐标系到MANO世界坐标系的旋转矩阵为A： $$ R_{i}^{\mathcal{M}}=A R_{i}^{\mathcal{W}}. $$ 按照MANO的约定，通过定义关节索引及其父连杆索引，对于每根手指而言，第i个关节连接着连杆i和连杆i-1。因此，关节角度定义为： ![Image](images/7ad348672bce37cc75856ab8f6bd0c7013ab34216b45c21cc98e00ce73351649.jpg)

(b)

Fig. 5: Calibration Poses. (a) The pose calibration process involves only three simple poses. (b) The shape calibration process requires each fingertip to touch the thumb tip.

以及连杆 i - 1。因此，关节角定义为： $$ \theta_{i}=R_{i}^{\mathcal{M}}(R_{i-1}^{\mathcal{M}})^{-1}. $$ b) 姿态校准：在公式1和公式2中，$R_i^W$是从IMU传感器读取的数据，$R_i^M$则来自MANO所在的虚拟环境（即RFUniverse等3D模拟器[^24]）。我们所需确定的就是变换矩阵A。计算A时的难点在于，现实中人如何能让手部的姿态与虚拟手部完全一致。由于所有手指连杆的A值相同，因此仅需一组手指连杆的姿态配对即可满足需求。不过在实际中，惯性测量单元无法与连杆坐标系完美对齐，而且由于它具备柔性，每次佩戴手套时其朝向都会发生变化。因此，考虑到这种安装误差，公式1应表示为： $$ R_{i}^{\mathcal{M}}C_{i}=A R_{i}^{\mathcal{W}}, $$ $C_{i}$ 表示用于修正第i个连杆坐标系中安装误差的旋转量。为了求解A和$C_{i}$，至少需要定义两组标准参考手姿，然后应用最小二乘法即可。实践中，我们定义了三种标准参考姿势：静止姿势、绕x轴旋转姿势以及绕y轴旋转姿势。如图5(a)所示，静止姿势是指手掌平铺、掌心朝下贴在表面上，且手指尽可能张开的状态。绕x轴旋转姿势是指将静止姿势下的手腕绕x轴旋转（保持手指不动，使掌心竖直）。绕y轴旋转姿势是指将绕x轴旋转姿势下的手腕绕y轴旋转（保持手指不动，同时让掌心在竖直平面内移动）。 ### B. 形状校准当两个人以相同的手姿尝试操控物体时，手较大的人已经与物体接触，而手较小的人则尚未接触。若不将手部形状差异纳入考量，会在下游任务（如VR/AR、操控数据采集）涉及物体交互时引发严重问题。因此，我们还需要对手部尺寸进行校准。 --- 因此，我们还需要对手部尺寸进行校准。为了适配不同人的手部形状，我们使用MANO形状参数向量$\beta$。给定姿态参数$\theta$和形状参数$\beta$后，手部网格模型可定义为 $$ (V,E)=M(\theta,\beta), $$ 其中V表示顶点集，E表示边集。个性化手部形状的一种方法是用带有手套的手部进行扫描，再将手部骨骼模型应用到扫描得到的模型上。这种方法需要耗费大量建模时间，从用户角度而言并不十分实用。另一种方法是利用个性化的手部重建方法，比如[^25]，但这类方法并未针对戴手套的手部进行训练。考虑到形状差异主要影响接触状态，我们提出利用几种基于触碰的标准参考姿势来校准手部形状。在标准姿势中，我们会定义一个接触状态$c_{jk} = (v_j, v_k)$、接触集合$\mathcal{C} = \{c_{jk}\}$，其中$v_j$ 表示第j个顶点。如图5(b)所示，在拇指与食指捏合姿势下，若拇指与食指接触，则第744个顶点和第320个顶点应处于接触状态，这些索引符合MANO的约定。鉴于参考姿势中预先定义了接触关系，且人类会试图在现实中复现该参考姿势，我们将测量得到的手部姿态应用到MANO手部模型中，并将形状误差度量定义为： $$ E_{{s h a p e}}(\beta)=\sum_{c_{j k}\in\mathcal{C}}\|v_{j}(\theta,\beta)-v_{k}(\theta,\beta)\|_{2}^{2}. $$ 由于公式4中的M是可微分的[^8]，因此最小化$E_{shape}$以求得最优的$\beta$这一过程也是可微分的。考虑到大多数操控应用都基于抓取操作，针对此类场景，优化指尖处的接触状态便已足够，这也是我们实验中的默认设置。若考虑更复杂的操控场景，比如手内操控，也可以将手部其他部位的接触状态纳入考量，利用同样的优化方案即可轻松扩展。 ### C. 与背部追踪系统的对齐最后，需要获取个性化MANO模型的手腕姿态。我们之前提到过，在基于FSGlove的动作捕捉系统中，背侧旋转数据来自IMU，而背侧平移数据则来自外部背侧追踪器。对齐和校准过程与姿态部分类似，主要区别在于我们需要计算背侧追踪器的世界坐标系与MANO模型之间的变换矩阵$A'$。需要注意的是，我们可以沿用第IV-A节中描述的相同参考手姿来完成对齐过程。因此，如有必要，我们可以同时完成手部及手腕的姿态对齐。通过这种方式，手部姿态、形状以及手腕姿态的所有计算都具有可微性。

TABLE I: Comparison of hand glove motion capture solutions. Our glove offers the lowest cost while maintaining the sampling rate and pose DoFs.

Solution	Technology	Sampling Rate (Hz)	Price
Ours (FSGlove)	IMU (16 unit)	100	$426
VRTRIX Pro	IMU (6 unit)	180	$1,400
Meta Quest 3	Vision-Based	60	$499
Manus Metaglove	Magnetic Sensor	120	$5,250

![Image](images/6e0d91a523439928cbb18ad7695db59f15e694b017381a6f6bbaea9ed0096ccc.jpg)

Fig. 6: Settings of single joint error experiments. We use optical system as ground truth to test the single joint error.

### V. 评估实验为了评估这些手套的性能，我们基于常见的研究与应用场景设计了一系列实验，并选取了多种不同的手部姿态估计技术进行对比研究。这些技术包括同样采用IMU方案的VRTRIX动作捕捉手套、采用基于视觉的手部识别算法的Meta Quest3，以及基于磁感应技术、号称最精准的手部追踪解决方案的Manus Metaglove Pro。它们的详细信息可在表I中查看。 ### A. 单个关节测量根据我们的具体应用场景，我们需要验证使用一对IMU进行关节姿态对齐的准确性。我们设计了一块3D打印的底板来模拟手指运动场景。如图6所示，该装置分为A、B两部分，通过旋转轴相连。每部分都设有安装动作捕捉标记球的指定位置，以便利用Nokov系统捕捉A、B两部分的姿态，进而计算出该轴的真实旋转角度。由于Nokov系统的追踪精度达到0.5毫米，在100毫米的尺度下，旋转测量的精度可达0.3度，满足我们的要求。在实验中，我们以Nokov系统的输出作为基准，来衡量IMU系统提供的姿态估计误差。如图7所示，IMU的姿态估计偏差为$\pm2.7^{\circ}$，标准差为$\pm1.8^{\circ}$。传感器的非线性误差为0.7%。此外，其准确性不会随关节角度的变化而波动。我们可以认为这样的IMU系统是可靠的。 ### B. 形状重建作为一款专为手部运动重建设计的数据手套，我们对其基本的形状重建能力尤为关注。为了开展这项实验，我们将一台Photoneo MotionCam深度相机安装在三脚架上， --- ![Image](images/d0d0d163212444c17bdfcf2dded33ad085e46864ff976d9922f8f48c023b5580.jpg)

Fig. 7: Results of single joint measurement. Our system's angle output closely matches the measurements from the Nokov MoCap system.

![Image](images/4c5479b56b587eb9c30fd72cd133f856711090947e58c6fc39e5ac758faab6d4.jpg) ![Image](images/4bb5e024e929eabb5203cdcd56c060c417b661d84d4c8db9185f3a8f8ecfa8df.jpg) ![Image](images/85c1400765f9538b5dd19402a6a4dc9ea0de23cd0bd1f09bf9ff248dac9fa4fb.jpg) ![Image](images/7ff1cb08825f861f3969555b697bfed1841b51f36c3978f322861eeb4265582e.jpg)

Fig. 8: Quantitative results of shape reconstruction. Our solution demonstrates comparable performance to the Quest3 and outperforms other commercially available gloves.

将其对准一面纯白色的墙面，并确保相机与墙面之间的空间无障碍物，以保证成像清晰。一名佩戴着手套的志愿者做出了一系列复杂多样的手部姿态。在此过程中，Photoneo相机捕捉到了志愿者手部的高精度灰度深度图像，同时手套也同步记录了其重建结果。为了将重建结果与高精度深度图像进行对比，我们采用了GroundedSAM模型[^26]，对深度图像执行“手”这一查询条件，从而精准提取志愿者的手部区域。随后将这些提取出的区域转换为点云，并与手套的重建结果进行比较。考虑到Photoneo相机输出的点云存在不完整性，我们采用从部分点云P到重建手部网格顶点V的单向Chamfer距离作为误差度量指标： $$ E_{s r}=\frac{1}{\left|P\right|}\sum_{p\in P}\min_{v\in V}\left\|p-v\right\|_{2}^{2} $$ 针对每种姿势，实验均重复进行10次，最终取平均值。如图8所示，我们的

Method $\downarrow$	Distance (mm)
	Index	Middle	Ring	Little	Average
Ours	7.2	16.5	12.0	27.1	15.7
Meta Quest3	11.0	21.5	18.9	22.3	19.6
VRTRIX	20.9	14.4	25.3	15.1	18.9
MANUS	28.0	32.3	36.7	35.7	33.2

TABLE II: Results of fingertip pinch tracking. Our method achieves the best average error. Notably, it attains the lowest error for the index and ring fingers, confirming its superior accuracy in most finger measurements.

解决方案性能与Quest3相当，且优于其他市面上可购买的手套。不过我们发现，Meta Quest3在指尖捏合任务中的表现与之相当甚至更优。我们认为这主要归因于两个因素：首先，Quest3利用视觉信息来重建手部网格，因此在细微接触动作可见时能捕捉到更精确的几何细节；其次，安装在手指背面的惯性测量单元（IMU）之间可能会发生碰撞，尤其是在拇指与小指接触这类复杂姿势下，从而导致位置偏移并降低精度。 ### C. 指尖捏合跟踪动作捕捉手套常被应用于虚拟现实（VR）领域。例如，[^27]在VR中采用了商用动作捕捉手套来生成用于训练机械臂抓取策略的数据集。因此，最小化指尖间的接触误差至关重要，因为它直接影响抓取等关键操作的准确性。为解决这一问题，我们设计了实验来量化捏合姿势下的指尖接触误差。对手套完成校准后，参与者按照指示做出一系列手势，依次让拇指与其他四根指尖接触。实验过程中，会随机施加手腕旋转以模拟实际操作环境。针对每种捏合姿势，我们记录了10秒内指尖端点间的距离数据，其平均值汇总于表II中。我们的解决方案性能略优于VRTRIX手套，而MANUS手套则表现出一定偏差。由于头盔式摄像头无法捕捉手掌朝下时的手部姿势，Quest3的表现明显欠佳。对于小指捏合姿势而言，VRTRIX的性能远超我们的手套及其他方法。这是因为如图9所示，无论拇指的实际位置如何，VRTRIX都会系统性地使拇指弯曲至手掌下方，从而在该评估指标上取得更好的成绩。不过这种行为会导致重建出的网格与真实情况出现显著偏差。 ### D. 手-物体交互一致性在许多场景下，人类手部用于操控各种物体。因此，我们很好奇记录下来的手部网格序列能否真实反映佩戴手套时的实际物理过程。 --- ![Image](images/5ea785921a52ad4b3d58e3e85744e653a036e08ababce9d9e1764470bd3fdfc4.jpg)

Fig. 9: Qualitative results of shape reconstruction.

Method $\downarrow$	Test Result (mm)										Total Avg.
	#1		#2		#3		#4		#5
	Avg.	Std.	Avg.	Std.	Avg.	Std.	Avg.	Std.	Avg.	Std.
Ours	22.6	5.5	16.5	4.2	17.9	2.9	26.6	2.0	17.5	3.3	20.2
Meta Quest3	69.7	13.0	17.7	1.3	18.0	4.8	16.7	11.1	18.1	9.2	28.0
VRTRIX	41.9	6.4	14.4	2.3	19.1	3.6	16.2	2.3	30.8	8.2	24.5
MANUS	28.0	7.3	19.8	3.9	26.7	4.6	25.7	4.0	33.2	12.3	26.7

TABLE III: Quantitative results of Hand-Object Interaction Consistency Experiment As can be observed, our proposed method outperforms other approaches on most objects. The relatively lower scores of MANUS and VRTRIX are largely attributable to unnatural hand motions induced by external forces during the interaction, which are consequently filtered by their built-in algorithms.

为探究这一点，我们从ContactPose [^28]数据集中选取了五种物体：cube_large、杯子、utah_teapot、stanford_rabbit和elephant。该数据集收录了常见物体的数字模型，每个模型都配备了用于安装标记球的点位。按照[^28]中描述的方法，我们在这些模型上安装了标记点，以便利用Nokov系统追踪它们的位置和姿态变化。随后，我们根据Nokov的读数调整了可视化与记录程序。由于我们的手套装置本身已经包含针对手掌的追踪方案，因此无需再做修改。对于VRTRIX、MANUS手套以及Quest3，我们为手掌追踪制作了多个背部追踪器副本。针对每一种物体与手套的组合，我们让志愿者进行约60秒的操作，通过Nokov记录手掌及物体的位置与姿态，同时用定制方法记录手部重建结果。我们的研究重点在于手网格中的感兴趣区域（即各手指的指尖）以及手网格与物体网格之间的相互穿透情况。我们从序列中选取了30个随机时刻，确保此时所有手指均与物体接触。针对这些时刻，我们计算了点到网格的距离——也就是指尖端点到物体网格上最近点的距离。该数值越小，说明重建效果越好。由于所有手掌的位置和姿态均由Nokov及追踪设备提供，因此可以进行公平比较。表III中的实验结果显示，我们的方法性能略优于Quest3和VRTRIX，同时显著超越MANUS手套。 ### E. 漂移分析导致FSGlove测量不准确的漂移主要有两个来源：一是惯性传感器固有的IMU漂移，二是手套材质的拉伸。 a) IMU漂移：根据Hi229 IMU的数据手册[^23]，在运行30分钟后，不同融合模式下的典型角度误差范围在$3^{\circ}-10^{\circ}$之间。不过在上述通常时长超过10分钟的实验中，并未发现明显的漂移现象。在单关节测量实验（见第V-A节）中，我们观察到的标准差为$\pm1.8^{\circ}$。在手部-物体交互一致性实验中，FSGlove的标准差与其他方法相当（见表III）。因此我们得出结论：IMU漂移对短期数据采集任务的影响微乎其微。 b) 拉伸效应：长时间使用会导致手套拉伸，进而使之前的校准失效。不过正如第IV-A节所述，姿态校准模块并不会对IMU模块相对于指骨的初始位置或姿态做出假设。因此，我们建议用户每天重新校准手套，以抵消拉伸效应带来的影响。 --- ### VI. 结论与未来工作本研究提出了FSGlove——一种开源、高自由度（48自由度）的数据手套，它结合了惯性传感技术与个性化形状校准功能，填补了手部动作捕捉领域的关键空白。通过集成密集布置的IMU以及可微校准框架DiffHCal，FSGlove能够实现解剖学上一致的手部建模，在一个统一的工作流中解决关节运动学、形状参数及传感器错位等问题。实验证明，与商用系统相比，它在关节角度精度、形状重建鲁棒性以及接触保真度方面均处于领先水平。该系统的开放式设计以及与虚拟现实和机器人系统的兼容性，降低了获取高保真手部追踪数据的门槛，从而为更多下游应用创造了可能。未来的工作将包括提升IMU的精度以实现亚度级追踪，扩展DiffHCal使其能动态适应接触过程中的软组织形变，以及将形状估计方法推广到不同人体手部结构。引入触觉反馈可进一步提升交互的真实感，而联邦学习框架则有望实现无需人工干预的个性化校准。探索在手术机器人或沉浸式远程操控领域的应用，将验证FSGlove的可扩展性。通过开源设计，我们诚邀社区共同推进相关技术革新，弥合人类与机器人操控之间的逼真度差距。 ## 参考文献 [^1]: CyberGlove, "Cyberglove iii introduction," , 2025, accessed: March 1, 2025. [^2]: K. Shaw, A. Agarwal, and D. Pathak, "Leap hand: Low-cost, efficient, and anthropomorphic hand for robot learning," Robotics: Science and Systems (RSS), 2023. [^3]: Manus, “Manus glove product introduction,” , 2025, accessed: March 1, 2025. [^4]: VRTrix, “Vrtrix glove product introduction,” , 2025, accessed: March 1, 2025. [^5]: S. Zhu, A. Stuttaford-Fowler, A. Fahmy, C. Li, and J. Sienz, “Development of a low-cost data glove using flex sensors for the robot hand teleoperation,” in 2021 3rd International Symposium on Robotics & Intelligent Manufacturing Technology (ISRIMT), 2021, pp. 47–51. [^6]: B.-S. Lin, I.-J. Lee, P.-Y. Chiang, S.-Y. Huang, and C.-W. Peng, "A modular data glove system for finger and hand motion capture based on inertial sensors," Journal of Medical and Biological Engineering, vol. 39, pp. 532–540, 2019. [^7]: B. O'Flynn, J. Torres, J. Connolly, J. Condell, K. Curran, and P. Gardiner, “Novel smart sensor glove for arthritis rehabilitation,” in 2013 IEEE International Conference on Body Sensor Networks, 2013, pp. 1–6. [^8]: J. Romero, D. Tzionas, and M. J. Black, “Embodied hands: Modeling and capturing hands and bodies together,” ACM Transactions on Graphics, (Proc. SIGGRAPH Asia), vol. 36, no. 6, Nov. 2017. [^9]: D. Sturman and D. Zeltzer, “A survey of glove-based input,” IEEE Computer Graphics and Applications, vol. 14, no. 1, pp. 30–39, 1994. [^10]: H. Eglowstein, “Reach out and touch your data,” Byte, vol. 15, no. 7, pp. 283–290, July 1990. [^11]: D. L. Gardner, “The power glove,” Des. News, vol. 45, pp. 63–68, Dec. 1989. [^12]: L. Dipietro, A. M. Sabatini, and P. Dario, “A survey of glove-based systems and their applications,” IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), vol. 38, no. 4, pp. 461–482, 2008. [^13]: J. Hughes, A. Spielberg, M. Chounlakone, G. Chang, W. Matusik, and D. Rus, "A simple, inexpensive, wearable glove with hybrid resistive-pressure sensors for computational sensing, proprioception, and task identification," Advanced Intelligent Systems, vol. 2, no. 6, p. 2000002. [^14]: S. Zhu, A. Stuttaford-Fowler, A. Fahmy, C. Li, and J. Sienz, “Development of a low-cost data glove using flex sensors for the robot hand teleoperation,” in 2021 3rd International Symposium on Robotics & Intelligent Manufacturing Technology (ISRIMT), 2021, pp. 47–51. [^15]: B. Fang, F. Sun, H. Liu, and D. Guo, “A novel data glove for fingers motion capture using inertial and magnetic measurement units,” in 2016 IEEE International Conference on Robotics and Biomimetics (ROBIO), 2016, pp. 2099–2104. [^16]: Q. Liu, G. Qian, W. Meng, Q. Ai, C. Yin, and Z. Fang, “A new immun-based data glove for hand motion capture with optimized sensor layout,” International Journal of Intelligent Robotics and Applications, vol. 3, no. 1, pp. 19–32, March 2019, (c) 2019, Springer Nature Singapore Pte Ltd. This is an author produced version of a paper published in the International Journal of Intelligent Robotics and Applications. Uploaded in accordance with the publisher's self-archiving policy. [^17]: B.-S. Lin, I.-J. Lee, S.-Y. Yang, Y.-C. Lo, J. Lee, and J.-L. Chen, "Design of an Inertial-Sensor-Based Data Glove for Hand Function Evaluation," Sensors, vol. 18, no. 5, p. 1545, May 2018. [^18]: T.-S. Chou and A. Gadd, “Hand-eye: A vision-based approach to data glove calibration,” 2000. [^19]: F. Kahlesz, G. Zachmann, and R. Klein, “visual-fidelity’ dataglove calibration,” in Proceedings Computer Graphics International, 2004., 2004, pp. 403–410. [^20]: Z. Sun, G. Bao, J. Li, and Z. Wang, “Research of dataglove calibration method based on genetic algorithms,” in 2006 6th World Congress on Intelligent Control and Automation, vol. 2, 2006, pp. 9429–9433. [^21]: J. Zhou, F. Malric, and S. Shirmohammadi, “A new hand-measurement method to simplify calibration in cyberglove-based virtual rehabilitation,” IEEE Transactions on Instrumentation and Measurement, vol. 59, no. 10, pp. 2496–2504, 2010. [^22]: J. Connolly, J. Condell, K. Curran, and P. Gardiner, “Improving data glove accuracy and usability using a neural network when measuring finger joint range of motion,” Sensors, vol. 22, no. 6, 2022. [^23]: S. L. Tech, "Hi229 9-axis imu/vru/ahrs," . [^24]: H. Fu $^{*}$, W. Xu $^{*}$, R. Ye $^{*}$, H. Xue, Z. Yu, T. Tang, Y. Li, W. Du, J. Zhang, and C. Lu, “Demonstrating rfuniverse: A multiphysics simulation platform for embodied ai,” in RSS Robotics: Science and Systems, 2023. [^25]: K. Karunratanakul, S. Prokudin, O. Hilliges, and S. Tang, “Harp: Personalized hand reconstruction from a monocular rgb video,” in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2023, pp. 12802–12813. [^26]: T. Ren, S. Liu, A. Zeng, J. Lin, K. C. Li, H. Cao, J. Chen, X. Huang, Y. Chen, F. Yan, Z. Zeng, H. Zhang, F. Li, J. Yang, H. Li, Q. Jiang, and L. Zhang, "Grounded sam: Assembling open-world models for diverse visual tasks," arXiv preprint arXiv:2401.14159, 2024. [^27]: H. Xue, Y. Li, W. Xu, H. Li, D. Zheng, and C. Lu, “Unifolding: Towards sample-efficient, scalable, and generalizable robotic garment folding,” in Conference on Robot Learning. PMLR, 2023, pp. 3321–3341. [^28]: S. Brahmbhatt, C. Tang, C. D. Twigg, C. C. Kemp, and J. Hays, “Contactpose: A dataset of grasps with object contact and hand pose,” in 16th European Conference on Computer Vision (ECCV 2020), 2020, pp. 361–378.