# 用于高性能灵巧操作捕捉的光纤传感手套
J.D. Peiffer$^{1,2,*}$、Taylor Niehues$^{1}$、Li Guan$^{1}$、Ziyi Kou$^{1}$ 以及 Ergys Ristani$^{1}$
摘要—在灵巧操作过程中捕捉手部姿态一直颇具挑战性：基于视觉的方法在遮挡和光照条件恶劣的情况下性能会大幅下降；而装有传感器的手套虽然不受遮挡影响，却容易出现漂移和磁干扰现象，且很少能达到动作捕捉系统的精度。我们推出了一种用于全手部姿态追踪的光纤传感手套，旨在解决上述难题。该手套采用多芯形状传感光纤，能够捕捉每根光纤的完整三维形状，而非仅局限于曲率信息。我们设计了一套全新的流程，可将重建出的每根光纤形状对齐到统一的手部参考坐标系中，再通过全新的逆运动学求解器，利用曲线约束在60 Hz的频率下重建出完整的手部姿态。我们在5名受试者参与的、时长2小时的灵巧物体操作任务数据集上对这款手套进行了测试，结果显示其与动作捕捉基准数据相比，指尖位置的平均误差仅为7.2毫米；经过一次工厂校准后，光纤路由枢纽的参数被设定好，该误差可进一步降至4.9毫米，且这种校准效果可适用于不同用户和不同使用场景。凭借这些特性，该手套能够实现高保真度数据采集以及双腕虚拟遥操作——这两点对于推动机器人领域的发展至关重要。
## 一、引言
手部是我们与物理世界及虚拟世界交互的核心工具，精准追踪其运动对于分析灵巧行为以及教导机器人完成同类任务而言至关重要[^1]、[^2]。然而，操控过程中最需要追踪手部运动的情形——比如手指缠绕物体或伸进狭窄空间时——恰恰也是追踪难度最高的时刻。过去十年的发展虽催生了大规模的手部姿态数据集以及多种基于视觉和传感器的系统，但每种系统都需要在精度、鲁棒性、便携性、轻便程度以及成本之间做出权衡。
基于视频的手部追踪方法应用广泛，其原理通常是通过单个摄像头估算手部关键点[^3]、[^4]。有些方法甚至能在智能手机、智能眼镜等资源受限的便携设备上运行[^5]。尽管近年来基于视频的系统精度有了显著提升，但在物体操控过程中，由于自遮挡或物体遮挡现象的存在，从单视角估算手部姿态往往属于不适定问题。
为了获得更高的精度和更强的抗遮挡能力，多摄像头动作捕捉（mocap）系统更为理想。基于标记的系统标记位置误差极低，常被用作手部姿态估计的基准[^6]。近期出现的无标记多摄像头系统结合了多个视角的单目姿态估计结果，本质上能够实现无束缚的手部追踪[^7]。不过这类系统虽然精度较高，却仅能应用于已校准的捕捉区域内。
Fig. 1: We demonstrate the utility of our gloves for occlusion-free, high accuracy dexterous manipulation data capture and for virtual teleoperation. Top left: Our sensing gloves instrumented with multi-core optical fibers and a dense array of Fiber Bragg Gratings. Bottom left: The system enables whole-hand pose estimation and is not vulnerable to drift, magnetic interference, or occlusion. Right: The user successfully opens a jar in virtual reality with minimal effort.
而且当手部伸进口袋或盒子等狭窄空间时，仍容易出现遮挡问题。
当便携性和持续遮挡环境下的稳定性至关重要时，通常会使用传感手套 [^8] [^9] [^10] [^11] [^12]。这类系统涵盖多种传感方式，每种方式都有其独特的优势与局限性。首先，基于惯性测量单元（IMU）的手套通过集成多个惯性测量单元来估算肢体方位。虽然这种方法成本低且易于扩展，但它需要补偿漂移现象 [^13]，其中航向估算尤其容易因误差累积而产生偏差。电磁（EM）追踪手套通常在指甲上安装传感器，并以手背上的基站作为参照点 [^14]。在受控条件下，电磁传感能达到较高精度，但一旦存在铁磁材料，其性能便会下降，因此必须仔细管理周围环境。应变及弯曲传感器手套则通过材料的形变来推断关节运动 [^15]，[^16]。实际应用中，校准仍颇具挑战性，因为传感器输出会受到弯曲和分布式应变的共同影响。尽管传感手套本身对视觉遮挡具有较强的耐受性，但由于传感精度和稳定性方面的局限，目前尚无任何一种传感方式能在各种场景下都表现出可靠的性能。
光纤弯曲传感器已被用于手部追踪领域 [^17]。它们颇具吸引力，原因在于它们不受惯性漂移的影响，基本不会受到铁磁干扰，且校准过程相对简单。这类手套会将细长的光纤沿手指铺设
---
并在其中嵌入应变传感器——最常见的是光纤布拉格光栅（FBG）——其局部应变变化可在特定的传感位置转化为曲率。许多以往的设计试图让每个传感区域与特定关节对齐，从而使测得的曲率能准确反映关节的弯曲程度。
目前大多数现有的FBG手套采用单芯光纤，主要用于估算少数几个关节的屈曲程度 [^18]，[^19]。例如，Jha等人 [^20] 利用FBG测得的曲率来估算由IMU得出的近节指骨（PIP）和掌指关节（MCP）屈曲情况。Rao等人 [^21] 同样会估算MCP、PIP以及远节指骨（DIP）的屈曲情况。重要的是，这些系统无法还原完整的手部姿态：单芯FBG只能测得曲率大小，却无法获知弯曲方向，因此难以区分MCP屈曲与内收/外展及其他平面外运动。
与现有研究不同，我们采用了多芯FBG，它能同时测量曲率大小和方向，进而重构出光纤的完整三维形状；由于曲率是根据各芯之间的应变差异得出的，温度变化等共模效应会被大幅抵消，从而有助于在长时间采集过程中保持稳定性。此类形状传感光纤在连续体机器人及手术机器人领域已有成熟应用 [^22]，但它们仍属于特种元件：我们的手套需要同时读取五根光纤的数据，且传感器密度较高，而具备这种功能的信号解调仪并不普及，因为光纤行业此前并未针对可穿戴应用展开相关研发。
本研究的目标是开发一种可穿戴式传感手套，能够在高度灵巧的操作过程中精确追踪整个手部的姿态，同时具备抵抗遮挡和漂移干扰的能力。为此，我们在定制手套的背部缝制通道中穿入多芯光纤，以尽量减少对自然运动的干扰；随后将光纤形成的动态三维形状作为手部姿态重建的约束条件。我们的估算流程首先会将重建出的光纤形状与手部对齐，再利用逆向运动学求解器在这些形状的约束下恢复出整个手部的姿态。我们在复杂的操作任务中对这款手套进行了测试，结果显示其指尖追踪误差小于5毫米。
最后，我们在双手虚拟遥操作任务中演示了该系统的应用效果，成功打开了虚拟罐子（见图1）。
综上所述，本文的主要贡献如下：
- 我们设计了一种用于全手追踪的光纤形状传感手套，并验证了它的可行性。
- 我们提出了一种简单且高效的手部姿态追踪流程，该流程基于形状配准技术，包括基于样条曲线约束的逆向运动学求解器以及用户自校准程序。
- 我们在具有代表性的操作任务中对该系统进行了测试，其性能表现具有竞争力。
- 我们展示了该系统的实际应用价值，包括手部灵巧度数据采集以及双手虚拟遥操作。
Fig. 2: Our sensing glove routes multicore optical fibers—which reconstruct 3D shape—through fabric loops along each finger. The fibers are fixed at the fingertip but otherwise allowed to move freely along the fabric loops and through the routing hub. The routing hub uses known tunnel geometry to register 3D fiber shape reconstructions to a common reference frame.
### II. 研究方法
我们首先在第II-A节介绍手套硬件，接着在第II-B节说明用于重建的手部模型。然后，我们在第II-C节阐述如何从重建的光纤形状中估算出整个手部的姿态，其中包括光纤到中枢的形状配准流程以及逆向运动学求解器。第II-D节则介绍了我们简单的自校准方法。
### A. 硬件
1) 手套：该手套由手套面料、光纤、固定件以及光纤路由中枢组成（见图2）。手套面料为定制针织款，兼顾舒适度且适合大手尺寸。每个手指都配备一根光纤，该光纤被牢固地固定在指甲附近的3D打印固定件上。光纤沿着每个手指的背面通过面料上的环形通道布置，可在手指长度方向上自由移动。每根光纤都被封装在外径为0.4毫米的镍钛诺管中以保护其不受损伤。面料上的环形通道可防止光纤弯曲半径过小，并能保证光纤位于手指内侧。在手背处，光纤会进入粘贴在手套上的3D打印背部路由中枢。在中枢内部，每根光纤从对应手指基部的掌指关节附近进入，被引导至手背另一侧后从共同的小指侧出口伸出。中枢内部的通道几何结构可用于形状配准（见第II-C.1节）。此外，也可在背部路由中枢上安装六自由度追踪系统，以实现手部的全局位置追踪。
2) 光纤传感器：每根光纤的直径为125微米，包含三个传感芯层，每个芯层上每隔1厘米就分布有26个光纤布拉格光栅传感器，这些传感器从光纤远端尖端起1厘米处开始排列。光纤布拉格光栅的波长间隔为3纳米，覆盖范围在1511-1587纳米之间。
---
Fig. 3: Optic fibers are first reconstructed in their own reference frame. The shape registration process matches routing hub tunnels to the section of the fiber with same curvature. This is done for every fiber at every time sample to put the fibers in the routing hub frame. Next, inverse kinematic solutions use spline position and direction costs to pose the hand model.
这些传感器完全是被动式的，光的发射和检测都是在远程的FBG解调仪设备上完成的。我们采用了来自FBGS $^{1}$（德国耶拿）的ShapeScan 905解调仪，该设备专为在5根多芯光纤上实现波分复用（WDM）传感而设计。这种解调仪可放置在桌面上或移动推车上以便灵活使用。它通过长度为5米的跳线在手腕连接处与手套上的传感光纤相连。
3) 光纤形状重建：每个独立的FBG传感器都会测量波长偏移量，借助光纤纤芯几何结构即可将其映射为局部应变。通过结合传感位置上3个纤芯的应变测量结果，就能精确测定局部曲率（单位为mm⁻¹）和弯曲方向（单位为rad）。要将这些局部测量结果整合为曲线以得到形状，有几种可选方法，包括弗勒内-塞雷公式 [^23]、毕晓普坐标系法 [^24] 或深度学习技术 [^25]。在本研究中，我们使用了ShapeScan 905设备中内置的专有算法，其空间分辨率为1毫米。由此可得出每根光纤随时间变化的形状表示 $\mathbf{x} \in \mathbb{R}^{251 \times 3}$。我们以60 Hz的频率对每根光纤的曲率、角度和形状估计值进行采样。
### B. 手部模型
我们将手部建模为一个运动学树，其参数包括腕部旋转、腕部平移以及22个关节角度（近节指骨关节5×2个、远节指骨关节5×1个、中节指骨关节5×1个，加上腕部2个），该建模借助了Momentum Library [^26]、[^27]。该模型包含21个解剖学标志点：腕部和手掌中心，以及每个手指的近节、中节和远节指骨标志点，还有指尖标志点。在跟踪前，会根据预先测量的手尺寸对该模型进行缩放处理。为了可视化效果，会执行模型蒙皮操作。
### C. 手部姿态重建
1) 光纤到路由枢纽的注册：光纤形状重建结果x最初是以第一个FBG传感器为参照的局部坐标系中表示的（见图3）。若要将其表示为通用的路由枢纽坐标系下的结果，需将每条重建后的光纤曲线与针对该手指预先测量的枢纽通道中心线进行注册（算法1）。
```pseudo
// Algorithm 1: Fiber to Routing Hub Shape Registration
Require: Routing Hub Tunnel Points T, Fiber Points F
Ensure: Best rigid transform $(\mathbf{R}^, \mathbf{p}^$
1: $\kappa_T \leftarrow \text{Curvature}(\mathbf{T})$
2: $\kappa_F \leftarrow \text{Curvature}(\mathbf{F})$
3: for $j = 1$ to $|\mathbf{F}|$ do
4: $c_j \leftarrow \text{RMSE}(\kappa_F[j:j+|\mathbf{T}|],\kappa_T)$
5: end for
6: $\mathcal{M} \leftarrow \text{RelativeMinima}(\{c_j\})$
7: $j^* \leftarrow \arg\min_{j \in \mathcal{M}} \text{RMSE}(\text{Align}(\mathbf{T},\mathbf{F}[j:j+|\mathbf{T}|]))$
8: $(\mathbf{R}^, \mathbf{p}^) \leftarrow \text{Align}(\mathbf{T},\mathbf{F}[j^:j^+|\mathbf{T}|])$
9: return $(\mathbf{R}^, \mathbf{p}^$
```
为求取对齐，我们在一维滑窗索引 j 上搜索，该索引从实测曲线中选取与 hub 隧道等长的连续片段。对于数字特定搜索范围内的每个候选索引，我们计算 $\kappa_F$（来自实测光纤 $\mathbf{x}$）与来自路由 hub 隧道的 $\kappa_T$ 之间的曲率匹配代价，其中 $\kappa = 1/R$ 是由连续点三元组的外接圆估计得到的离散曲率（省略端点）。为提高时间稳定性，在可用时，搜索范围会收窄至围绕上一帧最佳索引的窗口。
我们首先评估特定手指搜索范围内每个整数偏移量j对应的曲率匹配代价$c(j)$。接着，根据$\mathcal{M}$的相对极小值提取一组候选偏移量$c(j)$。对于每一个$j \in \mathcal{M}$，我们都会利用基于SVD的闭式普罗克鲁斯解来计算将测量片段与模板对齐的最优刚体变换$(\mathbf{R}_j, \mathbf{t}_j)$，并通过对齐后各点到点的残差平方和对其进行评分。最终我们会返回残差最小的变换结果。这一注册过程在每个时间步都会针对每个手指独立执行。若出现超过0.5秒的时间戳间隔，跟踪器会重置其时间状态（即之前的最佳偏移量）。
我们使用三次B样条拟合对枢纽隧道曲线和测量得到的光纤形状进行上采样，并通过重新采样来处理。
---
在配准过程中使用整数倍因子（默认为3），但最终返回未经上采样的光纤形状。这样设计是为了避免由于配准过程在点索引j之间跳转而产生的抖动现象。
2) 逆运动学求解：对于每一帧，我们通过将经过缩放的Momentum手部模型[^26]、[^27]拟合到重建的3D光纤形状上来估算完整的手部姿态。该模型采用受试者特定的手部尺寸（在重建前测量得到）进行实例化，并添加了位于远端指骨（指甲处）、中间指骨以及非拇指指骨的近端指骨上的每个手指的 landmarks定位器。令$\theta$表示模型关节参数的向量。我们通过最小化由重建的3D光纤点构成的几何残差加权和来求解$\theta$（见图3）。
a) 指尖位置与远端方向：我们约束远端定位器的位置以匹配样条曲线的终点（位置残差），同时约束远端指骨的远端解剖轴与$\hat{d}$对齐（固定轴残差）。这些约束既保证了指尖位置的正确性，也确保了远端指骨方向的合理性。
远端方向目标是根据样条曲线计算得出的，即终点与样条曲线末端附近的点（最后5个采样点）之间的向量，也就是$\hat{\mathbf{d}} = \frac{\mathbf{x}_{N} - \mathbf{x}_{N-5}}{\|\mathbf{x}_{N} - \mathbf{x}_{N-5}\|}$。
$$ \mathbf{r}_{\mathrm{s p l i n e}}=\mathbf{y}(\theta)-\mathbf{s}_{j^{*}}, $$
b) 样条曲线代价：为了促使手指遵循重建的光纤路径，我们在每个手指的中间定位器处以及四个手指的近端定位器处添加点到样条曲线的约束。对于定位器点$\mathbf{y}(\theta)$和离散的样条曲线点$\{\mathbf{s}_j\}$，其残差为：
其中
$$ j^{*}=\arg\min_{j}\left\|\mathbf{y}(\theta)-\mathbf{s}_{j}\right\|^{2} $$
是样条曲线上的最近点。每次评估时都会重新计算最近邻关联。
c) 手背代价：在跟踪之前，我们先校准路由枢纽相对于手部网格的位置（详见第II-D节）。跟踪过程中我们强制执行以下约束：(i) 手背框架的方向约束，(ii) 位置约束，以及(iii) 平面约束——即将手背点固定在一个具有预设背侧法向的平面上。
d) 时间正则化：为了减少帧与帧之间的抖动，我们可选择在模型参数上添加以前一帧解为中心的$\ell_2$惩罚项（仅当存在最近的姿态且时间戳间隔较小时才使用）。
e) 目标函数与优化：所有约束均以Momentum骨骼误差函数的形式实现（包括位置、方向、平面、固定轴角度以及点到样条曲线的位置约束），我们还加入了强关节限制惩罚项以防止出现解剖学上不合理的解决方案。每帧的目标函数是这些项的加权总和：
$$ \begin{aligned}L(\boldsymbol{\theta})=&\lambda_{distal}L_{distal}+\lambda_{spline}L_{spline}+\lambda_{dorsum}L_{dorsum}\\&+\lambda_{prev}L_{prev}+\lambda_{lim}L_{lim}.\end{aligned} $$
我们采用实现中的默认权重：$\lambda_{distal}=1$（远端轴约束）、$\lambda_{spline}=0.5$（点到样条曲线约束）、$\lambda_{dorsum}$使用$\lambda_{dorsum}^{ori}=10$和$\lambda_{dorsum}^{pos}=1$（其中位置项在位置约束中的权重被缩放为0.01）、启用时为$\lambda_{prev}=4$，以及$\lambda_{lim}=100$。
对于每一帧，我们要么根据上一帧的姿态（如果有的话）初始化求解器，要么从中性手部姿态开始初始化。随后，我们使用高斯-牛顿求解器（Momentum GaussNewtonSolver）对$L(\theta)$进行最小化计算，迭代固定次数，并利用优化后的参数更新手部模型状态。此外，如果提供了外部根变换（例如来自追踪到的手背参考点），我们会在逆向运动学计算完成后，通过将模型的手背定位器与测量得到的变换对齐来应用该变换，从而得到世界坐标系下的最终手部姿态[^26]。
### D. 路由枢纽自校准
我们利用一段短时间的记录样本序列来校准建模后的路由枢纽的位置与朝向。对于每个样本，我们首先运行标准的逐帧逆向运动学求解过程，此时禁用手背约束，以便为手部参数获得合理的初始值，并将这些参数存储在序列状态中。接着我们启用手背约束，并将该帧对应的常规逆向运动学误差项（包括手背位置、朝向及平面相关项）加入序列目标函数。最终通过高斯-牛顿序列求解器来求解该问题。
### III. 实验
### A. 实验设置
我们通过收集五名参与者执行各种手部姿态和物体交互的数据集，来验证这款手套在灵巧操作数据采集中的实用性。每位参与者完成两轮测试，两轮之间会脱下并重新戴上完整的手套，以采集重新佩戴带来的差异数据。
每轮测试包含两个阶段：活动范围测试阶段和操作任务阶段。在活动范围测试阶段，参与者会做出旨在覆盖常见手指间接触形态的姿态，包括捏合动作、手掌平贴桌面以及拇指与手指侧部摩擦动作。在操作任务阶段，参与者需完成一系列功能性任务：走迷宫、积木搭建、叠杯、手中物体旋转、九孔插销测试以及挤压物体。总体而言，活动范围测试阶段耗时38分钟，操作任务阶段耗时79分钟，总共产生约2小时的运动数据。
在每轮测试中，参与者会佩戴装有光纤的手套，同时身上会粘贴26个动作捕捉标记用于基准追踪。其中19个标记用于手部姿态估计——每个手指三个标记，拇指四个标记，手背三个标记；另外7个标记则放置在路由枢纽的通道出入口处。每个手指上的标记都贴在光纤环路上方。我们采用Han等人描述的方法，利用20台OptiTrack摄像机（NaturalPoint, Inc公司生产）围绕参与者周围布置，根据动作捕捉标记来估算手部的基准姿态[^6]。
### B. 评估方法
我们报告两类误差：(1) 光纤重建/配准精度，即与放置在路由环路上的动作捕捉标记相比的误差；(2) 基于光纤的逆向运动学重建结果与基于动作捕捉的手部重建结果之间的欧几里得距离误差（单位：毫米）。
---
Fig. 4: Our system allows for tracking of hand pose in situations where self-occlusion or object occlusion prevent marker-based systems from accurately tracking the whole hand. Left: Self occlusion causes mocap to cross fingers incorrectly Right: Marker occlusion on index, ring, and pinky fingers results in incorrect fingertip position.
由于动作捕捉标记可能会被遮挡（见图4），我们仅评估那些手指上所有动作捕捉标记均能被检测到的帧。我们利用放置在路由枢纽通道出入口处的标记来估算逐帧的刚体变换，以此对齐手套坐标系与动作捕捉参考坐标系。
a) 纤维到标记点误差：为了量化纤维重建和隧道配准后的三维误差，我们计算了每个手指上的动作捕捉标记点到其对应三维纤维上最近点的欧几里得距离。我们先对每根手指上的标记点距离取平均值，再对所有手指的结果取平均；我们将这一指标称为纤维到标记点误差。由于该指标反映了模型拟合之前的误差，因此可将其理解为纤维重建与配准误差的综合体现。
b) 手部关键点误差：为了评估整个手部模型的重建质量，我们计算了手套估计的手部姿态与动作捕捉得到的手部姿态之间的平均关键点位置误差（MKPE），两者均采用Momentum手部模型表示。MKPE是21个模型特征点的平均欧几里得距离，而指尖MKPE（F.MKPE）仅针对指尖特征点计算。指尖误差的定性分析结果如图5所示。
### C. 路由枢纽隧道对齐
（见第II-C.1节），进而降低了逆运动学估算的精度（见第II-C.2节）。
纤维形状重建中的误差可能会沿我们的流程传递，导致隧道配准错误（详见相关章节）。如果这些差异主要由一致的空间偏差引起（例如系统性的偏移或旋转），那么通过一次刚性变换即可修正。因此，我们在协议规定的运动范围内，针对所有帧和姿态，估算已配准的纤维曲线与动作捕捉标记点之间的最优刚性变换。随后，我们将该变换应用于路由枢纽隧道模板，重新执行形状配准步骤，利用修正后的隧道几何参数得到经过偏差修正的已配准纤维曲线，用于后续的逆运动学计算。这种隧道对齐的定性结果如图6所示。
### D. 定量结果
1) 纤维到标记点误差：平均纤维到标记点误差如表I所示。总体误差较低：在运动阶段和操控阶段分别为3.3毫米和3.4毫米，表明形状重建与配准精度较高。隧道对齐使误差降低了1.2–1.5毫米，其中在估算对齐参数的运动阶段降幅更大。这种修正效果也适用于操控阶段，使纤维到标记点误差从3.4毫米降至2.1毫米。
2) 手部关键点误差：总体而言，动作捕捉数据与手套手部模型重建之间的手部关键点误差较低，隧道对齐前F.MKPE平均为6.5至7.2毫米，对齐后两个阶段均为4.5–4.9毫米（见表I）。不出所料，指尖处的误差（F.MKPE）高于整个手部的平均误差（MKPE）。隧道对齐降低了每位受试者和每次测试中的误差（见图7）。逐指分析发现，对齐后拇指的误差最高，达到7.2毫米（见表II）。小指指尖在对齐前的误差最大（9.4毫米），对齐后降至6.2毫米（见图6）。误差较高的原因是小指隧道长度最短，影响了纤维与隧道的配准效果。
3) 运行时间：ShapeScan 905设备能以60Hz的频率采集并重建5个纤维样本的形状，累计延迟为32.5毫秒。我们在搭载AMD Ryzen Threadripper PRO 5975WX的台式机上对下游流程进行了基准测试。用Python实现的形状配准流程，在3倍上采样时每样本耗时5.3毫秒，未上采样时每样本耗时3.2毫秒；而通过Momentum库用C++实现的逆运动学计算[^26]，每样本仅需0.12毫秒，远低于60Hz对应的16.7毫秒时间预算。
### E. 遮挡问题
在运动范围内，有25%的动作捕捉手部追踪样本至少有一个标记点被遮挡。在操作阶段，有34%的样本存在遮挡现象。
我们在图4和图5中展示了自身遮挡与物体遮挡的示例：我们的手套能够生成视觉上一致的手部姿态，而基于标记点的动作捕捉系统却无法生成合理的姿态。重要的是，这些姿态并不属于极端情况；仅仅握住咖啡杯柄就会导致动作捕捉失效。
---
Fig. 5: Our method tracks fingertip landmarks closely across a variety of manipulation tasks (Left: 9 Hole Peg Test, Right: in hand object rotation). Notably, our glove tracks during periods of mocap marker occlusion.
Fig. 6: Un-aligned glove pose estimates (red) are corrected with a one-time routing tunnel alignment to repose fibers and hand mesh (blue) to better align with ground truth (green). First row: a bias in the rotation of the fiber is corrected to align the pinky. Second row: alignment brings the ring finger closer to the thumb in a pinch.
### F. 应用演示
为了实现世界空间追踪，我们将一个6自由度追踪器安装在路由中枢上，利用得到的根变换将双手置于共享的世界坐标系下。该设置与我们手套的手指姿态估计结果实时结合，从而支持虚拟现实中的双手物体交互（见图1）。这一遥操作的完整视频可在补充视频中查看。
### IV. 讨论
在本次演示中，参与者能够打开并关闭虚拟罐子，这表明我们的系统可用于实时虚拟遥操作。
据我们所知，我们提出了首个利用多芯光纤布拉格光栅进行全手姿态估计的方法。在各类物体操作任务中，我们的系统能以高精度追踪手部运动（F.MKPE <5毫米），这使得该手套成为捕捉复杂灵巧行为的实用工具——而基于视觉的追踪器往往因遮挡问题无法还原这类行为（见图4）。值得注意的是，我们发现物体在操作阶段有34%的动作捕捉帧存在部分遮挡现象。这一点对于收集机器人学习的演示数据尤为重要，因为最具信息量的信号往往是细微且接触频繁的指部调整，而这些调整常常会被外部摄像头遗漏。我们还展示了第二种应用：利用追踪到的手部根部数据与手套的逐指姿态估计结果相结合，实现虚拟现实中的实时双手遥操作（见图1）。未来这种方法有望应用于机器人遥操作场景。
较低的追踪误差与多芯光纤布拉格光栅传感的高灵敏度及其对遮挡和外部干扰的固有鲁棒性相一致。在我们的实验中，
---
TABLE I: Pose Benchmarking Errors
| Metric Phase | Fiber-to-Marker Residual (mm) | MKPE (mm) | F.MKPE (mm) |
| Range of Motion | Manipulation | Range of Motion | Manipulation | Range of Motion | Manipulation |
| Base | 3.3 | 3.4 | 5.3 | 5.9 | 6.5 | 7.2 |
| Tunnel Aligned | 1.7 | 2.1 | 4.4 | 4.4 | 4.5 | 4.9 |
Fig. 7: Histogram of landmark errors across subject and sessions. Routing tunnel alignment decreases fingertip error in all cases. After alignment, errors at the fingertips are generally below 5 mm.
TABLE II: Per-Fingertip Pose Errors
| F.MKPE (mm) | Thumb | Index | Middle | Ring | Pinky |
| Base | 9.3 | 5.0 | 7.1 | 5.8 | 9.4 |
| Tunnel Aligned | 7.2 | 4.0 | 4.0 | 3.8 | 6.2 |
主要残余误差来源是光纤与中枢之间的形状配准问题；我们发现，通过进行一次性的、借助动作捕捉技术辅助的隧道校准来修正系统性配准偏差，可将指尖误差降低约2毫米（见图6、表I和表II）。值得注意的是，所估算的校准结果在不同实验环节和参与者之间均保持稳定，这表明一次性的、借助动作捕捉技术辅助的出厂校准就足以在后续采集中实现高精度追踪。
采用更先进的光纤布拉格光栅传感技术可以进一步降低指尖误差。例如，光学频域反射仪能够实现低至0.3毫米的密集光纤布拉格光栅传感器间距。在本研究中，我们确定10毫米的传感器间距即可满足指尖精度要求（< 5毫米）。无论是采用波分复用还是光学频域反射仪方案，由于局部曲率会空间积分成三维形状，误差都会沿光纤长度累积。
其他误差来源可能源于建模假设和实现细节。首先，虚拟手模型无法与每位用户的实际解剖结构完全匹配。手指节段长度或网格精度上的细微差异会直接影响指尖位置的估算结果。采用个性化手模型或许能减少这类误差。值得注意的是，定性分析表明，每位用户在佩戴和取下手套时的误差相对一致（见图7），这支持了“模型不匹配是系统性误差来源”这一解释。其次，逆向运动学公式假定光纤沿每根手指内侧布置。实际上，传感器可能会在织物中发生位移，织物本身也会相对于下方的皮肤和骨骼移动。当前模型并未考虑这些效应，从而导致实测光纤几何形状与假设值之间存在额外偏差。最后，手部逆向运动学求解器和形状配准也会产生残余误差。尽管优化过程能够稳定收敛，但仍存在微小残余误差，说明所得解只是近似而非精确解。
据我们所知，这是首款利用手部模型重建完整手部姿态的FBG手套。相比之下，以往的方案仅采用单芯FBG来直接测量有限几个指关节的弯曲程度[^17]、[^18]、[^21]。因此，我们无法将我们的方法与其他FBG手套直接比较，因为它们测量的误差类型不同。我们之所以不比较关节角度误差，有两个原因：首先，许多人机交互映射方法使用的是指尖位置[^28]；其次，与关节角度不同，关节角度误差会在运动链中累积，而指尖误差能直接反映末端执行器在任务中的偏差。
其他传感手套也评估过指尖跟踪精度。Park等人[^16]研发了一种具备伸缩感应功能的手套，其指尖误差与本研究结果相近（4.02毫米）。不过，他们的评估采用的协议更为简单——仅要求描绘一个2厘米见方的图形——而非本研究中的精细操作任务，因此无法直接进行比较。
基于IMU的FSGlove手套[^9]在捏取任务中的指尖误差为15.7毫米。该研究还评估了视频跟踪技术（Meta Quest 3）以及MANUS和VRTRIX等商用手套[^29]、[^30]，发现它们的精度低于FSGlove手套。虽然它们的任务和评价指标与本研究不直接可比，但这些结果为以往定制及商用手套的误差量级提供了有益参考。在我们的实验中（见表二），在精细操作条件下，各手指的指尖误差也处于类似范围，这表明该方法在其预期应用场景中具备具有竞争力的精度。我们暂不对不同方案进行直接对比，相关结论需留待未来在同等条件下开展的研究。我们注意到，与以往的FBG手套研究相比，本研究引入的手部模型为未来推断接触几何形状提供了可能，这也是操控领域另一个重要的研究方向。
---
推断接触几何形状，这也是操控领域另一个重要的研究方向。
我们的方法在精度、始终可用的追踪性能以及便携性之间取得了平衡。我们在下文指出了若干改进之处与局限性。借助动作捕捉辅助的校准方式，通过一次性的刚性通道对齐来纠正系统性的配准偏差（见第III-C节），从而获得了最高的精度结果；不过这种方式依赖于外部的动作捕捉设备。但这种依赖仅为一次性要求，而非每次采集时都需使用。在针对4名参与者的初步分析中，即便使用来自不同参与者及会话的通道对齐数据，其降低指尖误差的效果也与同参与者、同会话的对齐数据相近，两者平均差异仅0.1毫米。由于这种校正效果可在用户和会话间通用且精度损失微乎其微，因此可将对齐过程视为一次性的出厂校准，而非每次会话或每个用户需单独进行的步骤，这大大降低了对动作捕捉设备的实际依赖程度。未来研究可尝试通过解剖学标志点或已知的校准姿态来估算这种对齐参数，从而完全摆脱对动作捕捉的依赖。由于现有手套尺寸的限制，我们测试中所使用的手部均为大号及特大号。若要扩展至更小手型，则需应对更小的弯曲半径和更紧密的光纤布拉格光栅波长间距问题，这些虽属于工程层面的考量，却并非根本性限制——更紧密半径下的光谱峰值重合问题可通过调整光纤规格或更复杂的重建算法来解决。便携性主要取决于手套所连接的解调仪的尺寸。本研究采用的ShapeScan 905系统可通过推车实现室内或楼宇内的移动，满足研究需求；而要实现无限制的自然场景采集，则需要微型光学解调仪。将枢纽通道作为设计选择会使手套看起来较为笨重，同时也会给算法带来持续将光纤配准到同一参考系的压力。要想同时满足可穿戴性和精度要求，必须妥善权衡通道长度、曲率以及出口位置。最后，我们的评估重点在于腕部固定的骨骼姿态重建，而非基于世界坐标系的评估，后者取决于连接在手套上的具体世界追踪配件。
## 致谢
我们感谢Mia Huang、Francesco Marsili、Mike Hurst、Gaige DeHaven、Keagan McCurdy、Simon Baines和Stuart Dealey对本研究的支持。
## 参考文献
[^1]: S. An et al., “Dexterous Manipulation through Imitation Learning: A Survey,” Dec. 2025, arXiv:2504.03515 [cs].
[^2]: A. I. Weinberg et al., “Survey of learning-based approaches for robotic in-hand manipulation,” Frontiers in Robotics and AI, vol. 11, Nov. 2024.
[^3]: J. Qi et al., “Computer vision-based hand gesture recognition for human-robot interaction: a review,” Complex & Intelligent Systems, vol. 10, no. 1, pp. 1581–1606, Feb. 2024.
[^4]: R. Khirodkar et al., “Sapiens: Foundation for Human Vision Models,” in Computer Vision – ECCV 2024, A. Leonardis et al., Eds. Cham: Springer Nature Switzerland, 2025, pp. 206–228.
[^5]: F. Zhang et al., “MediaPipe Hands: On-device Real-time Hand Tracking,” Jun. 2020, arXiv:2006.10214 [cs].
[^6]: S. Han et al., “Online optical marker-based hand tracking with deep labels,” ACM Trans. Graph., vol. 37, no. 4, pp. 166:1–166:10, Jul. 2018.
[^7]: P. Firouzabadi et al., “Biomechanical Arm and Hand Tracking with Multiview Markerless Motion Capture,” in 2024 10th IEEE RAS/EMBS International Conference for Biomedical Robotics and Biomechatronics (BioRob), Sep. 2024, pp. 1641–1648.
[^8]: Y. Lee et al., “Visual-inertial hand motion tracking with robustness against occlusion, interference, and contact,” Science Robotics, vol. 6, no. 58, p. eabe1315, 2021.
[^9]: Y. Li et al., “FSGlove: An Inertial-Based Hand Tracking System with Shape-Aware Calibration,” in 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Hangzhou, China: IEEE, Oct. 2025, pp. 18304–18311.
[^10]: R. Tchantchane et al., “A Review of Hand Gesture Recognition Systems Based on Noninvasive Wearable Sensors,” Advanced Intelligent Systems, vol. 5, no. 10, p. 2300207, 2023.
[^11]: M. Caeiro-Rodríguez et al., “A Systematic Review of Commercial Smart Gloves: Current Status and Applications,” Sensors, vol. 21, no. 8, Apr. 2021.
[^12]: M. Pan, Y. Tang, and H. Li, “State-of-the-Art in Data Gloves: A Review of Hardware, Algorithms, and Applications,” IEEE Transactions on Instrumentation and Measurement, vol. 72, pp. 1–15, 2023.
[^13]: A. Sarker et al., “Real-Time Hand Pose Tracking Using 6-Axis IMUs,” International Conference on Human-Robot Interaction, 2026.
[^14]: F. S. Parizi, E. Whitmire, and S. Patel, “AuraRing: Precise Electromagnetic Finger Tracking,” Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., vol. 3, no. 4, pp. 150:1–150:28, Sep. 2020.
[^15]: O. Glauser et al., “Interactive hand pose estimation using a stretch-sensing soft glove,” ACM Transactions on Graphics, vol. 38, no. 4, pp. 1–15, Aug. 2019.
[^16]: M. Park et al., “Stretchable glove for accurate and robust hand pose reconstruction based on comprehensive motion data,” Nature Communications, vol. 15, no. 1, p. 5821, Jul. 2024.
[^17]: X. Hu et al., “The Fiber Bragg Grating (FBG) Sensing Glove: A Review,” IEEE Sensors Journal, vol. 23, no. 11, pp. 11374–11382, Jun. 2023.
[^18]: Z. Sun, “Wearable glove gesture recognition based on fiber Bragg grating sensing using genetic algorithm-back propagation neural network,” Optical Fiber Technology, vol. 87, p. 103874, 2024.
[^19]: A. F. da Silva et al., “FBG Sensing Glove for Monitoring Hand Posture,” IEEE Sensors Journal, vol. 11, no. 10, pp. 2442–2448, Oct. 2011.
[^20]: C. K. Jha, K. Gajapure, and A. L. Chakraborty, “Design and Evaluation of an FBG Sensor-Based Glove to Simultaneously Monitor Flexure of Ten Finger Joints,” IEEE Sensors Journal, vol. 21, no. 6, pp. 7620–7630, Mar. 2021.
[^21]: H. Rao et al., “Study on the Design and Performance of a Glove Based on the FBG Array for Hand Posture Sensing,” Sensors, vol. 23, no. 20, p. 8495, Jan. 2023.
[^22]: I. Floris et al., “Fiber Optic Shape Sensors: A comprehensive review,” Optics and Lasers in Engineering, vol. 139, p. 106508, Apr. 2021.
[^23]: J. P. Moore and M. D. Rogge, “Shape sensing using multi-core fiber optic cable and parametric curve solutions,” Optics Express, vol. 20, no. 3, pp. 2967–2973, Jan. 2012.
[^24]: R. L. Bishop, “There is more than one way to frame a curve,” The American Mathematical Monthly, vol. 82, no. 3, pp. 246–251, 1975.
[^25]: S. Manavi Roodsari et al., “Deep learning-based approach for high spatial resolution fibre shape sensing,” Communications Engineering, vol. 3, no. 1, p. 16, 2024.
[^26]: Facebook Research, “Momentum: A library for human kinematic motion and numerical optimization,” , 2026, MIT License.
[^27]: A. Ferguson et al., “MHR: Momentum Human Rig,” Nov. 2025, arXiv:2511.15586 [cs].
[^28]: R. Meattini et al., “Human to Robot Hand Motion Mapping Methods: Review and Classification,” IEEE Transactions on Robotics, vol. 39, no. 2, pp. 842–861, Apr. 2023.
[^29]: “MANUS – High-Precision Data Gloves for Robotics, VR & Mocap,” , accessed: Mar. 2, 2026.
[^30] “VRTRIX Inc.官方网站”，，访问日期：2026年3月2日。