Fig. 1. Our stretch-sensing soft glove captures hand poses in real time and with high accuracy. It functions in diverse and challenging settings, like heavily occluded environments or changing light conditions, and lends itself to various applications. All images shown here are frames from recorded live sessions.
我们提出了一种伸缩传感软手套，能够以高精度交互式捕捉手部姿态，且无需外部光学设备。我们展示了如何利用大多数制造实验室中可获得的简单工具，低成本地制造并校准该设备。为了从嵌入手套中的电容传感器重建手部姿态，我们提出了一种利用传感器自身空间布局的深度学习网络架构。该网络仅需训练一次，训练数据的收集可使用廉价的现成手部姿态重建系统完成。针对每个用户的校准则可仅通过手套实时完成。我们通过一系列消融实验验证了手套的各项能力，对比了不同的模型与校准方法。与商用数据手套相比，我们的方法在姿态重建精度上提升了35%。
CCS概念：• 以人为中心的计算 → 交互设备；• 计算方法 → 动作捕捉；机器学习；计算机图形学。
其他关键词：手部追踪、数据手套、传感器阵列、伸缩传感
ACM参考格式：
奥利弗·格劳瑟、吴世豪、达尼埃莱·帕诺佐、奥特马尔·希利格斯、奥尔加·索尔金-霍宁。2019年。基于伸缩传感软手套的交互式手部姿态估计。《ACM图形学汇刊》第38卷第4期，文章编号41（2019年7月），共15页。
## 1 引言
手是我们操纵物体和相互交流的主要工具。游戏、机器人技术、生物力学分析、康复领域，以及增强现实/虚拟现实（AR/VR）等新兴人机交互范式等许多应用，都严重依赖能够准确还原复杂关节运动下的完整手部姿态的技术。这些极具挑战性的应用要求手部追踪解决方案满足以下要求：1）必须能实时运行；2）需能在各种环境与场景下使用；3）对用户而言，所需的穿戴设备应尽可能轻便无侵入性。
在许多应用中，手部姿态是通过Vicon [^2019]等商用动作捕捉系统（MoCap）来还原的，但这类系统需要昂贵的基础设施，还需在用户身上放置标记点。无标记点的手部姿态估计方法包括多摄像头方案[Ballan等人，2012年；Tompson等人，2014年；Oikonomidis等人，2011b年]，或是更近期的单深度摄像头方案[Oberweger和Lepetit，2017年；Oberweger等人，2015年；Tang等人，2014年；Wan等人，2016年]，甚至单目摄像头方案[Spurr等人，2018年；Iqbal等人，2018年；Cai等人，2018年；Mueller等人，2018年；Zimmermann和Brox，2017年]。尽管取得了显著进展，但基于视觉的方法仍需要外部安装的摄像头，且要求整个手部在图像中可见。这一限制对许多应用而言是实际障碍，尤其是那些容易出现严重遮挡的场景，比如操作物体时、佩戴手套或其他衣物时，或是处于杂乱的环境中。因此，基于摄像头的技术仅适用于受控环境中的应用，且会对沉浸式用户体验造成物理限制。
将传感器直接安装在用户手上，就无需保持直接视线接触，还能提升系统的稳健性和可靠性。不出所料，研究中已经提出了多种手套类设备（例如 [Chossat et al. 2015]），市面上也有相关商用产品（例如 [Cyb 2019; Man 2019]）。这类方案通常利用惯性测量单元（IMU）、弯曲传感器、应变传感器或它们的组合来捕捉局部的骨骼形变。虽然这种方法可能具备较高精度，但由于空间限制，要在手套上布置足够数量的传感元件以捕捉手部的所有自由度（DoF）颇具挑战性。因此，大多数现有解决方案使用的传感器数量少于人手的自由度数量，这必然限制了手部姿态重建的精确度。
---
我们提出了一种内在的（即无需外部传感设备）手部姿态估计方法，该方法采用轻薄且不显眼的设计。我们的方法基于两个关键发现：1）如今已能够完全用硅胶制造柔软且可拉伸的传感器阵列 [Araromi et al. 2015; Glauser et al. 2019]；2）可以利用现代数据驱动技术，将传感器读数（这些读数不再与骨骼形变存在简单对应关系）映射到手部姿态。基于这两点发现，我们做出了如下贡献：一种柔软的自感知手套，它采用超完备的传感器阵列（即传感元件数量多于自由度数量），无需光学设备即可精准重建手部姿态，且仅需极少量的校准。此外，这种手套厚度适中，穿脱方便，同时还能保证紧密贴合，而这种贴合度对于实现高重复性至关重要。
所提出的手套通过测量嵌入其中的硅胶传感器的电容变化，来感知作用在传感器上的局部拉伸程度。这些由拉伸驱动的传感器体积小、质地柔软且成本低廉。不过，[Glauser et al. 2019] 中提出的制造工艺仅能用于捕捉帧率为 8 Hz 的简单圆柱形物体。我们在硬件方面的主要贡献是一种更为复杂的可穿戴手套形式的传感器设计，这需要对制造工艺进行多项改进，包括将传感器阵列与纺织裁剪图案整合，以及重新设计读取方案，从而使手套的查询频率达到 60 Hz。
由于拉伸传感器与手部自由度之间并非一一对应的关系，因此手部姿态的重建是一项极为复杂的工作。虽然 Glauser 等人 [^2019] 使用了现成的深度神经网络来实现电容到 3D 顶点位置的映射，但我们发现，基于几何邻域和空间对应关系的先验知识所构建的数据表示方式——无论是在输入域还是输出域——能让神经网络更有效地发现人类手部各关节之间的相互依赖关系，其性能也因此优于多种基准架构。
由于缺乏获取真实标注数据的方法，要获得规模足够大且种类丰富的手部姿态估计训练数据集一直是个难题。虽然这一问题在基于（2D）图像的方法中尤为突出（因为这类方法根本无法使用任何仪器），但我们发现所设计的手套极为隐蔽，甚至能躲过深度摄像头的捕捉。这使我们能够利用基于模型拟合的先进手部追踪方法[Tkach et al. 2017]来采集庞大的训练数据：这些数据来自10名受试者，包含100万个样本，涵盖了时间同步的传感器读数以及对应的关节角度配置，还包括每个人的形状参数；我们已将这组数据发布到公共领域$^{1}$，以推动未来的相关研究。
为了验证我们的数据采集与回归模型的实用性及性能，我们开展了大量实验，采用了不同的校准方案，从为特定手部定制个性化模型，到将我们的模型应用于手部形状和大小差异显著的不同用户。我们的重建质量会随校准方案的调整而平稳下降，可根据应用所需的精度选择不同的校准选项。最后，我们将其与两款商用手套进行对比，结果显示我们的解决方案在重建精度上提升了35%；我们认为这一成果在实际应用中将产生重大影响，尤其是考虑到我们的设备成本低且制作简单。
## 2 相关工作
大多数手部姿态重建方法要么依赖外部视觉系统，要么依靠嵌入在数据手套中的传感器。大多数手套采用的传感器分为三类：惯性测量单元（IMU）、弯曲（弯折）传感器以及应变（拉伸）传感器。如需全面了解相关内容，可参考相关综述[Dipietro et al. 2008; Rashid and Hasan 2018]。其他研究还曾采用佩戴在手腕上的红外摄像头[Kim et al. 2012]或磁感应技术[Chen et al. 2016]来进行手部姿态估计，也有研究利用电容式腕带[Truong et al. 2018]或肌电图（EMG）[Saponas et al. 2009]来实现手势识别。下文我们将总结与我们这款数据手套最相关的研究成果。
基于摄像头的追踪。在计算机视觉与图形学文献中，已经提出了多种用于手部姿态估计的基于视觉的方法（参见[Erol等人，2007]）。基于标记的动作捕捉方法（如Vicon [^2019]）需要多台经过校准的摄像头；与全身动作捕捉相比，标记被遮挡的问题更为严重。因此，人们提出了基于学习的方法来解决遮挡情况下的标记识别问题[Han等人，2018]。然而，对多台摄像头的需求限制了这类方法的适用性。Wang和Popović [^2009] 提出了一种类似标记的手套，仅需一台RGB摄像头即可工作。随着消费级深度摄像头的普及，单传感器解决方案受到了广泛关注[Sharp等人，2015；Sun等人，2015；Tagliasacchi等人，2015；Tang等人，2014、2015、2013；Taylor等人，2016；Wan等人，2017、2016；Zhang等人，2016]。基于深度的方法可分为基于模型拟合的方法（如[Oikonomidis等人，2011a；Tkach等人，2016]）和逐帧分类方法[Sun等人，2015；Tang等人，2014；Wan等人，2017；Tang等人，2015]。此外，还提出了许多混合方法：先通过判别性方法得到粗略的手部姿态估计，再通过最小化某种误差函数来优化该估计[Sridhar等人，2013；Tkach等人，2016；Taylor等人，2016；Tkach等人，2017；Taylor等人，2017]。还有一些研究利用卷积神经网络（CNN）从深度图像中回归3D手部姿态[Oberweger等人，2015；Oberweger和Lepetit，2017；Sinha等人，2016；Ge等人，2017；Tang等人，2014；Wan等人，2017]，甚至仅从单张RGB图像中就能得到3D手部姿态[Simon等人，2017；Spurr等人，2018；Mueller等人，2018；Cai等人，2018；Zimmermann和Brox，2017]。
与基于视觉的方法不同，我们的工作仅依赖传感器内部读数；训练完成后无需额外的外部设备，这为传统动作捕捉方法无法适用的场景打开了大门。
惯性测量单元（IMU）传感器手套。IMU由三轴加速度计、三轴陀螺仪和三轴磁力计组成。已有研究提出利用配备15个[Fang等人，2017]、16个[Connolly等人，2018]或18个[Lin等人，2018] IMU的手套来恢复手部姿态。von Marcard等人[^2017]的研究利用6个IMU结合离线优化算法来恢复全身姿态；Huang等人[^2018]则使用双向
---
循环神经网络（RNN）从合成数据中学习这种映射关系，从而实时重建全身姿态。在手部姿态估计领域，IMU的一个主要缺点是它们相对于人类手指的尺寸而言过于僵硬且笨重。
弯曲传感器手套。弯曲（屈曲）传感器已在诸如CyberGlove [Cyb 2019]、VPL手套 [VPL 2019]、5DT手套 [5DT 2019]或近期的ManusVR手套 [Man 2019]等商业产品中得到成功应用，其中后者还采用了两个惯性测量单元。 [VPL 2019]和[5DT 2019]配备了光学弯曲传感器。一些手套设计利用了现成的弯曲传感器 [Gentner和Classen 2008；Zheng等人 2016；K Simone等人 2007]，而另一些则专注于研发新型的柔性弯曲传感器 [Kramer等人 2011；Shen等人 2016；Ciotti等人 2016]。通常这类手套配备5到22个（CyberGlove）传感器，而人手至少拥有25个自由度。过多的传感元件难以布置，通常会增加手套设计的复杂性以及制造成本（参见CyberGlove [^2019]），还可能妨碍手部灵活自然的运动。相比之下，我们的设计仅采用一片硅胶复合材料，传感元件的数量仅受限于其表面积以及连接导线的布线空间。我们将在第5节中将其与两种最先进的手套 [Man 2019；Cyb 2019]进行比较。
应变传感器手套。弹性应变传感器有望用于制造非常轻薄且舒适的手套。自[Lorussi等人 2005]的研究以来，已提出了多种不同的应变传感器手套、手套部件或为手部捕捉量身定制的新型传感器。大多数已提出的应变传感器手套属于电阻式 [O'Connor等人 2017；Michaud等人 2016；Hammond等人 2014；Lorussi等人 2005；Park等人 2017；Ryu等人 2018；Chossat等人 2015]，它们要么使用压阻材料，要么采用弹性导电纱线或导电液通道。液体传感器在迟滞特性方面表现更优，但其制造过程往往极为复杂。基于电容式拉伸传感器的手套与我们设计的类似，[Atalay等人 2017]的研究以及商用拉伸传感器制造商发布的视频演示 [Str 2019；Ban 2018]均体现了轻薄外形、无迟滞且柔软等优点。Park等人 [^2017]为制作一只完整的手套最多使用了15个应变传感器，其中包括外展传感器。这一数量仍远少于整只手所具有的自由度数量；因此，许多相关设计仅在手势识别领域得到验证 [Ryu等人 2018；O'Connor等人 2017；Hammond等人 2014；Lorussi等人 2005]，并不适用于连续的全手姿态估计。部分研究展示了手部局部的姿态捕捉 [Michaud等人 2016；Park等人 2017]。只有Park等人 [^2017]和Chossat等人 [^2015]（11个传感器）实现了整只手的姿态捕捉，但并未评估其精度。我们的传感器设计中包含的应变传感器数量几乎是最接近对比产品的三倍；据我们所知，我们是首个证明仅依靠应变传感器即可实现精准、连续的全手姿态重建的人。
可拉伸传感器阵列。Glauser等人 [^2019] 扩展了[O'Brien等人 2014；Atalay等人 2017]提出的电容式应变传感器概念，并简化了[Araromi等人 2015]中的制造方法，从而制备出高密度的区域拉伸传感器阵列。他们展示了如何
Fig. 2. Our glove consists of a full soft composite of a stretchable capacitive silicone sensor array and a thin custom textile glove (green).
将他们的拉伸阵列传感器与学习得到的先验知识相结合，能够捕捉手腕、肘部或鼓起的二头肌等简单的圆柱形人体部位的密集表面形变。关于不同类型的电容式应变（拉伸）传感器及其制造方法的深入讨论，请参阅[Glauser等人 2019]。
校准。为了确保合理的精度，适当的校准对于数据手套而言至关重要[Kessler et al. 1995]，这是由于传感器的特性以及不同手部形状的巨大差异所致。校准通常等同于确定模型参数，例如增益、偏移量，或是调整定制手部变形模型的交叉耦合效应。最小-最大姿态校准[Menon et al. 2003]、真实值校准[Chou et al. 2000]以及逆向运动学（IK）校准[Griffin et al. 2000; Hu et al. 2004]是最常见的方法。Wang和Neff [^2013]巧妙地结合了这三种校准方法，构建了高斯过程回归模型，从而能够高精度地重建关节角度。Menon等人[^2003]与Chou等人[^2000]则为个别用户拟合手部传感器模型。[Menon et al. 2003]的研究假设用户执行特定姿态时对应的关节角度，而[Chou et al. 2000]则通过追踪一组标记点来克服这种固定角度假设。Kahlesz等人[^2004]与Steffen等人[^2011]提出了将多个传感器映射到单一姿态参数的模型，以减少交叉耦合效应。Griffin等人[^2000]要求用户摆出拇指与一个指尖相触的姿态，并通过最小化指尖距离来拟合模型参数。Hu等人[^2004]扩展了这种方法，采用视觉系统来追踪指尖位置；Zhou等人[^2010]则通过人工神经网络从单张图像中提取针对用户的校准参数。Fischer等人[^1998]利用神经网络学习从传感器读数到指尖位置的映射关系。
我们提出了一种简单却有效的个性化校准流程：首先，训练一个非个性化的模型，用于将传感器读数映射到姿态参数。对于新的手部，需采集每个传感器的电容最小值与最大值，并据此对传感器读数进行归一化处理。需要注意的是，这与传统的最小-最大校准有所不同——传统方法假定特定的关节角度或姿态对应着最小值与最大值（例如[Menon et al. 2003]）。我们将在第5节详细讨论校准细节。
---
Fig. 3. Left: A capacitive silicone stretch sensor consists of 5 layers. When it is deformed, its capacitance changes. Right: Conductive strip patterns (magenta and green) are embedded into the two electrode layers. Wherever they overlap a local capacitor, which we call sensor cell, is formed. One such sensor cell is marked with a dashed line.
## 3 复合式电容手套
我们的研究目标是开发一种轻薄且佩戴舒适的手套，它既能提供高精度的姿态重建效果，又无需复杂的校准或繁琐的设置。
图2展示了我们的最终设计，其核心是一个密集的拉伸传感器阵列。这款手套易于穿戴，佩戴时几乎不会造成干扰，且制造成本低廉（材料成本约为15美元，不包括用于原型制作的60美元电子元件费用）。这款数据手套的核心是一套基于硅胶的拉伸传感器阵列，专为重建灵巧的手部动作而设计。我们的设计中，在呈手形的硅胶传感器阵列上布置了44个独立的拉伸传感器，这些传感器被固定在弹性织物上，从而形成一款超薄型手套。其总重量仅为50克，厚度仅有1.2毫米，即使长时间佩戴也十分舒适。这款手套能很好地适配各种手型和尺寸：单一规格即可满足我们研究小组所有成员的佩戴需求。
该传感器是一种复合材料，由纺织层与导电及不导电的硅胶层组合而成，其制造工艺借鉴了[Glauser et al. 2019]的方法，但针对手部更复杂的几何形状和运动特点进行了改进。
### 3.1 传感器设计
传感器。电容式伸缩传感器颇具吸引力，因为它们基于形状可变的电容器原理；与许多电阻式传感器不同，它们不会受到迟滞现象的影响。电容器由两块导电板构成，这两块导电板具有重叠面积A，中间由电介质隔开（见图3左侧）。任何形状变化——包括宽度w、长度l或两板间距d的变化——都会导致电容发生变化，即$C = \epsilon_r \epsilon_0 A / d = \epsilon_r \epsilon_0 l w / d$，其中$\epsilon_r$和$\epsilon_0$为常数。因此，通过持续测量电容，便可估算出电容器的面积：
$$ \left(\frac{A}{A^{0}}\right)^{2}=\frac{A}{A^{0}}\frac{A}{A^{0}}=\frac{A}{A^{0}}\frac{d^{0}}{d}=\frac{\epsilon_{r}\epsilon_{0}\frac{A}{d}}{\epsilon_{r}\epsilon_{0}\frac{A^{0}}{d^{0}}}=\frac{C}{C^{0}}, $$
这里假设体积保持不变，即$V = V^{0} \Leftrightarrow Ad = A^{0}d^{0} \Leftrightarrow A/A^{0} = d^{0}/d$。
传感器阵列。传统上，电容式应变传感器是单独制造的，需连接一对导电迹线以便读取数据[O'Brien等人，2014年]。为了在特定区域内放置更多传感器，Glauser等人[^2019]将导电迹线排列成网格结构。如图3（右侧）所示，只要两条迹线重叠，就会形成一个局部电容器，也就是所谓的传感器单元；且每对迹线最多只重叠一次。这样一来，所需引线的数量就是网格行数与列数之和，而非两者的乘积。以图3中的示例为例，仅需8根（4+4）引线，而非17根（4·4+1，用于接地），就能满足需求。这种节省空间的设计使我们能够在手指等纤细物体上放置多达七个传感器。而对于手套上的44个传感器而言，只需两层共27根引线即可，相比之下，非矩阵式设计需要45根引线，减少了42.5%。
读取方案。由于采用矩阵布局，传感器单元无法直接读取。此外，Glauser等人[^2019]通过实验证实，互电容触摸屏中常用的简单扫描方案无法在此处应用。于是他们提出了一种时分复用读取方案：每次测量时，向一部分迹线施加电压，其余引线则接地。通过这种方式便形成了临时复合电容器，进而可以测量其电容。复合电容值$C_{m}$与所需的单个电容值$C_{c}$之间存在线性关系[Glauser等人，2019年]：
$$ \mathbf{M}\mathbf{C}_{c}=\mathbf{C}_{m}. $$
矩形矩阵M的行编码了所有可能的测量组合，它能将传感器单元的电容$C_c$转换为测量得到的复合电容$C_m$。矩阵M的各行是通过依次将顶层和底层的一条迹线作为源电极，其余迹线接地的方式形成的。我们的手套设计中，底层有15条迹线，顶层有12条迹线，因此矩阵M中共有$180 = 15 \cdot 12$行。每一行对应一次测量，所以手套设计中的44个传感器单元需要180种测量组合。上述线性系统在设计上属于超定系统（以提高鲁棒性），需通过最小二乘法求解。参照[Glauser等人，2019年]的方法，我们通过测量充电时间来获取电容值。不过，原配置中所用的步骤和电阻选择，在我们的环境中会导致读取速率仅为5 Hz，这一数值并不理想。
[Glauser等人，2019年]提出的传感器读取方案忽略了引线电阻的影响。因此，在该方案中必须使用高值充电电阻（56千欧和470千欧）才能获得符合物理规律的拉伸读数。而在我们的方案中，读数只需具备可重复性，无需直接对应具有物理意义的拉伸数值。这使我们能够使用较低的充电电阻（47千欧和220千欧），从而提高读取速率。此外，我们并非在每个完整的测量周期（180次更新）内都求解$C_c$，而是每16次更新求解一次。实验表明这种设置能获得良好的传感器读数；更频繁的求解会因微控制器与主机的通信瓶颈而对帧率产生负面影响。我们的读取方案捕获速率约为60赫兹。为了滤除读数中的噪声，我们在求解$C_m$之前，会对最后五帧的$C_c$进行均值滤波处理。
读数$C_{c}$会被输入到深度神经网络中，该网络会输出手部姿态（详见第4节）。应用程序随后便可查询这些姿态数据，
---
Fig. 4. Left: Patterns of the two conductive layers. Right: Wherever the two conductive layers overlap, local capacitors form (marked in green) and serve as local stretch sensors.
例如用于在虚拟现实环境中渲染手部模型，或执行与虚拟物体的碰撞检测以实现交互。在我们的实时实验中，手部姿态会经过所谓的$1\in$滤波器过滤[Casiez等人，2012年]。
传感器布局。传感器布局（见图4）是分阶段手动设计的：(i)较长的传感器直接对应手指的主要关节（21-24、32-36、40-42）以及拇指（0、20）；(ii)手指之间的外展传感器（16、25-27）；(iii)手指上的垂直传感器（8-9、29-31、37-39、43）以及拇指上的垂直传感器（1、28）；(iv)手背上的水平（2、4、7、10、17-19）和垂直（3、5、6、11-15）传感器组成的规则网格。将传感器区分为水平和垂直两类是由于通风切口的存在，这一点将在下一段中详细说明。图12展示了各类传感器对提升重建精度的帮助。最后，传感器通过两层引线连接，每对相连的走线（来自不同层）最多只重叠一次。在确定最终的传感器位置时，我们会考虑缩短引线长度，并避免传感器因附近的切口而吸收拉伸形变。基于这些原因，例如位于指关节处的传感器（32-36、40-42）并未居中排列，从而留出了一些空白区域。
需要注意的是，为了获得良好的手指外展灵敏度，在将手套戴到用户手上时，传感器必须处于预拉伸状态。因此，必须按照图4右侧所示的静止姿态来制造传感器阵列。尤其是手指必须保持平行，且彼此之间不能有间隙。
切口。为提升佩戴舒适度并增加透气性，我们通过激光切割在矩形传感器的两侧加工出两端圆滑的细小切口（见图4右侧，紫色部分）。这些切口对读数也有轻微但积极的影响，因为它们降低了拉伸阻力，从而使传感器对沿切口方向的拉伸更敏感。例如，位于食指关节处的传感器21、33或40对手指体积变化的敏感度较低，而像43、37、29这样的传感器则主要对手指的体积或直径变化（如肌肉隆起所致）敏感。在图4（右侧）中，对垂直拉伸更敏感的传感器显示为深绿色，对水平拉伸更敏感的传感器显示为浅绿色。
### 3.2 制造工艺
我们的手套由硅胶传感器片和弹性织物组成的复合材料制成，仅需现代创客空间里常见的工具即可加工。其制造分为两个阶段，如图5所示：首先制作覆盖手套背面的柔软硅胶传感器阵列（步骤1-8），然后将织物部件贴合到硅胶片上并缝合起来，最终形成柔软且可穿戴的手套（步骤9-12）。
第一阶段：硅胶。手形的硅胶传感器阵列（见3.1节）由两层导电图案层构成，中间夹有电介质层，外部还有两层屏蔽层，其结构示意图如图3所示。它是通过以下步骤逐层制作的。
首先，我们在玻璃板上浇筑绝缘基层，通过在玻璃板边缘粘贴胶带来控制其厚度。接着，将由Silbione RTV 4420硅胶[Sil 2019b]与炭黑（导电粉末，[Ens 2019]）混合而成的导电层直接浇筑在第一层上。随后，激光切割机通过反复蚀刻（共5次）图4左下角所示的图案负版，留下带有导电迹线的完整基层。之后浇筑纯硅胶电介质层，再铺设另一层导电层，同样对其进行蚀刻处理（图4左上角）。最后再添加一层绝缘屏蔽层。
需要注意的是，导电层的厚度被设定为$220\,\mu\mathrm{m}$，这样才能满足宽度为$2\,\mathrm{mm}$的引线需求（见图4）。为了使传感器基部的连接焊盘暴露在外，在浇筑最后三层材料前会用薄胶带覆盖这些焊盘，待入炉固化前再将其移除。关于硅胶混合物的详细描述以及传感器与读出电路之间的连接信息，详见附录B。
蚀刻步骤中激光切割机的参数为：功率=30、速度=40、PPI=500（Trotec Speedy 300激光切割机）。若蚀刻过程中功率过高，会导致硅胶传感器与基底玻璃发生交联，最终难以剥离。每次完整蚀刻周期后，需用毛巾和异丙醇仔细擦拭传感器，以清除残留灰尘。
每次浇筑步骤完成后，传感器需在$90^{\circ}$°C的烤箱中固化20分钟。入炉固化前，传感器需静置15分钟，以便溶剂蒸发。否则，由于溶剂从层内蒸发，而最上层已经固化，固化过程中就可能产生气泡。
---
Fig. 5. The fabrication of a glove consists of two main stages: Fabricating the silicone sensor (1-8) and textile design for the glove (9-12). Note that the conductive layers (2,5) are a mixture of silicone and carbon black and therefore, mostly black.
Fig. 6. Left: The textile cut pattern is made from a large palm part, one for each finger and 3 extra flaps for connections. Middle: Alignment of the cut flat pattern parts with the flat, hand-shaped silicone sensor. Right: Finished glove after closing up the flaps with textile glue.
最后，用激光切割机将传感器切割成手形。激光切割机中蚀刻步骤与切割步骤的精准对齐至关重要，以免切坏传感器，进而导致导电层之间出现短路。我们传感器的总厚度为0.85毫米。
第二阶段：织物。硅胶传感器阵列无法直接穿戴。它很难牢固地贴合在手上，而且将两片硅胶粘合在一起也是一项困难（但并非不可能）的任务。由于摩擦大且贴合紧密，穿戴或脱下这样的手套非常麻烦。我们尝试将传感器贴合在标准手套上，但发现很难使其与关节的主要活动中心对齐，同时也难以实现稳固且可重复的安装效果。
因此，我们提出了一种更简单且更有效的解决方案：利用激光切割机来切割定制的纺织图案（见图6）。这些纺织部件可以在平整表面上直接附着在硅胶传感器上。首先，将覆盖传感器和切口的PET Mask放置在传感器上，然后整体涂上Sil-Poxy硅胶粘合剂（[Sil 2019a]），最后小心移除Mask，再将纺织部件放置并牢固粘贴上去。
第二步，使用HT 2纺织胶水（[HT2 2019]）将不同的纺织部件粘合起来，并用电熨斗压合接缝处。这里选用的是厚度为0.35毫米的高弹性针织面料（80%聚酰胺加20%氨纶）。最后，我们加装一个带有魔术贴的腕带，以增强手套的紧密度，并确保传感器单元能与关节位置精准对齐。
#### 3.3 与[Glauser et al. 2018]的研究对比
虽然我们的传感器阵列是基于[Glauser et al. 2019]的研究成果，但他们的制造工艺无法直接应用于我们的场景。我们的传感器是一种复合材料，由硅胶层（基于[Glauser et al. 2019]，详见附录B）和额外的纺织层构成。后者对于制作功能性手套至关重要——纯硅胶无法贴合复杂的几何形状，否则极易损坏，尤其是由于其与人体皮肤之间的摩擦力较大。在硅胶传感器层方面，存在两大差异：（1）读取方案不同（见第3.1节），使得帧率可达60 Hz（而他们仅为8 Hz）；（2）我们试图重构的几何结构更为复杂，其关节活动方式也远比[Glauser et al. 2019]中描述的简单圆柱形及单轴关节要复杂得多。手部结构纤薄，需要高密度的传感器，但可用于放置传感器单元的表面面积却很小。为解决这一问题，我们采用了更细的导线（2毫米而非6毫米）以及更小的局部传感器单元（5×7.5毫米和5×11.5毫米，而非直径15毫米）。为使最长导线的总电阻保持在合理范围内，导电层的厚度必须增加五倍（220 $\mu$m而非45 $\mu$m）。相应地，制造过程中需要更多的蚀刻步骤，且溶剂必须预先蒸发，以防止在烤箱固化时产生气泡。
## 4 基于数据驱动的手部姿态估计
我们的复合电容式手套所包含的传感器数量（44个）超过了所考虑的人手模型的自由度数量（25个），然而拉伸传感器的读数与手部关节旋转中心并无直接对应关系。此外，由于人手几何结构的差异，不同人的传感器读数也会有所不同。手动设计从传感器读数到手部关节配置的映射关系是一项极其复杂的任务（如[Kahlesz et al. 2004]所述），需要大量实验和人工调整才能使模型适配特定的传感器布局。因此，我们提出了一种数据驱动的方法，能够学习这种高度非线性的映射关系，且该映射可适用于不同使用场景和用户。尽管获取用于手部姿态估计的训练数据通常较为困难，但手套属于特殊情况——它们足够隐蔽，几乎不会被深度摄像头察觉。因此，利用现成的手部追踪系统[Tkach et al. 2017]即可高效采集训练数据。
---
Fig. 7. Left: Our training data capturing setup. 1) Hand with glove; 2) RealSense SR300 depth camera; 3) computer running [Tkach et al. 2017]; 4) pillow for comfort; 5) blue segmentation wristband as required by [Tkach et al. 2017]. Right: The 34 hand pose parameters proposed by [Tkach et al. 2017]. Our glove only captures the 25 degrees of freedom in color. The DoFs in gray are the global translation and rotation, and the rotation of the wrist; global pose parameters cannot be captured using only stretch sensors.
在我们的场景中，任何标准的神经网络架构都可以使用，包括全连接网络（FCN）和长短期记忆网络（LSTM）。不过我们发现，这些标准方法难以充分利用数据的几何布局。通过构建定制化的数据布局以及能够隐式编码传感器几何结构与拓扑关系的网络，我们显著提升了相较于标准基准模型的准确率。
### 4.1 数据采集
图7（左）展示了我们采集训练数据的设置。为了获取参考手部姿态，我们使用了价格低廉的Intel RealSense SR300深度相机[Rea 2019]。深度帧会被输入到[Tkach等人，2017]提出的未经修改的算法中，该算法要求手腕处带有蓝色条带以便进行深度分割。我们采用他们的校准方法来计算每个用户的手部形状参数。要采集到有价值的训练数据，不同数据源之间的良好同步至关重要。为此，我们将用于与手套传感器通信的代码整合进了[Tkach等人，2017]公开可用的源代码中。这样一来就能统一收集、评估和记录传感器数据与姿态数据。
### 4.2 数据表示与网络
对于训练数据中的N帧而言，我们的回归模型的输入$\mathbf{X} = \{x_i\}_{i \in N} \subset \mathbb{R}^{44}$是来自44个拉伸传感器的读数，而目标输出$\mathbf{Y} = \{y_i\}_{i \in N} \subset \mathbb{R}^{25}$则是[Tkach等人，2017]中定义的25个手部姿态参数，这些参数涵盖了手部的全部姿态自由度（见图7）。
数据表示。我们的核心发现是：应当考虑输入特征与输出特征之间的空间对应关系。对特征进行合理的排序与组织能简化学习任务。例如，拇指上相邻的一组传感器（图4右图中的传感器单元0、1、2、11、16、20、28）综合起来会对拇指的预测产生更大的影响。
Fig. 8. The geometric correspondences between the input (sensor layout on the left) and output features (hand model on the right) should be considered. Both the input and the output can be naturally ordered in corresponding grid structures.
Fig. 9. From left to right: The sensor readout is normalized by the hand-specific min-max, arranged in two 5x5 stretch maps, and fed through a U-Net network that predicts a 5x5 pose map. The loss is the $L_{2}$-norm difference between the predicted pose map and the ground truth pose map derived from the hand poses captured by [Tkach et al. 2017].
运动相关参数（图8中的参数9、10、11、12、29）。与此同时，一些高等级的手部动作，比如握拳，会导致传感器激活更为均匀，这类信息需要全局编码，因此很难预先定义它们之间的依赖关系。理论上，训练FCN来学习此类全局-局部信息是可行的，但实践中这需要极大的模型容量、训练数据以及超参数调优。因此我们选择直接将这种几何与拓扑先验融入网络架构中，以规范学习过程并提升重建性能。
我们采用全卷积神经网络（CNN）以及二维网格表示作为输入和回归目标。更具体地说，我们使用$5 \times 5$矩阵来组织输入与输出数据。图8展示了我们将传感器单元读数与姿态参数映射到二维网格的方式，每种网格都能捕捉到空间关系。我们用一个矩阵来组织输出数据，但输入数据则使用两个矩阵堆叠而成，因为每个传感位置都有两种测量水平和垂直拉伸情况的传感器（详见第3节）。例如，传感器29和33都位于食指的指关节附近，但每个传感器捕捉的拉伸方向不同。
二维网络。我们采用U-Net网络架构[Ronneberger等人，2015]将整理好的传感器读数转换为手部姿态参数。网络的下采样与上采样结构能够编码全局信息，而对称的……
---
编码器和解码器之间的跳跃连接能够保留局部对应关系。图9展示了U-Net的结构，以及该网络如何将二维传感器数据转换为手部姿态。对于回归任务，我们采用$L_2$损失函数，即$\mathcal{L}_{\text{reg}} = \sum_{i=1}^{25} \|\hat{y}_i - y_i\|_2$，其中$\hat{y}$表示预测值，y表示目标姿态参数。
实验表明，我们的模型相比其他网络架构具有明显优势。我们在第5.4节中提供了与基准模型的对比结果，并在附录A中详细描述了实验设置。
### 4.3 数据处理
我们通过去除异常值并采用最小-最大归一化方法进行校准，从而提升数据质量。也就是说，输入到网络中的是经过处理和映射的传感器数据，详见图9。
异常值去除：我们通过检测手指碰撞来剔除可能为异常值的帧，因为手指碰撞意味着不可行的姿态。我们过滤掉那些碰撞能量超过80的帧，这一数值依据[Tkach等人，2017]的定义得出，表明所估计的姿态很可能不自然且错误。这种过滤操作仅会剔除约2%的数据。
实时校准：理想情况下，每个传感器的读数幅度应被归一化，以使其不受手尺寸的影响。我们发现，一旦戴上手套，每个传感器读数的最小值和最大值便固定下来，这可用于归一化传感器数据。因此，我们认为针对每个传感器的最小-最大校准在成本与精度之间取得了合理的平衡。关键在于确定戴上手套后的最小和最大读数幅度。实践中，我们设计了一个简短的校准阶段，用户需自由尝试各种极端姿态，从而获取每个传感器的最小值和最大值，随后利用这些值将传感器数据归一化到[-1,1]区间。为使这一过程更加稳健，我们在提取最小值和最大值时会使用中位数滤波器（基于20帧数据）。由于我们的软质手套结构复杂且贴合紧密，能提供良好的对齐效果，这种简单的校准方法在实践中竟能取得惊人的效果。
## 5 实验结果
我们展示了我们的手套以及协同式数据驱动的手部姿态重建方法如何在大数据集上捕捉精确的手部姿态（第5.2节）（第5.1节）。我们将我们的手套在姿态序列上的性能与两款商用最先进手套进行了比较（第5.3节）。最后，我们评估了所提出的网络架构，并将其与各类基准模型进行对比（第5.4节）。
在新用户只需进行极简的实时校准（利用通用的预训练模型进行最小-最大归一化）的情况下，我们最终得到的平均误差仅为7.6度。在对比序列中，我们的手套平均姿态误差为6.8度，表现优于ManusVR手套（平均误差：11.9度）和CyberGlove（平均误差：10.5度）。所提出的二维网络架构所能达到的平均误差比基准全连接网络低约1度。
### 5.1 数据集
我们的实验是在一个大型数据集上进行的，该数据集$^{1}$由10名受试者提供（除非另有说明），涵盖了各种手的大小和形状。手的长度在17到20.5厘米之间，宽度在9到11厘米之间，长宽比则在1.6到2.1之间。对于每位受试者，我们使用数据采集装置采集五次数据；每次采集过程大约持续5分钟。在这五次采集过程中，有三次受试者会持续佩戴手套，而另外两次则会在期间取下手套。我们分别将这两种情况称为会话内和会话间。为了鼓励受试者充分探索手部姿势的空间，我们在采集过程中展示了印有示例姿势的图册。在数据采集和方法开发阶段，我们的一只手套累计使用时间超过了25小时——期间它始终能高质量地捕捉传感器数据。
### 5.2 手部姿势捕捉效果评估
我们设想了手部捕捉方法的一种标准应用场景：只需训练一次所提出的神经网络，最好是在包含不同手部样本的大型数据集上训练。这样一来，新用户只需花费不到一分钟的时间执行即时校准流程，便可开始使用手套进行交互。
在实验中，我们将那些利用除一名受试者外的所有参与者数据训练的模型称为通用模型，该受试者的数据被用作测试数据。我们也评估了个性化模型，这类模型仅基于单名受试者的数据进行训练。这种方式能够实现更精确的姿势重建，也能让我们进一步了解手套的性能。表1总结了所有模型的结果。所有实验均使用中等尺寸的手套（$20\times12.5$厘米）；尽管尺寸单一，但它能适配多种不同的手型。误差最显著的情况出现在手型最小的情况下（见表1最后一行）——要实现更精准的追踪，需要使用更小尺寸的手套。
个性化模型与通用模型。对于个性化模型，我们针对两类数据开展实验：一类是仅在会话内数据上训练并测试，另一类是利用两种类型的会话数据进行训练，再在会话间进行测试。前者利用两次会话的数据来预测另一次会话的结果；后者则利用三次会话内数据和一次会话间数据来预测另一次会话间的结果。会话内的样本通常比会话间的样本表现更好，这是因为连续佩戴手套时手套的对齐效果更好。表1中的“会话内”和“会话间”列显示了十种不同手型的平均角度重建误差。总体而言，会话内的平均误差为5.8度，会话间则为6.2度。这种微小的误差差异表明，即使中途取下手套，我们的软质手套在不同会话中仍能保持稳定的对齐效果。图10展示了实时捕捉会话中的示例画面。
对于面向广大多样化用户的实际应用而言，通用模型至关重要，因为训练个性化模型既耗时（2小时或更久）又需要额外设备（深度相机和GPU）。我们从有无使用4.3节所述的校准方法两个维度对该方法进行评估。在不进行校准的情况下，会从训练数据中获取所有用户的每个传感器的极值，并将其用于训练和测试阶段的归一化处理。表1的第(3)列和第(4)列显示了我们校准方法的有效性：采用校准方式后，平均姿势重建误差为7.6度。
---
Fig. 10. A gallery of real-time session frames showing diverse poses predicted by a personalized model.
表1. 不同手尺寸和长宽比人群在多个会话中产生的平均姿态角误差（单位：度）。“尺寸”列列出了边界框体积，单位为$cm^{3}$；第二列给出了边界框的尺寸，单位为厘米。我们报告了以下几种情景：（1）个性化模型，在训练时采用与测试会话完全相同的对齐方式；（2）在训练过程中取下手套的情况；通用模型则是基于其他9名参与者的会话数据训练的（留一法）：（3）使用从训练数据中获得的各特征的最小最大值传感器数据；（4）采用个性化的、实时更新的最小最大值校准参数。（5）用短短5分钟的个人训练数据对通用模型进行微调。外部硬件指的是用于采集和处理训练数据所需的深度相机和GPU。
| Hands | Personalized | Generic | Fine-tuned |
| Size | L $\times$W $\times$H | (1) Intra | (2) Inter | (3) w/o Calib | (4) w Calib. | (5) Tuned |
| 940 | 19 $\times$11 $\times$4.5 | 4.8 | 5.5 | 6.4 | 6.6 | 5.7 |
| 792 | 19 $\times$9.5 $\times$4 | 5.3 | 6.8 | 7.9 | 7.0 | 6.1 |
| 792 | 18 $\times$11 $\times$4 | 6.2 | 7.8 | 8.6 | 8.5 | 6.6 |
| 836 | 19 $\times$11 $\times$4 | 5.2 | 5.2 | 7.3 | 6.9 | 5.6 |
| 850 | 18 $\times$10.5 $\times$4.5 | 6.8 | 6.3 | 8.1 | 7.3 | 6.8 |
| 1025 | 20.5 $\times$10 $\times$5 | 5.1 | 5.9 | 8.5 | 7.5 | 6.4 |
| 840 | 20 $\times$10.5 $\times$4 | 5.2 | 5.9 | 8.8 | 8.0 | 7.2 |
| 680 | 17 $\times$10 $\times$4 | 5.6 | 5.7 | 8.6 | 8.2 | 6.7 |
| 800 | 20 $\times$10 $\times$4 | 6.1 | 6.5 | 9.0 | 7.3 | 6.0 |
| 612 | 17 $\times$9 $\times$4 | 7.5 | 6.6 | 10.1 | 9.1 | 8.1 |
| Average error | 5.8 | 6.2 | 8.3 | 7.6 | 6.5 |
| Time investment | 2 h | 2.5 h | 0 | 1 min | 20 min |
| External hardware | Yes | Yes | No | No | Yes |
相比之下，未使用该方法时误差为8.3。7.6的角重建误差对于许多应用场景而言已经足够理想（不同重建误差的可视化效果见图16及补充视频）。为了用最少的个性化数据进一步提升重建质量，我们对未见过的数据进行了微调。具体来说，我们先加载预训练通用模型的网络参数，然后设置较小的学习率$1 \times 10^{-6}$，批量大小设为64，以进一步优化所有网络参数，从而避免灾难性遗忘现象。相关结果见表1的第（5）列；其性能可与个性化模型相媲美，却只需投入极少的时间。
应用场景。我们的方法支持五种标准应用场景，具体汇总于表1中：
（1）会话内个性化模型性能最佳，但要求使用者始终佩戴手套。
（2）如果用户配备有深度相机，可利用[Tkach等人，2017]的方法采集20分钟的个人训练数据，进而花费约2小时训练出个性化模型。
（3）若没有时间或条件进行训练和校准（例如在康复场景中），则可使用我们的通用模型，并结合从训练集中提取的各传感器最小最大值参数。
（4）先通过尝试几种手部姿势来实时获取个人的最小最大值参数，再利用这些参数对传感器数据进行归一化处理，便能在不到一分钟的校准时间内显著提升通用模型的精度。
（5）作为场景（2）和（4）的折中方案，只需采集5分钟的个人训练数据，再花费约15分钟对通用模型进行微调即可。
选项（3）和（4）仅需手套和预训练模型即可实现，而其他选项则需要深度相机和GPU来进行模型训练或微调。我们认为场景（4）最为实用，但对精度要求更高的应用场景可能会从定制模型（2）或（5）中获益。实际上，我们的所有模型都能较好地捕捉手部姿态，模型（2）、（4）和（5）的可视化对比见图11。
传感器数量与训练数据。为了说明密集传感器阵列的优势，我们针对所使用的传感器单元数量开展了消融研究，以模拟传感器数量较少的手套设计（见图12）。结果表明，传感器数量越多，重建精度越高；当传感器数量从14个增加到44个时，平均误差可降低28%。
我们用于个性化模型的训练集、验证集和测试集分别包含8.5万个、1万个和1.5万个样本。非个性化模型对应的样本数量则分别为80万个、9万个和12万个。为了探究使用如此大规模训练集的必要性，我们逐步随机移除部分训练数据；表2展示了个性化模型（2）与通用模型（4）由此产生的重建误差。重建精度的下降充分体现了拥有大规模数据集的优势。
---
Fig. 11. Visual comparison of different models on three example frames. From left to right: ground truth pose, reconstruction of personalized (2), generic (4), and fine-tuned (5) models. While all models manage to capture these poses well, the personalized model (2) performs best. We carefully chose these frames to highlight the differences. Most poses have visually similar results for all models as shown in the accompanying video.
Fig. 12. As the number of sensors increases, the mean reconstruction error of a captured session decreases: from 8.67 with just 14 sensors covering the main joints to 6.75 for our full glove with 44 sensors.
Table 2. This table shows that the mean session error increases if less training data is available (or used). The number of samples in the training data is 85K for the personalized and 800K for the generic model.
| Percentage | 100% | 75% | 50% | 25% | 10% |
| Personalized (2) | 5.50 | 6.32 | 6.47 | 6.57 | 7.14 |
| Generic (4) | 6.57 | 6.98 | 7.51 | 7.96 | 9.85 |
因此，这种无需刻意佩戴、便于数据采集的手套就显得尤为重要。
针对不同手套的泛化能力。在迄今为止的所有实验中，我们都使用同一款手套原型（手套I）来采集训练数据和进行测试。为了评估我们的制造工艺的可重复性，
Table 3. Generalization to a different glove: This table summarizes errors when evaluating model variants on a training session captured with Glove II. From left to right: Generic model trained on Glove I data only; Generic (Glove I) model fine-tuned with 5 minutes of data from Glove II; Personalized model trained on Glove II only.
| Model | Generic w calib. | Fine-tuned | Personalized |
| Trained on | Glove I | Glove I & II | Glove II |
| Error | 8.80 | 5.73 | 5.30 |
Fig. 13. Glove II can predict hand poses with reasonable accuracy using a model trained only on the data captured with Glove I.
我们制作了第二款手套（手套II），并检验基于手套I数据训练的模型对手套II采集的数据预测姿势的效果如何（见图13）。表3汇总了相关结果，这些结果十分令人鼓舞，尤其是考虑到我们目前的制造流程中仍包含一些手工步骤（详见第3节）。我们相信，手套制造流程的自动化和工业化版本能够进一步提升复合手套的可重复性。
物体交互方面。在图1和补充视频中，我们展示了该手套与不同物体的交互情况。一般来说，触碰或按压电容式传感器阵列会因人体电容或局部电容器的形变而影响读数。但通常抓取和握持物体时，接触部位多位于手掌内侧或指尖，而这些位置并未安装传感器。Glauser等人[^2019]在实验中说明了触碰电容式传感器阵列所产生的效应。
### 5.3 与最先进数据手套的比较
我们将我们的手套与两款最先进的商用手套产品进行比较：一款是ManusVR推出的数据手套[Man 2019]，另一款是CyberGlove Systems LLC生产的CyberGlove II [Cyb 2019]。据我们所知，ManusVR手套配备10个弯曲传感器和2个惯性测量单元，而CyberGlove II则装有22个弯曲传感器。评估前，我们使用这两款手套配套的专用软件对其进行了校准。校准过程中要求用户做出指定的一系列手部姿势，整个过程仅需几分钟，这与我们用于比较的通用模型（4）所采用的极值归一化处理方法所需时间相当。我们通过提供的软件开发工具包调用这两款手套以记录姿势数据。
对于这三款手套（ManusVR、CyberGlove以及我们的手套），均记录了相同的60种手部姿势序列，时长约为3分钟。与此同时，深度跟踪系统[Tkach et al. 2017]也会捕捉手部姿势角度，我们将其作为
---
Fig. 14. Top: Cumulative error plot of the key poses, comparing different gloves. Over the key poses, our glove predicts 92% of the angles below an error of 15 degrees (CyberGlove: 79%, ManusVR: 75%). Bottom: Cumulative error plot over the whole comparison session.
基准真值。由于训练数据采集时使用了相同的跟踪系统，这种选择可能会在比较中引入偏差。来自ManusVR和CyberGlove的角度数据会按照SDK中的说明映射到[Tkach等人，2017年]定义的25个自由度上。某些姿态角度存在偏移，因此这两种先进手套的所有角度数据都会被调整，以确保记录序列的第一帧能与基准真值完全匹配。在整个序列中，ManusVR手套的平均误差为11.93度，CyberGlove为10.47度，而我们的手套仅为6.76度——这一数值比次优结果低35%。由于各序列并不完全相同，我们在图16中额外展示了比较序列中的七个姿态，以及对应所有自由度的平均误差。图14（上方）展示了累积误差图，用于比较图16中所示七个姿态下低于指定误差阈值（x轴）的角自由度百分比。我们发现，我们的手套有92%的角度误差低于15度，而CyberGlove为79%，ManusVR手套为75%。图14下方展示了整个比较序列的累积误差图。
### 5.4 网络比较
我们报告了两种一维基线模型（FCN、LSTM）以及三种二维网络架构的实验结果：ResNet [He等人，2016年]、U-Net [Ronneberger等人，2015年]和条件生成对抗网络（CGAN）[Isola等人，2017年]。在表4和表5中，我们比较了这五种网络在我们个性化模型（2）和通用模型（4）上的表现。总体而言，基于二维的网络收敛更快，重建误差也更低。FCN的性能并不理想，尤其是在训练集多样性不足的情况下，比如个性化模型便是如此。LSTM产生的结果较为平滑，重建精度也更高。
Table 4. Comparison of different networks for the personalized model in terms of mean angle-error in degrees. (2). From left to right: five different network architectures. From top to bottom: varying amounts of network parameters. We adjust the sizes or numbers of layers for each network to meet the target number of parameters.
| Network size | FCN | LSTM | ResNet | U-Net | CGAN |
| 3M | 6.63 | 5.81 | 6.06 | 5.63 | 5.59 |
| 13M | 6.95 | 6.02 | 6.12 | 5.50 | 5.51 |
| 50M | 7.10 | 6.38 | 6.20 | 5.55 | 5.47 |
Table 5. Comparison of different networks for the generic model in terms of mean angle-error in degrees. (4), trained on the leave-one-out dataset. From left to right: five different network architectures. From top to bottom: varying amounts of network parameters, similar to Table 4.
| Network size | FCN | LSTM | ResNet | U-Net | CGAN |
| 3M | 7.64 | 7.68 | 7.28 | 6.81 | 7.09 |
| 13M | 7.58 | 7.65 | 7.35 | 6.57 | 6.50 |
| 50M | 7.98 | 7.76 | 7.18 | 6.65 | 6.61 |
FCN的重建精度虽高于LSTM，但往往会过度平滑某些高频姿态，比如两根手指相触的情况。在三种基于二维的网络中，ResNet的表现已显著优于FCN基线，但仍存在改进空间。U-Net和CGAN均能达到较高的重建精度。实验中，U-Net预测出的姿态在视觉上比CGAN更稳定。因此，后续所有实验均采用参数量为13M的U-Net模型。无论对于个性化模型还是通用模型，它都能产生最低的误差（见表4和表5）。参数量少于3M的网络实验会导致误差增大。作为对比，我们还在表5的数据上训练了SVM模型，其误差为7.8度，虽然较高但仍可接受。
此处比较的模型涵盖了各类现代机器学习技术。探索比我们的基线模型更先进的网络架构，比如LSTM与CNN的结合，将是一个有趣的研究方向。因此，我们公开所有的训练数据 $^{1}$。
## 6 结论与未来工作
本文聚焦于数据手套的核心任务——捕捉精确的手部姿态。此外，一款理想的数据手套还应具备佩戴舒适、实时响应、成本低廉且易于使用的特点。我们通过多项技术成果实现了这些目标，包括适配手套的拉伸传感器布局与制造工艺、硅胶与纺织层复合的可穿戴材料、可实现交互帧率的改进型传感器读取方案、结构感知的数据表示方法，以及轻量级的即时校准方法。针对不同场景的广泛实验，验证了我们的数据驱动模型的强大能力以及所提出的拉伸传感手套的优异性能。
为了进一步提升我们这款手套的功能性和适用性，未来还需探索一些关键特性以及许多有趣的扩展功能。
---
Fig. 15. Visualization of sensor readings and pose reconstruction over time (x-axis). From top to bottom: Five video frames (the dotted lines indicate the correspondences); plot of stretch sensor readings (y-axis), showing all 44 in light gray, with the readings of the three cells (21, 33, 40 in Fig. 4) over the knuckles on the index finger highlighted in green; finally, three plots of predicted and reference pose angles (y-axis), showing all 25 predicted angles in light gray, with the three flexion angles (14, 15, 16 in Fig. 8) of the index finger highlighted in red, and the reference angles captured by [Tkach et al. 2017] in blue.
适用性。就目前而言，我们的手套尚未配备全局平移与旋转追踪功能，且仍依赖线缆连接。对于一款“现实世界”数据手套而言，位置和姿态追踪是至关重要的。消除对线缆的依赖（例如添加电池和无线数据传输功能）是一项已有大量研究的课题。要获取全局平移与旋转信息，最直接的解决方案是使用现成的追踪器（如 [Viv 2019]）。不过这类方案需要复杂的设置过程，且仍存在遮挡问题。另一种思路是在手臂上额外安装一组稀疏的拉伸传感器，以此追踪手部位置。关于手腕和肘部，Glauser等人[^2019]已经证明拉伸传感器能够实现高质量的表面追踪。要实现此类手套的大规模高效生产，仍需进一步的研究与开发。在制造（平面）硅胶传感器时，可以设想采用结合铸造、固化、激光切割和清洁等必要工序的传送带系统；而纺织手套部分则可能需要进行更根本的改造，才能更好地适配自动化生产流程。
噪声与延迟。剩余的预测误差可能源于以下因素：传感器读数的噪声与延迟、材料滞后现象、训练数据集的规模以及过拟合问题。未来我们将研究哪些因素对整体系统误差的影响最大。从经验来看，我们认为增加更多训练数据和降低传感器噪声是减少抖动最具前景的方向。从附带的视频中可以看出，整体延迟时间在125到200毫秒之间。其中约45-90毫秒的延迟源自180个读数中最旧的那一个。神经网络模型的推理时间约为5毫秒。其余的延迟则来自未优化的数据通信、滤波和渲染环节。关于传感器读数随时间的变化及姿态预测结果，可参见图15。
定制化。目前我们只生产中等尺寸（M码）的手套，如表1所示，它们已经能够适配多种手型。但我们也发现，过小或过大的手会导致重建精度下降。因此，很可能还需要再增加两种尺寸（S码和L码）。为每个人量身定制的手套以及其如何进一步提升精度，是未来研究的另一个有前景的方向；毕竟我们的制造流程能够轻松调整传感器的大小、形状和布局。通过基于仿真、采集数据或两者结合的优化手段，或许还能找到更优的传感器布局。
扩展功能。采用像 [Romero et al. 2017] 那样更为复杂的运动追踪系统来获取训练数据虽然成本更高，但有望提升精度。在许多应用场景中（例如与AR或VR头戴设备搭配使用时），摄像头往往已经存在——尽管常会出现遮挡或超出视野范围的情况。因此，探索如何将我们手套的传感器读数与基于摄像头的姿态预测结果相融合，将是一件很有意义的事。一款密集排列拉伸传感器的手套或许不仅能预测手部姿态，还能推算出手部的形状参数。我们这款柔软且轻薄的手套，是佩戴在触觉设备[Hinchet et al. 2018]或没有内置手部姿态捕捉传感器的软性手部外骨骼[Polygerinos et al. 2015]之下的理想选择。
## 致谢
我们谨向Severin Klingler、Christian Schüller、Velko Vechev和Katja Wolff致以谢意，感谢他们富有洞见的讨论；感谢John Sivell为视频配音；也感谢所有参与数据集收集工作的人员。本研究部分得到了SNF基金200021_162958、NSF CAREER奖IIS-1652515、NSF基金OAC:1835712的支持，NVIDIA公司捐赠了GPU，Adobe公司也给予了资助。
## 参考文献
2018年。Bando。。
2019年。5DT手套。。
2019年。CyberGlove。。
2019年。HT2纺织胶。。
2019年。HTC Vive追踪器。。
2019年。Imerys ENSACO 250G。。
2019年。Intel Real Sense SR3000。。
2019年。ManusVR手套。。
2019a年。Sil-Poxy硅胶粘合剂。。
2019b年。Silbione RTV 4420。。
2019年。Stretchsense。。
2019年。Vicon。。
2019年。VPL数据手套。。
---
10.61
Ours
Fig. 16. Key pose comparison of different gloves: ManusVR, CyberGlove and ours; we show a video frame of the pose, the pose as captured by the glove, and the mean angular error for this specific pose. Note how our glove has the lowest error for every pose but one (first row). To find similar poses, the lowest mean pose parameter difference is used.
Oluwaseun A. Araromi、Samuel Rosset和Herbert R. Shea。2015年。通过激光烧蚀技术实现高分辨率、大面积柔性电极制造，用于制备坚固耐用的可拉伸介电弹性体执行器与传感器。《ACS应用材料与界面》第7卷第32期（2015年），18046–18053页。
Asli Atalay、Vanessa Sanchez、Ozgur Atalay、Daniel M. Vogt、Florian Haufe、Robert J. Wood和Conor J. Walsh。2017年。用于人体运动追踪的可定制硅胶-纺织品复合电容式应变传感器的批量制造。《先进材料技术》第2卷第9期（2017年）。
Luca Ballan、Aparna Taneja、Jürgen Gall、Luc Van Gool和Marc Pollefeys。2012年。利用判别性显著点捕捉手部动作的运动轨迹。载于ECCV会议论文集。Springer出版社，640–653页。
Yujun Cai、Liuhao Ge、Jianfei Cai和Junsong Yuan。2018年。基于单目RGB图像的弱监督3D手部姿态估计。载于ECCV会议论文集。Springer出版社，Cham，1–17页。
Géry Casiez、Nicolas Roussel和Daniel Vogel。2012年。Filter：一种用于交互系统中噪声输入的简单基于速度的低通滤波器。载于人机交互系统会议论文集。2527–2530页。
Ke-Yu Chen、Shwetak N. Patel和Sean Keller。2016年。Finexus：利用磁感应技术追踪多个指尖的精确运动。载于2016年人机交互系统CHI会议论文集（CHI '16）。ACM出版社，纽约，USA，1504–1514页。
Jean-Baptiste Chossat、Yiwei Tao、Vincent Duchaine和Yong-Lae Park。2015年。用于手部运动检测的可穿戴柔性人造皮肤，内置微流体应变传感器。载于ICRA会议论文集。IEEE出版社，2568–2573页。
Te-Shun Chou、Ashley Gadd和Dave Knott。2000年。Hand-Eye：一种基于视觉的数据手套校准方法。载于人机界面技术会议论文集。
Simone Ciotti、Edoardo Battaglia、Nicola Carbonaro、Antonio Bicchi、Alessandro Tognetti和Matteo Bianchi。2016年。一种基于协同作用的最优设计传感手套，用于功能性抓取识别。《传感器》第16卷（2016年6月），811页。
James Connolly、Joan Condell、Brendan O'Flynn、Javier Torres Sanchez和Philip Gardiner。2018年。基于IMU传感器的电子测角手套在临床手指运动分析中的应用。《IEEE传感器期刊》第18卷第3期（2018年2月），第1273–1281页。
Laura Dipietro、Angelo M. Sabatini和Paolo Dario。2008年。基于手套的系统及其应用综述。《系统、人与控制论C部分》第38卷第4期（2008年），第461–482页。
---
Ali Erol、George Bebis、Mircea Nicolescu、Richard D Boyle和Xander Twombly。2007年。基于视觉的手部姿态估计：综述。《计算机视觉与图像理解》第108卷第1期（2007年），第52–73页。
Bin Fang、Fuchun Sun、Huaping Liu和Di Guo。2017年。基于磁性和惯性测量单元的可穿戴运动捕捉设备开发。《科学编程》2017年刊（2017年1月），第1–11页。
Max Fischer、Patrick van der Smagt和Gerd Hirzinger。1998年。在DLR手部的数据手套远程操控系统中应用学习技术。收录于ICRA会议论文集，第2卷。IEEE出版社，第1603–1608页。
Liuhao Ge、Hui Liang、Junsong Yuan和Daniel Thalmann。2017年。用于从单张深度图像中高效且鲁棒地估计手部姿态的3D卷积神经网络。收录于CVPR会议论文集。
Reinhard Gentner和Joseph Classen。2008年。用于神经生理学环境中人体手指运动评估的低成本传感器手套的开发与评估。《神经科学方法杂志》第178卷（2008年12月），第138–147页。
Oliver Glauser、Daniele Panozzo、Otmar Hilliges和Olga Sorkine-Hornung。2019年。通过柔软且可拉伸的传感器阵列实现形变捕捉。《ACM图形学交易》第38卷（2019年3月），第1–16页。
Xavier Glorot和Yoshua Bengio。2010年。理解训练深层前馈神经网络的难度。收录于人工智能与统计国际会议论文集。第249–256页。
Weston Griffin、Ryan Findley、Michael Turner和Mark Cutkosky。2000年。为灵巧远程操控校准并映射人手模型。收录于ASME IMECE虚拟环境与远程操作系统触觉接口研讨会论文集。
Frank L Hammond、Yigit Mengüç和Robert J Wood。2014年。面向人体手部运动及触觉压力测量的模块化软传感器嵌入式手套研发。收录于IROS会议论文集。IEEE出版社，第4000–4007页。
Shangchen Han、Beibei Liu、Robert Wang、Yuting Ye、Christopher D. Twigg和Kenrick Kin。2018年。基于深度标签的在线光学标记手部跟踪技术。《ACM图形学交易》第37卷第4期（2018年7月），第166:1–166:10页。
Kaiming He、Xiangyu Zhang、Shaoqing Ren和Jian Sun。2016年。用于图像识别的深度残差学习。收录于CVPR会议论文集。
Ronan Hinchet、Velko Vechev、Herbert Shea和Otmar Hilliges。2018年。DextrES：一种用于VR抓取操作的薄型静电制动器可穿戴触觉反馈装置。收录于UIST会议论文集。
Haiying Hu、Xiaohui Gao、Jiawei Li、Jie Wang和Hong Liu。2004年。为操控HIT/DLR手部而对手部进行校准。收录于ICRA会议论文集，第5卷。第4571–4576页。
Yinghao Huang、Manuel Kaufmann、Emre Aksan、Michael J Black、Otmar Hilliges和Gerard Pons-Moll。2018年。Deep inertial poser：实时从稀疏惯性测量数据中重建人体姿态的学习方法。《ACM图形学交易》第37卷第6期（2018年）。
Umar Iqbal、Pavlo Molchanov、Thomas Breuel、Juergen Gall和Jan Kautz。2018年。通过潜在2.5D热图回归实现手部姿态估计。arXiv预印本arXiv:1804.09534（2018年）。
菲利普·伊索拉、朱俊延、周婷慧和阿列克谢·A·埃弗罗斯。2017年。基于条件对抗网络的图像到图像转换。载于CVPR会议论文集。
丽莎·K·西蒙娜、纳皮奈·桑达拉詹、罗迅、贾一诚和德里克·坎珀。2007年。一种用于长时间监测与手部功能评估的低成本传感手套。《神经科学方法杂志》第160卷（2007年4月），第335–348页。
费伦茨·卡勒什、加布里埃尔·扎赫曼和莱因哈德·克莱因。2004年。“视觉保真度”数据手套校准。载于2004年IEEE计算机图形学国际会议论文集，第403–410页。
G·德鲁·凯斯勒、拉里·F·霍奇斯和内夫·沃克。1995年。CyberGlove作为全手输入设备的评估。《ACM人机交互交易》第2卷第4期（1995年），第263–283页。
大卫·金、奥特马尔·希利格斯、沙赫拉姆·伊扎迪、亚历克斯·D·巴特勒、陈佳文、伊阿松·奥伊科诺米迪斯和帕特里克·奥利维尔。2012年。Digits：利用腕戴式无手套传感器实现任意位置的自由手写3D交互。载于第25届ACM用户界面软件与技术年会论文集（UIST '12）。ACM出版社，美国纽约，第167–176页。
丽贝卡·K·克雷默、卡梅尔·马吉迪、兰贾纳·萨海和罗伯特·J·伍德。2011年。用于关节角度本体感觉的柔性曲率传感器。载于IROS会议论文集。IEEE出版社，第1919–1926页。
林博兴、李宜君、杨淑瑜、罗宜昌、李宗熙和陈建龙。2018年。基于惯性传感器的手部功能评估数据手套设计。《传感器》第18卷（2018年5月），第1545页。
费德里科·洛鲁西、恩佐·帕斯夸莱·斯奇林戈、马里奥·特斯科尼、亚历山德罗·托涅蒂和达尼洛·德·罗西。2005年。用于手部姿势与手势监测的应变传感织物。《IEEE生物医学信息技术交易》第9卷第3期（2005年），第372–381页。
阿尼尔·梅农、B·巴恩斯、R·米尔斯、辛西娅·布鲁因斯、赞德·特翁布利、J·史密斯、凯文·蒙哥马利和理查德·D·博伊尔。2003年。利用注册、校准与机器人技术构建更精准的虚拟现实模拟系统，用于宇航员训练与远程医疗。载于WSCG会议论文集。
阿德里安·O·米肖、洛朗·德雅斯、塞维琳·德·穆拉蒂耶和斯蒂芬妮·P·拉库尔。2016年。用于手部追踪的表皮应变传感系统的设计与功能评估。载于IROS会议论文集，第3186–3191页。
弗朗西斯卡·穆勒、弗洛里安·伯纳德、奥列克桑德尔·索特尼琴科、杜希扬特·梅塔、斯里纳斯·斯里达尔、丹·卡萨斯和克里斯蒂安·特博尔特。2018年。基于单目RGB图像的实时3D手部跟踪生成手模型。载于CVPR会议论文集，第49–59页。
马库斯·奥伯韦格和文森特·勒佩蒂。2017年。DeepPrior++：提升快速且精准的3D手部姿态估计能力。载于计算机视觉国际研讨会论文集。
马库斯·奥伯韦格、保罗·沃尔哈特和文森特·勒佩蒂。2015年。深度学习在手姿估计中的深度应用。arXiv预印本arXiv:1502.06807（2015年）。
本·奥布莱恩、托德·吉斯比和伊恩·A·安德森。2014年。用于人体运动的拉伸传感器。载于SPIE会议论文集，第9056卷，905618号。
蒂莫西·F·奥康纳、马修·E·法赫、雷切尔·米勒、塞缪尔·E·鲁特、帕特里克·P·默西尔和达伦·J·利波米。2017年。手套语言：采用低功耗可拉伸混合电子技术的无线手势解码器。《PloS one》第12卷第7期（2017年），e0179766页。
伊阿松·奥伊科诺米迪斯、尼古拉斯·基里亚西斯和安东尼斯·A·阿尔吉罗斯。2011a。利用Kinect高效实现基于模型的3D手部关节跟踪。载于BMVC会议论文集。
Iason Oikonomidis、Nikolaos Kyriazis和Antonis A Argyros。2011b。通过建模遮挡和物理约束来实现手与物体交互时的全自由度跟踪。载于ICCV会议论文集。
Wookeun Park、Kyongkwan Ro、Suin Kim和Joonbum Bae。2017。基于柔性传感器的三维手指运动测量系统。《传感器》（瑞士巴塞尔）第17卷第2期（2017年2月），第420页。
Panagiotis Polygerinos、Zheng Wang、Kevin C. Galloway、Robert J. Wood和Conor J. Walsh。2015。用于辅助与居家康复的柔性机器人手套。《机器人与自主系统》第73卷（2015年），第135–143页。
Adnan Rashid和Osman Hasan。2018。用于康复的手关节监测可穿戴技术：综述。《微电子学杂志》（2018年2月）。
Javier Romero、Dimitrios Tzionas和Michael J. Black。2017。具身之手：手与身体的联合建模与捕捉。《ACM图形学交易》第36卷第6期（2017年）。
Olaf Ronneberger、Philipp Fischer和Thomas Brox。2015。U-net：用于生物医学图像分割的卷积网络。载于国际医学影像计算与计算机辅助干预会议论文集。施普林格出版社，第234–241页。
Hochung Ryu、Sangki Park、Jong-Jin Park和Jihyun Bae。2018。一种用于检测手指运动的带压缩应变的针织手套传感系统。《智能材料与结构》第27卷第5期（2018年），055016。
T. Scott Saponas、Desney S. Tan、Dan Morris、Ravin Balakrishnan、Jim Turner和James A. Landay。2009。利用肌电接口实现随时可用的输入功能。载于第22届年度ACM用户界面软件与技术研讨会（UIST '09）论文集。ACM出版社，美国纽约，第167–176页。
Toby Sharp、Cem Keskin、Duncan Robertson、Jonathan Taylor、Jamie Shotton、David Kim、Christoph Rhemann、Ido Leichter、Alon Vinnikov、Yichen Wei等。2015。精准、稳健且灵活的实时手部追踪。载于第33届年度ACM人机交互大会论文集。第3633–3642页。
Zhong Shen、Juan Yi、Xiaodong Li、Mark Hin Pei Lo、Michael ZQ Chen、Yong Hu和Zheng Wang。2016。一种柔性可拉伸弯曲传感器及其在数据手套中的应用。IEEE实时计算与机器人国际会议（RCAR）第3卷第1期（2016年），第22页。
Tomas Simon、Hanbyul Joo、Iain Matthews和Yaser Sheikh。2017。利用多视图自举法在单张图像中检测手部关键点。载于CVPR会议论文集，第2卷。
Ayan Sinha、Chiho Choi和Karthik Ramani。2016。DeepHand：通过填充带有深度特征的矩阵来实现稳健的手部姿态估计。载于CVPR会议论文集。
Adrian Spurr、Jie Song、Seonwook Park和Otmar Hilliges。2018。跨模态深度变分手部姿态估计。载于CVPR会议论文集。
Srinath Sridhar、Antti Oulasvirta和Christian Theobalt。2013。利用RGB和深度数据进行交互式无标记关节手运动追踪。载于ICCV会议论文集。第8页。
Jan Steffen、Jonathan Maycock、Helge Ritter、Honghai Liu和Daniel Schilberg。2011。用于记录人手姿势的稳健数据手套映射技术。载于《智能机器人与应用》会议论文集。
Xiao Sun、Yichen Wei、Shuang Liang、Xiaou Tang和Jian Sun。2015。级联式手部姿态回归方法。载于CVPR会议论文集。第824–832页。
Andrea Tagliasacchi、Matthias Schroeder、Anastasia Tkach、Sofien Bouaziz、Mario Botsch和Mark Pauly。2015。用于实时手部追踪的稳健关节ICP算法。载于SGP会议论文集。
唐丹航、张亨进、Alykhan Tejani和Kim Tae-Kyun。2014年。潜在回归森林：三维关节手部姿态的结构化估计。载于CVPR会议论文集。
唐丹航、Jonathan Taylor、Pushmeet Kohli、Cem Keskin、Kim Tae-Kyun和Jamie Shotton。2015年。打开黑盒：用于估计人手姿态的分层采样优化方法。载于ICCV会议论文集，第3325–3333页。
唐丹航、Yu Tsz-Ho和Kim Tae-Kyun。2013年。基于半监督传导式回归森林的实时关节手部姿态估计。载于ICCV会议论文集，第3224–3231页。
Jonathan Taylor、Lucas Bordeaux、Thomas Cashman、Bob Corish、Cem Keskin、Toby Sharp、Eduardo Soto、David Sweeney、Julien Valentin、Benjamin Luff、Arran Topalian、Erroll Wood、Sameh Khamis、Pushmeet Kohli、Shahram Izadi、Richard Banks、Andrew Fitzgibbon和Jamie Shotton。2016年。通过姿态与对应关系的联合连续优化实现高效且精确的交互式手部跟踪。载于《ACM图形学汇刊》第35卷第4期，143:1–143:12页。
Jonathan Taylor、Vladimir Tankovich、唐丹航、Cem Keskin、David Kim、Philip Davidson、Adarsh Kowdle和Shahram Izadi。2017年。用于……的关节距离场
---
超快速的手部交互跟踪。载于《ACM图形学汇刊》第36卷（2017年），244:1–244:12页。Anastasia Tkach、Mark Pauly和Andrea Tagliasacchi。2016年。用于实时手部建模与跟踪的球体网格。载于《ACM图形学汇刊》第35卷第6期，222:1–222:11页。
Anastasia Tkach、Andrea Tagliasacchi、Edoardo Remelli、Mark Pauly和Andrew Fitzgibbon。2017年。用于手部跟踪的在线生成模型个性化调整。载于《ACM图形学汇刊》第36卷第6期。
Jonathan Tompson、Murphy Stein、Yann Lecun和Ken Perlin。2014年。利用卷积网络实现人手姿态的实时连续恢复。载于《ACM图形学汇刊》第33卷第5期，169页。
Hoang Truong、Shuo Zhang、Ufuk Muncuk、Phuc Nguyen、Nam Bui、Anh Nguyen、Qin Lv、Kaushik Chowdhury、Thang Dinh和Tam Vu。2018年。CapBand：一种无需电池、可连续检测电容的手腕带，用于手势识别。载于第16届ACM嵌入式网络传感器系统会议（SenSys '18）论文集。ACM出版社，美国纽约，第54–67页。
Timo von Marcard、Bodo Rosenhahn、Michael J Black和Gerard Pons-Moll。2017年。稀疏惯性姿态器：从稀疏IMU数据自动估计三维人体姿态。载于《计算机图形学论坛》第36卷第2期，第349–360页。
Chengde Wan、Thomas Probst、Luc Van Gool和Angela Yao。2017年。Crossing Nets：结合GAN与VAE并利用共享隐空间进行手部姿态估计。载于CVPR会议论文集。
Chengde Wan、Angela Yao和Luc Van Gool。2016年。基于局部表面法线的手部姿态估计。载于欧洲计算机视觉会议论文集。Springer出版社，第554–569页。
Robert Y. Wang和Jovan Popović。2009年。基于彩色手套的实时手部跟踪。载于《ACM图形学汇刊》第28卷第3期，63:1–63:8页。
Yingying Wang和Michael Neff。2013年。用于手部动作捕捉的数据驱动型手套校准。载于SCA会议论文集，第15–24页。
Jiawei Zhang、Jianbo Jiao、Mingliang Chen、Liangqiong Qu、Xiaobin Xu和Qingxiong Yang。2016年。利用立体匹配技术进行三维手部姿态跟踪与估计。arXiv预印本arXiv:1610.07214（2016年）。
Yang Zheng、Yu Peng、Gang Wang、Xinrong Liu、Xiaotong Dong和Jue Wang。2016年。用于手部功能评估的传感手套的开发与评估，以及初步的手部协调性评估尝试。载于《Measurement》第93卷（2016年6月刊）。
周吉林、François Malric和Shervin Shirmohammadi。2010年。一种用于简化基于CyberGlove的虚拟康复校准的新手部测量方法。《IEEE仪器与测量学报》第59卷第10期（2010年10月），第2496–2504页。
Christian Zimmermann和Thomas Brox。2017年。从单张RGB图像中估计3D手部姿态的学习。载于ICCV会议论文集，第4913–4921页。
## 网络详情
我们的模型基于PyTorch实现，并在NVIDIA 1080Ti GPU上训练。下文我们将介绍参数规模为1300万的各类网络架构。其他规模（300万和5000万）的网络结构相同，仅层数（或大小）有所差异。
对于FCN，我们采用与[Glauser等人，2019]相同的网络架构，即五个全连接层：F44-F2048-F2048-F2048-F2048-F1024-F26。对于LSTM，我们使用两个隐藏层，每个隐藏层的隐藏状态特征数为512。我们采用的窗口大小为5，观察发现窗口越大，重建结果越平滑，但重建精度却越低。FCN和LSTM均使用学习率为0.01、批量大小为1024的标准SGD优化器。
对于ResNet，编码器和解码器网络均采用步长为2的卷积层和步长为2的上采样卷积层，中间包含12个残差块。U-Net的架构如表6所示。CGAN的生成器G与U-Net结构相同，即C64-C128-C256-C512-C512-C256-C128-C64；而判别器D则包含五个卷积层：C64-C128-C256-C512-C1。
我们采用ADAM优化器（$lr = 0.0002, \beta_1 = 0.5, \beta_2 = 0.999$）来训练CNN网络。权重初始化采用Xavier [Glorot和Bengio，2010]方法。通用模型和个性化模型的训练批量大小分别为1024和256。我们选取验证集中误差最小的模型用于测试。总体而言，个性化模型和通用模型的训练过程
Table 6. Network architecture of U-Net. N: the number of output channels, K: kernel size, S: stride size, P: padding size, BN: batch normalization.
| Input $\rightarrow$ Output shape | Layer information |
| (5, 5, 2) $\rightarrow$ (5, 5, 64) | CONV- $(N64, K5 \times 5, S1, P2)$, ReLU |
| (5, 5, 64) $\rightarrow$ (3, 3, 128) | CONV- $(N128, K3 \times 3, S2, P1)$, BN, ReLU |
| (3, 3, 128) $\rightarrow$ (2, 2, 256) | CONV- $(N256, K3 \times 3, S2, P1)$, BN, ReLU |
| (2, 2, 256) $\rightarrow$ (1, 1, 512) | CONV- $(N512, K4 \times 4, S2, P1)$, BN, ReLU |
| (1, 1, 512) $\rightarrow$ (2, 2, 256) | CONV- $(N512, K4 \times 4, S2, P1)$, BN, ReLU |
| (2, 2, 256) $\rightarrow$ (3, 3, 128) | CONV- $(N256, K3 \times 3, S2, P1)$, BN, ReLU |
| (3, 3, 128) $\rightarrow$ (5, 5, 64) | CONV- $(N128, K3 \times 3, S2, P1)$, BN, ReLU |
| (5, 5, 64) $\rightarrow$ (5, 5, 1) | CONV- $(N64, K5 \times 5, S1, P2)$, Tanh |
Fig. 17. (A) Connector board with eight pads and connector socket. (B) Exposed lead ends of the bottom (blue) and top (red) layer. (C) Acrylic counter-holder. (D) Three installed connector boards.
分别大约耗时2小时和5小时，其中LSTM的训练时间约为前两者的三倍。已训练模型的推理时间约为0.003秒。
## B 制造细节
### B.1 硅胶混合物
我们采用[Glauser等人，2019]推荐的硅胶混合物。对于保护层，将Silbione RTV 4420 [Sil 2019b]的A组分（重量比=1.0）与甲苯（1.0）混合，第二步再加入Silbione RTV 4420的B组分（1.0）。对于导电层，先将Silbione RTV 4420的A组分（1.0）与甲苯（2.0）混合，随后加入Silbione RTV 4420的B组分（1.0）。另外，将Imerys Enasco 250 P [Ens 2019]导电炭黑（0.2）与异丙醇（2.0）混合，搅拌时缓慢加入异丙醇。最后将两种混合物合并并搅拌约3分钟。电介质层由与保护层相同的混合物制成。
### B.2 互连结构
为了将全软硅胶传感器的各个引线连接到读出电路（详见[Glauser等人，2019]的附录B），我们在手套腕部暴露的传感器引线上放置刚性印刷电路板（PCB），这些PCB由PET薄膜支撑，并固定在丙烯酸对位夹具中，见图17。PET薄膜起到了从可拉伸（硅胶传感器）到柔性（PET）再到完全刚性连接器PCB的过渡作用。