Figure 1: We introduce the emg2pose dataset and benchmark to facilitate the development of pose estimation models from sEMG. Our vemg2pose model is capable of estimating in real-time hand pose (lower) from held-out users wearing an sEMG wristband (top). See text for further details.
## 摘要
手是人类与世界互动的主要方式。可靠且随时可用的手部姿态推断技术能够催生全新且直观的人机交互控制方案，尤其是在虚拟现实和增强现实领域。计算机视觉技术虽有效，但需要一台或多台摄像头，且容易受遮挡、视野受限以及光线不佳等因素的影响。基于腕部的可穿戴式表面肌电图（sEMG）则是一种极具前景的替代方案——它作为一种随时可用的模态，能够感知驱动手部运动的肌肉活动。然而，sEMG信号与用户解剖结构及传感器放置位置密切相关，现有的sEMG模型需要数百名用户和多种设备放置方式的数据才能有效实现泛化。为了推动sEMG姿态推断领域的发展，我们推出了emg2pose基准测试，这是目前公开可用的最大规模的高质量手部姿态标签与腕部sEMG记录数据集。emg2pose包含来自193名用户的2kHz采样率、16通道的sEMG数据及姿态标签，这些数据由26个摄像头的动作捕捉系统采集，总时长达370小时，涵盖29种具有多样性的手势——其规模可与基于视觉的手部姿态数据集相媲美。我们提供了具有竞争力的基线模型，并设置了具有挑战性的任务来评估模型在现实场景中的泛化能力：未参与训练的用户、不同的传感器放置方式以及不同手势阶段。emg2pose为机器学习领域的研究人员提供了一个探索复杂泛化问题的平台，有望显著促进基于sEMG的人机交互技术的发展。
---
## 1 引言
尽管计算硬件和软件领域取得了飞速进展，但当前的输入设备在新兴计算平台上仍可能效率低下且不够直观。这一点在虚拟现实和增强现实等空间交互场景中尤为明显——传统的控制器、键盘和鼠标等输入设备往往无法提供直观的控制方案，也缺乏实现精确控制所需的自由度（例如物体操控）。基于手部动作的交互方式能够提供高维度的连续输入，这种输入方式符合人类本能、具有普遍性，且特别适合空间交互[Han等人，2020]。此外，现有的输入方案可视为手部动作的低维度概括，比如鼠标点击仅能表明手指按下了按钮。因此，手部运动学是一种具有潜在整体性且覆盖面广的模态，既能涵盖现有输入方式，又能以自然的方式对其进行拓展。高精度的手部追踪技术能够支持各类AR/VR应用，包括游戏[Han等人，2020]、虚拟教学[Shrestha等人，2022]、远程操作[Santos Carreras，2012；Darvish等人，2023]、触觉反馈[Scheggi等人，2015]、沉浸式真实感体验[Wang等人，2020]、体育数据分析[Gatt等人，2020]，以及医疗保健与康复领域[Krasoulis等人，2017]。
鉴于有效的手部姿态估计具有极高的实用性和广泛的适用性，人们针对多种传感方式开发出了各类方法：光学方法（如单目、多视角、基于深度、动作捕捉、红外），可使用固定摄像头[Cai et al., 2018, Mueller et al., 2018, Ge et al., 2016, Supančič et al., 2018, Park et al., 2020]或头戴式摄像头[Han et al., 2018]；可穿戴数据手套则采用磁性[Parizi et al., 2019]、惯性[Yang et al., 2021]、电容式[Truong et al., 2018]以及拉伸传感器[Shen et al., 2016, Tashakori et al., 2024, Luo et al., 2021]；还有智能戒指[Parizi et al., 2019]；手腕和前臂可穿戴设备则利用阻抗断层扫描[Zhang and Harrison, 2015]、惯性测量单元[Laput and Harrison, 2019]、声学技术[Laput et al., 2016]或超声波[McIntosh et al., 2017]。每种传感方式都有其自身的硬件限制与局限。光学方法在遮挡、光照条件差以及视野受限的情况下表现不佳，且通常需要多台摄像头才能进行有效推断，这就对设备的整体尺寸提出了限制。相比之下，手套式可穿戴设备会妨碍灵巧操作[Roda-Sales et al., 2020]，而前臂可穿戴设备通常仅能支持离散手势分类。
手腕或前臂的表面肌电（sEMG）传感提供了一种颇具吸引力的替代方案，它不会受到遮挡、视野受限、光照条件差或物理束缚的影响。sEMG通过皮肤上的电极来测量运动过程中肌肉产生的电位[Stashuk, 2001]。具体而言，sEMG能够检测脊神经运动神经元激活驱动运动的肌纤维时产生的电活动[Merletti and Farina, 2016]。因此，sEMG特别适用于运动学推断，目前已有诸多相关研究方法被提出[Liu et al., 2021, Quivira et al., 2018, Sosin et al., 2018, Simpetru et al., 2022b]。不过，要学习一个能泛化到新参与者和不同运动学场景的通用sEMG到姿态模型极具挑战性。这是因为sEMG传感存在多个变异维度，主要包括：用户解剖结构、传感器放置位置以及手部运动学[CTRL-labs at Reality Labs et al., 2024, Liu et al., 2021]。用户解剖结构和传感器放置位置会影响传感器相对于肌肉的位置；手部运动学则决定了被感知到的肌肉活动组合。由于这些生成维度众多，sEMG模型对数据的需求极大[CTRL-labs at Reality Labs et al., 2024]，需要在这些维度上收集大量样本才能有效学习出具备泛化能力的通用模型（详见第4.4节实验）。现有数据集在这些生成维度上的覆盖范围不足，因此阻碍了通用模型的开发[Atzori et al., 2014]。
sEMG的另一个复杂之处在于它编码的是肌肉活动，这与我们期望恢复的姿态相比，更接近于实际运动。因此，从sEMG直接推断姿态极具挑战性（详见第4节），可能需要分析较长的历史sEMG序列，才能从间接的运动测量序列中区分出姿态。在存在歧义的情况下，从长序列或上下文中提取相关信息这一问题，已在计算机视觉[Brunetti et al., 2018, Kirillov et al., 2023, Pan et al., 2018]、自然语言[Achiam et al., 2023, Kojima et al., 2022, Gu et al., 2021]以及机器人领域[Lauri et al., 2022, Dunion et al., 2024, Jang et al., 2022]得到了广泛研究。尽管如此，以往的sEMG研究在个性化或单用户姿态推断场景中仍取得了令人鼓舞的成果[Liu et al., 2021, Simpetru et al., 2022b]。
为了推动通用sEMG到姿态模型的发展，我们推出了emg2pose基准数据集。这是一个大规模数据集，包含了同步采集的高保真手腕sEMG记录与手部姿态标签。高分辨率的sEMG记录是通过sEMG-RD腕带获取的。
---
该腕带[CTRL-labs at Reality Labs et al., 2024](see Section 3.1)以及高精度姿态标签则来自一套由26个摄像头组成动作捕捉系统，相较于多视角计算机视觉技术，该系统具有明显优势[Liu et al., 2021; Sosin et al., 2018]。据我们所知，这是目前公开可用的最大规模sEMG手部姿态数据集，涵盖了193名用户、370小时的数据，以及29种多样化的运动类别（称为“阶段”），每个阶段又包含多种低层次行为（称为“手势”）。此外，该数据集包含的8000万帧标注数据，无论是在帧数还是受试者数量上，都与最新、规模最大的计算机视觉数据集不相上下[Sener et al., 2022; Yu et al., 2020]（详见表2）。我们还提供了三种具有竞争力的基线模型以及具有挑战性的手部姿态推断基准测试，用于评估模型对未见过的用户、阶段及用户-阶段组合的泛化能力。关于如何获取和使用emg2pose基准数据集的说明，请参见。鉴于sEMG输入设备具有巨大的潜在影响力，且相关研究挑战与现有领域相似，我们相信这一基准测试将对机器学习社区极具价值。
## 2 相关工作
sEMG数据集：除了姿态回归任务外，还有多个公开的sEMG数据集用于姿态（序列）分类任务。这些数据要么是通过临床级高密度电极阵列和放大器采集的[Amma et al., 2015; Du et al., 2017; Jiang et al., 2021]，要么是通过通道数较少、时间分辨率较低的消费级硬件采集的[Palermo et al., 2017]。临床级硬件可提供数百个记录通道，采样率超过1 kHz，但由于佩戴流程繁琐——包括涂抹导电凝胶前需先刮除皮肤上的毛发以及安装电极阵列——因此并不实用。相比之下，现有的消费级硬件虽然更易于部署，但受限于较低的带宽和通道数，可能无法提供姿态估计所需的保真度。而我们的数据集采用了sEMG-RD腕带[CTRL-labs at Reality Labs et al., 2024]，这种腕带佩戴便捷，可记录16个通道的数据且采样率超过2 kHz，在通用姿态分类建模方面已展现出优异性能。
Table 1: The largest publicly available sEMG datasets. We report the maximum number of gestures performed for Du et al. [^2017], Atzori et al. [^2014] and non amputee subjects for Atzori et al. [^2014]. # Gest. represents the number of poses participants were instructed to perform. Note that pose category definitions vary significantly across datasets.
| Dataset | # Sess. | # Subj. | # Sess. / subj | # Gest. | Inc. Pose |
| Palermo et al. [^2017] | 100 | 10 | 10 | 7 | No |
| Amma et al. [^2015] | 25 | 5 | 5 | 27 | No |
| Du et al. [^2017] | 69 | 23 | 3 | 22 | No |
| Jiang et al. [^2021] | 40 | 20 | 2 | 34 | No |
| Atzori et al. [^2014] | 67 | 67 | 1 | 53 | Yes |
| Ours | 751 | 193 | 4 | 50 | Yes |
采集速率超过1 kHz，但由于穿戴流程繁琐——包括涂抹导电凝胶前需先刮除皮肤上的毛发以及安装电极阵列——因此并不实用。相比之下，现有的消费级硬件虽然更易于部署，却受限于较低的带宽和通道数，可能无法提供姿态估计所需的精细度。而我们的数据集采用了sEMG-RD频段[CTRL-labs at Reality Labs等人，2024]，该设备穿戴快捷，可记录16个通道的数据且采样率超过2 kHz，在通用姿态分类建模方面已展现出优异性能。
Atzori等人[^2014]发布了一个基于消费级肌电技术的姿态回归数据集。该数据集包含37小时同步采集的运动学与sEMG数据，共涉及67个传感器位置。相比之下，我们的数据集涵盖了193名用户、370小时的数据以及751次采集会话，这应有助于我们训练出在这些维度上均具备良好泛化能力的模型（现有数据集的规模对比详见表1）。我们的数据集不仅包含手势类别信息，还包含关节角度数据。
基于sEMG的姿态回归：已有多篇论文研究了基于sEMG的姿态回归问题，不过并未开源相关数据集。Liu等人[^2021]利用MyoBand设备，在包含11名参与者的数据集中估算不同动作下的手部姿态。他们针对不同用户和会话，测试了用于解码手部姿态的sEMG模型，这些模型采用了卷积架构（NeuroPose；详见第3.5节）以及LSTM架构。Simpetru等人[2022a]（SensingDynamics；详见第3.5节）使用临床级系统，在13名参与者中采集了数十分钟的数据集。他们采用定制的3D卷积架构来预测手部关节角度、关键点位置以及握力，结果显示在每位参与者预留的测试集中，姿态追踪误差较低。这类数据集的规模有限：Liu等人[^2021]的研究仅涉及11名参与者，Simpetru等人[2022a]的研究涉及13名参与者，且每位参与者的数据时长分别仅为15分钟或20分钟，这很可能限制了模型在不同用户间的泛化能力。相比之下，我们的数据集包含了193名用户和370小时的数据，有助于开发能够跨用户泛化的通用模型（详见第4.4节）。
基于计算机视觉的姿态估计：近年来，基于计算机视觉（CV）的手部姿态估计受到了广泛关注，这类方法通常以深度图像、RGB图像或两者作为输入，并依托大型开源数据集[Mueller et al., 2017, 2018, Spurr et al., 2018, 2020, 2021, Wan et al., 2019, Boukhayma et al., 2019]。标签要么是通过基于标记的动作捕捉技术获得[Fan et al., 2023]——由于部署时缺少标记物，这会导致输入分布发生偏移；
---
要么采用标签质量或输入质量较低的替代方案，例如多视角摄像头[Zimmermann et al., 2019, Moon et al., 2024]、合成数据[Zimmermann and Brox, 2017]以及磁传感器[Yuan et al., 2017]。相比之下，动作捕捉标记能为sEMG提供高质量的标签，但它们不会影响用于生成预测的数据。
基于计算机视觉的数据集在手势多样性方面，主要侧重于探索手部的完整静态姿态空间[Yuan et al., 2017, Zimmermann and Brox, 2017, Zimmermann et al., 2019]、与物体的交互[Fan et al., 2023, Samarth et al., 2020, Hampali et al., 2020]或手与手之间的交互[Moon et al., 2020, 2024]。相反，我们的数据集侧重于手部的运动，因为与计算机视觉相比，sEMG与运动的相关性比与姿态的相关性更强。此外，我们的数据集包含8000万帧数据以及193名受试者，这一规模优于常见的计算机视觉数据集（详见表2，表中列出了百万帧数、受试者数量和帧率）。
基于其他模态的姿态估计：除了视觉和sEMG之外，还存在多种其他的……
Table 2: Largest CV hand datasets. The per hand row counts the data from the left and right hands independently, whereas the across hands row pools those data.
| Dataset | # Frames | # Subjects | # FPS |
| Yuan et al. [^2017] | 2.2M | 10 | 60 |
| Moon et al. [^2020] | 2.6M | 27 | 5-30 |
| Moon et al. [^2024] | 1.5M | 10 | 5-30 |
| Samarth et al. [^2020] | 2.9M | 50 | n/a |
| Fan et al. [^2023] | 2.1M | 10 | 30 |
| Liu et al. [^2022] | 2.4M | 4 | n/a |
| Sener et al. [^2022] | 111M | 53 | n/a |
| Yu et al. [^2020] | 24M | 453 | 60 |
| Ours (per hand) | 80M | 193 | 60 |
| Ours (across hands) | 40M | 193 | 60 |
可穿戴设备的姿态推断方法（详见第1节），这类方法通常侧重于姿态（序列）分类。例如，Achenbach等人[^2023]发布了一个利用市售传感手套进行姿态分类的数据集。其他数据集通常采用定制硬件，且规模较小，不过有一个例外：有一个包含50名参与者、涵盖25个类别的数据集，可用于利用市售智能手表进行分类[Laput and Harrison, 2019]。
## 3 emg2pose基准测试
### 3.1 sEMG设备
数据是通过CTRL-labs at Reality Labs等人研发的16通道双极sEMG-RD腕带采集的[^2024]。研究证明了该设备在6400名参与者中用于通用姿态序列分类的有效性，这也是迄今为止规模最大的相关研究。无需使用高密度sEMG平台即可实现这一高性能表现[Amma等，2015]，且其外形和使用便捷性与其它低密度平台类似[Rawat等，2016]（设备外观详见图1和图2）。与以往使用的低密度Thalmic Labs Myo腕带不同[Liu等，2021]，后者以200Hz的频率、通过8个通道传输8位数据，而sEMG-RD则以2kHz的频率、通过16个通道传输12位数据。更多细节见附录B.1。
### 3.2 数据集
Table 3: emg2pose dataset statistics, reporting mean and standard deviation. Three separate test sets measure generalization to new users, types of behaviors (stages), and user-behavior combinations (user, stage). Note that the overall hours is the sum of the hours across all splits. The number of hours counts the right-handed and left-handed data separately for each participant.
| Train | Val | Test | Overall |
| User | User, Stage | User | Stage | User, Stage |
| Subjects | 158 | 15 | 15 | 20 | 158 | 20 | 193 |
| Unique stages | 23 | 23 | 6 | 23 | 6 | 6 | 29 |
| Hours | 250.9 | 21.7 | 4.6 | 31.9 | 54.2 | 7.0 | 370.3 |
| Hours / subject | $1.6 \pm 0.4$ | $1.4 \pm 0.5$ | $0.3 \pm 0.1$ | $1.6 \pm 0.3$ | $0.3 \pm 0.1$ | $0.3 \pm 0.0$ | $1.9 \pm 0.5$ |
| Sessions / subject | $3.9 \pm 0.6$ | $3.8 \pm 0.6$ | $3.7 \pm 0.6$ | $3.9 \pm 0.3$ | $3.8 \pm 0.7$ | $3.8 \pm 0.5$ | $3.9 \pm 0.6$ |
征得同意的参与者（见附录A）站在一个由26台摄像机组成的动作捕捉阵列中（附录B.2）。研究人员在每位参与者的手上放置了19个动作捕捉标记（Han等[^2018]），并在其每只手腕上佩戴sEMG-RD腕带[CTRL-labs at Reality Labs等，2024]。所有sEMG数据和动作捕捉数据分别被以2kHz和60Hz的频率传输到实时数据采集系统。我们通过软件时间戳对设备数据流进行时间对齐，发现设备间的相对延迟不到10毫秒。动作捕捉数据经离线逆向运动学（IK）求解器处理后，可重构出手部的关节角度（附录A）。
---
Figure 2: Dataset composition: a) sEMG-RD wrist-band and motion capture marker (white dots) setup. b) Dataset breakdown. i) Users are prompted to perform a sequence of movement types (gestures), such as counting up and down. sEMG and poses are recorded simultaneously. ii) Groups of specific gesture types comprise a stage, such as counting. Stages are partitioned into train/val/test splits (see Section 3.4). Our dataset consists of 29 diverse stages. iii) Each of the 193 users perform various stages, donning on-and-off the wrist band. In total we record 370 hours of data.
以及B.2）。IK求解器有12.7%的帧无法得出结果，通常是由于标记同时被遮挡所致。最后，关节角度会被线性插值至2kHz，以匹配sEMG的采样率。
参与者遵循标准化的数据采集协议，完成一系列时长45至120秒的阶段任务。在这些阶段中，参与者需按随机顺序完成3至5种相似手势的组合（如特定的手指计数顺序，包括升序或降序），或进行无约束的自由运动（更多细节见附录A和B.3）。这些阶段可视为对手势的分类。例如，“计数”阶段将“向上计数”和“向下计数”手势归为一类（见图2）。数据采集期间，大多数用户会佩戴/取下设备4次，少数用户为3次。同一腕带佩戴方式下的若干阶段被定义为一个会话。各阶段的指定动作详情详见附录B.3。每个阶段中，研究人员会通过视频和口头指令引导参与者。参与者被要求让手在身体各部位移动，活动范围涵盖腰部至肩部，以确保采集到多种不同姿势的数据。数据采集的可视化效果见图2。
完整数据集按照参与者、会话和阶段进行分层组织。我们总共从193名参与者处采集了数据，时长达370小时，涵盖751次会话、29种不同阶段（更多详情见附录B.3，统计数据见表3）。需要注意的是，每位参与者的右手和左手数据虽为同步采集，但统计时长时仍分开计算。据我们所知，这是唯一一个开源的表面肌电与动作捕捉数据集，其规模与计算机视觉领域的现有数据集相当[Yuan等人，2017；Brahmbhatt等人，2020；Moon等人，2020、2024]。整个数据集由25,253个HDF5文件组成，每个文件均包含单个手部在某一阶段的时间对齐表面肌电数据与关节角度信息。
### 3.3 任务
emg2pose基准测试包含两项基准任务：姿态回归和姿态跟踪。
回归任务：对于这项任务，此前在Liu等人[^2021]以及Simpetru等人[2022b]的研究中已有探讨，需要从sEMG信号回归到手部关节角度序列。由于无法获知初始手部姿态和速度信息，这属于部分可观测任务[Spaan, 2012]，因此对模型而言极具挑战性。
---
正如第1节所述，姿态回归是最具挑战性的任务，其目的在于推动后续相关研究的发展；这类研究的应用场景包括在计算机视觉技术不可行或可靠性不足的环境下进行的单模态姿态预测。
追踪任务：对于这项较为简单的任务，需要在已知序列中初始手部姿态的前提下，从sEMG信号回归到手部关节角度序列。提供初始姿态能够解决部分可观测性问题。不过，该任务仍存在第1节所讨论的泛化挑战。追踪任务旨在推动初步研究与进展，它有着诸多实际应用价值。有效的追踪器在以下场景中能发挥巨大作用：用户需在追踪开始前匹配给定的姿态；系统会提供视觉姿态预测反馈，帮助用户调整自身姿态以修正错误的初始预测结果；以及当真实姿态估计数据偶尔可得时，比如在计算机视觉场景下出现部分或完全遮挡的情况时。
评估环节：我们针对5秒时长的人体运动轨迹进行评估，并报告测试集的平均绝对关节角度误差($^{\circ}$)以及平均（欧几里得）特征点距离（单位：毫米）。这些特征点对应关节和指尖的笛卡尔坐标。由于该数据集未记录手腕角度数据，因此我们不对手腕角度进行回归分析。除拇指外的其他手指最近端关节对应的特征点误差始终为零，因为手腕不会移动，所以这些特征点不纳入我们的评估指标范畴。我们通过将关节角度代入默认手部模型来获取特征点位置，这一过程会引入偏差，因为它无法与每位用户的解剖结构完美契合。我们将解决这一局限性的工作留待未来开展。在实际应用中，不仅要提升这些指标的平均表现，还要降低人群中的百分位分数，这一点至关重要。
### 3.4 保留测试集设置
有效的姿态推断需要模型能够在不同设备放置位置、用户群体以及手部运动学特征之间实现泛化。以往的研究仅探讨了其中部分维度的泛化能力，比如用户维度[Liu等人，2021年；CTRL-labs at Reality Labs等人，2024年]或设备放置位置维度[Liu等人，2021年；Palermo等人，2017年]，但针对新型运动学特征的泛化能力尚未被明确探究。相比之下，我们设置了三个独立的测试集，旨在分别衡量上述各个维度的泛化能力。每个保留测试场景的统计信息详见表3。简而言之，“用户”类别对应未见过的用户，但运动学特征属于训练集内的类型；“阶段”类别对应未见过的运动学类别，但用户属于训练集内的类型；而“用户+阶段”类别则同时包含未见过的用户和运动学阶段，作为最贴近实际应用场景的测试集，其价值最为突出。所有保留测试集涉及的设备放置位置均为新位置，且在不同会话中各不相同。我们大致按照0.7:0.1:0.2的比例划分训练集、验证集和测试集，具体划分细节见表3。保留测试集的用户是随机选取的，保留测试集的阶段则经过筛选，使其在视觉上与训练集阶段存在明显差异。关于哪些阶段属于训练集、哪些属于保留测试集的细分情况见图3，各阶段的详细信息见表6，数据集的更多细节则见附录B.2.1。
### 3.5 基线模型
我们提供了三种基线模型：NeuroPose和SensingDynamics网络架构的开源复现版本[Liu等人，2021年；Simpetru等人，2022a年]，以及全新的vemg2pose模型。算法细节可参见附录C。
vemg2pose：sEMG能够测量肌肉活动情况，因此与手部运动的相关性比手部静态姿态更强。因此，vemg2pose（“基于速度的emg2pose”）会预测关节角速度，再通过对这些速度积分来得出关节角度的预测值。首先通过因果步长卷积特征提取器对sEMG进行嵌入处理，将sEMG的采样率从2 kHz降至50 Hz。特征提取器采用了时间深度可分离卷积（TDS）网络，因为已有研究表明该网络在自动语音识别领域既高效又节省参数[Hannun等人，2019年]（实现细节见附录C）。随后将每个时间步的特征与上一时间步的关节角度预测值拼接起来，再输入LSTM解码器以生成下一个速度预测值。将这些速度值与之前的关节角度相加，便能得到下一次的预测结果。因此，vemg2pose在预测时具有自回归特性。最后，预测结果会通过线性上采样处理，使其采样率与关节角度目标的采样率相匹配。在跟踪任务中，初始关节角度被设定为真实值，
---
这一数值是根据动作捕捉标签确定的。在回归任务中，初始状态也由解码器预测得出（更多细节见附录C）。
NeuroPose：NeuroPose与vemg2pose在预测空间和网络架构上存在差异。vemg2pose预测的是角速度，而NeuroPose直接预测关节角度。NeuroPose采用带有残差瓶颈层的U-Net架构。简而言之，卷积编码器会对sEMG进行空间和时间上的下采样，同时提取特征，随后通过一系列残差块对这些特征进行优化。最终，解码器通过卷积层和上采样层以原始采样率生成姿态预测值。由于我们的sEMG设备的采样频率是Liu等人研究中使用的MyoBand的10倍，空间分辨率则是其2倍[^2021]，因此我们提高了NeuroPose特征提取器和解码器的时空下采样及上采样倍数（分别为8倍和2倍），以确保其感受野与原模型相当。完整的模型细节可参考Liu等人的研究[^2021]，更多内容见附录C。
SensingDynamics：SensingDynamics与NeuroPose的主要区别在于架构不同。SensingDynamics的特征提取器并非采用U-Net，而是由针对sEMG通道和时间的二维卷积组成，配有可学习的SMU激活函数[Biswas等人，2021年]、批量归一化层、通道间的循环填充层以及dropout层。解码器则由三层MLP构成。独特的是，SensingDynamics还会将经过20Hz低通滤波处理的sEMG作为特征提取器的输入。完整的模型细节可参考Simpetru等人的研究[2022a]，更多内容见附录C。
训练设置：所有算法均经过训练，以最小化预测关节角度与真实关节角度之间的L1误差，以及预测指尖位置与真实指尖位置之间的欧几里得误差。关节角度损失项的权重为1，指尖位置损失项的权重为0.01。我们采用1至6秒内无重叠的轨迹进行训练。除其他超参数外，每种算法的训练轨迹长度都是独立优化的（见表7）。训练共进行500个周期，并以50个周期作为提前停止条件。在训练和评估过程中，没有运动捕捉数据的时间点会被跳过。每张GPU的批量大小设为64。训练在Amazon EC2 g5.48x1大型实例上进行，这些实例配备有8个NVIDIA T4 GPU，整个训练过程耗时不到一天。
## 4 实验
### 4.1 基准测试结果
Table 4: Regression test set results. Mean and standard deviation are reported across users. Bold indicates the significance of a Wilcoxon signed-rank test comparing vemg2pose to NeuroPose and Sensing Dynamics for each metric and condition (.01 threshold adjusted to .0008 via Bonferroni correction, see Appendix C.7 for details).
| Test Set | Baseline | Angular Error ( $^{\circ}$) | Landmark Distance (mm) |
| User | SensingDynamics | $15.5 \pm 1.4$ | $21.8 \pm 2.1$ |
| NeuroPose | $13.2 \pm 1.1$ | $17.5 \pm 1.3$ |
| vemg2pose | $12.2 \pm 1.3$ | $15.8 \pm 1.9$ |
| Stage | SensingDynamics | $18.8 \pm 1.6$ | $26.6 \pm 2.0$ |
| NeuroPose | $17.2 \pm 1.7$ | $24.0 \pm 2.1$ |
| vemg2pose | $15.2 \pm 1.6$ | $20.4 \pm 2.2$ |
| User, Stage | SensingDynamics | $18.7 \pm 1.6$ | $27.2 \pm 2.0$ |
| NeuroPose | $17.5 \pm 1.5$ | $24.9 \pm 1.7$ |
| vemg2pose | $15.8 \pm 1.4$ | $21.6 \pm 2.0$ |
我们在表4中报告回归结果，在表5中报告跟踪结果。由于我们发现不同模型初始种子间的标准差可忽略不计，因此未报告相关数值。结果还按阶段、手指和关节分别在图3、图10和图11中展示。对于回归任务而言，vmeg2pose在角度误差和地标距离两项指标上均优于NeuroPose和SensingDynamics。总体而言，对于未见过的用户和阶段组合，模型精度下降最为明显，这也是所有迁移场景中最难的情况。对于跟踪任务——即提供初始真实姿态的情况下——误差整体较低，这符合预期（见第3.3节）。对于该任务，我们并未报告
---
NeuroPose和SensingDynamics的得分，因为这两类模型最初并未设计为能在推理阶段利用初始真实姿态信息。
Table 5: Tracking test set results. Mean and standard deviation are reported across users.
| Test Set | Baseline | Angular Error ( $^{\circ}$) | Landmark Distance (mm) |
| User | vemg2pose | 7.7 $\pm$ 1.0 | 10.3 $\pm$ 1.5 |
| Stage | vemg2pose | 11.2 $\pm$ 1.4 | 15.2 $\pm$ 1.9 |
| User, Stage | vemg2pose | 11.0 $\pm$ 1.0 | 15.4 $\pm$ 1.4 |
对于所有模型和任务而言，不同用户的性能差异显著，这可能是由于解剖结构上的差异所致（见表4和表5）。性能在不同阶段间也存在明显差异（图3），这很可能与各阶段的运动量和运动类型有关。运动受限的阶段（如StaticHands、WristFlex）对模型来说可能更容易跟踪，因为这些阶段涉及的姿势转换非常有限。而手部姿势复杂且各手指活动动态性强的阶段（如Gesture2、Pointing）则更具挑战性，误差也更大。此外，图10显示不同手指及指关节间的性能差异显著，其中拇指的预测最可靠，其次是食指、中指、无名指和小指。我们还发现，手指的近端关节角比远端关节角更容易跟踪（图11）。综合来看，这表明拇指活动量大的阶段（如ThumbRotations）可能比涉及更普遍手指运动的阶段（如Freestyle1）更容易跟踪。
Figure 3: vemg2pose tracking performance break down by stage and generalization condition. Distributions are over users. Note the variability in performance across stages. Each box shows the median and interquartile range (IQR), and whiskers show the minimum and maximum values that are within 1.5 times the IQR of the lower and upper quartiles.
### 4.2 基于视觉的系统在困难阶段的表现分析
Figure 4: vemg2pose tracking results with/without occlusion (left) and physical interactions (right). Distributions are over users. See Appendix D.1 for more details.
某些阶段是专门设计用来测试基于视觉的手部姿态估计所面临的难题的（详见附录D.1）。我们发现，存在手与手
---
互动或手与物体互动的阶段，其模型性能与没有此类互动的阶段相近（图4右侧），不过由于这些阶段的行为分布存在差异，直接比较较为困难。此外，正如预期，视觉遮挡并不会影响基于sEMG的姿态重建。在基于CV的头戴式追踪系统无法捕捉到手部的阶段，其精度与执行相同行为但无遮挡的阶段相当（图4左侧）。
### 4.3 定性分析
Figure 5: Median percentile held-out user and stage (Counting2). Top: motion capture; bottom: vemg2pose, tracking predictions. Clips unroll evenly left-to-right over a 2 second segment.
我们在图1和图5中绘制了vemg2pose的结果，用于跟踪预留用户和阶段的实时在线及离线运动预测（在线设置详情见附录C.5）。这是最具挑战性的场景，它代表了针对预留运动模式、用户解剖结构以及设备放置位置的泛化能力测试。对于图5，我们选取了一个性能处于中位数的代表性预留阶段（Counting2，见表6）及对应用户进行绘图。可以看出，虽然大部分手指运动都能被追踪到，但并非总是如此。我们在图12至图15中可视化了预留用户及阶段泛化场景下处于上下百分位（15%和85%）的离线运动数据。总体而言，我们发现sEMG姿态推断存在三个特有难题：一是由于传感特性与姿态导数密切相关而导致的角度漂移现象（见图15中的环指部分）；二是涉及较难被感知的内在手部肌肉的运动，比如“瓦肯手”手势中的手指内收/外展动作（见表6）；三是涉及较小且数量较少的肌肉群的运动，比如小指的运动（见图10）以及远端关节运动（见图1）。
### 4.4 数据集规模分析
Figure 6: Generalization vs. number of training users (left two) or stages (right three) for vemg2pose tracking. We subsampled the training users/stages but evaluated on the same held-out users/stages. As seen, performance improves with the number of training users/stages, demonstrating the importance of our dataset scale for effective generalization. Box plots take the same format as Fig. 3.
我们开展了相关实验，以证明数据集规模对实现有效泛化的重要性。如图6所示，增加训练用户的数量能显著降低预留用户的误差，这可能是因为模型接触到了来自具有不同手腕解剖结构用户的sEMG数据。我们还发现，增加每位用户的阶段数量能够提升各种泛化模式下的性能，这也体现了行为多样性的重要性。
### 4.5 量化用户和阶段间的泛化难度
为了直接量化在预留阶段和用户间进行泛化的难度，我们开展了相关实验：将预留用户和阶段的部分数据要么纳入训练集，要么完全排除在外。图7显示，将特定用户和阶段从训练集中排除会显著拉低模型性能，这反映出在这些维度上进行泛化的难度之大。有关实验设置的详细描述可参阅图7。
---
Figure 7: Excluding stages (left) or users (right) from the training set markedly decreases performance for these stages/users. For the include stages/users condition, we include 70% of the data from the held-out stages/users in the training set. For the exclude stages/users condition we exclude that 70% entirely. Both test sets are identical allowing us to isolate the influence of holding out stages/users. Data are from a tracking task with a vemg2pose model. Distributions are over users.
## 5 局限性与未来工作
建模方面：我们对通用的sEMG到姿态建模进行了初步探索，并向社区开源了相关基准模型。不过，仍有许多尚未涉足但可能富有潜力的序列建模方向有待发掘，比如基于状态空间和扩散的方法。针对由传感器噪声和解剖结构差异引入的不确定性环境下的姿态估计问题，也可借助概率方法来解决[Danelljan et al., 2020]。模型个性化也被证明具有积极作用[CTRL-labs at Reality Labs et al., 2024, Liu et al., 2021]，但我们在此并未探讨这一方向。此外，尽管我们的模型无需推断手腕位置或用户解剖结构，但其得到的地标点距离误差仍高于计算机视觉领域的报道值[Boukhayma et al., 2019, Mueller et al., 2017]。弥补这一性能差距具有重要意义。最后，由于无法广泛获取sEMG-RD腕带[CTRL-labs at Reality Labs et al., 2024]，可能会限制对模型进行人机交互测试。
指标：我们的地标距离指标采用默认的手部模型，将关节角度转换为关节位置。手部模型与人体解剖结构之间的不匹配会导致该指标出现偏差。总体而言，我们的指标无法反映模型预测的物理合理性。例如，我们观察到vemg2pose有时会预测出不可行的运动学结果，比如手指间的相互穿透现象。提供能够捕捉这些故障模式的指标将具有重要价值，尤其是在具身应用领域[Yuan等人，2023]。可以借鉴Yuan等人的做法[[^2023]]，利用手部模拟器[Caggiano等人，2022]来确保模型符合物理约束。最后，我们设置的预留用户阶段测试场景旨在最大程度地反映现实世界中的实际表现。不过，它并未涵盖一系列潜在的信号干扰因素，比如：电极与皮肤接触产生的伪影、汗液引起的阻抗变化、外部设备产生的电干扰，以及肌肉疲劳导致的非平稳性。虽然这些因素对表面肌电信号变异性的影响可能较小，但在未来的数据集和测试集中纳入它们或许十分重要。
数据集：我们在附录B.4中讨论了数据集的局限性。
伦理与社会影响：我们在附录B.5中讨论了伦理与社会影响。
## 6 结论
我们推出了emg2pose基准测试，这是目前规模最大、种类最丰富且开源的高保真表面肌电信号记录及手部姿态标签数据集。我们提出了具有竞争力的基准测试模型，这些模型能够对预留用户、阶段和会话的手部姿态进行追踪或回归预测；不过未来研究仍有很大空间来改进这些模型。由于表面肌电信号存在多种变异来源，要揭示表面肌电信号与运动之间的关系并使其能适用于不同人群和运动学场景，可能需要借鉴相关机器学习领域的研究成果，实现新的算法突破。像emg2pose这样的大型数据集理应能促进表面肌电信号解码领域以及更广泛的生物信号机器学习领域的发展。这一进步将催生直观且维度高的人机交互界面，它们将被视作我们自身的延伸。
---
## 7 致谢
我们感谢Patrick Kaifosh和TR Reardon的资助与支持，也感谢CTRL-labs团队的协作与帮助。我们感谢Carl Hewitt和Migmar Tsering在数据收集方面的协助，感谢Steve Olsen和Mark Hogan在动作捕捉录制设置上的帮助，感谢John Choi和Diogo Peixoto提供的技术协助与建议，同时感谢Dano Morrison和Sunaina Rajani在可视化方面的协助。
## 参考文献
P. Achenbach、S. Laux、D. Purdack、P. N. Müller和S. Göbel。给我一个信号：利用数据手套进行静态手形识别。$\underline{\text{Sensors}}$，23(24):9847，2023年。
J. Achiam、S. Adler、S. Agarwal、L. Ahmad、I. Akkaya、F. L. Aleman、D. Almeida、J. Altenschmidt、S. Altman、S. Anadkat等。GPT-4技术报告。arXiv预印本arXiv:2303.08774，2023年。
C. Amma、T. Krings、J. Börer和T. Schultz。利用高密度肌电图推进肌肉计算机接口的发展。收录于$\underline{\text{Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems}}$，第929–938页，2015年。
M. Atzori、A. Gijsberts、C. Castellini、B. Caputo、A.-G. M. Hager、S. Elsig、G. Giatsidis、F. Bassetto和H. Müller。用于非侵入式自然控制机械手假体的肌电图数据。$\underline{\text{Scientific data}}$，1(1):1-13，2014年。
K. Biswas、S. Kumar、S. Banerjee和A. K. Pandey。Smu：一种基于平滑最大值技术的深度网络平滑激活函数。arXiv预印本arXiv:2111.04682，2021年。
A. Boukhayma、R. d. Bem和P. H. Torr。来自野外图像的3D手部形状与姿态估计。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第10843–10852页，2019年。
S. Brahmbhatt、C. Tang、C. D. Twigg、C. C. Kemp和J. Hays。Contactpose：包含物体接触与手部姿态的抓取数据集。收录于$\underline{\text{Computer Vision-ECCV 2020: 16th European Conference,}}$ 2020年8月23日至28日在英国格拉斯哥举行的会议论文集第13部分第16卷，第361–378页。Springer出版社，2020年。
A. Brunetti、D. Buongiorno、G. F. Trotta和V. Bevilacqua。用于行人检测与跟踪的计算机视觉与深度学习技术综述。$\underline{\text{Neurocomputing}}$，第300卷：17–33页，2018年。
V. Caggiano、H. Wang、G. Durandau、M. Sartori和V. Kumar。Myosuite——一套用于肌肉骨骼运动控制的富含接触的仿真套件。arXiv预印本arXiv:2205.13600，2022年。
Y. Cai、L. Ge、J. Cai和J. Yuan。基于单目RGB图像的弱监督3D手部姿态估计。收录于$\underline{\text{Proceedings of the European conference on computer vision (ECCV)}}$，第666–682页，2018年。
CTRL-labs at Reality Labs、D. Sussillo、P. Kaifosh和T. Reardon。一种用于人机交互的通用非侵入式神经运动接口。bioRxiv，2024年。doi: 10.1101/2024.02.23.581779。链接：。
M. Danelljan、L. V. Gool和R. Timofte。用于视觉跟踪的概率回归方法。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第7183–7192页，2020年。
K. Darvish、L. Penco、J. Ramos、R. Cisneros、J. Pratt、E. Yoshida、S. Ivaldi和D. Pucci。人形机器人的远程操控：综述。$\underline{\text{IEEE Transactions on Robotics}}$，第39卷第3期：1706–1727页，2023年。
Y. Du、W. Jin、W. Wei、Y. Hu和W. Geng。基于表面肌电信号的跨会话手势识别，通过深度域适应技术得到增强。Sensors，第17卷第3期：458页，2017年。
M. Dunion、T. McInroe、K. S. Luck、J. Hanna和S. Albrecht。强化学习中用于解耦表示的条件互信息方法。$\underline{\text{Advances in Neural Information Processing Systems}}$，第36卷，2024年。
---
Z. Fan、O. Taheri、D. Tzionas、M. Kocabas、M. Kaufmann、M. J. Black和O. Hilliges。Arctic：一个用于灵巧双手法-物体操控的数据集。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第12943–12954页，2023年。
I. T. Gatt、T. Allen和J. Wheat。使用电磁跟踪系统测量拳击运动中腕关节角度的精度与重复性。$\underline{\text{Sports Engineering}}$，第23卷：1–10页，2020年。
L. Ge、H. Liang、J. Yuan和D. Thalmann。单深度图像中的鲁棒3D手部姿态估计：从单视图CNN到多视图CNN。收录于$\underline{\text{Proceedings of the IEEE conference on computer vision and pattern recognition}}$，第3593–3601页，2016年。
T. Gebru、J. Morgenstern、B. Vecchione、J. W. Vaughan、H. Wallach、H. D. III和K. Crawford。数据集数据表。$\underline{\text{Communications of the ACM}}$，第64卷第12期：86–92页，2021年。
A. Gu、K. Goel和C. Ré。利用结构化状态空间高效建模长序列。$\underline{\text{arXiv}}$ 预印本arXiv:2111.00396，2021年。
S. Hampali、M. Rad、M. Oberweger和V. Lepetit。Honnotate：一种用于手部与物体姿态的3D标注方法。收录于$\underline{\text{Proceedings of the IEEE/CVF conference on computer vision and pattern recognition}}$，第3196–3206页，2020年。
S. Han、B. Liu、R. Wang、Y. Ye、C. D. Twigg和K. Kin。基于光学标记点的在线手部跟踪，采用深度标签技术。$\underline{\text{Acm transactions on graphics (tog),}}$ 第37卷第4期：1-10页，2018年。
韩S、刘B、卡贝萨斯R、特威格C. D.、张P、佩特考J、余T.-H.、戴C.-J.、阿克拜M、王Z等。Megatrack：用于虚拟现实的单色自中心关节手追踪技术。$\underline{\text{ACM Transactions on Graphics (ToG)}}$，39(4)：87-1，2020年。
韩S、吴P、张Y、刘B、张L、王Z、司W、张P、蔡Y、霍丹T、卡贝萨斯R、陈L、阿克拜M、余T.、凯斯金C.、王R。Umetrack：用于虚拟现实的统一多视角端到端手部追踪技术。收录于2022年SIGGRAPH Asia会议论文集，SA 2022，韩国大邱，2022年12月6日至9日，2022年。
汉农A、李A、徐Q、科洛贝尔R。基于时间深度可分离卷积的序列到序列语音识别技术。$\underline{\text{arXiv preprint arXiv:1904.02619}}$，2019年。
英格拉姆J. N.、科尔丁K. P.、霍华德I. S.、沃尔珀特D. M.。自然手部运动的统计特性。$\underline{\text{Experimental brain research}}$，188：223–236，2008年。
张E、伊尔潘A、汗萨里M.、卡普勒D.、埃伯特F.、林奇C.、莱文S.、芬恩C.。Bc-z：基于机器人模仿学习的零样本任务泛化技术。收录于$\underline{\text{Conference on Robot Learning}}$，第991-1002页。PMLR，2022年。
蒋X、刘X、范J、叶X、戴C.、克兰西E. A.、阿凯M.、陈W。高密度表面肌电图记录的开源数据集、工具箱及基准测试结果。IEEE神经系统与康复工程学报，29：1035–1046，2021年。
肯顿J. D. M.-W. C.、图塔诺娃L. K.。Bert：用于语言理解的深度双向Transformer预训练模型。收录于$\underline{\text{Proceedings of naacL-HLT}}$，第1卷，第2页。明尼苏达州明尼阿波利斯，2019年。
基里洛夫A、明顿E、拉维N、毛H.、罗兰C.、古斯塔夫森L.、肖T.、怀特黑德S.、伯格A. C.、罗W.-Y.等。Segment Anything。收录于$\underline{\text{Proceedings of the IEEE/CVF International Conference on Computer Vision}}$，第4015-4026页，2023年。
小岛T、顾S. S.、里德M.、松尾Y.、岩泽Y.。大型语言模型具备零样本推理能力。神经信息处理系统进展，35：22199–22213，2022年。
克拉索利斯A、基拉努I、埃尔登M. S.、纳扎普尔K.、维贾亚库马尔S。通过同时使用肌电和惯性测量来改进假肢手控制。$\underline{\text{Journal of neuroengineering and rehabilitation}}$，14：1-14，2017年。
拉普特G、哈里森C.。利用智能手表感知精细的手部活动。收录于$\underline{\text{Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems}}$，第1–13页，2019年。
---
拉普特G、肖R.、哈里森C.。Viband：利用普通智能手表加速度计实现高保真生物声学传感。收录于第29届用户界面软件与技术年度研讨会论文集，UIST '16，第321–333页，美国纽约，2016年。计算机协会。ISBN 。doi: 10.1145/2984511.2984582。网址：。
劳里M、许D.、帕贾里宁J.。机器人领域中的部分可观测马尔可夫决策过程综述。$\underline{\text{IEEE Transactions on Robotics}}$，39(1)：21–40，2022年。
刘Y、张S.、高德M.。Neuropose：利用肌电可穿戴设备进行3D手部姿态追踪。收录于$\underline{\text{Proceedings of the Web Conference 2021}}$，第1471–1482页，2021年。
刘Y、刘Y、江C.、吕K.、万W.、沈H.、梁B.、傅Z.、王H.、易L.。HOI4D：用于类别级人机交互的4D自中心数据集。收录于IEEE/CVF计算机视觉与模式识别会议论文集，第21013–21022页，2022年。
罗Y、李Y、夏尔马P.、寿W.、吴K.、福谢M.、李B.、帕拉西奥斯T.、托拉尔巴A.、马图西克W.。利用柔性触觉纺织品学习人与环境的互动。$\underline{\text{Nature Electronics}}$，4(3)：193–201，2021年。
J. McIntosh、A. Marzo、M. Fraser和C. Phillips。Echoflex：基于超声成像的手势识别技术。载于2017年CHI人机交互系统会议论文集，第1923–1934页，2017年。
R. Merletti和D. Farina。$\underline{\text{Surface electromyography: physiology, engineering, and applications.}}$。John Wiley & Sons出版社，2016年。
G. Moon、S.-I. Yu、H. Wen、T. Shiratori和K. M. Lee。Interhand2.6m：基于单张RGB图像的三维手部交互姿态估计数据集及基准模型。载于$\underline{\text{Computer Vision-ECCV 2020: 16th European Conference, Glasgow, UK, August 23-28, 2020, Proceedings, Part XX 16,}}$，第548-564页。Springer出版社，2020年。
G. Moon、S. Saito、W. Xu、R. Joshi、J. Buffaloini、H. Bellan、N. Rosen、J. Richardson、M. Mize、P. De Bree等。重新打光的三维手部交互数据集。$\underline{\text{Advances in Neural Information Processing Systems}}$，第36卷，2024年。
F. Mueller、D. Mehta、O. Sotnychenko、S. Sridhar、D. Casas和C. Theobalt。基于 Egocentric RGB-D 传感器的遮挡情况下实时手部追踪技术。载于$\underline{\text{Proceedings of the IEEE International Conference on Computer Vision}}$，第1154–1163页，2017年。
F. Mueller、F. Bernard、O. Sotnychenko、D. Mehta、S. Sridhar、D. Casas和C. Theobalt。用于单目RGB图像实时三维手部追踪的生成式手部模型。载于$\underline{\text{Proceedings of the IEEE conference on computer vision and pattern recognition}}$，第49–59页，2018年。
F. Palermo、M. Cognolato、A. Gijsberts、H. Müller、B. Caputo和M. Atzori。基于表面肌电信号数据的机械手假肢控制中抓取识别的可重复性研究。载于$\underline{\text{2017 International Conference on Rehabilitation Robotics (ICORR)}}$，第1154–1159页。IEEE出版社，2017年。
X. Pan、P. Luo、J. Shi和X. Tang。Two at once：通过IBN-Net增强学习与泛化能力。载于$\underline{\text{Proceedings of the european conference on computer vision (ECCV)}}$，第464–479页，2018年。
F. S. Parizi、E. Whitmire和S. Patel。Auraring：高精度电磁手指追踪技术。《ACM交互式、移动式、可穿戴式与普适技术会议录》，第3卷第4期：1–28页，2019年。
G. Park、T.-K. Kim和W. Woo。基于域迁移学习的单红外摄像头三维手部姿态估计技术。载于$\underline{\text{2020 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)}}$，第588–599页。IEEE出版社，2020年。
Plotly Technologies Inc. 协作数据科学，2015年。网址：。
F. Quivira、T. Koike-Akino、Y. Wang和D. Erdogmus。利用循环神经网络将表面肌电信号转换为连续手部姿态。载于$\underline{\text{2018 IEEE EMBS International Conference on Biomedical & Health Informatics}}$（BHI），第166–169页。IEEE出版社，2018年。
---
S. Rawat、S. Vats和P. Kumar。Myo臂环设备的评估与探索。载于$\underline{\text{2016 International Conference System Modeling & Advancement in Research Trends (SMART)}}$，第115–120页。IEEE出版社，2016年。
A. Roda-Sales、J. L. Sancho-Bru、M. Vergara、V. Gracia-Ibáñez和N. J. Jarque-Bou。佩戴智能手套对操作过程中手动技能的影响。$\underline{\text{Journal of biomechanics}}$，第98卷：109512页，2020年。
B. Samantha、T. Chengcheng、D. T. Christopher、C. K. Charles和H. James。ContactPose：包含物体接触信息与手部姿态的抓取数据集。载于$\underline{\text{European Conference on Computer Vision (ECCV)}}$，2020年。
L. Santos Carreras。提升远程手术中的触觉保真度与人体工程学性能。洛桑联邦理工学院技术报告，2012年。
S. Scheggi、L. Meli、C. Pacchierotti和D. Prattichizzo。触摸虚拟现实：利用Leap Motion控制器进行手部追踪，结合可穿戴触觉设备实现沉浸式触觉渲染。载于$\underline{\text{ACM SIGGRAPH 2015 Posters}}$，第1-1页。2015年。
F. Sener、D. Chatterjee、D. Shelepov、K. He、D. Singhania、R. Wang和A. Yao。Assembly101：用于理解程序性活动的大规模多视角视频数据集。载于IEEE/CVF计算机视觉与模式识别会议论文集，第21096–21106页，2022年。
沈Z、易J、李X、Lo M. H. P.、陈M. Z.、胡Y、王Z。一种柔性可拉伸弯曲传感器及其在数据手套中的应用。$\underline{\text{Robotics and biomimetics}}$，3(1)：22，2016年。
Shrestha S、Fermüller C、黄T、Win P. T.、Zukerman A、Parameshwara C. M.、Aloimonos Y。Aimusicguru：借助音乐辅助的人体姿态校正。arXiv预印本arXiv:2203.12829，2022年。
Simpetru R. C.、Arkudas A、Braun D. I.、Osswald M.、de Oliveira D. S.、Eskofier B.、Kinfe T. M.、Del Vecchio A。利用神经接口和深度学习感知人手的全部动态。$\underline{\text{bioRxiv}}$，第2022-07页，2022a年。
Simpetru R. C.、Osswald M.、Braun D. I.、Oliveira D. S.、Cakici A. L.、Del Vecchio A。通过卷积深度学习，根据肌电信号精确连续预测手部的14个自由度。收录于$\underline{\text{2022 44th Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)}}$，第702–706页。IEEE出版社，2022b年。
Sosin I、Kudenko D、Shpilman A。利用循环神经网络和对抗域适应技术，从sEMG传感器数据中进行连续手势识别。收录于$\underline{\text{2018 15Th international conference on control, automation, robotics and vision (ICARCV),}}$，第1436–1441页。IEEE出版社，2018年。
Spaan M. T.。部分可观测马尔可夫决策过程。收录于$\underline{\text{Reinforcement learning: State-of-the-art}}$，第387-414页。施普林格出版社，2012年。
Spurr A、Song J、Park S、Hilliges O。跨模态深度变分手部姿态估计。收录于$\underline{\text{Proceedings of the IEEE conference on computer vision and pattern recognition}}$，第89–98页，2018年。
Spurr A、Iqbal U、Molchanov P、Hilliges O、Kautz J。基于生物力学约束的弱监督3D手部姿态估计。收录于$\underline{\text{European conference on computer vision}}$，第211–228页。施普林格出版社，2020年。
Spurr A、Dahiya A、Wang X、Zhang X、Hilliges O。通过对比学习，从单目RGB图像中自监督估计3D手部姿态。收录于$\underline{\text{Proceedings of the IEEE/CVF international conference on computer vision}}$，第11230-11239页，2021年。
Stashuk D。在$\underline{\text{g}}$信号分解中：如何实现并加以应用？$\underline{\text{Journal of Electromyography and Kinesiology}}$，11(3)：151-173，2001年。
Supančič J. S.、Rogez G、杨Y、Shotton J、Ramanan D。基于深度的手部姿态估计：方法、数据与挑战。《国际计算机视觉杂志》，126：1180–1198，2018年。
---
Tashakori A、江Z、Servati A、Soltanian S、Narayana H、Le K、Nakayama C、杨C.-l.、Wang Z. J.、Eng J. J.等。利用机器学习驱动的可拉伸智能纺织手套捕捉复杂的手部运动与物体交互。$\underline{\text{Nature Machine Intelligence}}$，6(1)：106–118，2024年。
Truong H、张S、Muncuk U、Nguyen P、Bui N、Nguyen A、吕Q、Chowdhury K、Dinh T、Vu T。Capband：一种无需电池、可连续电容感应的腕带，用于手势识别。收录于第16届ACM嵌入式网络传感器系统会议论文集，第54–67页，2018年。
Wan C、Probst T、Gool L. V.、Yao A。通过拟合训练实现自监督3D手部姿态估计。收录于$\underline{\text{Proceedings of the IEEE/CVF conference on computer vision and pattern recognition}}$，第10853-10862页，2019年。
王J、Mueller F、Bernard F、Sorli S、Sotnychenko O、钱N、Otaduy M. A.、Casas D、Theobalt C。RGB2Hands：从单目RGB视频中实时追踪3D手部交互。《ACM图形学交易》（ToG），39(6)：1–16，2020年。
杨Z、严S、van Beijnum B.-J. F.、李B、Veltink P. H.。利用惯性传感器、磁传感器和磁铁进行手指姿态估计。$\underline{\text{IEEE sensors journal}}$，21(16)：18115–18122，2021年。
于Z.、尹J. S.、李I. K.、Venkatesh P.、朴J.、于J.和朴H. S.。Humbi：一个大型多视角人体表情数据集。收录于$\underline{\text{Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition}}$，第2990-3000页，2020年。
袁S.、叶Q.、Stenger B.、Jain S.和Kim T.-K.。Bighand2.2m基准测试：手部姿态数据集及最新技术分析。收录于$\underline{\text{Proceedings of the IEEE conference on computer vision and pattern recognition}}$，第4866-4874页，2017年。
袁Y.、宋J.、Iqbal U.、Vahdat A.和Kautz J.。Physdiff：基于物理引导的人体运动扩散模型。收录于IEEE/CVF国际计算机视觉会议论文集，第16010–16021页，2023年。
张Y.和Harrison C.。Tomo：用于手势识别的可穿戴式低成本电阻抗成像设备。收录于第28届ACM用户界面软件与技术年会论文集，第167–173页，2015年。
Zimmermann C.和Brox T.。从单张RGB图像学习估计3D手部姿态。收录于IEEE国际计算机视觉会议论文集，第4903–4911页，2017年。
Zimmermann C.、Ceylan D.、杨J.、Russell B.、Argus M.和Brox T.。Freihand：一个用于从单张RGB图像中无标记捕捉手部姿态与形状的数据集。收录于IEEE/CVF国际计算机视觉会议论文集，第813–822页，2019年。
---
## 检查清单
1. 对于所有作者……
(a) 摘要和引言中提出的主要主张是否准确反映了论文的贡献与范围？[是]
(b) 您是否描述了工作的局限性？[是] 详见第5节。
(c) 您是否讨论了工作可能带来的负面社会影响？[是] 详见附录B.5。
(d) 您是否阅读了伦理审查指南并确保论文符合相关要求？[是]
2. 如果您包含了理论结果……
(a) 您是否陈述了所有理论结果的完整假设条件？[不适用]
(b) 您是否包含了所有理论结果的完整证明？[不适用]
3. 如果您进行了实验（例如基准测试）……
(a) 您是否提供了重现主要实验结果所需的代码、数据和说明（在补充材料中或提供URL）？[是] 我们在第1节中提供了指向的链接，其中包含所有相关信息。
(b) 您是否说明了所有的训练细节（例如数据划分、超参数及其选择方式）？[是] 详见第3节、附录A至C以及表3、表6和表7。
(c) 您是否报告了误差范围（例如多次运行实验后针对随机种子的误差）？[是] 例如，可参见表4、表5和图3。我们包含了跨用户和阶段计算得出的标准差和百分位数统计数据。由于不同模型随机种子间的差异极小，因此未报告基于随机种子的误差范围。
(d) 您是否说明了所用的总计算量及资源类型（例如GPU型号、内部集群或云服务提供商）？[是] 详见第3.5节。
4. 如果您使用了现有资源（例如代码、数据、模型）或正在整理/发布新资源……
(a) 如果你的研究工作使用了现有资源，你是否引用了相关创作者？【是】关于我们提供的现有基准模型及所用架构的详细信息，请参阅第3.5节；关于用于数据采集的Optitrack系统的详情，请参阅第3.2节和附录B.2；关于腕带的详情请参阅附录B.1；包括我们所基于的Python包在内的详细信息请参阅附录A。
(b) 你是否说明了这些资源的许可协议？【是】数据集和代码的许可协议为CC-BY-NC-SA 4.0，相关内容列于附录A和代码仓库中。
(c) 你是否在补充材料或URL中包含了任何新资源？【是】
我们以zip格式向审稿人提供视频，关于如何访问数据集的进一步说明详见附录B.6。
(d) 你是否讨论了所使用/整理的数据是否获得了相关人员的同意，以及获取同意的方式？【是】请参阅附录A。
(e) 你是否讨论了所使用/整理的数据是否包含个人可识别信息或冒犯性内容？【是】我们在第3.2节和附录A中讨论了如何移除个人可识别信息。
5. 如果你采用了众包方式或开展了涉及人类受试者的研究……
(a) 你是否包含了给参与者的完整指导文本及截图（如适用）？【否】我们对实验指导进行了详细描述，并列出了要求参与者完成的动作列表（详见附录A和B）。
(b) 你是否说明了潜在的参与者风险，并附上机构审查委员会（IRB）的批准链接（如适用）？【是】我们在附录A中讨论了知情同意流程，以及所有研究均获得外部IRB批准的情况。
(c) 你是否说明了支付给参与者的预估时薪以及用于支付参与者报酬的总金额？【不适用】我们通过第三方供应商招募所有参与者，其报酬根据市场标准确定。相关细节见附录A。
---
## 数据表
我们按照Gebru等人的方法 [^2021] 提供了数据表。
研发动机：开发emg2pose的目的是解决缺乏广泛分布、规模足够大且带有高质量真实标注的非侵入式表面肌电图（sEMG）数据集的问题，以满足特定任务需求。sEMG技术有望彻底改变人类与计算机的交互方式，发布这一公开数据集旨在推动该领域的发展，且无需依赖专用硬件。我们选取的任务为手部姿态推断，这是一种具有全面性和包容性的模态，拥有诸多仿生应用场景。该数据集由Meta旗下Reality Labs的CTRL-Labs研究小组创建。
数据集构成：整个数据集包含 25,253 个 HDF5 文件，每个文件分别记录了单个手部在单个阶段的时间对齐的 sEMG 数据与关节角度。我们总共从 193 名参与者处采集了数据，总时长达 370 小时，涵盖 29 种不同的阶段。所统计的小时数包含了每位参与者同时采集的右手和左手数据。每个 HDF5 文件均包含某只手上的 sEMG 数据、阶段标签以及关节角度信息。sEMG 数据的采样率为 2kHz，经过 40 Hz 的高通滤波处理，且经过缩放后其噪声底的标准差被设定为 1。由于佩戴在左手与右手上的传感器极性相反，我们会对左手的肌电数据符号进行翻转调整。此外，该数据集还包含一个 CSV 格式的元数据文件，其中记载了数据集的划分信息（训练集、验证集和测试集）。所有元数据均已去除个人身份信息，不会透露任何亚群体特征。关于数据集的更多细节可参见第 3 节，数据集的相关统计数据（如参与者数量、总时长、会话次数及阶段数等）则列于表 3 中；有关阶段构成的进一步详情可查阅表 6。实验中采用的具体数据划分配置可通过以下链接查看：。
数据采集过程：我们通过第三方供应商招募参与者，并按市场标准向参与者支付报酬。所有的招募与入组流程均遵循外部 IRB 批准的协议。我们会向参与者提供研究相关信息，并在研究开始前要求他们审阅并签署经 IRB 审核的知情同意书。我们允许所有参与者在研究前提问，且参与者可在任何时间终止参与。为确保参与者的身心健康，现场研究人员会在研究期间全程监控参与者状态。所有数据均已去除个人身份相关的元数据。参与者需站在一个由 26 个摄像头组成的动作捕捉阵列中（见附录 B.2）。研究人员会在每位参与者的双手上分别放置 19 个动作捕捉标记（Han 等人 [^2018]），并在每只手腕上佩戴 sEMG-RD 传感器 [CTRL-labs at Reality Labs et al., 2024](Appendix B.2)。所有 sEMG 数据与动作捕捉数据分别以 2kHz 和 60Hz 的速率传输至实时数据采集系统（见附录 B.1 和 B.2）。参与者需按照标准化的数据采集协议完成 30–120 秒不等的多个阶段，每个阶段中他们需要执行 3–5 种手势。我们将数据采集过程分为两组，每组分别包含 15 个和 26 个阶段，且每组采用不同的传感器佩戴方式；采用相同佩戴方式的一组阶段被称为一个“会话”。关于阶段与数据采集的更多细节可参见附录 B.2.1 和 B.3。
预处理/清洗/标注：数据集中的 sEMG 记录采样率为 2 kHz，位深为 12 位，最大信号振幅为 6.6 mV；在数字化处理前，这些信号会先经过带通滤波，其 -3 dB 截止频率分别为 20 Hz 和 850 Hz（见附录 B.1）。
关节角度是通过运动捕捉记录，利用定制的逆向运动学流程，根据Han等人[^2018]提出的个性化手部模型估算得出的。简而言之，每只手上贴有19个反光标记点，通过安装在参与者周围的26个摄像头的商用Optitrack系统来追踪它们的三维坐标。随后，卷积神经网络会为每个标记点分配标签。这些带有标签的标记点会被映射到校准后的手部网格上以确定各标志点的位置。逆向运动学求解器最终生成关节角度。为确保没有残留抖动，我们对最终的关节角度应用了15 Hz的低通滤波器（Ingram等人[^2008]）。在500次记录中，滤波后信号与未滤波信号之间的平均绝对差异仅为0.32度。
该模型能够估算出每个手指的MCP、PIP和DIP关节，以及拇指的IP、MCP和CMC关节的关节角度。每个关节都有一个用于屈伸的自由度，而每个MCP关节还额外具备一个用于外展和内收的自由度。
---
在估算出关节角度之后，我们采用基于通用手部模型的顺向运动学算法来估算标志点的位置[Han等人，2022]。我们以每个关节的中心以及指尖作为评估用的标志点位置。最后，关节角度会经过15 Hz的低通滤波处理以消除追踪噪声，随后在时间维度上进行上采样，使其采样率与sEMG的2 kHz采样率相匹配。
用途：该数据集及相关工具仅可用于推动学术界内基于sEMG的研究课题发展，且仅限于非商业用途和应用。我们的基线模型代码基于PyTorch、PyTorch Lightning和Hydra等框架开发，设计上便于扩展，以支持针对不同模型和新技术的相关探索。该数据集及相关代码并不打算与其他类型的数据配合使用。
分发与维护：该数据集及用于复现基线实验的代码可通过获取。数据集托管于Amazon S3，复现基线实验的代码则发布在GitHub上，遵循CC-BY-NC-SA 4.0许可协议。我们欢迎研究界的贡献。任何未来更新以及持续的维护工作，比如跟踪和解决社区反馈的问题，都将通过GitHub仓库进行并分发。
## B 数据集详情
Figure 8: Participant demographic information. Train and val users are shown in the top row, and test users on the bottom. Notice that test users are representative of the population of train/val users.
### B.1 sEMG传感
sEMG数据是通过sEMG-RD [CTRL-labs at Reality Labs等人，2024]设备采集的，该设备包含16对差分电极，采用镀金干电极。这16个电极排列在一条刚性带上，在手腕尺侧靠近尺骨茎突的位置，电极0和15之间会留有一个间隙。左右手佩戴的带状设备完全相同，相同编号的电极对应相同的解剖结构，但差分传感的极性相反。该带状设备通过弹性绑带固定，间隙大小取决于使用者的手腕尺寸及绑带松紧程度。该带状设备有三种不同尺寸，以适应较大的手腕尺寸差异；电极本身采用弹簧结构，可进一步适应手腕尺寸的细微变化。相比之下，此前使用的低密度Thalmic Labs Myo带状设备[Rawat等人，2016]仅在8个通道上以200Hz的频率传输数据，且分辨率为8位。
### B.2 运动捕捉
所有动作捕捉数据均使用由26个摄像头组成的运动捕捉阵列在外部数据采集设施中采集，采样频率为60 Hz（Prime13W Optitrack）。采集数据前，参与者需佩戴sEMG传感器。
---
我们在每只手腕上佩戴一个sEMG传感器，并按顺序在面部贴上19个直径为3毫米的动作捕捉标记点。标记点被放置在每个手指的指甲根部、远节指骨与中节指骨之间以及中节指骨与近节指骨之间。对于拇指而言，标记点被放置在指间关节与近节指骨之间、近节指骨上，以及近节指骨与掌指关节之间。此外，我们还在手背处以三角形排列的方式放置了标记点 [Han et al., 2018]。参与者还佩戴了一个3D打印的XR头显框架，该框架通过线缆连接到PC，不过它与本次数据采集无关。采集前，要求参与者用每只手完成17个校准动作。这些动作会被输入到定制的优化软件中，用于估算手部尺寸以及动作捕捉标记点相对于关节的位置 [Han et al., 2018]。我们将个性化的手部模型信息保存到单独的文件中，以便后续离线使用时能根据采集的动作捕捉数据估算关节角度。
数据采集期间，sEMG数据通过蓝牙传输到实时数据采集应用程序。动作捕捉数据则通过以太网由Motive2（Naturalpoint）记录，随后被传输到同一数据采集流程中。sEMG和动作捕捉数据流会根据其到达数据采集流程的时间被赋予软件时间戳。内部测试表明，两种记录路径之间的相对延迟低于10毫秒，这一数值大致相当于60 Hz Optitrack记录的奈奎斯特极限。
#### B.2.1 数据采集协议
数据采集分为4个不同的会话（对应不同的传感器佩戴方式）。参与者需对两组不同的提示性阶段各重复两次。在每个阶段中，参与者需跟随视频中的示例动作进行模仿，这些动作可以是离散的手势组合，也可以是自由形式的无提示动作。常规阶段持续45至60秒，而自由形式阶段则持续60至120秒。数据采集期间，用户平均需要佩戴/取下设备3.9次，详见表3。我们将这些会话称为“session”，并在数据集中明确标注。参与者在站立或坐在高脚凳上的状态下完成所有动作。在每个阶段中，要求参与者将手从右向左、从上向下移动，以确保涵盖广泛的姿势范围。
### B.3 阶段描述
数据采集协议旨在捕捉广泛的运动学数据。每个阶段都包含特定的一组指定运动学动作。各阶段所执行的运动学动作描述可参见表6。
### B.4 数据集局限性
虽然我们的数据集是迄今为止规模最大、保真度最高的开源数据集，但它仍比 Reality Labs 等机构使用的 CTRL-labs 数据集要小[^2024]，这可能会限制其泛化能力。尽管我们采用了 Han 等人提出的逆向运动学方法，通过动作捕捉技术提供了高质量的姿态标签[^2018]，但作为一种基于摄像头的方法，它仍然会受到遮挡问题的影响，从而导致握拳等手势的标签质量下降。此外，我们并未追踪手腕的运动，而手腕运动对于人类与世界的互动至关重要。采用拉伸传感手套等替代标注方法或许能解决这些局限，但可能会牺牲标签的质量并影响操作的灵活性。最后，未来的数据集可以同时包含摄像头和 sEMG 传感器，二者结合后便能在摄像头跟踪失效的场景（如遮挡情况）下提升姿态推断的准确性。
### B.5 伦理与社会影响
sEMG 的广泛应用以及 sEMG 姿态估计模型的专门开发可能会带来新的伦理与社会考量。安装在手腕或前臂上的设备上运行的性能优异的肌电到姿态模型，可能会存储或传输有关个人行为的信息，因此有必要采取适当的防护措施来加密这些信息并限制其访问权限。sEMG 姿态估计模型的开发具有诸多社会益处：sEMG 能够让人的神经肌肉意图直接与计算设备交互，这既可以为普通人群创造新型的设备控制方式，也能为那些难以使用现有计算机界面的人开发出适应性更强的控制器。
---
Table 6: Stage descriptions. For video examples, visit
>
| Stage | Movements |
| FingerPinches1 | Finger pinches (4)\nD-pad style thumb swipes (4)\nThumb rotations |
| Object1 | Drink from and rotate a cup\nSqueeze a soft toy |
| Counting1 | Fingers counting up and down (5) |
| Counting2 | Fingers counting up and down (5)\nWiggling the fingers\nAbducting and adducting the fingers |
| DoorknobGrab | Mimic opening a doorknob pull fingers into a loose fist\nuse index fingers as a trigger |
| Throwing | Mimic swinging ping pong paddle\nMimic throwing a ball |
| Abduction | Series of finger abduction movements |
| FingerFreeform | Freeform movements of fingers |
| FingerPinches2 | Single and multiple finger pinches (multiple fingers touching the thumb simultaneously) (7) |
| HandHandInteractions | Slide fingers along the palm\nClap hands\nCo-wiggle fingers |
| Wiggling1 | Wiggling and spreading fingers |
| Punch | Pull hand forwards body while grasping fingers\nPunching motion |
| Gesture1 | Form and uniform a claw\nBring fingers together in loose fist\nFlick fingers individually (4) |
| StaticHands | Move hand from waist level to chest\nPress hands together and move slowly |
| FingerPinches3 | Like FingerPinches1, but with the hands occluding each other |
| Wiggling2 | Like Counting2, but with the hands occluding each other |
| Unconstrained | The hand that is not prompted to move during a particular stage |
| Gesture2 | Extend index and pinky while curling middle fingers\nMake scissor cutting motion |
| FingerPinches2 | Index finger pinches\nMiddle finger pinches\nD-pad style thumb swipes (4) |
| Pointing | Point individual fingers (5)\nSnap middle finger and thumb |
| Freestyle1 | Free style movements with one hand |
| Object2 | Play with blocks\nMove chess pieces |
| Draw | Poking\nMimic drawing\nPinching, rotating with hands both close and far |
| Poke | Poking\nPinch and rotate wrist |
| Gesture3 | Extend thumb and pinky, curl middle fingers\nVulcan salute\nPeace sign |
| ThumbsSwipes | D-pad style thumb swipes (4)\nSlowly fold and unfold all fingers |
| ThumbRotations | Thumb rotations |
| Freestyle2 | Free style movement with both hands |
| WristFlex | Wrist flexion\nWrist abduction |
### B.6 数据集说明
数据存储在 Amazon S3 上，包含实验结果复现说明的代码示例及 README 文件可在 查看。
---
## C 算法细节
### C.1 vemg2pose
vemg2pose 由卷积特征提取器和 LSTM 解码器组成。首先，特征提取器会将 sEMG 转换为特征：
$$ \mathbf{z}_{t}=f(\mathbf{e}_{t-R:t}) $$
其中 f 代表特征提取器，R 是特征提取器的感受野，$\mathbf{e}_t$ 和 $\mathbf{z}_t$ 分别是时间 t 对应的 sEMG 向量和特征向量。接下来，解码器会根据这些特征以及之前的关节角度来预测角速度。通过对角速度进行积分便可得到角度预测值：
$$ \mathbf{s}_{t}^{v}=\pi(\mathbf{z}_{t},\mathbf{s}_{t-1}) $$
$$ \mathbf{s}_{t}=\mathbf{s}_{t-1}+\mathbf{s}_{t}^{v} $$
其中 $\pi$ 代表解码器，$\mathbf{s}_t$ 是时间 t 的角预测值，$\mathbf{s}_t^v$ 是时间 t 的角速度预测值。在跟踪任务中，会先提供基准真实状态：$\mathbf{s}_0 := \mathbf{s}_0^*$。而对于回归任务而言，基准真实状态未知，因此解码器会输出角度和角速度预测值（分别为 $\mathbf{s}^p$ 和 $\mathbf{s}^v$）。角度预测值会被用于前 P 个时间步（在本研究中为 250 毫秒），此后则对角速度进行积分：
$$ \mathbf{s}_{t}^{p},\mathbf{s}_{t}^{v}=\pi(\mathbf{z}_{t},\mathbf{s}_{t-1}) $$
$$ \mathbf{s}_{t}=\left\{\begin{matrix}{\mathbf{s}_{t}^{p}}&{\mathbf{i f}tTable 7: Algorithm comparison. We extend the window lengths to account for receptive fields. | Baseline | Predictions | Network | Grad clip | Window |
| Tracking | emg2pose | Angles | TDS + MLP | 1 | 5790 |
| vemg2pose | Velocities | TDS + LSTM | 1 | 11790 |
| Regression | emg2pose | Angles | TDS + MLP | 1 | 5790 |
| vemg2pose | Velocities | TDS + LSTM | 0 | 11790 |
| NeuroPose | Angles | U-Net | 0 | 4000 |
| SensingDynamics | Angles | 2d Conv + MLP | 0 | 10167 |
### C.5 在线vemg2pose
为了实现vemg2pose的在线部署，必须将其配置为能够按顺序处理以可变时间长度的分组形式接收的sEMG数据。因此，我们创建了vemg2pose的一个变体，该变体利用缓冲区将当前数据包追加到之前的数据包之后。除了将所有接收到的数据存储在缓冲区中外，我们还会记录哪些数据已被处理、哪些尚未处理（这与网络的感受野和步长有关），以避免产生重复的预测结果。对于图1而言，我们使用这一内部变体训练了vemg2pose跟踪模型。正如预期，这种内部变体得出的关节角度误差与表5中所报告的结果几乎一致。由于这种设置仅在能够使用sEMG-RD手环进行在线测试时才有用，因此我们并未将其开源。
### C.6 预测轨迹的手部网格可视化
我们利用UmeTrack [Han et al., 2022]提供的正向运动学和网格蒙皮算法，根据关节角度序列生成了代表预测轨迹的关节化手部网格（如图5和附录D.5所示）。我们采用了UmeTrack提供的通用默认手部模型。为了生成相关图表，我们使用Plotly和Plotly-Kaleido可视化工具包 [Plotly Technologies Inc., 2015]来渲染这些网格。
### C.7 统计分析
表4中所报告的Wilcoxon统计分析是基于每位用户随时间汇总的数据进行的。也就是说，各项指标是在每个时间样本点计算得出的，随后在每种实验条件下针对每位用户的时间维度取平均值。在每位用户和每种条件下汇总的统计数据同样被用于构建其他图表和表格中的分布。
---
## D 详细分析
### D.1 对基于视觉的系统而言具有挑战性的阶段分析
我们比较了存在遮挡和不存在遮挡情况下的相同阶段，发现正如预期，遮挡并未对模型性能产生负面影响（见图4左侧）。每位受试者分别在两种条件下完成CountingWiggling和FingerPinches阶段：一种是双手位于身前——这样它们就能被基于计算机视觉跟踪系统的头戴设备识别到；另一种则是双手离身体非常近或非常远——这样它们就会被遮挡。
我们还比较了涉及手-物体交互、手-手交互以及无交互的情况（见图4右侧）。手-物体交互包括Object1和Object2阶段，参与者在这些阶段中会接触杯子、毛绒玩具、积木和棋子。手-手交互（HandHandInteractions阶段）则包括手指在对方手掌上滑动、双手拍击以及手指相互轻敲等动作。众所周知，这些交互类型对基于视觉的系统而言颇具挑战性。尽管如此，这些阶段的性能与无任何交互的阶段相比，要么相当，要么更优。不过需要注意的是，这些阶段的行为分布存在差异，这使得直接比较各项指标变得困难。
#### D.2 速度预测与位置预测
Figure 9: vemg2pose vs. emg2pose for tracking and regression tasks. Distributions are over users. Box plots take the same format as Fig. 3.
我们将vemg2pose与emg2pose进行了比较，后者是一种在其他方面完全相同的算法，它直接预测关节角度而非关节角速度（见图9）。在回归任务中，emg2pose的关节角度误差与vemg2pose相近，但在跟踪任务中的表现却差得多。这可能是因为vemg2pose初始化时采用了真实的初始状态，而emg2pose仅以真实初始状态为条件。无论是在跟踪任务还是回归任务中，vemg2pose的整体速度都低于emg2pose，这表明在速度空间中进行运算能够产生更平滑的预测结果。
---
Table 8: Regression ablation test set results. Mean and standard deviation are reported across users.
| Test Set | Ablation | Angular Error ( $^{\circ}$) | Landmark Distance (mm) |
| User | vemg2pose-tran | $12.5 \pm 1.3$ | $16.3 \pm 1.8$ |
| vemg2pose-lstm | $12.2 \pm 1.3$ | $15.8 \pm 1.9$ |
| Stage | vemg2pose-tran | $16.1 \pm 1.6$ | $21.7 \pm 2.1$ |
| vemg2pose-lstm | $15.2 \pm 1.6$ | $20.4 \pm 2.2$ |
| User, Stage | vemg2pose-tran | $16.2 \pm 1.3$ | $22.3 \pm 1.8$ |
| vemg2pose-lstm | $15.8 \pm 1.4$ | $21.6 \pm 2.0$ |
### D.3 LSTM与Transformer解码器对比
我们针对解码器架构进行了消融实验，具体研究了LSTM和Transformer这两种应用最广泛的序列建模模型。对于Transformer，我们采用了广泛应用的基于BERT结构的Transformer编码器[Kenton and Toutanova, 2019]。我们测试了不同层数和注意力头数的组合（层数分别为2、4、6，注意力头数分别为2、4、8），并在表8和表9中列出了回归任务与跟踪任务中的最佳结果。由于受内存限制（使用的是配备8块NVIDIA T4 GPU的Amazon EC2 g4dn.metal实例），我们不得不将Transformer解码器的特征维度减半。总体而言，Transformer的表现与LSTM相当，甚至略逊于LSTM。
Table 9: Tracking ablation test set results. Mean and standard deviation are reported across users.
| Test Set | Ablation | Angular Error ( $^{\circ}$) | Landmark Distance (mm) |
| User | vemg2pose-tran | $8.0 \pm 1.0$ | $10.7 \pm 1.6$ |
| vemg2pose-lstm | $7.7 \pm 1.0$ | $10.3 \pm 1.5$ |
| Stage | vemg2pose-tran | $11.7 \pm 1.4$ | $15.9 \pm 1.9$ |
| vemg2pose-lstm | $11.2 \pm 1.4$ | $15.2 \pm 1.9$ |
| User, Stage | vemg2pose-tran | $11.4 \pm 1.1$ | $16.0 \pm 1.5$ |
| vemg2pose-lstm | $11.0 \pm 1.0$ | $15.4 \pm 1.4$ |
### D.4 各手指与关节的性能分解
Figure 10: Performance decomposition per finger: for tracking task, vemg2pose. Error per finger is measured by averaging the errors of the joints associated with each finger. Distributions are over users. Box plots take the same format as Fig. 3.
我们对vemg2pose在跟踪任务中的性能按手指（见图10）以及近端、中段和远端关节组（见图11）进行了分解。其中，近端、中段和远端关节是根据其与手掌的距离来划分的。更多细节请参见图11。不同手指和关节组的重建性能存在差异：拇指和小指的表现始终最好和最差，且近端关节比远端关节更容易被准确预测。
---
Figure 11: Performance decomposition across joint groups: for tracking task, vemg2pose. Performance broken down by joint according to their proximal-distal location. Proximal is CMC for the thumb and MCP for other fingers; Mid is MCP for thumb and PIP for other fingers; and Distal is IP for thumb and DIP for other fingers. Box plots take the same format as Fig. 3.
### D.5 跟踪轨迹示例
我们展示了针对第3.4节所述保留用户及场景，处于15%、50%和85%百分位的使用者对应的vemg2pose跟踪预测轨迹。如从图12到图15所示，不同保留用户及场景间的性能差异较大。我们注意到同一场景内可能存在较大变异，而这些运动学图表并未反映出这一点。降低这些变异程度将具有重大价值。如需观看视频示例，请访问。
---
Figure 12: Held-Out User, Stage tracking, top 15% stage (Gesture2), median user. Top: motion capture; bottom: vemg2pose, tracking predictions. Clips unroll evenly left-to-right over a 2 seconds.
Figure 13: Held-Out User, Stage tracking, bottom 15% percentile stage (Counting1), median user. Top: motion capture; bottom: vemg2pose, tracking predictions. Clips unroll evenly left-to-right over a 2 seconds.
Figure 14: Held-Out User, Stage tracking, median stage (Counting2), top 15% percentile user. Top: motion capture; bottom: vemg2pose, tracking predictions. Clips unroll evenly left-to-right over a 2 seconds.
Figure 15: Held-Out User, Stage tracking, median stage (Wiggling2), bottom 15% percentile user. Top: motion capture; bottom: vemg2pose, tracking predictions. Clips unroll evenly left-to-right over a 2 seconds.