# EgoEMG：一个用于手部姿态估计的双侧肌电与视觉多模态自中心数据集 $^{*}$ 习子恒、于佳怡、王一涛、段彦博、冯建江、周杰 清华大学自动化系 {xizh21, jy-yu23, wangyita23, duanyb24}@mails.tsinghua.edu.cn {jfeng, jzhou}@tsinghua.edu.cn ## 摘要 表面肌电图（sEMG）能够记录手部运动时的肌肉活动，通过解码可还原出精细的手部动作信息。肌电信号与自中心视觉在手部感知方面具有互补性：肌电信号即便在物体遮挡或光线不佳的情况下也能捕捉到细微的手指动作，而视觉则能提供手部的整体形态信息。然而，目前尚无现有数据集能同步采集这两种模态的数据。我们推出的EgoEMG是一个用于双手法部姿态估计的多模态自中心数据集。EgoEMG包含双侧腕带式肌电数据，共16个通道（每侧手腕8个通道），采样率为2 kHz；同时配备120 Hz的惯性测量单元、自中心广角RGB视频、外部RGB-D视频，以及基于动作捕捉得到的手部运动数据与手腕关节角度信息。该数据集涵盖41名参与者执行的60类手势，包括30种单手手势和30种双手手势，总录制时长超过10小时。我们还针对该数据集制定了基准测试，包含三项任务——肌电到姿态、视觉到姿态以及肌电+视觉融合——这些任务均采用相同的关节角度预测目标，且通用泛化划分方式也保持一致（跨手势、跨用户及两者结合）。作为基线模型，我们分别采用EMGFormer进行肌电到姿态的任务评估，用通用的ResNet/ViT骨干网络进行视觉到姿态的任务评估。我们还研究了残差融合架构，其性能优于轻量级的纯视觉基线模型。EgoEMG及其基准测试为未来基于肌电与视觉的多模态手部姿态估计研究奠定了坚实基础。 ## 1 引言 基于可穿戴传感器的手部姿态估计是增强现实、假肢控制以及物理智能领域的重要基础技术 [Salter et al., 2024, Atzori and Müller, 2014, Zhao et al., 2026]。表面肌电图颇具吸引力，因为它能直接测量肌肉激活情况 [Farina et al., 2014]，且在物体遮挡、运动模糊以及光线条件恶劣的环境下仍能正常使用。近期研究已经证明，肌电信号能够还原出精细的手部动作信息 [Salter et al., 2024, Verma, 2025, Lovecchio et al., 2025]。与此同时，自中心视觉已成为第一人称视角下手部追踪的强大工具 [Pavlakos et al., 2024, Kwon et al., 2021]，但它依赖视线可见性，在操控过程中容易出现快速运动模糊和物体遮挡问题。这些特性表明两种模态存在潜在的互补性：肌电信号即便在手部被遮挡时也能提供细微的手指动作信息，而视觉则能还原手部的整体形态与空间上下文。要发挥这种互补性，就需要一个能同步采集两种模态数据并附带姿态标签的数据集——然而当前现有的肌电姿态数据集并未提供同步的自中心视频。 我们通过EgoEMG填补了这些空白，这是一个用于双手法部姿态估计的受控多模态自中心数据集。EgoEMG包含同步采集的双侧腕带式肌电数据（共16个通道，每侧手腕8个通道，采样率为2 kHz）、每只手的惯性测量单元数据、自中心广角RGB视频、外部RGB-D视频，以及手部运动数据 --- 这些数据被重构为MANO参数 [Romero et al., 2017]，同时包含手腕关节角度信息；该数据集涵盖41名参与者、60类手势（30种单手手势、30种双手手势），总录制时长达10小时。 我们提供了一个包含三项任务的基准测试——EMG到姿态、视觉到姿态以及EMG+视觉融合——这些任务共享相同的关节角度预测目标和泛化划分（跨手势、跨用户和综合划分）。在EMG到姿态任务中，EMGFormer变体的性能比之前的TDS+LSTM基线高出多达22%，其中EMGFormer-S在效率与精度之间取得了最佳平衡（参数数量减少42%），而EMGFormer-L则实现了最高的绝对精度。在视觉到姿态任务中，ResNet骨干网络在参数更少的情况下优于通用的ViT回归器；而针对手部设计的WiLoR基线则实现了最强的独立视觉精度。采用残差结构的EMG+视觉融合架构始终能优于相匹配的轻量级纯视觉基线，这表明EMG提供了超出单帧视觉特征之外的补充性姿态信息；不过这种互补性是否适用于更强大的专用视觉模型，仍是未来研究有待解决的问题。 我们的贡献如下： - EgoEMG：据我们所知，这是首个同时提供双侧腕带EMG和IMU数据、自拍RGB图像、外部RGB-D数据、带有腕关节角度的双手法MANO标注以及每帧手势类别标签的数据集，该数据集将在被接收后公开发布。 - 一个包含三项任务的手部姿态估计基准测试（EMG到姿态、视觉到姿态、EMG+视觉融合），在统一的关节角度预测目标下设置了跨手势、跨用户及综合泛化划分。 - 基线结果表明：EMGFormer在EMG2Pose和EgoEMG数据集上均为EMG到姿态任务提供了可靠的参考模型；在这种自拍场景下，针对手部设计的视觉建模比通用的ResNet/ViT基线表现更优；此外，EMG+视觉融合架构始终能优于相匹配的轻量级纯视觉基线。 ## 2 相关工作 手部姿态数据集与基准测试。公开的EMG数据集涵盖了手势识别[Atzori和Müller, 2014; Pradhan等, 2022; Kaczmarek等, 2019; Du等, 2017; Amma等, 2015]、高密度记录[Jiang等, 2021]、力估计[Shen等, 2024]、打字任务[Sivakumar等, 2024]以及不同人群队列[Gowda等, 2025]。在连续姿态估计方面，EMG2Pose[Salter等, 2024]提供了同步采集的双侧EMG数据与运动捕捉得到的关节角度；MyoKi[Andreas等, 2025]和Jarque-Bou等[Jarque-Bou等, 2019]则将前臂EMG数据与智能手套的运动学数据配对。跨用户泛化问题已通过EMGBench[Yang等, 2024]等基准测试展开研究。相比之下，视觉手部姿态基准测试为单目、自拍及手-物体场景提供了丰富的RGB标注[Zimmermann等, 2019; Yu等, 2022; Moon等, 2023; Banerjee等, 2024; Kwon等, 2021; Huang等, 2024]，但并未包含同步采集的腕部EMG数据。因此，现有资源缺乏一个将自拍视频、双侧腕带EMG、腕部关节活动及连续手部姿态标签结合起来的统一基准测试，这限制了从视觉观测和肌肉活动两方面开展多模态姿态回归研究。 基于肌电信号的姿势估计。从表面肌电信号解码手部运动学的研究，已从单自由度[ Ngeo等人，2012年、2014年]和多自由度手指角度回归，发展到全手姿势估计。NeuroPose[ Liu等人，2021年]展示了利用可穿戴式肌电信号进行三维手部姿势追踪的能力，而EMG2Pose[ Salter等人，2024年]随后采用TDS+LSTM架构建立了更大规模的基准测试。近期的研究通过肌腱驱动的运动建模[ Verma，2025年]、向量量化的姿势标记化[ Lovecchio等人，2025年]以及以泛化能力为导向的预训练[ Zhao等人，2026年]，进一步提升了重建的精确度。与此同时，肌电基础模型和自监督学习方法[ Fasulo等人，2025年；Mehlman等人，2025年；Raghu等人，2024年；Laamerad等人，2024年]探索了大规模预训练技术，但主要目标是手势分类而非连续姿势估计。尽管取得了这些进展，仅依赖肌电信号的姿势估计仍对使用者间的差异较为敏感，而且基于传感手套的数据集[ Andreas等人，2025年；Jarque-Bou等人，2019年]所能提供的自由度有限，还可能存在传感器漂移和迟滞现象。 基于视觉的手部姿势估计与多模态融合。随着MANO手部模型[ Romero等人，2017年]、大规模标注数据集[ Zimmermann等人，2019年；Yu等人，2022年；Moon等人，2023年；Huang等人，2024年]的出现，单目RGB手部姿势估计技术取得了快速进展， --- ![Image](images/10c76bbcbac4cbf33b15f11e27ba02da9a6f07eefccc2eeda015f7dc101d0724.jpg)
Figure 1: Data collection setup for EgoEMG. Bilateral EMG wristbands, head-mounted egocentric RGB, external ZED 2i RGB-D, and optical motion capture with hand markers for pose labels.
基于Transformer的重建器[ Pavlakos等人，2024年；Potamias等人，2024年]。UmeTrack[ Han等人，2022年]、HOT3D[ Banerjee等人，2024年]、H2O[ Kwon等人，2021年]以及WristPP[ Xi等人，2026年]等以自我为中心的系统和数据集，进一步支持了可穿戴设备及自我中心场景下的第一人称手部追踪与交互理解。然而，基于视觉的方法本质上受限于视线范围：自身遮挡、双手相互遮挡、物体操作以及运动模糊等因素，都可能大幅降低姿势估计的准确性。肌电信号则能提供与图像可见性无关的肌肉激活线索。近期的研究已开始探索用于手势理解的肌电+视觉多模态学习[ Hao等人，2024年；Zandigohar等人，2024年；Cui等人，2026年]，以及跨模态的肌电-姿势表征[ Cui等人，2025年；Liu等人，2025年]，但这些研究侧重于手势分类或离线表征映射，而非连续手部姿势回归。由于缺乏同步的自我中心视频、双侧肌电信号以及连续的姿势标签，因此无法对用于手部姿势回归的肌电+视觉融合技术展开系统性研究。 ## 3 EgoEMG数据集 ### 3.1 概述与采集设置 EgoEMG数据集是通过同步的多模态采集系统获得的，该系统包括双侧肌电信号、惯性测量单元、自我中心RGB图像、外部RGB-D图像以及光学动作捕捉数据。每位参与者会在两只手腕上佩戴两个WAVELETECH肌电腕带，每个腕带能以2 kHz的频率记录8通道的表面肌电信号。视觉采集方面，配备了一个安装在头部的广角RGB摄像头用于拍摄自我中心视角下的手部图像，以及一个安装在动作捕捉架上的外部ZED 21 RGB-D摄像头。手部运动则通过FZMotion光学动作捕捉系统，以120 Hz的频率追踪每只手上的21个反光标记点。所有模态数据均通过主机时间戳软同步，再通过线性插值对齐到统一的时间轴（见图1）。 我们招募了41名参与者（23名男性，18名女性；平均年龄24岁；每次录制时长约15分钟）。EgoEMG包含60种手势类别（30种单手手势，30种双手手势），并为每种手势提供了逐帧标签，以便进行基于手势的评估。手势提示以随机顺序显示；单手手势由双手以镜像对称方式执行，同时改变手腕朝向；双手手势则模拟实际的两手交互动作，从而捕捉自然的手部协调模式。图2展示了来自所有模态的典型同步样本。 ### 3.2 姿态标签重建 手部姿态标签是通过光学动作捕捉标记点重建为MANO参数的[Romero等人，2017]。我们采用基于学习的markers2mano流程，将21个标记点的位置映射为MANO的姿态、形状和平移参数。该流程利用固定的MANO表面顶点作为虚拟标记对应关系，从而使捕获的3D标记点能够与标准的MANO网格对齐。关于markers2mano架构、训练数据和增强流程的完整细节详见附录B.1。 与EMG2Pose所使用的逐帧逆运动学求解器相比（其无效帧率高达12.7%），我们基于学习的重建方法将无效帧率降低至3.6%，这一结果显著改善了重建质量。 --- ![Image](images/4d739c93011be265b36bf6d2f5cb6281ebe9b2391e8e1c1b4815c703b18a6079.jpg)
Figure 2: Representative synchronized samples from EgoEMG. Each row (3.9 s window) shows GT hand pose, bilateral EMG, egocentric RGB at window center, and external RGB-D.
Table 1: Comparison of EgoEMG with representative public EMG datasets. “EMG Ch.” counts total channels across both wrists (per-wrist $\times$2 for bilateral datasets); “Bilateral” indicates dual-wrist EMG capture; “Wrist labels” indicates explicit wrist articulation labels; “Pose labels” indicates continuous hand pose annotations.
DatasetSubj.EMG Ch.BilateralEgo RGBRGB-DWrist labelsPose labelsGestures
Jarque-Bou 2019228----18 (g)26
NinaPro27-7810-16---✓22 (g) $^{*}$53
MyoKi3616----18 (g)74
PiMForce218----20 (g)63
EMG2Pose19332 (16 $\times$2)✓---20 (m)50
EgoEMG (ours)4116 (8 $\times$2)✓✓✓✓22 (m)60
NinaPro DB1、DB2和DB5提供了连续的关节角度数据（22自由度）；其余子数据库仅提供手势标签。 (g) = 装有传感器的手套；(m) = 光学动作捕捉。 重建后的MANO网格的标记点对齐误差仅为4.3毫米，相比原有方法减少了3.5倍。除了MANO参数外，EgoEMG还提供了逐帧关节角度数据，采用22自由度的标量格式（20个手指角度加上2个手腕关节角度），这些数据是通过优化UmeTrack关节角度以匹配MANO标志点位置而获得的；转换过程详见附录B.3。作为独立的跨模态验证，我们利用校准后的相机模型将重建的MANO网格重新投影到以自我为中心的RGB图像上：在EgoEMG数据集上，平均标记点对齐误差为4.3毫米（在公开的InterHand2.6M子集上为3.2毫米），对随机抽样的投影结果进行视觉检查后，发现不同手势类别下的网格与图像对齐效果一致（见图11）。各手势的误差分布详情见附录B。 手腕关节角度可直接通过动作捕捉标记点计算得出，无需依赖MANO重建流程。附着在每条EMG臂带上的标记点定义了一个前臂坐标系，据此可计算出两个手腕自由度：屈曲/伸展以及桡侧/尺侧偏移；完整的推导过程详见附录B.2。 ### 3.3 数据集统计信息与定位说明 表1对比了EgoEMG与其他具有代表性的公开EMG数据集。在现有数据集中，仅有EMG2Pose和EgoEMG同时提供了带有动作捕捉得到的连续手部姿态标签的双侧EMG数据。EgoEMG还额外提供了同步的以自我为中心的RGB图像、外部RGB-D数据、IMU数据以及明确的手腕关节标签，从而能够直接开展跨模态手部姿态估计的研究。 手部形状和手势的多样性。EgoEMG通过平均每位参与者的形状系数来估计各受试者的MANO形状参数（$\beta \in \mathbb{R}^{10}$）。图3(a)展示了41名参与者之间的分布情况，显示出显著的人体手部形状差异。这60种手势类别包括30种单手手势和30种双手交互手势，涵盖了对称协作与非对称操作两种模式。完整的手势词汇表见附录A.1；各维度的MANO形状统计数据则记录在附录A.2中。 --- ![Image](images/d7b3a3a6a7dd05e897886e4711efad0f858b645f7820087b35c46044325440f5.jpg)
(a) MANO Shape Diversity
![Image](images/846d2124016ad3126c3537d9dc7daa7751b18dbd264e8ce206e72a391ccdd6f8.jpg)
(b) Split Diagram
Figure 3: (a) MANO shape diversity across EgoEMG participants (82 hands). (b) Evaluation splits on the participant–gesture matrix (Train, Gesture/User/Both).
### 3.4 评估划分与发布格式 遵循EMG2Pose [Salter et al., 2024]的方案，我们定义了两个主要的泛化维度：手势和用户。基于这两个维度，我们设置了三种划分方式：手势划分是指用已见过手势的参与者来评估未见过手势的性能；用户划分是指用所有手势来评估未见过参与者的性能；而综合划分则是同时排除特定手势和参与者。所有模态均采用相同的划分方式，以保留同步的多模态样本并防止沿排除维度产生数据泄露。我们在手势划分中排除了10种手势，在用户划分中排除了6名参与者，整体训练集、验证集与测试集的比例约为7:3。图3(b)展示了这种划分设计。 发布的数据集包含同步的EMG与IMU信号、第一视角RGB图像、外部RGB-D图像、基于MANO和UmeTrack的手部姿态标注、手腕关节角度、时间戳以及校准元数据。预测目标是每只手22个自由度的关节角度向量：即20个手指角度和2个手腕关节角度。左右手均采用相同的目标定义与语义排序方式。 ## 4 基准测试与基线模型 ### 4.1 基准测试任务 作为初步基准测试，EgoEMG在相同的22自由度目标定义和评估划分维度下设置了三项预测任务。目标为每只手20个手指关节角度和2个手腕关节角度。这三项任务分别是：EMG到姿态任务，即从EMG窗口预测关节角度；视觉到姿态任务，即从单张第一视角RGB手部图像预测关节角度；以及EMG+视觉融合任务，即利用两种模态来预测相同输出。外部RGB-D和IMU数据流以及时序多帧视觉模型也包含在发布内容中，以支持未来的扩展研究，但本文并未将其纳入基准测试范围。 ### 4.2 评估协议 我们会在§3中定义的手势、用户及综合划分上对所有任务进行评估。主要指标是关节角度的平均绝对误差（MAE）： $$ \mathrm{MAE}=\frac{1}{JT}\sum_{j=1}^{J}\sum_{t=1}^{T}|\hat{\theta}_{j,t}-\theta_{j,t}|\quad[\degree], $$ 其中J表示预测的关节角度数量，T表示评估的时间步数。针对手腕分析，我们还会额外报告屈伸和桡尺偏的MAE值。除非另有说明，所有误差均基于排除外的测试集计算。EMG评估使用的是每个EMG窗口内的完整预测轨迹，而纯视觉模型与融合模型则在窗口中心帧上进行评估——该帧有可用的视觉信息；因此在进行跨模态比较时，需考虑到这种监督粒度上的差异。 --- ![Image](images/4418026ec11254970baad681a43490efb10ff676cff641551d86319a2df21339.jpg)
Figure 4: EMGFormer architecture for EMG-to-pose. Bilateral EMG is encoded by a TDS-style temporal convolutional frontend, decoded by a Transformer with RoPE positional encoding, and projected to joint angles including wrist articulation.
![Image](images/4590328860a00bc866dc79925df9ac07adb9c1844b3911643d99958ad27323c8.jpg)
Figure 5: Vision-to-pose baseline. A $256 \times 256$ hand crop from the center frame is processed by a ResNet or ViT backbone, followed by an MLP head that regresses 22 joint angles.
### 4.3 EMG基线模型 作为EMG到姿态的基线模型，我们提出了EMGFormer（图4），这是一种将原始EMG窗口映射到每帧关节角度的时间序列模型。采用TDS风格的时间卷积前端[Hannun et al., 2019]将2 kHz的EMG信号下采样为约37 Hz的潜在特征，随后通过带有旋转位置编码（RoPE）[Su et al., 2024]的Transformer解码器来建模长距离时间依赖关系。训练期间，左手EMG数据会被镜像为右手形式。每次前向传播会预测一只手的关节角度轨迹，其中包含了EgoEMG中的手腕关节运动信息。我们提供了三种不同规模的模型；实现细节、架构规格及消融实验结果详见附录C.1。 ### 4.4 视觉基线 在视觉到姿态任务中，我们评估了七种单帧参考基线模型。其中六种属于两类通用图像骨干网络：ResNet [He et al., 2016]（$\{18, 50, 152\}$）和ViT [Dosovitskiy et al., 2021]（$\{Small, Base, Large\}$）。ResNet骨干网络初始化权重来自ImageNet [Deng et al., 2009]预训练模型，而ViT骨干网络初始化权重则来自DINOv2 [Oquab et al., 2024]预训练模型。每种通用模型都会接收来自窗口中心帧的$256 \times 256$尺寸的第一人称视角手部裁剪图像，通过骨干网络提取特征向量，再经由MLP预测头回归出22个自由度的目标姿态。此外，我们还评估了WiLoR [Potamias et al., 2024]，这是一种专门针对手部设计的视觉基线模型，其初始化权重来自预训练的基于MANO的手部姿态模型，并在相同的中心帧协议下进行了微调（图5）。模型规模及训练配置详情见附录C.2。 --- ![Image](images/48aeb5f0d2bf83ca08c373b5a94900cad3e6316a23d59d5e3291fb531298de49.jpg)
Figure 6: EMG+vision fusion baseline. Vision branch predicts $\mathbf{y}_{v}$; EMG branch predicts residual $\Delta\mathbf{y}_{emg}$ (zero-initialized head).
### 4.5 融合基线 EMG+视觉基线被设计为一种简单的残差融合模型（图6）。视觉分支首先预测仅由视觉信息得到的姿态$\mathbf{y}_v$，而EMG分支则预测一个加法修正项$\Delta\mathbf{y}_{\text{emg}}$。最终预测结果为$\mathbf{y} = \mathbf{y}_v + \Delta\mathbf{y}_{\text{emg}}$。这种设计使得融合模型能够从强大的视觉基线出发，仅需学习EMG贡献的姿态信息。 视觉分支会从中心帧的手部裁剪图像中提取256维的特征，并通过预测头生成$\mathbf{y}_v \in \mathbb{R}^{22}$。EMG分支则利用EMGFormer将完整的EMG窗口编码为时间特征序列，再通过学习得到的时间注意力池化操作提取出256维的EMG特征。两种特征被拼接后送入融合头以预测$\Delta \mathbf{y}_{\text{emg}} \in \mathbb{R}^{22}$。残差头的最后一层被初始化为零，这样模型便能从仅基于视觉的预测结果开始学习。我们按照中心监督协议训练融合模型：仅对窗口中心帧进行监督，该监督目标与纯视觉预测结果一致，便于直接对比。 ## 5 实验 ### 5.1 EMG基线结果 EMGFormer在EMG2Pose数据集上也建立了强劲的基线性能。在最难的用户+场景划分下，EMGFormer-S的MAE达到$12.34^\circ \pm 1.07^\circ$，相较于vemg2pose基线[Salter et al., 2024]（$15.8^\circ \pm 1.4^\circ$）提升了22%，且模型规模仅为后者的58%（完整结果见附录D.3）。 表2报告了在EgoEMG数据集上，EMGFormer变体以及两种传统架构在三种测试条件（手势/用户/两者）下的EMG到姿态估计结果。基线模型包括：vemg2pose [Salter等人，2024]，一种以LSTM为时序核心的循环式EMG到姿态模型；以及NeuroPose，一种卷积编解码器基线模型 [Liu等人，2021]。我们未在EgoEMG数据集上纳入CLDM [Verma，2025]或VQ-MyoPose [Lovecchio等人，2025]，因为这两种方法均未发布公开代码，无法在新数据集上复现实验结果；我们在附录D.3中将其在EMG2Pose基准测试上的公布数据与本文结果进行对比。 EMGFormer变体取得了最佳的整体准确率，其中EMGFormer-M和EMGFormer-L的表现均优于最强的传统基线模型。这种优势在手势分类任务中尤为明显，表明在已知用户、未知手势的设置下，EMGFormer能更好地捕捉手势层面的动作特征。跨用户泛化能力仍是核心挑战：更大的时序模型虽能提升手势分类任务的性能，但仅靠它们仍无法缩小在未见过的参与者身上的性能差距。EMGFormer-M在准确率与模型规模之间取得了最佳平衡，其平均MAE值与EMGFormer-L相当，而参数数量却不到后者的一半。 ### 5.2 视觉到姿态估计结果 表3报告了在EgoEMG数据集上的纯视觉及EMG+视觉估计结果。我们首先分析纯视觉相关的行数据，其中包含六个通用单帧基线模型，涵盖ResNet和ViT两个骨干网络家族，以及一个针对手部任务优化的基线模型WiLoR。在通用骨干网络中，ResNet-152在所有分类任务上均取得了最佳的纯视觉性能。ResNet-50的表现也优于ViT-Large。 ---
Table 2: EMG-to-pose results on EgoEMG. MAE is reported in degrees; lower is better. Gesture/User/Both columns report per-user mean ± standard deviation. Avg is the per-sample weighted mean MAE across all test splits (pooled gesture, user, and both). Shaded rows highlight EMGFormer variants; bold indicates best per column and underline indicates second best.
MethodParamsGestureUserBothAvg.
EMGFormer variants
EMGFormer-S3.5M$12.8\pm1.4$$15.6\pm2.5$$17.4\pm1.2$14.7
EMGFormer-M6.6M$11.8\pm1.6$$15.6\pm1.4$$17.4\pm0.9$14.2
EMGFormer-L16.3M$11.7\pm1.5$$15.7\pm3.0$$17.7\pm1.1$14.2
Traditional architectures
vemg2pose6.0M$15.0\pm1.4$$16.3\pm1.7$$17.3\pm1.3$15.9
NeuroPose6.4M$15.8\pm1.2$$15.7\pm1.3$$16.3\pm0.7$16.1
Table 3: Vision-only and EMG+vision fusion results on EgoEMG. MAE is reported in degrees; lower is better. Subscripts denote standard deviation across users. Avg is the per-sample weighted mean MAE across all test splits. Shaded rows highlight EMG+vision fusion baselines. Bold indicates the better result within each matched vision-only/fusion pair. Underlines mark the strongest generic vision-only backbone.
ResNet-based comparison
VisionV-RN1811.5M$5.1 \pm 1.3$$6.8 \pm 1.7$$6.8 \pm 0.9$5.9
EMG+VisionF-RN18+S15.5M$4.6 \pm 1.3$$6.4 \pm 1.4$$6.4 \pm 0.8$5.4
ViT-based comparison
VisionV-ViT-S21.9M$5.0 \pm 1.3$$7.3 \pm 2.4$$7.2 \pm 0.5$6.0
EMG+VisionF-ViT-S+S25.9M$4.5 \pm 1.3$$6.8 \pm 1.2$$6.8 \pm 0.6$5.5
Additional vision-only backbones
VisionV-RN5023.5M$4.5 \pm 1.3$$6.2 \pm 2.2$$6.2 \pm 0.7$5.3
VisionV-RN15258.2M$4.3 \pm 1.2$$6.1 \pm 2.3$$6.1 \pm 0.7$5.1
VisionV-ViT-B86.2M$4.8 \pm 1.3$$7.0 \pm 2.3$$6.9 \pm 0.6$5.8
VisionV-ViT-L303.8M$4.4 \pm 1.3$$6.6 \pm 2.2$$6.6 \pm 0.7$5.4
Hand-specialized vision baseline
VisionV-WiLoR631.6M$3.9 \pm 1.3$$5.6 \pm 2.4$$5.7 \pm 0.7$4.7
$$ Avg $$ 尽管参数数量显著更少，但这表明在该数据场景下，卷积骨干网络作为通用 Egocentric 参考模型仍具备极强的竞争力。在两个通用骨干网络家族中，模型规模的扩大都能降低误差，但无论哪种纯视觉模型，跨用户分类和两者分类任务的难度都高于手势分类任务。通用ViT回归模型的相对较差表现可能与可用的监督训练数据规模有关，因为基于Transformer的视觉模型通常需要更大的数据集才能发挥优势。相比之下，针对手部任务优化的WiLoR基线模型取得了最强的独立视觉估计准确率，其平均MAE值降至4.7°。这一结果表明，即使在受控的EgoEMG环境中，特定任务的手部姿态预训练和模型架构设计依然至关重要。 ### 5.3 EMG+视觉融合结果 我们采用§4.5节描述的残差架构评估EMG+视觉融合效果，其中EMG骨干网络选用EMGFormer-S。该融合模型预测的是窗口中心帧，此时可获取Egocentric RGB观测数据，因此其MAE值可直接与同一监督目标下的纯视觉基线模型进行对比。表3列出了纯视觉模型与EMG+视觉模型的对比结果。 融合模型在所有骨干网络家族和分类任务中，均稳定优于对应的轻量级通用纯视觉基线模型。其中在手势分类任务上的提升最为显著，而在用户分类任务上的提升幅度较小，这表明EMG对细微动作特征的刻画能力更强，但仍会受到个体间差异的影响。同时，V-WiLoR的性能仍优于当前的轻量级融合基线模型，这意味着下一个基准测试目标便是验证EMG是否能进一步提升其性能。 --- ![Image](images/01dce6121e537108d90cda7e27c04c6378377582b2b42700a0eb1b48304e7045.jpg) $\Delta$：平均关节角度误差 $(^{*})$。数值越低越好。
Figure 7: Qualitative comparison on EgoEMG. The fused model (green) recovers articulation closer to GT under motion blur, self-occlusion, and depth ambiguity.
这是一种专门针对手部特征的强大视觉模型，而非仅仅依赖通用的骨干网络。对所有60种手势类别进行的逐手势分析（附录D.5）表明，融合模型在几乎所有手势上的表现都优于纯视觉模型。基于遮挡情况的分层分析（附录D.6）显示，手部自身遮挡程度与融合模型的性能提升之间存在正相关关系。图7展示了这种互补性：当视觉证据存在歧义时，肌电图信号能够独立于图像外观保留姿态线索，而融合模型所恢复的姿态则更接近真实值。作为参考，在采用与融合模型相同的中心帧监督目标下，我们也在附录D.2中提供了仅基于肌电图的中心帧结果。 ## 6 讨论与结论 EgoEMG提供了一个用于手部姿态估计的多模态基准测试集，其中包含了同步采集的双侧肌电图、惯性测量单元数据、第一人称视角RGB图像、外部RGB-D数据，以及包括腕部关节运动在内的手部姿态标注信息。通过采用统一的22个自由度预测目标和一致的坐标轴划分方式，该基准测试集将肌电图到姿态、视觉到姿态以及肌电图+视觉融合任务纳入同一个标签空间下进行评估，同时保留了针对各模态的专属监督协议。 我们的实验得出了三点发现。首先，跨用户泛化能力仍是基于肌电图的姿态估计面临的核心挑战：对于未见过的参与者而言，误差比面对未见过的手势时更大。其次，肌电图和视觉信息具有互补性。在当前的基准测试集中，视觉提供的独立信号更强；专门针对手部设计的WiLoR基线模型是性能最强的纯视觉模型，而肌电图能够捕捉到与姿态相关的细微线索，在与匹配的轻量级视觉基线模型融合后，性能会得到进一步提升。第三，模型扩展行为会受到数据规模的制约。所提出的EMGFormer架构在原始的EMG2Pose基准测试集上优于vemg2pose，但在EgoEMG数据集上，规模更大的变体并未能持续展现出更好的性能。这一结果表明，在受试者数量有限的情况下，单纯增加模型容量并不足以解决问题，这也促使我们开展大规模肌电图预训练、跨数据集迁移以及针对不同受试者的鲁棒性适配研究。 局限性与未来工作。本研究存在若干局限性。首先，EgoEMG数据集包含41名参与者，这一数字对于同步多模态数据采集而言已经相当可观，但用于建模受试者间的肌电图差异全貌仍显不足。扩充数据集以纳入更多样化的参与者，将有助于更系统地研究跨用户的鲁棒性。其次，当前的视觉基准测试仅限于单帧模型。由于EgoEMG提供了同步的多视角视频和RGB-D流数据，它可为未来关于时序建模、多视角处理以及基于RGB-D的方法研究提供支持。此外，该基准测试尚未涵盖丰富的手-物交互场景，即没有配备传感器或经过密集标注的物体；未来的扩展研究应验证：当物体接触引发额外遮挡和姿态歧义时，同样的多模态信号是否仍能发挥作用。第三，我们的融合基线模型设计较为简单，且仅与轻量级的通用视觉分支进行了评估。下一步更有意义的工作是验证肌电图是否能改善像WiLoR这样的专用视觉模型。更多 --- 更具表现力的架构，包括交叉注意力机制、不确定性感知的融合方法以及显式时序对齐技术，或许能更好地发挥肌电图和视觉信号的互补优势。 从更广义的角度来看，EgoEMG为研究生理信号在何种情况下能补充视觉观测所缺失的信息提供了测试平台，尤其是在自我遮挡和快速运动等视觉证据不可靠的场景下。我们希望它能支持未来在统一基准测试框架下，开展针对受试者鲁棒性强、多模态的手部姿态估计研究。 ## 伦理声明 所有参与者均根据IRB批准的方案签署了知情同意书，并按照当地规定获得了相应的标准时薪补偿。已明确告知参与者他们有权随时退出研究并要求删除其数据；没有参与者行使这一权利。知情同意书中说明了数据收集的目的、记录方式以及预期的研究用途，该文件已收录于补充材料中。 该数据集不包含任何个人身份信息：以心视角和外部摄像头拍摄的面部区域会被自动模糊处理，参与者的标识符也会被替换为匿名数字ID。虽然肌电和运动捕捉数据不会透露超出粗大运动功能范畴的敏感健康信息，但我们注意到在某些条件下，MANO形状参数和肌电信号原则上可作为软生物特征标识符。该数据集将依据CC-BY-NC 4.0研究使用许可发布，该许可禁止未经明确许可的重新识别尝试和商业用途。我们承诺将数据集托管在稳定的平台（如Zenodo）上，为其分配DOI并发布版本化内容，同时提供用于数据查询和错误报告的联系邮箱。 ## 可复现性声明 该代码库包含训练代码、评估脚本以及所有报告结果所对应的EMGFormer基线实验配置文件。附录C.1列出了各变体的超参数、优化器设置和计算需求。公开发布的内容将包括数据集文档、划分定义、预处理脚本、基准测试配置以及一个匿名下载链接。所有EMG2Pose基线实验均在6块NVIDIA RTX 4090 GPU上以bf16混合精度运行；每种EMGFormer变体完成200轮训练大约需要2–8 GPU小时。所有报告实验的总计算量约为128 GPU小时（其中主要基线占120 GPU小时，额外分析占8 GPU小时）。 ## 致谢与经费披露 我们感谢匿名审稿人。 ## 参考文献 Christoph Amma、Thomas Krings、Jonas Börer和Tanja Schultz。利用高密度肌电图推进肌肉计算机接口技术。载于第33届ACM人机交互系统年会（CHI）论文集，第929–938页，2015年。 Benedikt Andreas、Konstantin Werner、Yiming Hou、Kanishk Dwivedi、Claudio Castellini和Petra Beckerle。包含日常活动中多模态肌图和手部运动数据的数据库。《科学数据》期刊，第12卷：1507页，2025年。 Manfredo Atzori和Henning Müller。Ninapro数据库：基于表面肌电的手部运动研究资源。《科学数据》期刊，第1卷：140053页，2014年。 Prithvijit Banerjee、Shikhar Tuli、Rohan Chacko、Taein Kwon、Abhinav Gupta和Martial Hebert。Hot3D：一个用于3D手部及物体跟踪的大规模第一人称视角数据集。载于欧洲计算机视觉会议（ECCV），2024年。 --- Jason Cui、Christian Sandino、Hossein Pouransari、Leo Liu、Erion Minxha、Francisco Zippi、Sagar Verma、Lenka Sedlackova、Arber Azemi和Hooman Mahasseni。用于肌电和姿态学习的跨模态预训练。arXiv预印本arXiv:2509.04699，2025年。网址：。 Jason Cui、Christian Sandino、Hossein Pouransari、Leo Liu、Erion Minxha、Francisco Zippi、Arber Azemi和Hooman Mahasseni。Embridge：连接肌电与视觉语言模型以实现手势理解。载于国际学习表征会议（ICLR），2026年。 贾登、魏东、理查德·索彻、李佳佳、李凯和李飞飞。ImageNet：一个大规模分层图像数据库。载于2009年IEEE计算机视觉与模式识别会议（CVPR）。 阿列克谢·多索维茨基、卢卡斯·拜尔、亚历山大·科列斯尼科夫、迪尔克·魏森伯恩、翟晓华、托马斯·温特纳、莫斯塔法·德赫加尼、马蒂亚斯·明德勒、格奥尔格·海戈尔德、西尔万·杰利、雅各布·乌兹科雷特和尼尔·豪尔斯比。一张图片相当于$16 \times 16$个词：用于大规模图像识别的Transformer模型。载于2021年国际学习表征会议（ICLR）。 杜宇、金文光、魏文涛、胡宇和耿卫东。基于表面肌电信号的跨会话手势识别，通过深度域适应技术得到增强。《传感器》期刊，第17卷第3期：458页，2017年。 范子聪、奥米德·塔赫里、迪米特里奥斯·齐奥纳斯、穆罕默德·科卡巴斯、曼努埃尔·考夫曼、迈克尔·J·布莱克和奥特马尔·希利格斯。Arctic：一个用于灵巧双手与物体交互的数据集。载于2023年IEEE/CVF计算机视觉与模式识别会议（CVPR）。 达里奥·法里纳、阿莱什·霍洛巴尔、罗伯托·梅尔莱蒂和罗杰·M·埃诺卡。从表面肌电信号中提取神经策略：最新进展。《应用生理学杂志》，第117卷第11期：1215–1230页，2014年。 马泰奥·法苏洛、朱西·斯帕科内、索里尔·马尔·英戈尔夫松、李亚伟、卢卡·贝尼尼和安德烈亚·科塞蒂尼。TinyMyo：一种用于边缘设备灵活处理肌电信号的微型基础模型。arXiv预印本arXiv:2512.15729，2025年。网址：。 哈沙瓦尔德汉·T·高达、妮哈·考尔、卡洛斯·卡拉斯科、马库斯·A·巴特拉夫、萨法·阿默尔、萨尼亚·科特瓦尔、塞琳娜·拉姆、扎卡里·麦克诺顿、费尔杜斯·拉希米、萨娜·谢哈比、乔纳森·S·斯科菲尔德和李·M·米勒。来自不同人群的上肢表面肌电信号数据库。《科学数据》期刊，第12卷第1期：517页，2025年。doi: 10.1038/s41597-025-04825-z。 施雷亚斯·汉帕利、马赫迪·拉德、马库斯·奥伯韦格和文森特·勒佩蒂。Ho-3D：一个用于手-物体三维姿态估计的基准测试。载于2020年IEEE/CVF计算机视觉与模式识别会议（CVPR）。 韩尚辰、吴博辰、张宇波、刘贝贝、张凌光和王正。Ume-Track：面向虚拟现实的统一多视角端到端手部追踪系统。载于2022年SIGGRAPH Asia会议论文集。网址：。 奥尼·汉农、卡尔·凯斯、贾里德·卡斯珀、布莱恩·卡坦扎罗、格雷格·迪亚莫斯、埃里克·埃尔森、瑞安·普伦格、桑吉夫·萨蒂什、舒博·森古普塔、亚当·科茨和安德鲁·Y·吴。基于时间-深度可分离卷积的序列到序列语音识别技术。载于2019年Interspeech会议。 郝顺然、高东旭、鞠兆杰和高青。基于表面肌电信号与视觉融合的多模态手势识别技术。载于2024年国际机电一体化与机器视觉实践会议（M2VIP）。 何恺明、张翔宇、任少卿和孙剑。用于图像识别的深度残差学习技术。载于2016年IEEE计算机视觉与模式识别会议（CVPR），第770–778页。 胡杰、沈立和孙刚。挤压与激励网络。载于2018年IEEE计算机视觉与模式识别会议（CVPR）。 黄伟鹏、郭航、杨立新、姚 Angela和郭玉兰。Gigahand：一个包含大量标注数据的大规模数据集，用于从自拍和外视角度进行三维手部重建。arXiv预印本arXiv:2412.04244，2024年。网址：。 --- Néstor J. Jarque-Bou、Margarita Vergara、Joaquín L. Sancho-Bru、Verónica Gracia-Ibáñez和Alba Roda-Sales。日常活动中前臂和手部的运动学与肌电图校准数据库。《科学数据》期刊，第6卷第1期，2019年。 X. Jiang等人。高密度表面肌电图记录的开放获取数据集与工具箱。PhysioNet平台，2021年。 Paweł Kaczmarek、Tomasz Mańkowski和Jakub Tomczyński。Putemg：用于重复性手部活动的表面肌电数据集。《传感器》期刊，第19卷第16期：3548页，2019年。 Taein Kwon、Bugra Tekin、Jan Stühmer、Federica Bogo和Marc Pollefeys。H2O：用于第一人称交互识别的双手操作物体数据集。收录于IEEE/CVF国际计算机视觉会议（ICCV），2021年。 Abdelhak Laamerad、Alireza Shabanpour、Md Islam和Sina Mohammadi。用于高密度肌电建模的掩码自编码技术。arXiv预印本arXiv:2410.17261，2024年。网址：。 Ruofan Liu、Yichen Peng、Takanori Oku、Chen-Chieh Liao、Erwin Wu、Shinichi Furuya和Hideki Koike。从姿态到肌肉：钢琴演奏手部肌电图的多模态学习。收录于神经信息处理系统大会（NeurIPS），2025年。 Yilin Liu、Shijia Zhang和Mahanth Gowda。Neuropose：利用肌电可穿戴设备实现三维手部姿态追踪。收录于2021年网络会议论文集，第1471–1482页，2021年。 Yunze Liu、Yun Liu、Che Jiang、Kangbo Lyu、Weikang Wan、Hao Shen、Boqiang Liang、Zhoujie Fu、He Wang和Li Yi。Hoi4d：用于类别级人机交互的第四维第一视角数据集。收录于IEEE/CVF计算机视觉与模式识别会议（CVPR），2022年。 Ilya Loshchilov和Frank Hutter。解耦权重衰减正则化技术。收录于国际学习表征会议（ICLR），2019年。 Francesco Lovecchio、Aravind Mamidanna、Randolph Jansen、Dario Farina和Tomas Verstraten。Vq-myopose：用于肌电手部姿态估计的矢量量化建模。收录于HANDS研讨会论文集，2025年。 Nicholas Mehlman、Jean-Christophe Gagnon-Audet、Michael Shvartsman、Kelvin Niu、Alexander H. Miller和Shagun Sodhani。针对表面肌电信号缩放与蒸馏Transformer模型。《机器学习研究汇刊》（TMLR），2025年。 Gyeongsik Moon、Shoou-I Yu、He Wen、Takaaki Shiratori和Kyoung Mu Lee。Interhand2.6m：基于单张RGB图像的三维交互手部姿态估计数据集及基准模型。《IEEE模式分析与机器智能交易》（TPAMI），第45卷第9期：11065–11080页，2023年。 Jimson Ngeo、Tomoya Tamei和Tomohiro Shibata。利用表面肌电信号中的肌肉激活输入连续估计手指关节角度。收录于2012年IEEE工程医学与生物学会年度国际会议（EMBC），第2756–2759页，2012年。 Jimson G Ngeo、Tomoya Tamei和Tomohiro Shibata。利用肌电到肌肉激活模型的输入连续且同步地估计手指运动学参数。《神经工程与康复杂志》，第11卷第1期：122页，2014年。 Maxime Oquab、Timothée Darcet、Théo Moutakanni、Huy Vo、Marc Szafraniec、Vasil Khalidov、Pierre Fernandez、Daniel Haziza、Francisco Massa、Alaaeldin El-Nouby、Mahmoud Assran、Nicolas Ballas、Wojciech Galuba、Russell Howes、Po-Yao Huang、Shang-Wen Li、Ishan Misra、Michael Rabbat、Vasu Sharma、Gabriel Synnaeve、Hu Xu、Hervé Jegou、Julien Mairal、Patrick Labatut、Armand Joulin以及Piotr Bojanowski。DINOv2：无需监督即可学习鲁棒的视觉特征。《机器学习研究交易》，2024年。 Georgios Pavlakos、Dandan Shan、Ilija Radosavovic、Angjoo Kanazawa、David Fouhey以及Jitendra Malik。利用Transformer重建三维手部模型。收录于2024年欧洲计算机视觉会议（ECCV）。 --- Rolandos Alexandros Potamias、Jinglei Zhang、Jiankang Deng以及Stefanos Zafeiriou。Wilor：面向野外场景的端到端三维手部定位与重建技术。收录于2024年欧洲计算机视觉会议（ECCV）。 Gopal Pradhan、Jing He以及Ning Jiang。Grabmyo：可穿戴式肌电手势识别基准测试。发表于《科学数据》期刊，第9卷，第733页，2022年。 Shyam Raghu、Sarah MacIsaac以及Erik Scheme。用于肌电信号表征学习的Vicreg算法。arXiv预印本arXiv:2409.11632，2024年。网址：。已提交至《生物医学中的计算机》期刊。 Javier Romero、Dimitrios Tzionas以及Michael J. Black。具身化手部模型：同时建模并捕捉手部与身体。发表于第36卷第6期，2017年。 Sasha Salter、Richard Warren、Collin Schlager、Adrian Spurr、Wonjun Han、Anup Bhasin、Lili Cai、Matt Walkington、Modupe Bolarinwa、Weikai Wang、Chase Danielson、Joshua Merel、Eftychios Pnevmatikakis以及Luke Marshall。emg2pose：一个规模庞大且多样化的表面肌电手部姿态估计基准测试。收录于2024年神经信息处理系统大会（NeurIPS）数据集与基准测试专题。 Yilin Shen、Jiankai Hao、Hao-Shu Fang以及Cewu Lu。Pimforce：基于肌电信号的抓取力估计大规模数据集与基准测试。收录于PiMForce：基于肌电信号的抓取力估计大规模数据集与基准测试，2024年。 R. C. Simpetru、A. Arkudas、D. I. Braun、M. Osswald、D. S. de Oliveira、B. Eskofier、T. M. Kinfe以及A. Del Vecchio。利用神经接口与深度学习感知人类手部的完整动态。《科学机器人》期刊，第9卷第93期，2024年。 Aditya Sivakumar、Josh Seely、Yu Du、Robert Bittner、Benjamin Berenzweig、Modupe Bolarinwa、Alexandre Gramfort以及Michael Mandel。Emg2qwerty：用于腕部佩戴式肌电打字的大规模数据集。收录于2024年神经信息处理系统大会（NeurIPS）数据集与基准测试专题。 Jianlin Su、Murtadha Ahmed、Yu Lu、Shengfeng Pan、Wen Bo以及Yunfeng Liu。Roformer：采用旋转位置编码的增强型Transformer。发表于《神经计算》期刊，第568卷，文章编号127063，2024年。doi:10.1016/j.neucom.2023.127063。 Sagar Verma。emg2tendon：从表面肌电信号到肌肉骨骼手部的肌腱控制。收录于2025年机器人科学与系统会议（RSS）。 Ziheng Xi、Zihang Ao、Yitao Wang、Mingze Gao、Wanmei Zhang、Jianjiang Feng以及Jie Zhou。Wristpp：一种用于手部姿态与压力估计的腕部佩戴式系统。收录于2026年CHI人机交互系统会议论文集，第1–30页，2026年。 Jehan Yang、Maxwell Soh、Vivianna Lieu、Douglas J. Weber以及Zackory Erickson。EMGBench：针对肌电信号的分布外泛化与适应性基准测试。arXiv预印本arXiv:2410.23625，2024年。网址：。 于博文、苏巴斯·苏雷什、穆斯塔法·穆卡丹、丹尼尔·马图拉纳、陈立和詹达仁。Dexycb：一个用于实现抓取感知的基准测试。发表于2022年国际机器人及自动化会议（ICRA）。 梅尔沙德·赞迪戈哈尔、韩莫、穆罕默德雷扎·沙里夫、塞岑·亚格穆尔·居奈、马留斯·P·弗尔马内克、马修·亚罗西、保罗·博纳托、卡格斯·奥纳尔、塔什金·帕迪尔、德尼兹·埃尔多穆什和古纳尔·席尔纳。通过肌电与视觉的多模态融合来推断假手控制中的人类抓取意图。《机器人与人工智能前沿》杂志，第11卷：1312554页，2024年。 赵千友、李文超、王驰宇和张凯峰。DexEMG：通过EMG2Pose泛化实现灵巧的遥操作系统。arXiv预印本arXiv:2603.05861，2026年。网址：。 周毅、康奈利·巴恩斯、陆景万、杨继梅和李浩。关于神经网络中旋转表示的连续性研究。发表于2019年IEEE/CVF计算机视觉与模式识别会议（CVPR），第5745–5753页。 --- 克里斯蒂安·齐默尔曼、杜伊古·塞兰、杨继梅、布莱恩·拉塞尔、马克斯·阿古斯和托马斯·布罗克斯。Freihand：一个基于单张RGB图像的无标记手部重建数据集。发表于2019年IEEE/CVF国际计算机视觉会议（ICCV），第10832–10841页。 克里斯蒂安·齐默尔曼、马克斯·阿古斯和托马斯·布罗克斯。用于手部形状估计的对比表示学习。发表于2021年德国模式识别会议DAGM。 ## A.4 肌电信号处理 ### A.1 手势词汇表 表4列出了EgoEMG的完整手势词汇表及其描述。 ### A.2 MANO形状多样性统计 表5报告了EgoEMG中41名参与者（共82只手）的MANO形状参数（$\beta \in \mathbb{R}^{10}$）在各维度上的统计数据。 ### A.3 数据集说明文档与发布格式 许可协议。该数据集将遵循CC-BY-NC 4.0协议供研究使用，基线代码则采用MIT许可证分发。第三方资源，包括MANO模型[Romero等人，2017]以及markers2mano的训练数据，仍受其原有许可证约束。 文件结构。数据按片段组织。每个片段存储为Parquet文件，其中包含同步的多模态时间序列：双侧肌电信号（16个通道，采样率2 kHz，含原始信号与滤波后信号）、每只手的惯性测量单元数据、来自头戴式广角GoPro的以自我为中心的RGB帧（1280×720分辨率，60 fps）、来自ZED 2i传感器的外部RGB-D帧（RGB+深度，1280×720分辨率，30 fps）、MANO姿态参数$\theta \in \mathbb{R}^{48}$和形状参数$\beta \in \mathbb{R}^{10}$、手腕屈伸及桡侧/尺侧偏斜角度、时间戳、校准元数据以及数据划分信息。视频帧以MP4格式存储，并通过帧索引引用；每帧均包含同步诊断信息（过期标志和delta_ms）。预先裁剪好的$256 \times 256$左右手图像块是通过将动作捕捉关键点重新投影到以自我为中心的视图并提取每只手的边界框生成的，它们以每个片段对应的LMDB存档形式提供，以便支持基于视觉的训练，无需用户重新运行投影流程。训练过程中会实时提取长度为7790个肌电样本的数据窗口。 获取方式。该数据集将通过下载脚本和校验和验证机制进行托管。评审期间将提供匿名访问链接。 ### A.4 肌电信号处理 所有肌电图信号均以2 kHz的频率进行记录。该版本包含每个通道的原始肌电图和滤波后的肌电图数据。滤波处理是在频域中通过FFT掩码按通道进行的，具体流程如下： 1. 各通道均值减法（去除直流分量）。 2. 在50 Hz（电网频率）和100 Hz（一次谐波）处应用窄带陷波滤波器。 3. 采用20–850 Hz的宽带带通滤波器。 4. 900 Hz以上采用平滑滚降处理，以抑制高频噪声。 不进行幅度归一化处理；滤波后的肌电图数值以毫伏为单位保留。该版本同时保留了原始肌电图数据（observation.emg.left/right）和滤波后的肌电图数据（observation.emg.left_filtered/right_filtered）。训练时默认使用滤波后的肌电图数据。 ---
Table 4: Complete gesture vocabulary of EgoEMG (60 classes) with per-gesture descriptions.
GestureDescription
Single-hand (30 gestures)
ASL1–ASL9American Sign Language digits 1 through 9
Claw3Three-finger claw pose (index + middle + ring flexed)
Claw5Five-finger claw pose (all fingers flexed)
FreeActionFree-form unconstrained hand action
ILY“I Love You” hand sign (thumb, index, pinky extended)
IndexBowIndex finger flexion/extension bowing
IndexMiddleClawIndex and middle fingers clawed, others extended
JoystickCircleCircular joystick manipulation on the palm with thumb
JoystickSlideLinear joystick sliding on the palm with thumb
MiddleBowMiddle finger flexion/extension bowing
NineHand forming number 9 (four fingers curled, index up)
PalmYawPalm facing up/down rotation about the yaw axis
PinchMiddleThumb to middle fingertip pinch
PinkyBowPinky finger flexion/extension bowing
RestRelaxed hand in neutral resting posture
RingAndThumbRing finger touching thumb tip
RingBowRing finger flexion/extension bowing
Rock“Rock on” hand sign (index and pinky extended)
ThumbThumb up
nocontact_disperse_palmFingers spread apart with palm open, no contact
nocontact_freeFree-form finger motion without contact
nocontact_grabSimulated grasping motion without contact
Symmetric bimanual (18 gestures)
ClapBoth hands clapping together symmetrically
CrossHandBoth hands crossed fingers
CrossStretchHands opposite fingers and stretched
FingerTipTouchMatching fingertips of both hands touching
FistBumpTwo fists bumping together
GamingBoth hands holding a game controller
HandClaspHands clasped together
HandRubRubbing palms together
IndexTappingBoth index fingers tapping in the air
KissFingertips of both hands touching (Thumb and Middle), then separating
PalmStackOne palm stacked on top of the other
PrayerPalms pressed together in prayer position
MiddleOppoMiddle and Ring fingers of one hand oppose the other hand
SymOpenBoth hands opening symmetrically from closed to open
SymSwingBoth hands swinging symmetrically side to side
ThumbWrestleThumbs wrestling each other
TypingBoth hands typing on a virtual keyboard
rawUnconstrained bimanual hand movement
Asymmetric bimanual (12 gestures)
FingerPullLeftLeft hand pulls right-hand fingers
FingerPullRightRight hand pulls left-hand fingers
PalmRollPalms facing, rolling around each other
PinkyHookPinky fingers hooked together
SqueezeBoth hands squeezing an imaginary object
BeijingTwo hands crossing to make a “Bei” Chinese character
CheckyTwo hands with thumbs forming a “Checky” sign
PairClawBoth hands clawing with asymmetric finger configurations
PairOKBoth hands forming OK signs
PictureHands forming a picture frame rectangle
PinchWringTwo hands pinching and wringing
ThumbOppoThumbs of both hands in opposition at different orientations
---
Table 5: Per-dimension MANO shape coefficient statistics across EgoEMG participants. MANO shape parameters are PCA-derived and have no fixed semantic interpretation.
DimensionMeanStdMinMaxP95-P5 range
$\beta_1$1.0871.051-0.9663.0344.000
$\beta_2$1.5050.7930.1833.5063.323
$\beta_3$-0.9811.076-3.8042.5476.351
$\beta_4$-0.5371.069-3.0772.0505.128
$\beta_5$1.0540.996-0.4614.6385.099
$\beta_6$-2.2691.711-10.2530.45010.703
$\beta_7$0.7271.437-1.7358.2549.989
$\beta_8$0.3711.000-1.8024.6836.485
$\beta_9$0.3651.464-2.9785.3448.322
$\beta_{10}$-0.7380.553-3.3080.3663.674
--- ## B标签重建与质量评估 ### B.1 Markers2MANO流程 本节详细介绍在EgoEMG数据采集期间，从光学动作捕捉标记位置恢复MANO参数的流程。 #### B.1.1 标记选择 我们从MANO网格表面选取21个顶点作为虚拟标记，这些标记分布在手部拓扑结构中，用于捕捉手腕、手指和手掌的几何形状：对应的索引为191、88、253、708、729（手腕/手掌），144、87、295、319（拇指），220、365、407、445（食指/中指/无名指），以及183、477、518、556、83、589、635、673（小指/手掌）。这些索引在所有MANO形状实例中保持一致$\beta$，因此能够将采集到的3D标记位置直接与规范的MANO网格对应起来。 #### B.1.2 图Transformer架构 ![Image](images/4fc0c66fa5de3fa41dd9c96c7208037c85def88607c9eec13b401d06bb62bda5.jpg)
Figure 8: Architecture of markers2mano pipeline.
主要的推理模型是一个图Transformer，它可将21个标记位置$\mathbf{M} \in \mathbb{R}^{21 \times 3}$映射为MANO姿态$\boldsymbol{\theta} \in \mathbb{R}^{48}$和形状$\boldsymbol{\beta} \in \mathbb{R}^{10}$参数。该架构如图8所示，具体组成如下： - 输入嵌入：每个标记位置通过线性层投影到潜空间维度d（$\mathbb{R}^3 \to \mathbb{R}^d$）。 • 图位置编码：MANO手部骨骼连接图的图拉普拉斯特征向量$(k = 8)$通过线性层$(\mathbb{R}^8 \to \mathbb{R}^d)$投影后，作为位置编码加到每个标记的输入嵌入中。这为每个标记提供了其在手部拓扑结构中的几何特征。 - 结构注意力偏差：手部骨骼图中标记对之间的最短路径距离被嵌入并重塑为每头注意力偏差矩阵。这种加法偏差会促使解剖学上相邻的标记（例如手指上的连续关节）更强烈地相互关注。 • Transformer编码器：由L层标准Transformer层组成，包含多头自注意力机制（将SPD偏差加到softmax之前的注意力分数上）、LayerNorm以及扩展比为$4 \times$（$d \to 4d \to d$）的前馈网络。每个子层外都包裹有残差连接。 - 输出头：经过最终的LayerNorm后，两个独立的MLP头生成预测结果。形状头对21个标记的特征取全局平均池化，再通过3层MLP回归出$\beta \in \mathbb{R}^{10}$。姿态头将所有标记的特征展平$(21 \cdot d)$，再通过3层MLP回归出16个手部关节的6D旋转表示[Zhou et al., 2019]，随后将其转换为轴角参数$\theta \in \mathbb{R}^{48}$。 • MANO前向传播：预测的$\theta$和$\beta$会经过MANO层处理，从而得到最终的网格顶点$\mathbf{V} \in \mathbb{R}^{778 \times 3}$。 #### B.1.3 训练与数据增强 该模型在来自11个公共数据集的手部网格上进行训练——包括GigaHand [Huang et al., 2024]、HOT3D [Banerjee et al., 2024]、ARCTIC [Fan et al., 2023]、HOI4D [Liu et al., 2022]、HanCo [Zimmermann et al., 2021]、DexYCB [Yu et al., 2022]、H2O [Kwon et al., 2021]、InterHand2.6M [Moon et al., 2023]、FreiHand [Zimmermann et al., 2019]、HO3Dv3 [Hampali et al., 2020]以及HO3Dv2 [Hampali et al., 2020]——这些数据集的原始视频片段总量超过了1.95亿帧。 --- ![Image](images/4542ac5569a1248b3048d0e5b92bf67d896055d011b296e14618ff24bc0c6402.jpg)
Figure 9: Data augmentation pipeline for markers2mano training.
为了平衡训练分布，我们根据数据集的规模等级为其分配采样比例：大规模数据集（1亿帧以上，如GigaHand）的采样比例为0.14%；中等规模数据集（100万帧以上，如HOT3D、InterHand2.6M）的采样比例为1.5%；小规模数据集（10万帧以上，如FreiHand、HO3D）的采样比例为15%–20%。最终得到约70万个训练用网格（见图10）。这种多源数据设置涵盖了多种手部形状、姿态以及物体交互情况，能够确保模型对EgoEMG的手势空间具备良好的泛化能力。 ![Image](images/5f0e07905c942b10692d736788bb3363647d381e78ec7c4a7fefbc8e99bc4205.jpg) ![Image](images/f183668273f4da8247d90da3be2e84061fc13d48095699cc1f414329e4a1d5d6.jpg)
Figure 10: Composition of the markers2mano training data. Left: original frame counts of 11 public datasets (log scale), spanning 76K to 183M frames. Each dataset is assigned a sampling ratio by scale tier—0.14% (GigaHand, 100M+), 1.5% (1M+), or 15–20% (100K+)—shown as annotations. Right: target distribution of the training mixture after applying the tiered sampling ratios, yielding approximately 0.7M training meshes.
损失函数结合了在MANO网格输出上评估的两项指标： $$ \mathcal{L}=\lambda_{\mathrm{v e r t s}}\frac{1}{V}\sum_{v=1}^{V}\|\mathbf{v}_{v}^{\mathrm{p r e d}}-\mathbf{v}_{v}^{\mathrm{g t}}\|_{2}^{2}+\lambda_{\mathrm{m a r k e r s}}\frac{1}{N}\sum_{n=1}^{N}\|\mathbf{m}_{n}^{\mathrm{p r e d}}-\mathbf{m}_{n}^{\mathrm{a u g}}\|_{2}^{2}, $$ 其中$\mathbf{v}^{\mathrm{pred}}$和$\mathbf{v}^{\mathrm{gt}}$分别是预测的与真实的MANO网格顶点（$V = 778$），而$\mathbf{m}^{\mathrm{pred}}$和$\mathbf{m}^{\mathrm{aug}}$则分别对应虚拟标记点和增强输入标记点所对应的21个预测网格顶点子集（$N = 21$）。我们将$\lambda_{\mathrm{verts}} = 1.0$和$\lambda_{\mathrm{markers}} = 5.0$设为较大值，以更侧重标记级别的精确重建。 数据增强。为确保模型能抵御现实中的动作捕捉噪声，我们在模型接收输入标记位置前，会对其应用多步骤增强流程。该流程包含八种扰动类型，分为三类；每个批次中有一半的样本不会经过增强处理，从而保留未受干扰的原始信号。 • 结构层面：（1）骨骼长度扰动——各个骨段的长度会被随机缩放，最大可变动范围为原长度的$\pm5\%$，用以模拟软组织带来的误差。（2）随机全局缩放——在以根部为中心进行定位后，所有坐标会乘以一个介于0.6到1.4之间的系数，从而改变手部的表观尺寸。 --- - 身份层面：（3）标记点交换——空间上相邻的标记点（距离在15毫米以内）会以0.3的概率被随机互换（每帧最多交换三次）。（4）标记点丢失——最多有三个标记点会被删除，并用其邻近点的插值位置替代。（5）邻域混合——每个标记点会与其邻近网格顶点的随机凸组合进行混合，自身权重保留为0.5。 - 噪声层面：（6）高斯噪声——每个坐标上会添加独立同分布且方差为$\mathcal{N}(0,1\,\mathrm{mm}^2)$的噪声，同时有10%的概率会出现单个标记点丢失的情况。（7）标记点漂移——最多有三个标记点会沿随机方向产生不超过5毫米的系统性偏移。（8）标记点尖峰——有10%的概率会出现单个标记点被随机移动到距离异常远的位置（为手部尺寸的2–5倍），用以模拟严重的跟踪失误情况。 为了评估markers2mano重建的精确度，我们统计了原始标记点与重建网格中虚拟顶点之间的重建误差。markers2mano在公共数据集上的顶点级误差为3.2毫米，在EgoEMG上的标记点级误差为4.3毫米。我们还随机选取了一些以心为中心的RGB帧，手动将网格投影到这些帧上以验证标签质量，结果如图11所示。 ### B.2 手腕关节角度计算 手腕关节角度直接由运动捕捉标记点计算得出，与MANO重建流程无关。附着在每条肌电臂带上的标记点（右手腕4个，左手腕5个）用于定义前臂坐标系，据此可计算出两个手腕自由度：屈曲/伸展 $\theta_{fe}$ 以及桡侧/尺侧偏移 $\theta_{ru}$。 三个不共线的臂带标记点可定义一个前臂坐标系，其归一化基向量为 $\mathbf{F} = \text{normalize}(\mathbf{F})$（前臂方向）和 $\mathbf{L} = \text{normalize}(\mathbf{L})$（沿手背向左的方向），法向量为 $\hat{\mathbf{N}} = \text{normalize}(\hat{\mathbf{F}} \times \hat{\mathbf{L}})$。设 $\hat{\mathbf{H}}$ 为从手腕到中指掌指关节的单位向量，$\hat{\mathbf{H}}_{proj} = \hat{\mathbf{H}} - (\hat{\mathbf{H}} \cdot \hat{\mathbf{N}}) \hat{\mathbf{N}}$ 为其在平面 $(\hat{\mathbf{F}}, \hat{\mathbf{L}})$ 上的投影。手腕角度计算如下： $$ \theta_{\mathrm{f e}}=\arcsin(\hat{\mathbf{H}}\cdot\hat{\mathbf{N}}),\qquad\theta_{\mathrm{r u}}=\mathrm{a t a n2}\big(\hat{\mathbf{H}}_{\mathrm{p r o j}}\cdot\hat{\mathbf{L}},\hat{\mathbf{H}}_{\mathrm{p r o j}}\cdot\hat{\mathbf{F}}\big), $$ 其中伸展和桡侧偏移被定义为正值。对于左手而言，需使用 $\mathbf{N} = \mathbf{L} \times \mathbf{F}$ 以保持符号约定的一致性。 ### B.3 从MANO格式到UmeTrack/EMG2Pose格式的关节角度转换 除了MANO参数 $(\theta, \beta, \mathbf{t})$ 外，EgoEMG还提供了每帧的关节角度数据，这些数据采用EMG2Pose和UmeTrack所使用的20自由度标量格式 [Salter et al., 2024; Han et al., 2022]，因此可直接与以往采用标量关节角度表示的肌电-姿态基准测试进行对比。该转换过程是通过地标级逆向运动学来实现的。 转换流程如下：给定某一帧的MANO姿态和形状参数后，我们首先运行MANO正向运动学以获取21个关节位置。随后通过预先计算好的固定变换（缩放、全局方向和平移）将这些位置对齐到UmeTrack坐标系，该变换是通过优化两个模型的静息姿态网格对齐结果得到的。接着我们优化20个标量关节角度 $a \in \mathbb{R}^{20}$，使得UmeTrack正向运动学产生的地标位置能与对齐后的MANO目标位置相匹配： $$ \mathcal{L}(\mathbf{a})=\frac{1}{20}\sum_{i=1}^{20}\big\|\mathbf{p}_{i}^{\mathsf{u m e t r a c k}}(\mathbf{a})-\mathbf{p}_{i}^{\mathsf{m a n o}}\big\|_{2}^{2}, $$ 其中 $\mathbf{p}_{i}^{\text{mano}}$ 为对齐后的MANO关节位置（应用了固定的缩放、旋转和平移处理后），$\mathbf{p}_{i}^{\text{umetrack}}(\mathbf{a})$ 为通过UmeTrack正向运动学计算出的对应UmeTrack地标位置（标量关节角度 $\rightarrow$，通过Rodrigues公式进行轴角旋转并应用蒙皮处理 $\rightarrow$）。21个MANO关节通过预定义的对应关系映射到20个UmeTrack地标上；MANO手腕关节被排除在外，因为它与UmeTrack坐标原点重合且不携带姿态信息。 --- 优化过程：我们使用L-BFGS算法最小化 $\mathcal{L}(\mathbf{a})$（强Wolfe线搜索，学习率为0.1，外部迭代100步，每步内部迭代最多50次）。通过Sigmoid重参数化来强制执行UmeTrack手部模型规定的关节范围约束：$\mathbf{a} = \mathbf{a}_{\min} + (\mathbf{a}_{\max} - \mathbf{a}_{\min}) \cdot \sigma(\mathbf{z})$，其中 $\mathbf{z}$ 为不受约束的可优化变量。优化过程在GPU上按每批次256个样本进行；超出GPU内存容量的片段会被拆分为更小的批次处理。 输出结果：最终的22自由度预测目标包含了20个手指关节角度（索引0–19）和2个手腕关节角度（索引20–21）。优化后的UmeTrack关节相对于MANO目标的地标拟合误差均值为2.8毫米，这表明转换过程引入的额外误差可忽略不计。表6列出了各维度的完整语义排序。转换脚本已包含在数据集发布包中。
Table 6: Complete 22-DoF joint angle target semantics. Each dimension is reported in degrees. FE = flexion/extension, AA = abduction/adduction. Indices 0–3 cover the thumb, 4–7 the index finger, 8–11 the middle finger, 12–15 the ring finger, and 16–19 the pinky.
IndexFingerJointMotion
0ThumbCMCFE
1ThumbCMCAA
2ThumbMCPFE
3ThumbIPFE
4IndexMCPAA
5IndexMCPFE
6IndexPIPFE
7IndexDIPFE
8MiddleMCPAA
9MiddleMCPFE
10MiddlePIPFE
11MiddleDIPFE
12RingMCPAA
13RingMCPFE
14RingPIPFE
15RingDIPFE
16PinkyMCPAA
17PinkyMCPFE
18PinkyPIPFE
19PinkyDIPFE
20-WristFlexion/Extension
21-WristRadial/Ulnar deviation
我们在图11中展示了重建样本。 --- ![Image](images/2539cd7586be46e147c1ad8d4ac9ef3d68a9efff799e74800ba519542d7f2ba2.jpg)
Figure 11: Mesh reprojection and visualization of UmeTrack and MANO mesh reconstruction on EgoEMG. The reconstructed MANO meshes (from markers2mano) are overlaid on egocentric RGB frames, demonstrating accurate hand pose reconstruction and realistic mesh-to-image alignment.
## C 训练与实现细节 ### C.1 EMGFormer训练细节 优化。所有EMGFormer变体均训练200个周期，采用AdamW优化器[Loshchilov和Hutter，2019]（$\beta_1 = 0.9$、$\beta_2 = 0.999$，权重衰减为$10^{-4}$），初始学习率为$10^{-4}$，随后采用余弦退火策略降至$5 \times 10^{-6}$，批量大小为800，使用bf16混合精度训练，最小化L1（MAE）损失，并加入额外的指尖距离损失项（权重为0.01）。前500步采用线性热身策略。所有实验均在六张NVIDIA RTX 4090 GPU（每张24 GB显存）上完成。 数据增强。在训练过程中实时应用以下增强方式：通道丢弃（每个通道有25%的概率被丢弃）、频率掩码（最多128个频域bin的3个掩码）、加性高斯噪声（信噪比为25–35 dB，概率为50%），以及时间抖动（$\pm$40毫秒）。 架构与各尺寸配置。表7总结了每种EMGFormer变体的架构与训练配置。
Table 7: Architecture and training configuration per EMGFormer variant. "Params" includes the TDS encoder, Transformer decoder, and regression head.
VariantLayersHidden dimHeadsFFN dimParamsGPU-hours
EMGFormer-S325645123.5M2
EMGFormer-M6256810246.6M4
EMGFormer-L838412153616.3M8
TDS特征提取器。TDS风格的时间卷积前端[Hannun等人，2019]将原始的2 kHz肌电信号窗口（$T = 7790$个样本，16个通道）映射为256维的特征序列。该架构由两个初始的步长Conv1d块和两个TDS阶段组成。每个TDS阶段首先通过步长Conv1d进行时间下采样，随后是TDSConvEncoder，它由交替的深度可分离时间卷积（将通道轴重塑为二维特征图）和逐通道全连接块构成。每个TDS阶段之后会全局应用挤压激励机制[Hu等人，2018]。各层的配置如下： 1. Conv1d：16 → 256，核大小11，步长5 --- 2. Conv1d：256 → 256，核大小5，步长2 3. TDS阶段1：输入卷积核大小9，步长5；1个TDSConv块（核宽度5，通道数8，特征宽度32） 4. TDS阶段2：输入卷积核大小3，步长1；1个TDSConv块（核宽度3，通道数8，特征宽度32） 最终输出为(256, 146)的特征图，对应的有效帧率约为37 Hz，其感受野覆盖了整个输入窗口。 ### C.2 视觉与融合训练细节 视觉基线模型。我们提供了六种经过完全微调的通用视觉骨干网络：ResNet-{18, 50, 152}和ViT-{Small, Base, Large}。ResNet骨干网络初始化时采用ImageNet预训练权重，而ViT骨干网络则采用DINOv2预训练权重。每种通用骨干网络从窗口中心帧裁剪图像（256×256）中提取特征向量，再经预测头回归22个关节角度。预测头是一个两层MLP：Linear($d_{backbone} \rightarrow 512$) → ReLU → Dropout(0.1) → Linear(512 → 22)。所有通用视觉模型均采用与肌电基线相同的L1（MAE）损失加上指尖距离损失（权重为0.01）进行训练。此外，我们还微调了WiLoR[Potamias等人，2024]作为针对手部任务的专用基线模型，该模型使用基于MANO的预训练检查点，同样以中心帧为监督目标且输出维度相同。通用骨干网络在6张NVIDIA RTX 4090 GPU上采用AdamW优化器[Loshchilov和Hutter，2019]，配合余弦退火策略和bf16混合精度训练；WiLoR则采用学习率为$10^{-5}$的AdamW优化器，在30个周期内进行余弦退火训练。表8列出了各骨干网络的配置详情。
Table 8: Vision backbone configuration. All models take $256 \times 256$ center-frame crops as input and are evaluated on the same 22-DoF center-frame target. Generic ResNet/ViT models share the same MLP prediction head; WiLoR uses its native hand-pose backbone with a 22-DoF regression head.
BackboneParams$d_{backbone}$LRBatch sizeEpochs
ResNet-1811.5M512$10^{-3}$900150
ResNet-5023.5M2048$10^{-3}$400150
ResNet-15258.2M2048$10^{-3}$180150
ViT-S/1421.9M384$10^{-4}$360150
ViT-B/1486.2M768$10^{-4}$160150
ViT-L/14303.8M1024$10^{-4}$50150
WiLoR631.6M1576$10^{-5}$1830
融合基线模型。该融合模型采用第4.5节中描述的残差架构。视觉通路（骨干网络、投影层和视觉头）可以从仅视觉的预训练模型中初始化，而肌电通路（EMGFormer-S，包含TDS特征提取器和Transformer解码器）则可以从仅肌电的预训练模型中初始化。融合投影层和残差回归头采用随机初始化方式，其中回归头的最后一层被置零，以便模型从仅视觉的基线开始($\Delta \mathbf{y}_{\text{emg}} \approx 0$)。该模型仅预测窗口的中心帧。训练过程使用AdamW优化器[Loshchilov和Hutter，2019]（学习率为$1 \times 10^{-4}$，采用余弦退火调度策略），损失函数为L1（MAE）加指尖距离损失；批量大小根据骨干网络的不同在64到600之间调整，训练轮数则为200–300轮，并在六张NVIDIA RTX 4090 GPU上采用bf16混合精度进行训练。 ## D节 扩展实验结果 ### D.1 各手部肌电基线结果分析 表9列出了EgoEMG数据集上所有方法针对每只手的平均绝对误差，是对表2中汇总结果的补充。 在所有模型和数据划分中，左手与右手的平均绝对误差相差不超过$2.0^{\circ}$，这一结果证实了共享权重的双侧设计以及左右镜像策略能够产生对称的性能表现。这种手部间的一致性也验证了通过单一模型处理双手数据的有效性。 ---
Table 9: Per-hand EMG-to-pose MAE on EgoEMG. MAE is reported in degrees; lower is better. Left and right hands are processed independently with shared model weights, and left-hand EMG is mirrored to the right-hand convention. Rows are grouped by method family; shaded rows highlight EMGFormer variants.
MethodHandGestureUserBoth
EMGFormer variants
EMGFormer-SLeft Right12.414.716.5
13.216.618.4
EMGFormer-MLeft Right11.515.517.0
12.116.617.8
EMGFormer-LLeft Right11.415.317.6
12.016.017.7
Traditional architectures
vemg2poseLeft Right14.715.717.2
15.217.017.5
NeuroPoseLeft Right15.915.415.7
15.716.016.9
### D.2 仅肌电模型的中心帧参考结果 为了部分消除第4.2节中提到的监督粒度差异问题，我们额外评估了仅在窗口中心帧而非整个预测轨迹上运行的仅肌电模型。表10采用了与主基准测试相同的手势、用户和数据划分，展示了这些中心帧下的平均绝对误差值。中心帧结果与轨迹级评估结果相似但不完全相同：它们略微改变了不同模型尺寸间的排名，其中EMGFormer-S取得了最佳的平均绝对误差以及最优的用户划分结果，而EMGFormer-L在手势和数据划分维度上仍表现最强。这三种变体的平均绝对误差均紧密聚集在0.4°以内。
Table 10: EMG-only center-frame reference results on EgoEMG. MAE is reported in degrees; lower is better. Columns report per-user mean $\pm$ standard deviation (left+right pooled). Avg is the per-sample overall MAE across all test splits. These runs use the same center-frame target as the vision-only and fusion models, but remain EMG-only. Bold indicates the best mean per column.
MethodParamsGestureUserBothAvg.
EMGFormer-S3.5M$12.5 \pm 1.7$$15.5 \pm 2.5$$17.0 \pm 1.4$14.5
EMGFormer-M6.6M$12.9 \pm 1.7$$15.7 \pm 2.6$$17.7 \pm 1.6$14.9
EMGFormer-L16.3M$12.6 \pm 1.6$$16.1 \pm 1.6$$17.4 \pm 1.2$14.6
### D.3 EMG2Pose基准测试结果 表11报告了EMGFormer在EMG2Pose数据集标准划分上的测试结果。 EMGFormer-L在用户+阶段划分下的平均绝对误差达到了$12.25^\circ \pm 1.08^\circ$，相较于vemg2pose基线[Salter等人，2024]($15.8^\circ \pm 1.4^\circ$)提升了22%，且其参数数量仅增加了$2.7^\circ$。SensingDynamics[Sîmpetru等人，2024]和NeuroPose[Liu等人，2021]在完整EMG2Pose基准测试上的用户+阶段平均绝对误差分别为$18.7^\circ$和$17.5^\circ$。CLDM[Verma，2025]在完整数据集上的结果则为$14.7^\circ \pm 1.4^\circ$。VQ-MyoPose[Loveccchio等人，2025]($^\ddagger$)是在12名受试者的子集上评估的，因此无法直接比较。EMGFormer-L将阶段划分下的平均绝对误差降低至$9.28^\circ \pm 1.09^\circ$，较vemg2pose提升了39%，这表明其对未见过的手势阶段的时序模式建模能力更强。 ### D.4 关节级误差分析 表12展示了EgoEMG数据集上不同尺寸的EMGFormer变体在每根手指和每个关节组上的平均绝对误差（MAE）。在所有三种模型尺寸中，远端关节和手腕偏移产生的误差最小（二者的最佳MAE均为$10.0^{\circ}$），而小指和中节指骨组则是最难处理的。 ---
Table 11: EMG-only baseline results on EMG2Pose test splits. MAE is reported in degrees; lower is better. EMGFormer values report per-user mean $\pm$ standard deviation across users (n=158 for Stage, n=20 for User and User+Stage). ${}^{\dagger}$ Numbers reported in the original papers; all evaluated on the full dataset. ${}^{\ddagger}$Evaluated on a 12-subject subset of EMG2Pose (12/27 stages); not directly comparable to full-dataset results. Shaded rows highlight EMGFormer variants; bold indicates the best EMGFormer value per column.
MethodParamsUserStageUser+Stage
Prior work
SensingDynamics $^{\dagger}$ [Simpetru et al., 2024]-$15.5 \pm 1.4$$18.8 \pm 1.6$$18.7 \pm 1.6$
NeuroPose $^{\dagger}$6.4M$13.2 \pm 1.1$$17.2 \pm 1.7$$17.5 \pm 1.5$
vemg2pose $^{\dagger}$6.0M$12.2 \pm 1.3$$15.2 \pm 1.6$$15.8 \pm 1.4$
CLDM $^{\dagger}$ [Verma, 2025]-$11.3 \pm 1.0$$14.3 \pm 1.5$$14.7 \pm 1.4$
EMGFormer variants
EMGFormer-S3.5M$12.45 \pm 1.06$$11.10 \pm 1.19$$12.34 \pm 1.07$
EMGFormer-M6.6M$12.40 \pm 1.08$$10.18 \pm 1.13$$12.39 \pm 1.08$
EMGFormer-L16.3M$12.26 \pm 1.08$$9.28 \pm 1.09$$12.25 \pm 1.08$
（最佳MAE分别为$16.7^{\circ}$和$20.7^{\circ}$）。这一模式与手部运动学特征及感知难度相符。远端关节的活动范围往往更受限，因此更容易根据肌电信号对其角度进行规范化处理。相比之下，中节指骨关节承担了更大的手指屈曲动作量，因而表现出更大的运动变异性。小指误差较高也在意料之中：小指的运动通常较弱，与无名指的运动关联性更强，且在腕部水平的肌电信号中难以独立体现，因此更难与相邻手指的激活模式区分开来。
Table 12: Per-joint MAE ( $^{\circ}$) on EgoEMG, left and right hands pooled within each split, then per-sample weighted average across gesture, user, and both splits. Lower is better. Bold indicates the best mean per row.
Joint groupEMGFormer-SEMGFormer-MEMGFormer-L
Distal10.210.110.0
Wrist deviation10.810.110.0
Thumb12.812.312.3
Index13.413.313.3
Proximal13.713.313.4
Ring15.214.714.6
Middle finger15.214.814.8
Wrist flexion15.714.914.6
Pinky17.316.717.0
Mid-phalanx21.620.720.7
For comparison, Table 13 details the corresponding per-joint MAE on the EMG2Pose dataset. Because EMG2Pose lacks wrist articulation labels, our evaluation here is restricted to finger joints.
Table 13: Per-joint MAE ( $^{\circ}$) on the EMG2Pose dataset, per-sample weighted average across all three test splits (stage, user, and user+stage). Because EMG2Pose lacks wrist labels, only finger joints are reported. Bold indicates the best mean per row.
Joint groupEMGFormer-SEMGFormer-MEMGFormer-L
Proximal9.38.98.5
Index10.810.39.8
Thumb11.110.69.9
Middle finger11.110.510.0
Ring11.110.610.1
Distal13.312.812.2
Pinky13.512.912.3
Mid-phalanx14.213.412.6
跨数据集对比结果显示，中节指骨关节和小指关节在两项基准测试中均属于最具挑战性的组别。不过，各数据集中最易预测的组别有所不同：在EMG2Pose数据集中，近端关节的MAE最低；而在EgoEMG数据集中，远端关节和手腕偏移 --- 则是最易预测的组别。EgoEMG的整体误差幅度也更大——介于$10.0^{\circ}$到$21.6^{\circ}$之间，而EMG2Pose的误差范围仅为$8.5^{\circ}$到$14.2^{\circ}$——这很可能反映了参与者数量、手势多样性、传感器设置以及EgoEMG将手腕关节运动纳入22个自由度预测目标等方面的差异。 ### D.5 各手势模态互补性分析 为了明确肌电信号在视觉之外提供补充信息的具体场景，我们基于完整的测试集（所有拆分数据、双手）按手势类别评估了三种模态——仅视觉、仅肌电以及F-RN18+S融合模型。按照附录A.1中的分类标准，我们将60种手势类别划分为三个语义家族：单手动作（30种）、对称双手动作（18种）以及非对称双手动作（12种）。由于一种双手动作（原始、无约束类型）的姿态分布不受限，因此未纳入本次分析。表14报告了三种模态下各语义家族的样本加权平均值。
Table 14: Per-gesture-family modality comparison on EgoEMG (F-RN18+S fusion). Values are sample-weighted averages across all test splits; MAE is in degrees (lower is better). $\Delta = MAE_{vision} - MAE_{fusion}$; positive $\Delta$ indicates fusion improvement. Gesture families follow the vocabulary in Appendix A.1.
Gesture family#G#Samp.Vis.EMGFusion$\Delta$
Single-hand302,4066.015.05.5+0.50
Symmetric bimanual171,2885.914.05.5+0.38
Asymmetric bimanual125846.814.66.4+0.41
Overall594,2786.114.65.6+0.46
分析呈现出三种规律。首先，融合增益具有系统性：在分析的59种手势类别中，有54种场景下融合模型的性能优于仅视觉模型，这排除了整体性能提升由少数异常手势驱动的可能性。其次，各家族层面最大的增益出现在单手动作类别（$\Delta = +0.50^\circ$），其次是非对称双手动作（$\Delta = +0.41^\circ$）。这表明当预测任务依赖于手部内部的细微动作或难以从单一RGB图像中推断的非对称双手协调动作时，肌电信号的作用最为显著。对称双手动作的增益最小（$\Delta = +0.38^\circ$），因为这类双手交互动作往往更容易通过视觉区分。第三，即便在少数融合模型性能略逊于仅视觉模型的场景中（Rock手势：$-0.22^\circ$；打字手势：$-0.21^\circ$；拍手手势：$-0.12^\circ$；向左拉指手势：$-0.04^\circ$；交叉手手势：$-0.01^\circ$），性能下降幅度也微乎其微，且这些场景涉及的手部轮廓较大，视觉特征本身已具备很强的区分度。图12可视化展示了各手势的互补性：几乎所有数据点都位于对角线下方，证实了融合模型确实能对手势库中的手势产生系统性的、尽管较为温和的修正效果。 表15给出了所分析的59种手势类别的完整细分结果，按语义家族分组，并在每个家族内按照融合增益降序排列。 #### D.6 融合收益与手部自遮挡的关系 为了明确肌电-视觉融合模型在何种场景下收益最大，我们按照手部自遮挡程度对测试集预测结果进行了分层分析。 自遮挡分数。我们通过将真实MANO网格在相机空间中进行z缓冲光栅化，来量化每一帧中的手部自遮挡情况。具体来说，对于每个测试帧： 1. 利用校准后的外部矩阵$(v_{cam} = R_{C \leftarrow W} v_W + t_{C \leftarrow W})$，将MANO网格的顶点从世界坐标转换到相机坐标。 2. 通过针孔投影模型以及校准后的内部矩阵K，将所有网格三角形以原生视频分辨率光栅化到深度缓冲区（z缓冲）中。对于被三角形覆盖的每个像素，如果其插值深度值小于缓冲区中当前存储的值，则将该深度值存入缓冲区。 3. 如果一个顶点在其投影位置周围的$5 \times 5$像素邻域内，存在任何z缓冲区条目与该顶点的深度值之差在$\epsilon = 5$毫米以内，则该顶点被视为可见。 4. 每个三角形的三维表面积（两条边向量的叉积范数的一半）会被平均分配给它的三个顶点，从而得到每个顶点的面积权重$w_{i}$。 --- ![Image](images/94ec9d3ad1b402d24b389a0ca08e5ed8b98b66c236c06b140057f6db8d2e68ab.jpg)
Figure 12: Per-gesture vision-only vs. fusion MAE on EgoEMG (F-RN18+S). Each point is one gesture class; point size reflects sample count; color indicates the semantic gesture family. The diagonal marks parity; points below the diagonal indicate fusion improvement. Top-4 most-improved gestures and the most notably worsened gestures are annotated.
![Image](images/545dc1930685bb631676ed03ffab1a100cb458bfdfb18b16cf18effe8c1a8168.jpg) ![Image](images/f98c8cfb7aa21e155b8f0980bf6c19dee8b2a82e1966865832f0324d264fab14.jpg)
Figure 13: Fusion benefit as a function of hand self-occlusion on the EgoEMG test set (17,168 samples, stride reduced to $\frac{1}{4}$ of the evaluation window for denser coverage). (a) Mean joint-angle MAE of vision-only and EMG+Vision fusion across fixed-width (0.05) occlusion bins. The annotated $\Delta$ values indicate the fusion gain at the lowest and highest occlusion bins. (b) Per-bin fusion gain ( $\Delta = MAE_{vision} - MAE_{fusion}$) with LOESS trend line (Spearman $\rho = 0.049$, p = 0.001). Error bands in (a) and the trend confidence in (b) denote $\pm 1$ SEM.
### 5. 自遮挡分数的定义如下： $$ s_{\mathrm{o c c}}=1-\frac{\sum_{i\in\mathcal{V}_{\mathrm{v i s}}}w_{i}}{\sum_{i=1}^{V}w_{i}}, $$ 其中$\mathcal{V}_{\text{vis}}$表示可见顶点的集合。分数为0意味着手部完全可见；分数为1则表示从相机视角看手部完全被遮挡。 实验结果。图13(a)显示，仅基于视觉的方法和融合方法的MAE都会随遮挡程度的变化而变化，而两者之间的差距——即融合增益——在整个范围内始终为正值，从遮挡程度最低时的$\Delta = 0.24^{\circ}$到遮挡程度最高时的$\Delta = 0.52^{\circ}$。当遮挡程度处于中等到较高水平时（遮挡程度接近$\Delta \approx 0.8^{\circ}$时，$\approx 0.72$），融合带来的益处最为显著，此时视觉信息的质量会大幅下降。图(b)通过LOESS平滑曲线在分箱级别展示了同一趋势，结果显示遮挡程度与融合增益之间存在统计学上显著的正相关关系（Spearman相关系数为$\rho = 0.049$，p = 0.001）。 ---
Table 15: Full per-gesture modality breakdown on EgoEMG using F-RN18+S fusion. MAE is in degrees. $\Delta = MAE_{vis} - MAE_{fus}$. Gestures are grouped by family and sorted by descending $\Delta$ within each family. Gesture descriptions are provided in Appendix A.1.
IDNameNVis.EMGFus.$\Delta$
Single-hand gestures
6ASL7367.216.16.2+0.96
8ASL9385.717.55.0+0.71
12ILY407.319.26.6+0.70
13IndexBow346.320.75.6+0.66
20PinchMiddle3245.312.24.7+0.64
26Thumb407.924.87.3+0.62
7ASL8427.014.86.4+0.61
28nocontact_free2926.814.26.2+0.61
18Nine3207.018.16.4+0.59
17MiddleBow924.111.13.5+0.57
16JoystickSlide385.619.55.0+0.56
23RingAndThumb367.216.56.7+0.55
9Claw3387.717.37.2+0.54
27nocontact_disperse_palm924.912.24.5+0.46
15JoystickCircle3084.512.24.0+0.45
2ASL3307.319.66.8+0.44
11FreeAction386.515.86.1+0.41
5ASL6406.918.16.5+0.39
14IndexMiddleClaw925.012.94.6+0.39
1ASL2346.917.76.5+0.38
19PalmYaw823.29.82.8+0.36
4ASL5284.514.64.2+0.35
24RingBow387.316.97.0+0.34
0ASL1447.917.67.7+0.26
10Claw5366.015.65.7+0.25
22Rest307.117.46.9+0.20
21PinkyBow407.516.67.4+0.18
3ASL4326.218.06.1+0.14
29nocontact_grab367.418.67.4+0.06
25Rock369.517.59.7-0.22
Symmetric bimanual gestures
38HandClasp308.716.48.0+0.75
52MiddleOppo2265.312.34.8+0.59
39HandRub325.916.05.3+0.55
36FistBump2569.223.78.7+0.51
44Prayer783.99.53.4+0.46
42PalmStack2624.610.24.2+0.41
47SymSwing286.615.76.2+0.36
40IndexTapping325.313.05.0+0.30
37Gaming267.815.97.5+0.24
46SymOpen305.012.64.8+0.22
51Kiss784.010.43.7+0.21
48ThumbWrestle345.514.65.3+0.18
35FingerTipTouch763.67.53.4+0.16
32CrossStretch265.311.95.3+0.01
31CrossHand265.612.85.7-0.01
30Clap146.714.36.8-0.12
49Typing345.311.95.5-0.21
Asymmetric bimanual gestures
34FingerPullRight287.113.66.1+0.96
58PinchWring327.517.86.8+0.71
55PairClaw368.117.47.4+0.66
43PinkyHook327.016.06.5+0.51
53Beijing3010.119.29.6+0.44
41PalmRoll544.412.14.0+0.36
59ThumbOppo307.117.56.7+0.34
45Squeeze2306.212.45.8+0.32
54Checky229.621.19.4+0.26
56PairOK327.615.67.5+0.07
57Picture327.116.77.1+0.03
33FingerPullLeft266.013.66.0-0.04
--- ## NeurIPS论文检查清单 ### 1. 研究主张 问题：摘要和引言中提出的主要主张是否准确反映了本文的贡献和范围？ 答案：[是] 理由：摘要和引言主要将本文定位为一项新数据集和基准测试，最强的实证性主张也仅限于实际报告的最初的EMG基线结果；详见第1、3、4、6和7节。 指南： - 若答案为[N/A]，则表示摘要和引言中未包含本文提出的主张。 - 摘要和/或引言应明确陈述所提出的主张，包括本文的贡献、重要假设和局限性。对此问题的回答若为[否]或[N/A]，会给审稿人留下不好的印象。 - 所提出的主张应与理论和实验结果相符，并反映出这些结果在其他场景下可推广的程度。 - 只要能明确说明这些目标并非本文所能实现，将愿景性目标作为研究动机也是可以的。 ### 2. 局限性 问题：本文是否讨论了作者所做工作的局限性？ 答案：[是] 理由：本文在第7节中明确讨论了主张范围、不完整的基准测试 track 以及缺失的集成细节等问题。 指南： - 答案[N/A]表示论文不存在局限性，而答案[No]则表示论文存在局限性，但文中并未讨论这些局限性。 • 建议作者在论文中单独设立一个“局限性”章节。 - 论文应指出所有强假设，以及结果对这些假设被违反时的稳健程度（例如独立性假设、无噪声环境、模型设定合理、渐近近似仅在局部成立等）。作者应思考这些假设在现实中可能被违反的情况及其带来的影响。 - 作者应反思论文中所做陈述的适用范围，比如该方法是否仅在少数数据集上或经过少量实验验证。一般来说，实证结果往往依赖于一些隐含假设，这些假设应当被明确说明。 - 作者应分析影响该方法性能的因素。例如，面部识别算法在图像分辨率低或光线不足时可能表现不佳；语音转文字系统可能无法可靠地为在线课程提供字幕，因为它难以处理专业术语。 - 作者应讨论所提出算法的计算效率，以及它们随数据集规模扩大时的扩展能力。 - 如适用，作者应探讨其方法在隐私和公平性方面可能存在的局限性。 - 尽管作者可能担心完全坦诚地说明局限性会被审稿人用作拒稿理由，但更糟糕的情况是审稿人发现论文中未提及的局限性。作者应凭最佳判断行事，并认识到为透明度做出的个人努力对形成维护学术共同体诚信的规范至关重要。审稿人会被特别要求不得因作者如实说明局限性而予以惩罚。 ### 3. 理论假设与证明 问题：对于每一项理论成果，论文是否提供了完整的假设集以及完整（且正确）的证明？ --- ## 答案：[N/A] 理由：该论文未给出理论成果或正式证明。 指南： - 答案[N/A]表示论文不包含理论成果。 • 论文中的所有定理、公式和证明都应编号并相互引用。 • 所有假设都应在定理陈述中明确说明或引用。 - 证明可以出现在主论文中，也可以放在补充材料中；但如果证明在补充材料中，建议作者提供简短的证明概要以帮助理解。 - 反之，主论文中给出的非正式证明应辅以附录或补充材料中的正式证明。 证明所依赖的定理和引理应被妥善引用。 ### 4. 实验结果的可复现性 问题：该论文是否充分披露了重现论文主要实验结果所需的所有信息，这些信息会影响论文的主要主张和/或结论（无论是否提供代码和数据）？ 答案：[是] 理由：论文描述了基准测试协议、数据划分方式、基线模型类别、各变体的超参数、优化器设置、数据增强方法以及计算需求，并在附录C.1中提供了重现实验的命令。代码仓库中包含了重现所报告的基线结果所需的所有训练代码、评估脚本和配置文件。 指南： • 答案若为[N/A]，则表示该论文未包含相关实验。 - 如果论文包含实验，对该问题的回答若为[否]，则不会得到审稿人的认可：无论是否提供代码和数据，确保论文可复现都是非常重要的。 • 如果研究成果是数据集和/或模型，作者应说明为使结果可复现或可验证所采取的步骤。 • 根据研究成果的不同，实现可复现性的方式也各有差异。例如，如果研究成果是一种新架构，完整描述该架构或许就足够了；如果研究成果是特定模型和实证评估结果，那么可能需要让他人能够用相同的数据集复现该模型，或者提供对模型的访问权限。一般来说，发布代码和数据是实现可复现性的常用方式，但也可以通过详细的复现说明、对托管模型的访问权限（比如大语言模型的情况）、发布模型检查点，或其他适合该研究的方法来实现可复现性。 - 虽然NeurIPS会议不要求提交者发布代码，但会议要求所有投稿论文都能提供某种合理的可复现性途径，具体方式取决于研究成果的性质。例如： (a) 如果研究成果主要是新算法，论文应明确说明如何复现该算法。 (b) 如果研究成果主要是新模型架构，论文应清晰完整地描述该架构。 (c) 如果研究成果是新模型（比如大语言模型），那么要么要有访问该模型以复现结果的途径，要么要有复现该模型的方法（比如使用开源数据集或提供构建数据集的说明）。 (d) 我们认识到在某些情况下实现可复现性可能较为困难，此时作者可以说明他们为可复现性所采取的具体方式。对于闭源模型而言，对模型的访问权限可能存在一定限制（比如仅限注册用户），但其他研究人员应能有某种途径来复现或验证结果。 --- ### 5. 数据和代码的开放获取 问题：如补充材料所述，论文是否提供了对数据和代码的开放访问权限，并附有足以忠实复现主要实验结果的详细说明？ 答案：[是] 理由：该代码库包含基准代码和配置文件。数据集将在评审期间通过匿名访问链接发布，其中包含下载脚本、校验和验证文件、拆分文件以及示例加载代码（附录A.3）。 指南： - 若答案为[N/A]，则表示论文未包含需要代码的实验。 • 更多详情请参阅NeurIPS代码和数据提交指南()。 - 尽管我们鼓励作者发布代码和数据，但我们理解这或许难以实现，因此[否]也是一个可接受的答案。除非代码是论文贡献的核心部分（例如用于新的开源基准测试），否则不能仅因未包含代码就拒收论文。 - 说明文档中应包含重现实验结果所需的精确命令和环境信息。更多详情请参阅NeurIPS代码和数据提交指南()。 - 作者应提供数据访问和准备的相关说明，包括如何获取原始数据、预处理后的数据、中间数据以及生成的数据等。 - 作者应提供脚本，用以重现所提出的新方法和基线方法的所有实验结果。如果只有部分实验可复现，作者应说明哪些实验未被纳入脚本以及原因。 - 为了保密起见，作者在提交时应发布匿名版本（如适用）。 • 建议在补充材料（附在论文之后）中尽可能提供更多信息，同时允许包含数据和代码的URL。 ### 6. 实验设置/细节 问题：论文是否说明了理解实验结果所需的所有训练和测试细节（例如数据划分、超参数、选取方式、优化器类型）？ 答案：[是] 理由：论文在附录C.1中说明了基准测试划分设计、基线类别、各变体的超参数、优化器设置、数据增强方式以及计算需求。 指南： • 若答案为[N/A]，则表示论文未包含实验。 - 实验设置应在论文主体中详细说明，其详细程度需足以帮助读者理解并解读实验结果。 - 完整细节可通过代码、附录或补充材料提供。 ### 7. 实验统计显著性 问题：论文是否恰当且正确地报告了误差范围，或提供了有关实验统计显著性的其他相关信息？ 答案：[是] 理由：主要表格中报告了各用户或用户组的平均$\pm$标准差，相关说明见表格标题。本次提交中我们并未声明有多重随机种子带来的误差范围或配对显著性检验。 指南： • 若答案为[N/A]，则表示论文未包含实验。 --- - 如果研究结果附有误差棒、置信区间或统计显著性检验，作者应回答[是]，至少对于支持论文主要结论的实验而言。 - 误差棒所反映的变异因素应明确说明（例如训练/测试划分、初始化方式、某些参数的随机选取，或在给定实验条件下的整体运行）。 - 应解释误差棒的计算方法（封闭形式公式、调用库函数、自助法等）。 • 应给出所做出的假设（例如误差呈正态分布）。 - 需明确误差棒代表的是标准差还是均值的标准误。 - 报告1-σ误差棒是可以接受的，但需予以说明。如果未验证误差的正态性假设，作者最好报告2-σ误差棒，而非声称其具有96%的置信区间。 - 对于非对称分布，作者需注意避免在表格或图表中展示对称的误差棒，以免得出超出合理范围的结果（例如负的错误率）。 - 如果在表格或图表中报告了误差棒，作者应在文中说明其计算方法，并在文中引用相应的图表。 ### 8. 实验计算资源 问题：对于每项实验，论文是否提供了足够的信息来说明重现实验所需的计算机资源（计算节点类型、内存、执行时间）？ 答案：[是] 理由：附录C.1中记录了GPU类型、内存、各变体的GPU使用小时数以及总计算量（大约在NVIDIA RTX 4090 GPU上运行，内存为24 GB，总计约128 GPU小时）。 指南： • 答案[N/A]表示论文未包含实验内容。 - 论文应说明计算节点的类型（CPU或GPU）、内部集群或云服务提供商，包括相关的内存和存储信息。 - 论文应提供每次单独实验所需的计算量，并估算总计算量。 - 论文应披露整个研究项目所需的计算量是否超过了论文中报告的实验所用计算量（例如那些未纳入论文的初步实验或失败实验）。 ### 9. 伦理准则 问题：论文中所开展的研究是否在各个方面都符合NeurIPS伦理准则？ 答案：[是] 理由：该论文提出了数据集与基准测试方面的贡献，明确讨论了适用范围与发布考量，且所述工作流程中没有任何部分故意违背NeurIPS伦理准则。 指南： • 答案[N/A]表示作者尚未审阅NeurIPS伦理准则。 - 如果作者回答[否]，他们应解释需要偏离伦理准则的特殊情况。 • 作者应确保保持匿名性（例如，若因其所在辖区的法律或法规而有特殊考量）。 ### 10. 更广泛的影响 问：论文是否探讨了所开展工作的潜在积极社会影响与消极社会影响？ --- ## 答案：[是] 理由：论文提出了积极的应用场景（辅助界面、AR/VR、假肢）。潜在的消极影响包括通过肌电图信号推断活动情况而引发的监控问题；数据集的研究用途许可和匿名化处理降低了这一风险。 指南： • 若答案为[N/A]，则表示所开展的工作没有社会影响。 - 如果作者回答[N/A]或[否]，他们应解释为何其工作没有社会影响，或者为何论文未涉及社会影响相关内容。 • 消极社会影响的例子包括潜在的恶意或无意使用（如传播虚假信息、生成虚假个人资料、监控）、公平性考量（如部署可能对特定群体产生不公平决策的技术）、隐私考量以及安全考量。 会议预期许多论文属于基础研究，不会绑定特定应用场景，更不会涉及实际部署。不过，如果存在通往任何负面应用的直接路径，作者应当指出。例如，指出生成式模型质量的提升可能被用于生成用于传播虚假信息的深度伪造内容，这是合理的。另一方面，无需指出用于优化神经网络的通用算法能让人们更快地训练出生成深度伪造内容的模型。 - 作者应考虑技术在按预期使用且运行正常时可能产生的危害、技术按预期使用但输出错误结果时可能产生的危害，以及因（有意或无意）滥用技术而产生的危害。 - 如果存在消极社会影响，作者也可以探讨可能的缓解策略（如模型的受限发布、在攻击手段之外提供防御措施、监控滥用行为的机制、监测系统随时间从反馈中学习情况的机制、提升机器学习的效率与可及性）。 ### 11. 防护措施 问：论文是否描述了针对易被滥用风险较高的数据或模型（如预训练语言模型、图像生成器或网络爬取的数据集）的负责任发布所采取的防护措施？ 答案：[是] 理由：论文包含“伦理声明”章节，其中说明了知情同意、机构审查委员会审批、匿名化流程以及研究用途许可等内容。 指南： • 若答案为[N/A]，则表示论文不存在此类风险。 • 易被滥用或具有双重用途风险的已发布模型，应配备必要的防护措施以实现对模型使用的管控，例如要求用户遵守使用准则或访问限制，或者设置安全过滤器。 从互联网爬取的数据集可能会带来安全风险。作者应说明他们是如何避免发布不安全的图像的。 • 我们认识到提供有效的防护措施具有挑战性，且许多论文并不需要这样做，但我们鼓励作者将其纳入考虑范围并尽最大努力。 ### 12. 现有资产的许可 问：论文中使用的资产（如代码、数据、模型）的创作者或原始所有者是否得到了恰当署名？许可和使用条款是否明确提及并得到遵守？ 答：[是] 理由：论文引用了所有用到的先前数据集和方法。数据集许可（CC-BY-NC 4.0）和代码许可（MIT）在附录A.3中有所说明。第三方资产（MANO模型、markers2mano的训练数据源）保留了其原始许可，相关信息记录在发布包中。 --- 指南： - 答案[N/A]表示论文未使用现有资产。 • 作者应引用生成该代码包或数据集的原始论文。 - 作者应说明所使用的资产版本，若有可能的话，附上相关URL。 • 每种资产都应注明其许可名称（如CC-BY 4.0）。 - 对于从特定来源（如网站）爬取的数据，应提供该来源的版权和使用条款信息。 - 若资产已发布，应提供该包中的许可、版权信息及使用条款。对于热门数据集，paperswithcode.com/datasets网站整理了一些数据集的许可信息。其许可指南可帮助确定某数据集的许可类型。 - 对于重新打包的现有数据集，应同时提供原始许可以及衍生资产的许可（若有变更）。 • 若网上无法获取这些信息，建议作者联系资产的创作者。 ### 13. 新资产 问：论文中引入的新资产是否有完善的文档说明？文档是否与资产一同提供？ 答：[是] 理由：论文通过结构化文档（附录A.3）对新数据集进行了描述，包括文件结构、划分定义、许可（数据采用CC-BY-NC 4.0，代码采用MIT），以及涵盖组成、收集、预处理、用途、分发和维护等内容的数据表。 指南： • 答案[N/A]表示论文未发布新资产。 • 研究人员应通过结构化模板在提交材料中说明数据集/代码/模型的详细信息，包括训练情况、许可、局限性等。 - 论文应说明是否以及如何获得资产使用者的同意。 - 提交时请记得对资产进行匿名处理（如适用）。您可以创建一个匿名URL，或者附上匿名的压缩文件。 ### 14. 众包及涉及人类受试者的研究 问：对于众包实验和涉及人类受试者的研究，论文是否包含了给参与者的完整指导文本、相关截图（如有），以及补偿细节（若有）？ 答：[是] 理由：该论文包含“伦理声明”章节，其中描述了知情同意、按标准时薪支付报酬以及匿名化程序。参与者须知详见第3节。 指南： - 答案[N/A]表示该论文既不涉及众包，也不涉及以人类受试者为对象的研究。 • 将这些信息包含在补充材料中是可以的，但如果论文的主要研究内容涉及人类受试者，则应在主论文中尽可能详细地说明。 • 根据NeurIPS伦理准则，参与数据收集、整理或其他劳动的工作人员应至少获得数据收集所在国的最低工资。 15. 针对以人类受试者为对象的研究，需获得机构审查委员会（IRB）的批准或同等认可。 --- 问题：论文是否说明了研究参与者可能面临的风险、这些风险是否已向受试者披露，以及是否获得了机构审查委员会（IRB）的批准（或符合您所在国家或机构要求的同等批准/审查）？ ## 答案：[是] 理由：该论文包含“伦理声明”章节，涵盖了知情同意、经IRB批准的方案、参与者报酬以及数据匿名化等内容。对参与者的风险披露是知情同意流程的一部分。 指南： - 答案[N/A]表示该论文既不涉及众包，也不涉及以人类受试者为对象的研究。 • 根据研究开展所在国的不同，任何以人类受试者为对象的研究都可能需要获得IRB批准（或同等认可）。如果您获得了IRB批准，应在论文中明确说明。 • 我们认识到，不同机构和地区的相关流程可能存在显著差异，期望作者能遵守NeurIPS伦理准则以及所在机构的指南。 - 在初次提交时，请勿包含任何可能破坏匿名性的信息（如适用），例如负责审查的机构名称。 ### 16. 人工智能大模型使用声明 问题：如果人工智能大模型是本研究核心方法中的重要、原创或非标准组成部分，论文是否对其使用情况进行了说明？请注意，若大模型仅用于写作、编辑或排版目的，且不影响研究方法的核心部分、科学严谨性或原创性，则无需进行声明。 答案：[N/A] 理由：核心方法、基准测试设计以及所报告的实验均不依赖人工智能大模型作为原创的方法学组件。 指南： - 答案[N/A]表示本研究的核心方法开发并未涉及作为重要、原创或非标准组件的人工智能大模型。 - 关于哪些内容需要说明、哪些不需要，请参阅NeurIPS手册中的人工智能大模型相关政策。