# EVFormer：一种用于双手法姿态估计的以自我为中心的视觉-肌电图双向注意力模型
葛佳程、张思宇、李胜杰、杨欣彤
## 摘要
从以自我为中心的视角进行连续双手法姿态估计，是虚拟交互、可穿戴设备控制和康复辅助领域的基础。视觉信息能够提供手部的外观与空间结构，但自遮挡、手与手之间的接触以及物体操控行为可能会掩盖有用的特征线索。双侧手腕表面的肌电图（sEMG）能够反映肌肉收缩情况，可提供互补的短期运动信息。由于这两种模态在采样方式、时间尺度和噪声特性上存在差异，简单的融合并不一定能提升估计精度。我们提出了EVFormer——一种以自我为中心的视觉-肌电图双向注意力模型，它结合当前的RGB图像与过去200毫秒内的双侧手腕肌电信号，来回归连续的双手法关节角度。卷积编码器和Transformer编码器分别用于构建视觉空间表征与肌电时间表征。采用残差缩放的序列双向交叉注意力机制，先让视觉特征查询肌电信息，再让肌电特征查询更新后的视觉表征；随后通过一个可学习的逐特征门控模块来融合这两路信息。一个共享的预测头可同时输出双手共44个手指与腕关节的角度。我们使用一份公开同步采集的EgoEMG数据集开展单参与者可行性实验，该数据集按时间顺序划分，以确保不同数据切分中的肌电输入窗口互不重叠。我们将EVFormer与仅使用视觉信息、仅使用肌电信息、后期融合以及训练均值姿态预测器进行对比。在296个测试样本和44个角度上综合评估后，EVFormer的测试平均绝对误差（MAE）为11.482度，优于仅使用视觉信息（13.228度）、仅使用肌电信息（13.610度）、后期融合（13.387度）以及训练均值姿态预测器（13.320度）。与仅使用视觉信息和后期融合相比，误差分别降低了13.20%和14.23%。在五个测试手势类别中，EVFormer在四个类别上的误差最小，但在第21类手势上的表现不如其他三种基于学习的基线模型，这表明其性能提升存在类别依赖性。那些与修正后的汇总结果不一致的种子级、区域级、时间级及扰动实验结果，在对照相应原始预测结果验证之前，暂不纳入定量结论之中。这些发现初步证明，在表征形成阶段融合视觉空间线索与肌电时间信息，能够提升姿态估计精度。不过该模型在不同用户间的泛化能力、真实遮挡环境下的鲁棒性以及在线性能仍有待进一步验证。
### 1. 引言
EVFormer探讨了一个具体问题：当第一人称摄像头同时捕捉到双手图像，且两侧手腕电极同时记录肌肉活动时，这两种信号能否在姿态表征形成过程中直接相互作用，从而更精确地预测连续的关节角度？本文的输出并非手势类别，而是左右手各22个角度。每个角度的偏差都会被计入误差计算，因此该模型必须同时处理可见的手部形状、短期肌肉活动，以及两者不完全一致的情况。
EVFormer面向第一人称视觉-肌电双腕姿态估计任务，采用了跨模态信息交互结构。当前的RGB图像会生成16个空间令牌，而过去200毫秒内的手腕肌电信号则形成25个时间令牌；视觉模块首先查询肌电信号，随后肌电信号再查询更新后的视觉信息，最终通过特征门控和回归头输出44维的角度值。这种设计使得图像中的空间线索与肌电信号中的近期运动信息能够在回归前实现双向交互。
这种设计弥补了第一人称手部观测方面的实际缺口。摄像头能够直接记录手指和手腕的可见形状，但自我遮挡、手部接触以及物体操控都会减少可用的图像线索；手腕表面的肌电信号则反映了前臂肌肉收缩相关的活动，提供了另一种运动观测方式。这两种信号的采样方法、时间尺度和噪声来源均存在差异。单纯添加额外的肌电信号并不会自动提升精度。因此，对EVFormer的关键测试在于：在相同的数据划分和评估指标下，特征层的双向交互效果与单模态及简单融合方式相比究竟如何。图1总结了本文的输入数据与手部角度输出结果。
---
Figure 1. Vision-EMG bimanual hand pose estimation task (schematic). The current image and the preceding 200 ms of bilateral wrist EMG are jointly used to regress the current 44-dimensional joint-angle vector.
本文在公开同步数据集上对比了四种学习模型及训练平均姿态参考值。仅使用视觉数据时的整体测试MAE为$13.228^\circ$，仅使用肌电信号时为$13.610^\circ$，采用后期融合策略时为$13.387^\circ$，而EVFormer的结果则为$11.482^\circ$；训练平均姿态值为$13.320^\circ$。在当前对照组中，EVFormer的整体误差最低，视觉误差绝对降低量为$1.746^\circ$，相对改进幅度达到13.20%。主数值是根据表6中五种手势结果的样本数量加权得到的。类别分析保留了第21类的反例；原先基于子类别、区域和时间维度的分组及扰动结果与修正后的主数值不一致，因此需要重新汇总。本文并未声称每个组别或每个随机种子都基于此取得了改进。
该任务的背景源自EgoEMG [^1]：它提供了同步的第一人称视频、双侧手腕肌电信号以及双手连续关节角度数据，并设立了从肌电信号到姿态、从视觉到姿态以及双模态融合等评估任务。此前EMG2Pose [^2]为大规模双侧手腕肌电信号与手部运动研究奠定了基础。本文利用EgoEMG的目标语义来研究EVFormer，但目前可用的实验仅涉及其中一名参与者的公开镜像记录，因此无法凭借此替代原有工作、纳入新用户或进行完整的多分区评估。我们在方法与实验部分详细说明了该记录的同步、滤波及划分方法。
本文的主要贡献包括三个方面。首先，针对同步的第一人称图像和双腕肌电图数据，构建了一个44维的双手角度回归模型；该模型采用残差缩放序列双向交叉注意力机制以及逐特征门控技术，以便在回归前交换空间与时间信息。其次，在固定的单段划分下，通过比较单模态模型、后期融合模型与完整模型，并以样本加权的MAE作为统一评价指标，发现EVFormer在当前控制任务中取得了最低的整体误差，其数值为$11.482^{\circ}$。第三，通过手势类别分析保留了整体性能提升与局部失效之间的差异，同时明确了需要进一步审查的子结果以及开展完整多用户评估所需满足的条件。
### 2. 相关工作
### 2.1 表面肌电与连续手部姿态估计
表面肌电图记录了皮肤表面的肌肉电活动。Farina等人探讨了从表面肌电信号中分析神经肌肉控制信号的生理基础[^15]；这种观测结果的物理来源与摄像头拍摄到的可见手部形态存在差异。早期的连续回归研究不仅针对离散的手势类别，还能根据肌肉激活情况估算多个手指关节的角度[^12] [^13]。NeuroPose利用可穿戴式肌电设备实现三维手部姿态跟踪[^14]，而EMG2Pose则提供了更大规模的双腕肌电数据与连续关节角度基准数据集[^2]。这些研究说明肌电到姿态的转换是可行的，但电极放置位置、受试者差异以及任务变化仍可能改变信号分布。
数据集的目标与规模决定了能够回答的问题类型。Ninapro[^11]和GrabMyo[^19]主要支持肌电手势识别，EMG2QWERTY[^20]则面向基于腕部肌电输入的打字任务；Andreas等人[^16]与Jarque-Bou等人[^17]共同记录了日常活动中的肌电信号与手部运动数据。EgoEMG[^1]进一步提供了连续采集下的同步第一人称图像，
---
用于双腕关节角度任务。EMGBench[^18]特别注重跨分布泛化与适应性：同一受试者的连续时间块结果不能替代新用户的评估。本文所使用的公开数据集适合验证同步性与模型行为，但无法衡量跨用户的变化情况。
在建模方面，VQ-MyoPose探索了矢量量化的肌电姿态表示方法[^21]，emg2tendon将肌电解码与肌腱驱动控制相结合[^22]，DexEMG则聚焦于肌电到姿态的泛化问题[^23]。近期的肌电表征学习研究还包括可扩展的Transformer模型[^42]以及适用于边缘设备的轻量级基础模型[^43]。这些方法虽与本研究的双模态设定并不相同，却提示我们需要分别考察肌电编码能力、训练规模以及跨用户稳定性。EVFormer目前采用的200毫秒输入窗口与单层时序编码器属于轻量化实现；本研究并未将其与上述方法在不同数据集上的结果直接进行排名比较。
### 2.2 自中心视觉、双手交互与角度表示
MANO提供了手部形状和姿态的参数化模型[^7]。FreiHAND [^24]支持单帧RGB手部重建，InterHand2.6M [^25]专注于交互手的研究，而HO-3D [^26]和ARCTIC [^27]则进一步将把手与物体的交互纳入三维感知范畴。第一人称环境还包括H2O [^28]、DexYCB [^29]、HOT3D [^9]等数据集；它们的相机位置、标注形式和评估目标各不相同，不能仅仅因为都包含手部图像就直接比较角度MAE值。UmeTrack [^8]展示了一种面向近眼设备的多视角跟踪解决方案。
手部重建模型既可以使用专门的几何与检测流程，也可以采用通用视觉骨干网络。HaMeR [^30]和WiLoR [^10]旨在实现手部定位与重建；GigaHand [^31]扩展了第一人称及外部视角的标注规模。ResNet [^32]、Visual Transformer [^4]以及DINOv2 [^33]代表了不同的通用特征提取路径。EVFormer的图像分支会从随机权重中学习一个$64\times64$固定区域，其结果只能在同一预处理条件下作为内部比较依据；预训练的视觉模型可能会显著改变单模态基线和融合空间。本文的44维目标是双手的关节角，其结果与仅输出三维关键点或MANO参数的方法无法直接转换。
### 2.3 视觉与肌电信号的融合位置
视觉与肌电信号的协同建模已被用于手势理解[^38]和抓取意图推断[^37]；跨模态预训练也开始关联肌电信号与姿态信息[^36] [^41]。EgoEMG采用残差融合方式，利用肌电信号对视觉角度预测进行校正[^1]。EVFormer则将融合推进到特征层：根据视觉位置和肌电信号时间片形成标记，通过缩放点积注意力机制双向交换信息[^3]，再通过门控机制输出角度。特征门控的设计可关联到通道重校准的思路[^35]，但本文中的门控没有可见性或生理置信度监督，因此不能将其解释为经过校准的传感器质量评分。
不同的融合位置并不一定意味着更好的融合效果。EgoEMG在匹配视觉骨干方面报告了残差改进[^1]；本文当前单一片段中EVFormer的平均测试误差为$11.482^{\circ}$，低于视觉分支中的$13.228^{\circ}$。这两项观察结果来自不同的数据规模和训练条件。合适的对比对象应是同一划分下的视觉、肌电信号、后期融合、残差融合及双向交互模型，同时需记录有效的参数量。本文使用AdamW [^34]训练轻量级模型。目前的整体优势属于内部控制结果，其机制贡献需通过参数匹配和消融测试来验证。
### 2.4 EVFormer的设计动机
EVFormer 的设计围绕不同模态信息的互补性展开：当前图像提供空间线索，历史 EMG 提供近期运动线索。该模型采用视觉 $\rightarrow$ 肌电、肌电 $\rightarrow$ 更新视觉的顺序双向交叉注意力，并通过特征门控控制两类表征对最终预测的贡献。输出是第一人称图像与历史 EMG 对手部 44 个当前角度的联合回归。
---
在本文的单段实验测试中，EVFormer的整体测试MAE值为11.482°，较仅使用视觉数据的情况降低了13.20%，在现有对比模型中表现最佳；不过这一结果仍需在官方多用户划分数据集上进一步验证。
### 2.5 与EgoEMG的关系及研究问题
本文沿用了EgoEMG研究中同步视觉-肌电输入与连续手部角度目标的设定，旨在探究将融合过程提前到姿态表征形成阶段是否能降低当前单段的整体误差。EVFormer使用了与本文内部基线相同的测试中心和44维目标；经修正的样本加权MAE值体现了其整体优势，但这一结果无法替代对EgoEMG残差融合基线的评估或官方多用户划分测试，也无法证明其在所有类别和所有随机种子下均有提升。
### 3. 数据集与姿态标注
### 3.1 数据源与双手角度目标
EgoEMG论文中描述了双侧八通道腕带、第一人称RGB图像、外部视频、惯性传感器以及光学动作捕捉数据的同步采集过程[^1]。每只手的目标包括按照UmeTrack/EMG2Pose顺序排列的20个手指角度，以及手腕屈伸和桡尺偏的两个角度。由于EVFormer可同时预测双手数据，因此总输出量为44个标量：其中位置0-21对应左手，22-43对应右手。主要评价指标为有效测试样本和输出维度上的平均绝对角度误差，单位为度。本文引用的数据规模及原论文的基准值均对应arXiv版本1；持续更新的代码库可能会发布后续数据版本。
预实验采用了第三方公开数据集IInfact/EgoEMG-关村[^5]，该数据集仅包含一段EgoEMG采集数据。Parquet文件共包含691,374行数据，时长约为345.7秒；对应的摄像头视频有20,740帧，帧率为60 fps，屏幕尺寸为$1280 \times 720$。其中subject_id和episode_index字段的值分别为29和28。单段数据无法用于估算跨参与者的不确定性。
### 3.2 同步、预处理与标签过滤
候选预测中心每隔200行选取一次；对于标称2 kHz的肌电流而言，这相当于每秒约10个候选样本。该模型使用中心行之前的连续400个肌电采样点，其中不包括中心点本身。经过滤波后的左右侧肌电信号各包含8个通道，它们被拼接成16个通道；每4个连续的原始时间采样点会被取平均值，从而形成长度为100的时间序列。当前图像是根据中心行中的相机帧索引来选取的。在解码对应的视频帧后，会截取屏幕中央偏下区域的固定部分，并将其缩放为64×64的RGB图像。这一区域是在查看视频资料后为本次初步实验确定的，并非EgoEMG官方视觉基线中所使用的手部裁剪区域。
已发布文件中的手指角度数组是以弧度为单位的。本文中，每只手上的20个手指角度被转换为度数；腕部俯仰角和偏航角字段已以度数存储，在拼接时无需再转换。只有当左右手生成的标签有效、左右腕部角度标志有效、图像帧索引非负，且肌电值与目标值均处于限定范围内时，才会保留这些候选样本。经过对标签和输入数据的检查后，共得到1,968个同步的候选样本；划分边界并剔除可能导致窗口重叠的4个样本后，最终用于模型训练的样本数量为1,964个。用于肌电归一化的均值和标准差仅从训练数据块中计算得出，并直接用于验证和测试阶段。图2展示了同步样本的预处理过程及输入时间关系。
---
Figure 2. Synchronized sample construction and preprocessing (schematic). (a) EMG binning, normalization, and image cropping. (b) A 200 ms window preceding the prediction center and excluding the center sample. The input-window definition alone does not establish end-to-end causality.
### 3.3 数据集规模与实验划分
有效样本按照中心行索引进行排序，大致按/0%/15%/15%的比例进行划分。每个边界处都剔除了足够多的样本，以确保400点肌电窗口不会与相邻数据块重叠，最终训练集包含1,375个样本，验证集有293个样本，测试集有296个样本。训练时间段为0.2–169.7秒，验证时间段为170.0–199.7秒，测试时间段为200.0–281.0秒。不同数据块的输入肌电窗口互不重叠。这种方式避免了最直接的窗口重叠泄露问题，但并未使数据块之间或采集会话之间完全独立。
不同时间段的手势类别分布存在显著差异。共有1,375个有效的手势样本用于训练，其中47个样本没有手势类别标签，其余有标签的类别数为8–19种；验证阶段使用的类别为19、20和21种；测试阶段则使用21、22、23、24和27种。测试集中的类别均未出现在训练集中，但类别21曾在验证集中用于检查点选择。因此，此次测试反映了同一参与者在时间分布和类别分布上的变化，不能将所有测试类别一概称为模型选择过程中未见过的新手势。这也不是EgoEMG官方的跨手势分类结果；在解释从验证到测试阶段的差异时，需同时考虑时间和类别的变化因素。图3展示了样本顺序的划分以及实际时间范围。
Figure 3. Single-recording data split (schematic). (a) Sequential split of retained sample centers and sample counts. (b) Physical time ranges of the retained centers in each split. The upper and lower rows show sample counts and physical time, respectively.
### 3.4 数据质量与范围
这张公开的剪辑图像并非官方的多参与者基准资源。视频画面中包含采集设备的背景，且固定的裁剪区域较小；后续许多行未能通过标签有效性过滤，因此尽管源文件时长约为345.7秒，但本文中最后一个有效的测试样本仅位于281.0秒处。已发布的滤波后的肌电信号也可能经过离线处理。仅仅使用中心点之前的窗口并不能证明整个处理链满足实时、因果部署的要求。
---
要评估在线系统，因果滤波必须明确考虑时间戳、视频解码以及推理延迟等因素。
### 4. 统一任务与模型基线
### 4.1 三项统一任务
参考EgoEMG的任务定义[^1]，本文针对三种情况使用了同一批同步样本以及相同的44维角度目标：从肌电信号到姿态，仅观测双腕的信号；从视觉到姿态，仅观测当前的RGB图像；从肌电信号到视觉融合，同时观测这两种输入。这三种情况的目标时刻、角度单位和有效标签掩码均与测试中心保持一致。如此一来，结果的差异至少不会源于不同的测试帧或不同的输出维度。原始EgoEMG论文中每只手对应的22维目标，在语义上对应于本文中双手的44维输出，但训练示例和数据划分并不相同。
设中心时间为t，对应图像为I_t，前400个采样点处的双腕肌电信号为E_[t-400:t)，监督目标为y_t∈R^44。三个预测函数分别记为f_e(E)、f_v(I)和f_ev(I,E)。所有报告的误差都是先将网络输出还原为角度，再对有效样本的44个角点计算绝对误差的平均值。该任务属于连续姿态回归；仅凭角度误差无法体现离散的“运动意图”识别性能。
### 4.2 评估协议与训练设置
主要指标取每个随机种子下所有有效测试中心和44个角度处的平均绝对误差，再对不同种子的结果取平均值：MAE=(1/S) $\sum s$[(1/(N $\times$44)) $\sum i$ $\sum d$| $\hat{y}$s,i,d-yi,d|]。当类别或时间分组覆盖相同的测试集且输出维度相同时，其整体MAE必须按各组样本数量加权；当左右手各占22维时，权重为一半；手指的40维和手腕的4维则按40:4加权。本文表6中采用的样本加权结果为11.482°，将其作为EVFormer的主要数值。相对改进率为(MAE基线 - MAE_EVFormer)/MAE基线 $\times$ 100%。表中的差异和百分比均基于显示的三位小数主数值计算。暂时不报告与主数值不匹配的EVFormer子结果及测试标准差。
训练过程中，目标角度会被除以90，且采用归一化单位下的Smooth L1损失函数，其中beta值设为0.05。优化器选用AdamW，学习率为$1.5\times10^{-4}$，权重衰减系数为$5\times10^{-4}$，批量大小设为32，梯度范数裁剪阈值为1.0。视觉分支初始化时采用随机权重，不会加载ImageNet或手部姿态预训练模型。训练最多进行60个周期；前5个周期会进行学习率预热，之后采用余弦衰减策略；如果连续10个周期的验证MAE值没有改善，训练便会提前终止。训练过程中，Transformer的dropout率设为0.10，模态dropout率也设为0.10，双向交叉注意力残差缩放系数设为0.10，而最后一个层的偏置项则初始化为+2.0。针对每种条件和随机种子，都会选取验证MAE值最低的模型检查点，并在测试集上对其进行一次评估。2026、2027和2028这三个随机种子分别用于控制模型初始化和数据读取顺序，而数据划分方式则保持不变。
### 4.3 EMG到姿态分支
经过$100\times16$分箱处理的EMG序列会先被转置，随后输入到一维卷积层中。两层采用GELU激活函数且步长为2的卷积层会将序列长度压缩为25个64维的标记。这些标记会加上可学习的时间位置嵌入以表示其顺序，随后由一层四头Transformer编码器整合其短期历史信息。所有EMG通道的数据都会利用训练块的统计信息进行归一化，归一化后的绝对值会被截断在8以内。该预实验直接使用了数据集提供的滤波参数，网络并不会学习原始信号的滤波器。
### 4.4 视觉到姿态分支
64×64的RGB图像会依次经过两层步长为2且采用GELU激活函数的卷积层处理。自适应池化操作会生成4×4的特征图，随后空间维度会被展平，形成16个64维的视觉标记。每个标记都会加上可学习的位置嵌入。接着，一层Transformer编码器……
---
该编码器包含四个注意力头，128维的前馈子层会执行图像内部的自注意力计算。这个轻量级的视觉骨干网络是为单片段可行性实验设计的，不能将其视为EgoEMG [^1]或WiLoR [^10]中那些更大规模的预训练视觉骨干网络的竞争性替代品。
### 4.5 视觉与EMG融合：EVFormer
EVFormer包含四个阶段：双通道编码、顺序双向交互、特征门控融合以及44维角度回归，各阶段统一采用64维特征。视觉空间标记与肌电信号时间标记会按顺序进行双向交叉注意力计算，随后通过特征门控形成回归表示。相机裁剪范围会同时涵盖两只手，肌电信号则按照固定的通道顺序输入两只手腕的数据。整体结构如图4所示。
Figure 4. EVFormer architecture with 64 x 64 images, a 200 ms EMG history, residual scaling, bidirectional cross-attention, and gated fusion.
给定查询Q、键K和值U，缩放点积注意力可表示为$A(Q,K,U)=\text{softmax}(QK^T/\sqrt{d})U$ [^3]。EVFormer首先让视觉信息查询肌电图数据，并利用残差缩放系数$\alpha=0.1$来获取$V'=V+\alpha A(V,M,M)$；随后让肌电图数据查询更新后的视觉信息，从而得到$M'=M+\alpha A(M,V',V')$。这两种操作均使用四个注意力头。第二次交互利用的是更新后的视觉序列，因此属于顺序双向交互，而非两个同时进行的独立交互。在训练初期，残差缩放用于降低随机跨模态注意力对单模态表征的干扰。
注意力计算成本与双向标记的数量相关。在这项初步实验中，每个注意力头中，16个视觉标记和25个肌电标记在每个方向上形成了400对查询与键；反向方向上也有400对。这种方式比直接处理全部400个肌电原始采样点或整幅图像的像素要更不易产生干扰。不过，我们不能据此直接断定该系统的部署延迟较低，因为视频解码、预处理、卷积运算以及传感器采样也会影响端到端耗时。
两层感知机生成64维的门控信号g=sigmoid(MLP([v,m]))，其最后一层偏置被初始化为+2.0，以使初始门控偏向视觉特征；随后从训练数据中学习各特征维度的融合权重。融合向量为z=g☉v+(1-g)☉m，其中☉表示逐元素乘法。层归一化和两层回归头将z映射为44个关节角度。由于门控机制不受可见性标签或生理信号质量标签的监督，因此不能将其解释为经过校准的传感器可靠性评分。图5详细展示了两次交互的顺序关系及门控计算过程。
---
Figure 5. Sequential bidirectional cross-attention and feature-wise gating (schematic). (a) Vision first queries EMG, after which EMG queries the updated visual representation. (b) The two summary vectors are fused by a 64-dimensional gate and mapped to 44 angles. The gate is not a calibrated sensor-quality score.
只有视觉变体才会将视觉摘要向量输入通用姿态头；只有肌电变体会使用肌电求和向量。后期融合保留了双向编码器和门控机制，但跳过了两个交叉注意力算子；完整的EVFormer则包含这两个交叉注意力算子。四种实验条件采用了相同的图像预处理、肌电窗口、目标设定、优化参数及时间划分方式。每种条件均在各个随机种子下重新训练。代码构建了所有模式下的完整模块，因此直接报告该模块的总参数数量会高估单模式条件下实际参与计算的参数数；本文不会以“相同的名义参数”作为性能论据。
EgoEMG的融合基线首先获取视觉关节角度，再利用肌电特征预测角度残差，这属于输出层的残差校正[^1]。EVFormer在角度回归前先交换空间与时间标记，再通过门控合成来表示它们。与残差路径相比，其结构特点在于：图像区域和肌电时间片段可以相互查询，融合发生在姿态表征形成过程中，且双手的角度由同一个输出头共同输出。本文中的融合后对比用于衡量标记交互的效果；若要比较这两种融合机制的预测精度，还需在相同的划分方式、图像裁剪及训练预算下运行残差基线实验。
### 4.6 与正式基准测试的联系
模型训练与评估由计算服务器完成。现有资料中并未提供该服务器的具体硬件、驱动及软件版本信息。正式归档时需补充相应的配置与运行环境信息。本文中未经验证的其他设备环境不作为实验平台信息使用。
为了进行严谨的模型对比，必须使用EgoEMG官方提供的完整数据及其预定义的三种测试划分：“手势”、“用户”以及“两者同时”[^1]。同一对比中的所有方法应采用一致的单手22自由度目标、有效帧规则、中心帧监督机制、手部图像裁剪方式以及结果聚合方法。至少需包含官方视觉基线、肌电基线、残差融合基线，以及规模相近的EVFormer和后融合对照组。预训练过程、数据增强方式及训练时长必须明确披露。原论文总结了不同划分下的结果，并报告了用户间的离散程度；单段时间划分无法替代这一规范。表1区分了本文开展的实验与未来所需的正式对比实验。
Table 1. Single-fragment pilot and formal evaluation protocol
| Assessment project | Single fragment pre-experiment | Required for formal assessment | Current status |
| participants | Only one person numbered 29 | Official participant division | Pre-experiment only |
---
| Image input | Fixed $64 \times 64$ camera crop | Official hand cut | Settings are different |
| EMG history | 200 ms before | Use consistent windows across models | Pre-experiment only |
| generalization axis | continuous time block | Gesture, user, and both | Not yet completed |
| control model | Vision, electromyography, post-fusion | Published residual baselines are also required | incomplete |
| uncertainty | Three initialization seeds | Cross-user and cross-seed changes | incomplete |
本文采用表6中按样本数量加权的$11.482^{\circ}$作为EVFormer的整体测试平均绝对误差，并据此统一主表与正文内容。与此数值不符的原种子级、区域、时间分组及扰动值已被剔除，待审核项标记为“-”；相应的标准差、胜帧率及分组改进结论尚未报告。现有归档资料中不包含逐对种子对应的JSON文件、检查点、原始逐帧预测结果或日志，因此无法独立恢复这些逐对结果。完整的审核工作需在实验服务器上获取相应产物才能完成。第7.5-7.6节为尚未完成的后续实验计划。
原始文件标识记录如下：本次下载的Parquet片段SHA-256值为551ee76cb78f11c9f64c211f6f236737b7d74cbac0d9dc18ddba3d0641efb602，摄像头视频的哈希值为88df1ba9c72f690b7277cead6c17ad23c0126a004b4de68114860effbaf916d6。该哈希值可准确识别预实验中使用的两个源文件，但无法证明第三方图像与EgoEMG官方发布的每个版本完全一致。正式的基准测试应使用官方代码库及数据说明[^6]。
### 5. 实验
### 5.1 肌电信号到姿态转换
在同一测试中心，仅使用肌电信号模型的三个种子平均MAE为$13.610^\circ$，标准差为$0.485^\circ$。验证阶段的MAE为$10.691^\circ$；测试误差的增大及种子间的波动表明当前分支针对单段后端数据尚不稳定。该肌电模型采用了200毫秒的历史数据与轻量级编码器，其结果属于本文的内部基线，无法直接与EgoEMG原文中EMGFormer的正式得分相提并论。手指与手腕的误差分别为$13.222^\circ$和$17.492^\circ$。由于手腕仅有四个输出维度，单一的总体MAE往往会掩盖其较高的误差。
Table 2. Verification and overall test MAE under unified division
| method | Validation MAE (degrees) | Test MAE (degrees) | Relative vision test difference (degrees) |
| training mean pose | Not applicable | 13.320 | +0.092 |
| visual only | $10.415 \pm 0.021$ | $13.228 \pm 0.049$ | 0.000 |
| EMG only | $10.691 \pm 0.039$ | $13.610 \pm 0.485$ | +0.382 |
| Post-fusion without cross attention | $10.627 \pm 0.069$ | $13.387 \pm 0.419$ | +0.159 |
| EVFormer | $8.720 \pm 0.080$ | 11.482 | -1.746 |
表2总结了整体结果，其中$\pm$后接原始报告中三个训练种子样本的标准差。EVFormer的整体测试MAE采用了表6中$11.482^{\circ}$的样本加权校正值；与该主数值对应的测试种子标准差尚未经过审核，因此该单元格未附上$\pm$值。验证集分数暂时保留为原始报告中的数值，不用于推导测试标准差。EVFormer的性能优于仅使用视觉的模型$13.228^{\circ}$、仅使用肌电信号的模型$13.610^{\circ}$、晚期融合模型$13.387^{\circ}$以及训练均值姿态模型$13.320^{\circ}$，因而成为当前综合表现最佳的模型。
---
在对比中，训练均值姿态与视觉模型之间的差异仅为$0.092^{\circ}$，且单参与者得出的结果尚不足以推断其在人群层面的稳定效应。
### 5.2 视觉到姿态
仅视觉分支的平均测试MAE为$13.228^\circ$，其手指和手腕的MAE分别为$12.817^\circ$和$17.343^\circ$。EVFormer校正后的整体MAE为$11.482^\circ$，相对视觉误差降低了$1.746^\circ$。原始的EVFormer手指和手腕汇总结果与这一主数值不一致，其区域级数值也尚未报告。固定的$64\times64$裁剪方式、单一参与者以及单个片段的限制影响了当前结论的适用范围。
表3保留了三种基线模型的左右手、手指及手腕误差。由于无法根据左右手或40:4的维度权重从原始区域结果中重构出EVFormer的$11.482^{\circ}$，因此用“—”标记，待与原始预测结果核对后再行确定。该符号表示未报告经过一致性校验的数值，并非表示误差为零。手腕仅占44个输出维度中的4个。区域结果需按维度进行汇总，不能简单地将手指和手腕误差取平均值。
Table 3. MAE of left and right hands, fingers and wrists (EVFormer sub-items to be reviewed)
| method | Left hand MAE | Right MAE | Finger/wrist MAE |
| visual only | 13.264° | 13.192° | 12.817° / 17.343° |
| EMG only | 13.587° | 13.633° | 13.222° / 17.492° |
| late fusion | 13.310° | 13.465° | 12.984° / 17.419° |
| EVFormer | — | — | — / — |
EVFormer的左右手、手指、手腕以及逐关节结果需要根据与主数值一致的预测结果重新汇总。当前较低的整体MAE并不能直接推断出每只手、每种关节或每个自由度均得到了改善。本文暂不做此类细分结论。
### 5.3 肌电信号与视觉的融合
EVFormer的平均测试MAE为$11.482^{\circ}$，低于仅使用视觉的模型$13.228^{\circ}$以及晚期融合模型$13.387^{\circ}$。其绝对相对视觉误差降低量为$1.746^{\circ}$，相对改进幅度达13.20%，整体误差在所有当前对比模型中最低。这一结果支持了在当前单片段设置下融合技术的整体优势，不过仍需通过完整的多用户评估来验证。
融合后的模型保留了双通道编码器和门控机制，但不进行令牌层交换。平均测试MAE为$13.387^\circ$；EVFormer的结果为$11.482^\circ$，绝对误差减少了$1.905^\circ$，相对改进幅度达到14.23%。与仅使用肌电图信号和训练均值姿态相比，EVFormer的误差分别降低了$2.128^\circ$和$1.838^\circ$，相对改进幅度分别为15.64%和13.80%。晚期融合模型与EVFormer的有效训练参数存在差异。因此，尚无法将全部性能提升归因于交叉注意力机制，还需通过参数匹配和消融实验来验证。图6提供了表2中整体测试MAE的可视化对比。
---
单个参与者、单个试验周期；共296个测试样本；输出角度数为44个。EVFormer采用样本加权聚合方式进行处理。
Figure 6. Overall test-MAE comparison. Values are taken from Table 2 using the same 296 test centers and 44-dimensional targets; the EVFormer result is the sample-weighted primary value reconstructed from Table 6. Error bars are omitted pending verification.
整体MAE反映的是所有测试角度的平均误差，无法直接体现有益帧的比例。原始报告中EVFormer逐种子模型的结果与修订后的主数值不一致，因此原始的获胜帧比例不再作为当前结果的匹配依据。审稿过程中，需逐帧比较相同种子、检查点和测试中心下的44维误差数据。
在归档逐帧匹配的预测结果后，应计算EVFormer与视觉基线之间的成对误差差异、获胜比例、中位数以及分位数。目前尚未报告未经审核的帧所占比例，也不能将整体误差降低直接解释为每帧性能的改善；具体的受益场景需要独立的可见性标注和信号质量分析。
### 5.4 对输入变化的敏感性
表4列出了待审核的受控输入扰动条件，并以$11.482^{\circ}$作为校正后的干净输入整体MAE参考值。原始扰动报告中使用的干净值与校正后的主数值不一致，且相同的检查点与测试预测结果也未得到确认，因此已删除原始的扰动绝对值和相对变化数据。除干净参考值外，“—”表示相应结果仍需审核，仅凭此无法推导局部或整体输入变换的定量影响。
Table 4. EVFormer input disturbance review conditions (only clean overall reference is listed)
| Test input conditions | EVFormer MAE (degree; items to be reviewed are marked with -) |
| clean input | 11.482° (clean reference) |
| Center 32 $\times$32 pixels of image zeroed | — |
| Image 5 $\times$5 blurred | — |
| Set an electromyographic channel to zero on each wrist | — |
| Normalized EMG with 0.5 standard deviation Gaussian noise | — |
| The center of the image is set to zero and one channel on each wrist is set to zero. | — |
| Set the whole channel image to zero | — |
| Set the whole circuit of myoelectricity to zero | — |
| The image and EMG are reset to zero at the same time | — |
扰动审核需固定296个测试中心和原始角度标签，使用与干净主模型结果一致的检查点，分别在每个种子下单独评估图像中心置零、模糊、通道置零、肌电图噪声以及组合扰动条件，随后汇总得出均值和相对变化。目前尚无扰动……
---
结果与$11.482^{\circ}$相匹配。我们并未声称轻微扰动只会略微增加误差，或移除整个路径就必然会导致误差增大。
后续的跨模型鲁棒性对比需对视觉、肌电图及融合基线应用相同的扰动条件，并公开相应的检查点与预测结果。中心固定矩形并不直接代表手部真实遮挡情况，将标准化输入置零也不等同于物理设备损坏，软件诊断无法替代真实场景或跨用户评估。
### 5.5 时间段与数据分布
仅视觉、仅肌电以及晚期融合的验证MAE为10.415—10.691°；EVFormer的结果为8.720°（三个随机种子的标准差为0.080°）。每个学习模型的测试误差均高于验证误差。手势类别会随时间段而变化：训练阶段侧重于类别8–19，验证阶段为19–21，测试阶段则为21–24和27。不过，验证误差与测试误差之间的差距不能完全归因于未见过的手势，因为时间、疲劳程度、摄像头角度、肌肉激活情况以及标注效率也可能存在差异。
测试数据块按中心顺序被平均分为四组，每组包含74个样本。表8保留了三个基准方法的原始时间分组结果；修正后的$11.482^{\circ}$经聚合后无法还原EVFormer的原始分组数值，因此用“-”标记以供审查。目前还不能断言EVFormer在这四个连续时间段内均优于视觉方法。
这四组的样本数量相同，但覆盖的物理时间不同：前三组约为200–225秒，最后一组则延伸至281秒。后期标注效率显著下降，导致最后保留的74个中心点分布更为稀疏。因此，等样本分组适用于描述模型在保留样本上的误差，但无法反映每个时间段内所有动作的表现。表8同时列出了样本数量和时间范围，以避免将后期的稀疏数据误认为是连续且均匀的观测结果。
### 6. 细粒度实验结果与分析
### 6.1 详细的初步结果
#### 6.1.1 各随机种子的结果
表5保留了三个基准方法按随机种子划分的测试MAE。2026、2027和2028是用于模型初始化和数据读取顺序的随机种子，并不对应不同的参与者。原始EVFormer的三个随机种子得分平均值与$11.482^{\circ}$不一致，已被删除并用“-”标记以供审查。审查时需要匹配检查点、测试中心点以及逐帧预测结果，而不能仅仅根据均值变化给每个随机种子的结果加上同一个常数。
Table 5. Test MAE of each random seed (EVFormer sub-item to be reviewed)
| random seed | Vision MAE only | Myoelectric MAE only | Post Fusion MAE | EVFormer MAE |
| 2026 | 13.177 $^{\circ}$ | 13.201 $^{\circ}$ | 12.907 $^{\circ}$ | — |
| 2027 | 13.233 $^{\circ}$ | 13.484 $^{\circ}$ | 13.575 $^{\circ}$ | — |
| 2028 | 13.275 $^{\circ}$ | 14.145 $^{\circ}$ | 13.680 $^{\circ}$ | — |
视觉基准方法中三个随机种子的测试分数较为接近，而肌电方法及晚期融合方法的分数波动较大。EVFormer尚未给出与修正后的主值相对应的各随机种子结果，也未报告其随机种子标准差、各随机种子的改进率，或“所有随机种子均取得胜利”的结论。整体排名和初始化稳定性需另行验证，且三次初始化不能替代跨用户评估。
#### 6.1.2 按手势类别划分的描述性测试误差
表6根据标签对同一批次的预测结果进行分组。其中的gesture_class字段对应测试中心点。该数值为原始报告中三个随机种子的各组MAE平均值，单位为度。这五个类别共涵盖296个测试中心点，按样本数量加权计算的EVFormer整体MAE为11.482°。
---
这一数值构成了本次统一主要结果的基础。类别22包含142个样本，占测试集的近一半；类别27仅有16个样本。类别标签并未用作模型输入，类别表仅用于训练后的描述。所有样本均来自相同的参与者和同一视频片段，因此不能将其视为对群体表现的五次独立估计。
Table 6. Gesture category MAE and sample weighted overall results
| Gesture number (sample) | visual only | EMG only | late fusion | EVFormer |
| 21 (51) | 12.834 | 12.715 | 12.889 | 12.989 |
| 22 (142) | 14.392 | 14.657 | 14.333 | 12.076 |
| 23 (59) | 12.197 | 13.064 | 12.862 | 10.235 |
| 24 (28) | 13.158 | 13.637 | 13.262 | 11.041 |
| 27 (16) | 8.084 | 9.142 | 8.740 | 6.783 |
| Sample Weighted Population (296) | 13.228 | 13.610 | 13.387 | 11.482 |
在类别22、23、24和27中，EVFormer的平均绝对误差（MAE）是四种学习模型中最低的；其中类别22的误差为$12.076^{\circ}$，低于仅使用视觉信息的模型$14.392^{\circ}$。类别21是个例外：EVFormer在该类别上的误差为$12.989^{\circ}$，高于视觉模型$12.834^{\circ}$、肌电模型$12.715^{\circ}$以及晚期融合模型$12.889^{\circ}$，后三者的误差分别比EVFormer低$0.155^{\circ}$、$0.274^{\circ}$和$0.100^{\circ}$。因此，整体表现最佳的EVFormer并不意味着在每个类别上都是最优的。由于类别27仅有16个样本，很难据此推断该类别具有普遍性。图7并列展示了各类别的误差与样本数量，以凸显类别21的局部劣势以及不同类别间的样本量差异。
Figure 7. Error and sample composition by gesture class. Values are taken from Table 6. (a) Class-wise MAE for the four learned models. (b) Sample count for each class. Lines connect discrete classes and do not indicate a temporal trend.
#### 6.1.3 为何聚合至关重要
这五个类别的样本数分别为51、142、59、28和16，总计296个。按样本数量加权计算，EVFormer的整体MAE值为$(51 \times 12.989 + 142 \times 12.076 + 59 \times 10.235 + 28 \times 11.041 + 16 \times 6.783) / 296 = 11.4823378^\circ$，保留三位小数后为$11.482^\circ$。采用相同方法计算的视觉模型、肌电模型及后期融合模型的MAE值分别约为$13.228^\circ$、$13.610^\circ$和$13.387^\circ$，这一结果与主表数据一致。类别22对整体结果的贡献最大；五个类别的宏平均值为$10.6248^\circ$，但这并非本文的主要指标，且不能用宏平均值来替代样本加权值。
### 6.2 标签有效性与样本构成
#### 6.2.1 记录时间对标签有效性的影响
Parquet文件中的所有原始行并非都包含双手的44维回归标签。表7根据左右手生成的标签有效性以及左右腕关节角度的有效性，统计了各时间段内的原始行数：前50秒内几乎所有行都有效，250–300秒期间仅约3.3%有效，300秒之后则完全无效。
---
该表并未涵盖每200行采样后的所有模型筛选步骤、输入有限性检查以及边界剔除操作，因此无法直接与最终的1,964个模型样本进行比较。源文件时长约为345.7秒，但最后剩余的测试区间终止于281.0秒。
Table 7. Label validity statistics of original rows
| Time interval (seconds) | The number of rows that satisfy the two-hand label and wrist angle rules | interval effective ratio | Impact on sample composition |
| 0—50 | 99,983 | About 100.0% | Sufficient candidate centers |
| 50—100 | 83,988 | About 84.0% | Invalid interval occurs |
| 100—150 | 71,665 | About 71.7% | Available centers reduced |
| 150—200 | 79,603 | About 79.6% | Efficient recovery |
| 200—250 | 56,403 | About 56.4% | The test interval begins to become sparse |
| 250—300 | 3,266 | About 3.3% | There are only a few valid centers |
| 300—End of file | 0 | 0% | No valid two-handed target |
上述有效率并非模型预测的成功率，而是数据标签是否可用的统计数据。标签无效的具体原因可能与手部动作捕捉的可见性、标注生成过程或腕关节角度计算有关；无法单独归因于某一现有因素。严格的双手过滤会偏向那些更有可能同时获得左右手标签的场景。若此类偏差与手势类型或遮挡程度相关，那么基于留存样本计算的误差也会与完整动作过程中的误差存在差异。完整的研究应分别报告左手、右手及双手有效的样本比例，并分析其与手势类别、时间节点及图像可见性的关系。图8展示了表7中各时间间隔内的标签有效比例。
Figure 8. Proportion of valid bilateral hand and wrist labels over recording time. Statistics are based on the raw-row intervals in Table 7 and use the approximate percentages reported there. The figure shows label availability, not prediction success.
#### 6.2.2 独立性与统计单位
以10 Hz为中心候选频率并不意味着相邻样本在统计上相互独立；相邻中心对应的肌电窗口也可能存在重叠。从数据块边界移除样本只能确保训练、验证和测试所用的输入窗口之间不相互重叠，却无法消除同一采集会话内的相关性。目前保留的基线种子标准差仅能反映初始化时的变化；与$11.482^{\circ}$相匹配的EVFormer种子标准差尚待审核。本文并未报告其置信区间，也未将种子离散程度表述为新的用户统计准确度指标。
针对完整的EgoEMG数据，推断出的单位应与研究问题保持一致。若研究问题是“不同用户是否仍能正常工作？”，则应按用户或用户会话进行聚合，并采用用户级重采样或分层统计来表示不确定性；若研究问题是“改变某种手势类型”，则应固定手势组别。
---
首先需避免训练与测试阶段出现同类别数据的泄露现象。帧级平均绝对误差仍是一种有用的损失度量指标，但无法替代合适的独立评估单元。在报告整体均值的同时，各用户的散点图或分布情况也有助于发现少数用户出现的严重故障。
### 6.3 样本级误差诊断
#### 6.3.1 成对比较的定义与单位
成对分析需要计算每个种子及每个测试中心下，EVFormer与视觉基线之间的44维平均绝对误差差值。原先报告的种子级EVFormer均值与修正后的主值并不匹配。由于缺乏原始预测结果，相应的胜出帧比例也无法确认。相关数值及分布结论暂不予报告。
审核时应保留每个中心的索引、真实目标值以及两种模型的预测结果，并使用一致的种子、标注规则及输出单位。胜出比例是在每个种子内部计算后再跨种子汇总得出的；同一测试中心内跨种子的重复结果并非独立的人类观测数据。
整体平均绝对误差的降低可能与部分帧或类别误差的增加同时发生。表6目前展示了类别21的部分反例。逐帧收入覆盖情况也需要匹配预测结果并进行独立的场景标注验证，而无法仅凭整体排名来推导。
#### 6.3.2 测试集中的等数量时间组
表8将按中心索引排序的296个测试样本划分为四个每组74个的连续组。分组指标应先在组内对样本及44个角度取平均值，再跨种子取平均；这四个组的等权重平均值必须能重构出整体测试平均绝对误差。目前保留了三个基线结果，EVFormer的分组数值尚需审核。此类诊断不参与模型选择，且在没有行为起源或可见性标注的情况下，无法归因于特定事件。
Table 8. Continuous test grouping MAE (EVFormer sub-item to be reviewed)
| test group | Number of retained samples | Center time range (seconds) | Vision MAE only | Myoelectric MAE only | Post Fusion MAE | EVFormer MAE |
| Group 1 | 74 | 200.0—207.3 | 12.295 | 12.369 | 12.425 | — |
| Group 2 | 74 | 207.4—214.8 | 14.649 | 14.798 | 14.441 | — |
| Group 3 | 74 | 214.9—225.1 | 14.189 | 14.597 | 14.336 | — |
| Group 4 | 74 | 225.2—281.0 | 11.778 | 12.675 | 12.347 | — |
各组中的样本数量相同，但物理时间跨度却不同：第四组的时长达到了281.0秒，明显长于前三组。等量的样本分组适用于描述被保留的样本，并不代表等长的连续观测数据。EVFormer组的数据还需进一步审核，我们目前既不汇报各组的改进情况，也不声称这四个组均有改善。
#### 6.3.3 后续诊断所需的原始标注
当前文件记录了图像、肌电图、关节角度以及粗粒度手势编号，但缺乏足以支撑“肌电信号改善导致的遮挡”这一结论的逐帧人工遮挡标签。若未来要为图片添加额外标注，至少需区分左手、右手及双手的可见性，同时记录物体接触、自身遮挡、边界穿越和运动模糊等情况。在查看模型输出之前应先制定遮挡判定标准；标注员不应根据某方法的误差来判定某一帧是否属于“难处理帧”。唯有如此，预设的遮挡子集结果才能检验EVFormer的研究动机。肌电信号质量方面也是如此：通道断开、电极移位和异常噪声需与姿态误差分开定义，模型误差较大的帧也不能直接称为“不良信号”。
---
除了各组的平均误差外，正式研究还应展示按用户划分的成对差异分布以及失败案例。单个用户可贡献大量相邻帧，若直接将所有帧混合，一个长剪辑就会掩盖多个短剪辑的信息。对于跨用户任务，可先在各用户内部计算方法差异，再汇总得到用户级结果；对于跨手势任务，可先在预定义的手势类别内汇总方法差异，再比较类别间的稳定性。由于源图像本身不存在第二个用户，而非缺少额外绘图，第6.3节目前无法完成这些层面的统计。
### 6.4 按手部和关节类型划分的误差与目标分布
#### 6.4.1 左手/右手、手指及手腕误差
表3统一列出了左手、右手、手指及手腕区域的指标，不会重复显示相同数据。三个基线模型的区域值可通过输出维度加权来重构各自的整体误差；EVFormer的区域结果已被剔除，因为无法重构$11.482^{\circ}$。目前仅保留了其整体误差和手势类别结果，无法据此推断左右手的对称性表现或特定关节的贡献。
区域分析和逐关节分析需从匹配的原始预测结果中重新计算。手指的40个维度和手腕的4个维度的加权汇总应与主要指标一致；区域平均值无法解释单个自由度的方向和幅度，也不能将其解读为对特定肌肉群的选择性贡献。
#### 6.4.2 训练、验证及测试目标的描述性统计
为了说明为何训练时的平均姿态参考值达到了 $13.320^{\circ}$，表9列出了每个时间块中目标角的两个描述性数值：“平均绝对角度”是指样本中44个维度上角度绝对值的平均值；“平均维度标准差”则是先计算出该时间块内每个角度的整体标准差，再对各个维度取平均值。它们反映的是目标分布的规模，而非预测模型的误差，也不用于衡量标签的准确性。由于手腕仅占用4个维度，因此手指和手腕的标准差会分别列出，以免整体均值掩盖了局部差异。
Table 9. Descriptive statistics for training, validation and testing objectives
| data block | Number of samples | mean absolute angle | mean dimension-wise standard deviation | Finger-by-dimension standard deviation | Wrist dimension-wise standard deviation |
| training | 1,375 | $20.154^{\circ}$ | $15.524^{\circ}$ | $15.171^{\circ}$ | $19.057^{\circ}$ |
| Verify | 293 | $19.874^{\circ}$ | $11.142^{\circ}$ | $10.273^{\circ}$ | $19.838^{\circ}$ |
| test | 296 | $21.350^{\circ}$ | $12.731^{\circ}$ | $12.099^{\circ}$ | $19.048^{\circ}$ |
这些时间块内的统计数据并不能直接反映不同时间块间的平均差异，因此仅凭表9无法解释从验证阶段到测试阶段MAE的上升现象。训练时间块涵盖了多种较旧的手势，其维度标准差高于验证时间块；但标准差的大小也取决于每种手势在时间块中的占比。若要阐明模型在面对未见过的手势时的具体失效情况，还需结合完整数据的手势层面和用户层面分布来分析。就本段内容而言，训练时的平均参考值接近视觉模型的测试MAE，这表明必须保留这一简单的参考基准，以免过度解读复杂模型在狭窄分布下的数值优势。
### 6.5 模型容量、比较的公平性以及计算范围
#### 6.5.1 实例化且可训练的参数
代码在所有模式下都实例化了同一个EVFormer类，因此每个对象包含171,116个可学习参数；但前向传播分支决定了哪些模块实际参与输出和反向传播。我们使用构造好的输入来执行每种模式的前向和反向计算，并统计具有非空梯度的参数数量，结果如表10所示。这一计数仅表示当前实现中计算图所访问的参数，
---
它并不代表推理FLOPs、内存带宽或实际训练时间；例如，所有模式都会执行双通道编码器的前向传播，即便单模态输出不会使用另一分支。
Table 10. Total parameters of the model object and parameters participating in the gradient
| training mode | Model object total parameters | parameters with gradients | Difference from vision-only gradient parameter |
| visual only | 171,116 | 62,572 | 0 |
| EMG only | 171,116 | 69,996 | +7,424 |
| late fusion | 171,116 | 137,836 | +75,264 |
| EVFormer | 171,116 | 171,116 | +108,544 |
晚期融合模式与EVFormer之间实际参与梯度计算的参数相差33,280个。因此，表2中显示的准确率差异是基于当前实现的两种配置对比得出的，尚不属于严格等量的消融实验，整个性能提升也不能完全归因于交叉注意力机制。完整的研究应当增设视觉和融合后处理对照组以实现参数匹配，同时保持训练数据、优化器、图像裁剪方式和输入窗口的一致性。
#### 6.5.2 理论交互规模与实测延迟
当前的视觉序列包含16个词元，肌电序列包含25个词元。四头交叉注意力机制会在每个方向上生成 $16 \times 25 \times 4 = 1{,}600$ 个查询-键得分，双向序列的总数为3,200。这一数值并未计入双通道编码、线性映射、回归或视频解码的开销。200毫秒代表回归所使用的肌电历史数据的时长，流式滚动缓存可以持续提供这类历史数据。但它不能直接等同于每次预测所需的200毫秒等待时间或端到端延迟。正式的系统评估需要测量显式硬件上的同步、预处理、推理及输出传输时间。
部署场景还需要考虑缓存策略。如果每个新中心都要重新处理 400 个原始 EMG 数据点，那么其计算和数据处理方式就会与在线维护滚动缓存的情况有所不同；如果图像帧率为 60 fps 而预测中心的频率约为 10 Hz，那么在同一图像采集链路中仍可能会出现排队和解码开销。如果 EMG 滤波用到了未来的采样点，就不能简单地将输入定义为“中心点前 200 毫秒”并据此声称满足因果性。本文并未基于真实设备开展在线延迟测量，因此上述内容只是对测量协议的要求，而非性能结果。
#### 6.5.3 完整评估的最小报告单元
一项完整的 EgoEMG 研究需要报告用户数量、手势数量、测试样本数量，以及至少三个官方划分下各模型的整体、左手、右手和腕部的 MAE 值。在模型比较方面，可以在每个测试用户内计算 EVFormer 与基线模型之间的成对差异，随后展示用户级别的分布情况；如果某个划分以未见过的手势作为主要泛化维度，还可以按手势类别汇总结果。在查看最终测试集之前就应明确成功标准，例如要求模型在多个划分中相对于匹配的融合基线都能取得一致且有意义的提升，而不是事后挑选有利的数值。负面结果也应连同训练配置、运行种子及预测文件一并公布，以免后续研究重复得出无法验证的结论。
### 6.6 审计计划与受控输入扰动范围
#### 6.6.1 固定输入变换
本节将解释表 4 中所列的固定输入变换及审查要求，并不将其视为已匹配修改主值的实验结果。审查时应保留原有的 1,375 个训练样本、293 个验证样本和 296 个测试样本，利用干净的验证数据来选择检查点，再用同一检查点来评估所有适用条件。测试扰动不用于提前停止或参数调整，也不会新增参与者、手势或角度标签；只有在根据种子完成干净记录与扰动预测后，才能重新汇总相对变化结果。
---
参数调整不会采用测试扰动方式，也不会新增参与者、手势或角度标签；只有在根据种子完成干净记录与扰动预测后，才能重新汇总相对变化结果。
RGB 裁剪后的尺寸被缩放为 $64 \times 64$，数值落在 [^0] 和 [^1] 范围内。中央遮挡会使高度为 16–47 像素的 $32 \times 32$ 区域变为零值，该区域占整体面积的四分之一。该矩形位置固定，不依赖于手部轮廓，可能会覆盖手指或主要覆盖背景。$5 \times 5$ 均值模糊采用步长 1 且补零数为 2，这与反射填充并不完全相同。将整个图像置零会使所有像素变为零值；是否属于训练中未出现的缺失模态条件，需根据模块化丢弃的实际实现方式来判定。
EMG输入首先利用训练数据块中的均值和标准差对每个通道进行归一化处理，随后被截断为$[-8,8]$。固定将每只手腕上的一个通道置零，即分别选择第0和第8个通道——每只腕带对应一个通道；由于置零操作发生在归一化之后，因此这里的“零”对应的是接近训练均值的输入值，而非物理传感器输出的0 V。高斯噪声采用固定的随机源1337，为每个归一化后的值添加标准差为0.5的独立噪声，之后再将其截断回$[-8,8]$。若将整个EMG电路置零，则所有$100 \times 16$标准化值都会被设为0，这意味着输入会被替换为训练中心值，并不代表电极真正断开时的波形。上述条件组合会同时应用中央遮挡与双通道置零操作，或者同时应用全通道图像与全通道EMG置零操作。图9以示意图形式展示了上述转换过程，其中不涉及尚未经过审查的扰动问题。
Figure 9. Controlled input perturbations (schematic). (a) Central image zeroing, mean blur, and whole-image zeroing. (b) EMG-channel zeroing, Gaussian noise, and whole-EMG zeroing. The textures and waveforms are illustrative rather than measured data, and no robustness results are shown.
#### 6.6.2 检查点一致性与各种子审计
表5统一展示了逐个种子的测试结果，无需重复列出原始的EVFormer种子值或未经过审查的获胜帧率。在审查过程中，每个种子的干净结果、扰动结果以及配对结果必须源自同一个检查点且同一测试中心，同时需记录下检查点标识、输入转换参数及随机源信息。
每种扰动都需要逐一保留其子分数，并计算其与对应干净分数的差值。修正后的主数值不能与来源不明的旧扰动的绝对值混为一谈。这些细节目前尚未归档，本文也不报告扰动均值、相对变化或种子间排名等信息。
#### 6.6.3 检查点、结果文件与解释限制
现有的归档资料中并不包含检查点、逐种子JSON文件、逐帧原始预测结果，或与$11.482^{\circ}$相匹配的运行日志。表6提供了整体修订的依据摘要，但无法替代原始预测结果。补充归档之后，还需对整体结果、区域结果、类别结果、时间分组结果以及扰动结果之间的同源性进行审查；本文中的“—”表示相应的EVFormer子项尚未经过审查。
---
训练设置中包含0.10的模块化丢弃率，因此未经验证便不能断言所有测试中的零条件在训练中从未出现。审查时应指出训练过程中被舍弃的模态、替代值及触发概率，区分训练所覆盖的缺失模态条件与未见过的局部噪声或输入变化。软件中的零设置并不等同于真实的遮挡、电极移位或时钟不匹配；若我们要讨论抗遮挡或抗故障性能，还需将其与真实工况以及能承受相同扰动的基线进行对比。
### 7. 讨论与未来评估
### 7.1 主要发现
在本文的单段预处理与划分条件下，EVFormer的整体测试MAE为$11.482^{\circ}$，该数值低于视觉模型$13.228^{\circ}$、肌电模型$13.610^{\circ}$、后融合模型$13.387^{\circ}$以及训练平均姿态模型$13.320^{\circ}$。它是当前对比中的整体性能最佳模型。相对视觉模型的误差降低了$1.746^{\circ}$，性能提升了13.20%；相对后期融合模型的误差降低了$1.905^{\circ}$，性能提升了14.23%。手势类别结果中包括第21类的局部劣势，而待审核的种子、区域、时间分组及扰动数据并不能作为证明其优势的补充依据。
当前的实验确实显示出误差的降低，但现有的控制条件无法单独识别出性能提升的具体机制。固定的$64 \times 64$裁剪方式、较短的肌电信号历史长度、单一参与者的数据规模、随机初始化的视觉骨干网络、跨模态交互以及动态门控机制都可能对结果产生影响；这些均是后续受控消融实验的研究因素，并非本实验中已确认的因果性解释。
### 7.2 相对于基线和数据集的评估范围
当前结果支持了EVFormer在本文内部对比中的整体准确性优势，但不能据此断言它在每个类别中均表现最佳，或超越了所有已发表的方法。EgoEMG的官方多用户划分方案尚未采用，相应的残差融合基线也尚未完成。在统一数据、训练预算及模型容量之后，相关对比仍需进一步验证。
### 7.3 解释的限制
本文仅涉及一名参与者及一次记录，没有独立的测试用户。时间分块确保了不同数据块间的输入窗口不重叠，但无法消除同一会话内的相关性；类别分布、固定裁剪、第三方镜像版本以及潜在的离线肌电信号处理都会限制结果的推广性。EVFormer的子项及扰动结果尚未对照原始预测进行核验，因此目前无法支撑关于初始化稳定性、真正的遮挡鲁棒性或传感器故障的结论。源文件哈希只能用于识别数据身份，无法替代实验日志、预测存档及独立重现性验证。
### 7.4 后续实验的顺序
如果下一轮研究只能开展少量受控实验，应首先确定当前弱视觉基线实际能识别哪些手部区域。虽然固定裁剪易于复现，但手指所占像素可能极少；同一裁剪下的背景也可能与记录场景形成捷径。可以在保持其余条件不变的情况下，对比固定裁剪、训练集确定的手部框以及高分辨率裁剪，并逐一记录检测失败和帧丢失情况。如果视觉模型的表现仍接近训练平均姿态基线，就很难解释增加融合复杂度所带来的益处。
第二步是评估同步问题和输入干扰。利用与$11.482^{\circ}$主要结果一致的检查点，重新评估固定图像遮挡、模糊、通道置零、肌电噪声以及全通道置零现象，并记录训练模式丢弃与测试条件之间的关系。同一测试中心下干净和受干扰的预测结果需逐种子保存，并将相同的适用条件应用于基线；真实的电极位移和多用户信号质量仍需单独采集。
第三步是调整跨模态结构。序列交叉注意力引入的训练参数比后期融合更有效，同时还能引入关于时间片与图像区域之间关系的可学习假设。如果性能提升源于参数数量的增加而非信息交互，那么这种结构性结论便无法成立。
---
正式消融实验应控制有效参数的数量和训练预算，设置规模相等的单模态或并行融合模型；同时比较交叉注意力的方向，仅保留一个方向以及不同的肌电历史长度。通过验证集选定的任何超参数都必须在预定的测试集上进行评估，且不能在同一测试块上反复筛选。
### 7.5 在完整数据集上的预先指定评估
#### 7.5.1 数据划分与对比
在查看完整数据的测试结果之前，应首先确定并归档EgoEMG官方的三组划分文件：“手势”、“用户”以及“两者同时”。将参与者和手势留在轴上，不用于训练归一化、检查点选择、图像裁剪调整或数据增强选择。对于同一样本，所有候选模型应接收相同的中心帧图像和同步的肌电历史数据。对照组至少包括：使用与EVFormer相同视觉骨干的纯视觉模型、具有相同肌电编码器的纯肌电模型、后期融合模型、依次移除一个交叉注意力方向的EVFormer，以及EgoEMG [^1]的残差融合基线。也可以加入WiLoR [^10]这一更强的手部专用视觉模型，但必须说明其预训练来源和容量。
主要结果应基于官方定义的测试集关节角度MAE（以度为单位），并按原始基准方式汇总。在计算跨划分平均值之前，需分别报告“手势”、“用户”和“两者同时”的得分。每组划分还需描述参与者的手势、有效手势帧数，并提供每个用户的平均值与离散程度、左右手、手指和手腕的数据，以及若干预先指定的手势类别的结果。如果未发现用户误差有显著下降，就不能仅凭总体平均值就宣称方法有所改进。
#### 7.5.2 鲁棒性与消融研究
遮挡实验应使用独立于预测误差的图像质量变量，例如人工验证的可见性标注或模型冻结后的预设遮挡。所有可用的视觉方法应接受相同的扰动。肌电通道丢弃、噪声和时间戳抖动需有明确的幅度特征。目前训练过程中会使用模态丢弃机制，但伴随主特征值修改而缺失的模态结果尚未经过评估；不能仅依据门控结构或训练配置就断言缺失模态的能力已得到验证。
在尽可能控制有效参数数量的前提下，应当移除或替换注意力模块。可行的对比方案包括：向量级后融合、仅视觉查询EMG、仅EMG查询视觉、双向交互以及残差姿态校正头。EMG历史长度与图像裁剪分辨率这两个因素应每次只更改一个。通过这些实验可以区分性能提升究竟源自真正的跨模态交互、更大的模型容量，还是更合适的图像裁剪方式或更长的EMG上下文。本文尚未给出这些全数据实验的结果。
#### 7.5.3 报告要求与失败标准
评估时应保留所有预先指定的随机种子及其分布，而非仅选取一次有利的种子。置信区间应基于参与者或采集组别来计算，而不能将相邻的视频帧视为独立观测值。训练时间、显存占用、参数数量以及推理延迟均需在明确的硬件条件下进行测量。如果EVFormer在预先指定的遮挡子集或未见过的使用者身上的误差，不比匹配的视觉与残差融合对照组更差，那么对于该配置而言，EVFormer具有实用价值的假设便会被否定。即便在完整数据上的结果为阴性，仍能揭示出双侧EMG无法为强大的第一人称视觉提供额外价值的条件。
### 7.6 完整研究的实施流程
#### 7.6.1 数据验证与基线复现
第一步是获取EgoEMG的官方完整数据、与其版本相匹配的文件与代码，并记录版本号及源文件校验值。加载器应采样视频中心帧、左右两侧的EMG窗口、22个左右手关节的顺序、弧度转角度的转换结果以及有效性掩码。随机检查不能仅局限于训练集：每个官方划分的数据集都应确认用户与手势ID与其声明的保留条件一致。
---
若使用现成的检测器或标注工具进行图像裁剪，则必须记录检查点及错误处理策略，以防对测试集的手动调整被纳入模型选择流程。
第二步是根据原作者公布的配置，至少复现一个视觉基线、一个EMG基线以及一个残差融合基线，并确认输出指标在合理范围内且与原文一致。如果复现结果明显不同，应首先排查目标单元、裁剪尺寸、帧过滤方式、样本权重以及预训练来源，而非立即调整EVFormer的超参数。完成基线复现后，应在相同的训练预算下运行EVFormer及后融合消融实验。通过这种方式得到的对比结果能够回答“交叉注意力是否带来性能提升”，而非“两种训练流程是否存在差异”。
#### 7.6.2 预先指定的结果与资源报告
在正式实验开始之前，必须确定主MAE、三个分区、主表中列出的模型、随机种子数量，以及遮挡和EMG噪声子集的定义。主表应依次列出样本数量、用户数量、平均值及离散程度；附录则应列出左右手、手指、手腕以及各个自由度的情况。如果要探究多种历史长度、图像分辨率或编码器尺寸，需将探索集与最终测试集分开，并完整公开所尝试的参数设置。训练计算量、峰值显存占用、有效模型参数以及端到端延迟也是该方法价值的重要组成部分，尤其是在可穿戴设备的应用场景中。
同步误差也应进行压力测试。例如，在不改变真实标签时间戳的前提下，对EMG输入施加预设的$\pm20$、$\pm40$和$\pm80$毫秒偏移量；若模型性能出现快速下降，则可能表明部署时需要更严格的时钟同步。在图像端可采用固定区域的遮挡或模糊来检测视觉退化；在EMG端则可利用固定概率的通道丢弃以及特定信噪比范围内的噪声来检测传感器退化。所有方法应接受相同程度的扰动，且扰动强度不能因某一模型性能不佳而临时调整。
#### 7.6.3 完整研究可能得出的三种结论
如果EVFormer在所有三个官方划分中均稳定优于匹配的视觉、后融合及残差融合基线，且在未见过的用户中也能体现出优势，那么可以认为它在该场景下更为有效。如果它仅在部分遮挡情况下有益，而在正常图像上并无优势，则结论应局限于预定义的遮挡条件，并报告整体成本。如果它在整体或关键子集上均无改善，则结论应为当前的交叉注意力设计缺乏证据支持；可进一步分析图像骨干网络是否过弱、不同个体间的EMG差异是否过大，或是双向注意力存在过拟合现象。无论结果如何，都应保留最初的预测、划分ID及完整配置，以便他人能够查看汇总表，而非仅看到经过筛选的最终数据。
### 7.7 姿态估计与运动意图预测之间的概念边界
#### 7.7.1 当前模型所预测的内容
本文的目标是获取当前图像对应时刻的手部关节角度，而非离散的手势标签，也不是运动开始前的未来动作。尽管EMG输入取自图像中心时刻前200毫秒，但图像本身来自当前时刻，目标角度也与当前时刻对齐。因此，模型利用“过去的EMG信号+当前图像”来估计当前的手部姿势。仅凭这一设定并不能宣称能提前预测运动意图，也无法直接将平均角度误差换算为毫秒数，以供控制设备提前响应。即便在某些动作中肌电活动先于可见运动出现，是否存在稳定的提前量仍需通过专门的时间对齐实验来验证。
如果未来的研究以运动意图为目标，首先应当明确意图的操作性定义。例如，可以定义为未来$\Delta$毫秒内的关节角度轨迹、未来动作类别，或是“在动作起始点之前预测特定的运动方向”。每种定义都需要不同的标签、起源检测规则和误差度量指标。未来的轨迹预测必须严格限制输入数据仅来源于预测时刻。
---
此前的数据，包括视频帧、肌电滤波结果以及任何归一化状态，均不得纳入输入；否则所谓的“提前预测”就可能涉及未来信息的泄露。动作的起始点不能仅凭模型得分事后选定，而应由独立标注或预先注册的算法来确定。
#### 7.7.2 评估对控制的实际价值
关节角度的MAE仅仅是一个离线重建精度的指标。对于假肢、康复设备或虚拟交互装置而言，其实际价值还取决于连续输出是否会出现抖动、用户在闭环环境中的适应能力、系统端到端的延迟、佩戴舒适度以及电极反复放置的稳定性。如果某个模型需要高延迟的视频解码或频繁的手动校准，那么即使其离线MAE较低，也未必更适合在线使用。相反，即便角度误差稍大，由于响应稳定，轻量级模型可能更具实用性。上述问题超出了本次初步实验的范围，单个片段的离线结果也不能替代用户调研或设备测试。
因此，目前应将EVFormer称为视觉-肌电手部姿态估计模型。若将其发展为运动意图识别系统，必须单独定义预测目标、动作起始点和验证协议。当前连续角度回归的MAE不能直接用作离散手势识别或未来动作预测的性能指标。
### 8. 结论
本文介绍了EVFormer，该模型通过残差缩放的序列双向交叉注意力机制在视觉空间特征与双侧手腕肌电时间特征之间交换信息，再利用逐特征门控机制来回归44个双侧关节角度。在基于一名参与者的一项记录所进行的统一内部对比中，EVFormer的样本加权测试MAE达到11.482度，低于仅使用视觉数据（13.228度）、仅使用肌电数据（13.610度）、后期融合方法（13.387度）以及训练均值姿态（13.320度）。相较于仅使用视觉数据的方法，其精度提升了13.20%；相较于后期融合方法，精度提升了14.23%。在五个测试手势类别中，EVFormer在四个类别上表现最佳，仅在类别21上存在局部劣势。未经过校正汇总的各种子集、区域、时间组和扰动结果仍需对照原始预测数据进行验证，不能作为支撑当前结论的依据。现有结果支持在该实验设置下整体精度的提升；但跨用户泛化能力、对真实输入退化的鲁棒性以及在线性能仍需进一步研究。
## 参考文献
Xi, Z., Yu, J., Wang, Y., Duan, Y., Feng, J., 和 Zhou, J. EgoEMG：一个包含双侧肌电与视觉数据的用于手部姿态估计的多模态第一人称数据集。arXiv:2605.05712，2026年。
Salter, S., Warren, R., Schlager, C.等人。emg2pose：一个用于表面肌电信号手部姿态估计的大型多样化基准数据集。NeurIPS数据集与基准会议，2024年。
Vaswani, A., Shazeer, N., Parmar, N.等人。Attention Is All You Need。NeurIPS会议，2017年。
Dosovitskiy, A., Beyer, L., Kolesnikov, A.等人。一张图片相当于16×16个词：用于大规模图像识别的Transformer模型。ICLR会议，2021年。
IInfact。EgoEMG-关村，第000028集。数据集镜像，访问于2026年9月29日。
EgoEMG作者团队。EgoEMG官方代码与数据配置。访问于2026年9月29日。
Romero, J., Tzionas, D.和Black, M. J.。Embodied Hands：手部与身体的一体化建模与捕捉。ACM图形学交易期刊，2017年。
Han, S., Wu, P.-C., Zhang, Y.等人。UmeTrack：面向虚拟现实的统一多视角端到端手部追踪技术。SIGGRAPH Asia会议，2022年。
Banerjee, P., Shkodrani, S., Moulon, P.等人。HOT3D：基于自中心多视角视频的手部与物体三维追踪技术。CVPR会议，2025年。
Potamias, R. A., Zhang, J., Deng, J.和Zafeiriou, S。WiLoR：面向真实场景的端到端三维手部定位与重建技术。CVPR会议，2025年。
Atzori, M.和Müller, H。Ninapro数据库：一个基于sEMG的手部运动研究资源。Scientific Data期刊，第1卷：140053页，2014年。
Ngeo, J., Tamei, T.和Shibata, T。利用表面肌电信号中的肌肉激活输入连续估计手指关节角度。EMBC会议，2012年。
---
Ngeo, J. G., Tamei, T.和Shibata, T。利用从EMG到肌肉激活模型的输入，连续且同步地估计手指运动学参数。神经工程与康复期刊，第11卷：122页，2014年。
Liu, Y., Zhang, S.和Gowda, M。NeuroPose：基于肌电可穿戴设备的三维手部姿态追踪技术。Web会议，2021年。
Farina, D., Holobar, A., Merletti, R.和Enoka, R. M。从表面肌电信号中提取神经策略：最新进展。应用生理学期刊，第117卷：1215-1230页，2014年。
Andreas, B., Werner, K., Hou, Y.等人。一个涵盖日常活动中多模态肌电图与手部运动学数据的数据库。Scientific Data期刊，第12卷：1507页，2025年。
Jarque-Bou, N. J., Vergara, M., Sancho-Bru, J. L.等人。一个经过校准的日常活动中前臂与手部运动学及肌电图数据库。Scientific Data期刊，第6卷，2019年。
Yang, J., Son, M., Lieu, V., Weber, D. J.和Erickson, Z。EMGBench：针对肌电图信号的分布外泛化与适应性测试基准。arXiv:2410.23625，2024年。
Pradhan, G., He, J.和Jiang, N。GrabMyo：一个面向可穿戴式肌电手势识别的基准数据集。Scientific Data期刊，第9卷：733页，2022年。
Sivakumar, A., Seely, J., Du, Y.等人。emg2qwerty：一个用于腕部佩戴式肌电打字的大规模数据集。NeurIPS数据集与基准会议，2024年。
Lovecchio, F., Mamidanna, A., Jansen, R., Farina, D.和Verstraten, T.。VQ-MyoPose：用于肌电手部姿态估计的矢量量化建模技术。HANDS研讨会，2025年。
Verma, S。emg2tendon：从sEMG信号到骨骼肌手部的肌腱控制技术。机器人科学与系统会议，2025年。
赵Q.、李W.、王C.和张K.。DexEMG：基于EMG2Pose泛化的灵巧遥操作系统。arXiv:2603.05861，2026年。
齐默尔曼C.、塞兰D.、杨J.等。FreiHAND：用于从单张RGB图像进行无标记手部重建的数据集。ICCV，2019年。
文G.、柳S.-I.、温H.、白鸟T.和李K. M.。InterHand2.6M：用于从单张RGB图像进行三维交互手部姿态估计的数据集及基准测试。IEEE TPAMI，第45卷：11065-11080页，2023年。
汉帕利S.、拉德M.、奥伯韦格M.和勒佩蒂V.。HO-3D：手部-物体三维姿态估计的基准测试。CVPR，2020年。
范Z.、塔赫里O.、齐奥纳斯D.等。ARCTIC：用于灵巧双手-物体交互的数据集。CVPR，2023年。
权T.、特金B.、斯图默J.、博戈F.和波勒费斯M.$H_{2}O$：用于第一人称交互识别的双手操纵物体场景。ICCV，2021年。
余B.、苏雷什S.、穆卡丹M.、马图拉纳D.、李C.和詹T.-J.。DexYCB：用于实现抓取感知的基准测试。ICRA，2022年。
帕夫拉科斯G.、单D.、拉多萨维奇I.等。利用Transformer重建三维手部模型。ECCV，2024年。
黄W.、郭H.、杨L.、姚A.和郭Y.。GigaHand：一个用于从中心视角和外围视角进行三维手部重建的大规模标注数据集。arXiv:2412.04244，2024年。
何K.、张X.、任S.和孙J.。用于图像识别的深度残差学习。CVPR，2016年。
奥夸布M.、达尔塞T.、穆塔卡尼T.等。DINOv2：无需监督即可学习鲁棒的视觉特征。TMLR，2024年。
洛希洛夫I.和胡特尔F.。解耦权重衰减正则化。ICLR，2019年。
胡J.、沈L.和孙G.。挤压-激励网络。CVPR，2018年。
崔J.、桑迪诺C.、普兰萨里H.等。用于肌电图与姿态学习的跨模态预训练。arXiv:2509.04699，2025年。
赞迪戈哈尔M.、韩M.、沙里夫M.等。用于假肢手控制中人类抓取意图推断的肌电图与视觉多模态融合。Frontiers in Robotics and AI，第11卷：1312554页，2024年。
郝S.、高D.、鞠Z.和高Q.。基于表面肌电图与视觉融合的多模态手势识别。M2VIP，2024年。
习Z.、敖Z.、王Y.等。WristPP：一种用于手部姿态与压力估计的腕戴式系统。CHI，2026年。
辛佩特鲁R. C.、阿尔库达斯A.、布劳恩D. I.等。利用神经接口与深度学习感知人手的全部动态。Science Robotics，第9卷第93期，2024年。
崔J.、桑迪诺C.、普兰萨里H.等。EMBridge：连接肌电图与视觉-语言模型以实现手势理解。ICLR，2026年。
梅尔曼N.、加尼翁-奥迪特J.-C.、什瓦茨曼M.等。用于sEMG的Transformer模型缩放与蒸馏。TMLR，2025年。
法苏洛M.、斯帕科内G.、英戈尔夫松T. M.等。TinyMyo：一种用于在边缘设备上进行灵活肌电信号处理的微型基础模型。arXiv:2512.15729，2025年。
---
## 附录A：数据字段与角度语义
### A.1 输入与目标字段
Parquet 文件会保存 EMG 数据、动作捕捉相关信息、生成的姿态标注以及它们与视频帧的对应关系。实验前程序会读取 observation.emg.left_filtered 和 observation.emg.right_filtered，每行包含 8 个数值；同时读取 observation.images.webcam.frame_index 以确定当前的视频帧。生成的手指角度数组分别为 generated.joint_angles.left 和 .right，每只手包含 20 个关节点。generated.label_valid 这个包含两个元素的字段用于指示为左右手生成的标签是否有效。另外还有四个字段分别记录左右手腕的俯仰角和偏航角，且要求对应的 angles_valid 标志位为真。label.gesture_class 仅在训练完成后用于分类诊断，它既不是模型输入，也不参与检查点的选择。
输出序列遵循 EgoEMG 定义的 22 个自由度规范 [^1]：索引 0-3 对应拇指，4-7 对应食指，8-11 对应中指，12-15 对应无名指，16-19 对应小指，20-21 对应手腕。每组四个手指角度对应释放表示中的掌指关节和指间关节运动；索引 20 代表手腕屈伸，索引 21 代表桡尺偏。左右手采用相同的索引规则，右手在 44 维的总向量中整体向后偏移 22 位。表 A1 总结了该指标所使用的数据切片。
Table A1. Hand output index and indicator dimensions
| indicator area | left hand output index | Right hand output index | Total dimensions |
| Finger corners | 0—19 | 22—41 | 40 |
| wrist angle | 20—21 | 42—43 | 4 |
| complete hands | 0—21 | 22—43 | 44 |
### A.2 单位转换与有效性检查
源数据中的手指角度以弧度为单位，而手腕俯仰角和偏航角则以度为单位。如果直接混合使用，不仅训练目标会严重失真，最终的 MAE 也会偏离实际值。因此预处理阶段仅将每只手上的 20 个手指关节角度从弧度转换为度，拼接后的手腕数值则保持原有单位不变。一项单元测试会利用预设的 $90^{\circ}$ 手指角度和指定的手腕角度来验证这一步操作；另一项测试则确认 EMG 窗口是否包含中心行之前的采样点。这些数值仅用于程序校验，不会纳入论文的训练或测试样本。这两种错误都可能导致看似合理但实际无效的评分，因此必须加以防范。
实验前要求左右手的标签以及左右手腕角度均有效。这一严格的双手一致性规则虽然减少了可用样本量，却确保了评估时左右手的有效性条件对称。未来开展全数据研究时，可采用逐手有效性掩码来保留仅有单手标签的样本信息；不过届时需考虑掩码对样本群体的影响。由于当前是对两只手进行联合预测，即便其中一只手的数据可用，只要另一只手的标签无效，整个观测数据仍会被剔除。
## 附录 B：数据划分与手势构成
### B.1 精确的样本选择流程
源流媒体的标称采样率为 2 kHz。候选中心从第 400 行开始，每次向后移动 200 行；长度为 400 的肌电信号历史数据恰好在中心位置之前结束。候选中心必须通过四项标签有效性检查以及摄像头帧索引检查。其余的中心位置则严格按递增顺序排列。我们将切分点设置在序列的 70% 和 85% 处，随后移除了靠近边界、可能导致 400 行肌电信号历史数据与相邻数据块重叠的样本。所有模型均采用 1,375/293/296 的最终划分方式；由于边界间距问题，有 4 个原本有效的样本被剔除。这种划分方式是确定性的，不会受训练随机种子的影响。
这三个数据块的实际长度与 70%/15%/15% 的样本比例存在差异，这是因为不同段落中的标签效率各不相同。源文件时长约为 345.7 秒，最终的保留测试集中在
---
281.0 秒处。此次测试不能被视为覆盖了整个采集过程。正式的归档工作应保存每个中心行索引、视频帧索引以及对应的预测结果，以便验证所有分组结果的同源性。
### B.2 各数据块中的手势 ID
表 B1 根据有效样本中心处的手势类别字段计算得出，它揭示了为何不能简单地将本次测试得分解释为“对未来的外推”。训练集和测试集中的标注手势几乎不重合。其中 -1 表示未分配手势标签，且仅出现在该过滤样本的训练块中。表中的计数既不是原始视频片段所有行的统计数据，也不是 EgoEMG 官方测试分组的统计数据。
Table B1. Data division, gesture categories and total number of samples
| data block | Gesture number marked | Total number of valid samples | The number of gesture samples is not marked |
| training | 8—19 | 1,375 | 47 |
| Verify | 19、20、21 | 293 | 0 |
| test | 21、22、23、24、27 | 296 | 0 |
表 B1 中的有效样本总数包含了未标注手势的样本。训练块中的 47 个未标注样本属于 1,375 个样本的子集，其余 1,328 个样本具有手势类别标签。验证集和测试集均包含类别标签；如表 6 所示，测试集中五个类别的样本数分别为 51、142、59、28 和 16。完整的类别统计数据应与原始预测结果一同归档，目前尚未参考尚未生成的本地结果文件。短片段的类别比例会影响整体平均绝对误差，而手势的严格泛化仍需依赖官方的多参与者分类 [^1]。
## 附录 C：实现细节与审计轨迹
### C.1 轻量级模型配置
实验前的网络使用 64 维词元，每层设四个注意力头，包含 16 个视觉词元和 25 个肌电信号词元。图像骨干网络依次采用 $5 \times 5$ 和 $3 \times 3$ 卷积操作；肌电骨干网络则分别使用核长为 7 和 5 的一维卷积。每种模态都配备一层 Transformer 编码器，其前馈子层的维度为 128，dropout 比例为 0.1。双向交叉注意力的残差缩放因子为 0.1；门控机制采用 $128 \rightarrow 64 \rightarrow 64$ 感知机，输出端应用 sigmoid 函数，最后一层的偏置初始化为 +2.0。最终的回归头由层归一化、$64 \rightarrow 64$ GELU 隐藏层以及 $64 \rightarrow 44$ 输出层构成。完整构建的模块共有 171,116 个参数；在不同训练模式下，实际参与计算的参数会有所区别。
### C.2 训练与评估实现
代码中的TensorDataset会保存解码后的图像裁剪结果、归一化的肌电序列以及以角度表示的目标值。图像像素值会被缩放到0-1范围内。肌电信号的各通道均值和标准差仅根据训练样本及时间位置来估计，测试阶段的数据不会参与计算。训练损失是针对除以90后的目标值计算的，而在报告角误差平均值时，预测结果会先乘以90。在计算测试指标之前，每种模式和随机种子都会重新加载以验证最优检查点；早停机制仅依据验证集的MAE来决定，因此测试分数并不参与模型选择。
本文采用表6中$11.482^{\circ}$的样本加权值来统一EVFormer的整体结果。那些与该主要数值不一致的初始随机种子、区域、时间分组及扰动值已被剔除；与之对应的服务器级随机种子JSON文件、检查点、原始预测数组及日志尚未归档。同时还需补充服务器的硬件信息、软件版本及运行配置，以验证各组数据加权后能否重构出整体得分。目前尚未归档的产品不能作为可直接在本地重新计算的依据。