{
  "paper_id": "5e5b6ef87a29143979196ce7fd0e8448",
  "paper_title": "EVFormer: An Egocentric Vision-EMG Bidirectional Attention Model for Bimanual Hand Pose Estimation",
  "paper_authors": [
    "JiaCheng Ge",
    "SiYu Zhang",
    "ShengJie Li",
    "XinTong Yang"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "本文研究第一人称视角下的连续双手姿态估计。视觉图像可提供手部外观和空间结构，但会受到自遮挡、双手接触及物体操作影响；双侧腕部表面肌电可反映肌肉收缩并补充短期运动信息。由于两种模态在采样、时间尺度和噪声方面存在差异，简单融合并不必然提升精度。本文提出EVFormer，结合当前RGB图像与此前200 ms的双侧腕部肌电信号，回归双手共44个手指和腕部角度。模型利用卷积和Transformer分别构建视觉空间表征与肌电时间表征，并通过残差缩放的顺序双向交叉注意力及可学习逐特征门控完成融合。在一名参与者的公开同步EgoEMG记录上进行的可行性实验中，296个测试样本的聚合结果显示，EVFormer测试MAE为11.482°，优于视觉-only、EMG-only、后融合和训练均值姿态方法。其在五个测试手势类别中的四个类别误差最低，但在类别21上劣于学习基线，表明增益具有类别依赖性。跨用户泛化、真实遮挡鲁棒性和在线性能仍需进一步验证。\n",
  "keywords": [
    "第一人称视觉",
    "表面肌电",
    "双手姿态估计",
    "跨模态融合",
    "双向交叉注意力",
    "Transformer",
    "门控融合",
    "连续关节角回归"
  ],
  "paper_institutions": [],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:20:37.217382Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n面向虚拟交互、可穿戴控制和康复辅助，本文研究第一人称视角下连续双手关节角回归问题。视觉能提供手部外观与空间结构，但自遮挡、双手接触和物体操作会削弱线索；双侧腕部表面肌电反映肌肉收缩并补充短期运动信息，然而两类模态在采样、时间尺度和噪声上不同，朴素融合不一定有效。相关研究已有肌电连续姿态回归、第一人称手部数据集和EgoEMG残差融合，但仍需检验在姿态表征形成阶段进行视觉-肌电交互是否优于单模态与简单融合。本文提出EVFormer：将当前RGB图像编码为16个空间token，将此前200 ms、共400点并分箱得到的双侧16通道肌电信号编码为25个时间token，经卷积与Transformer分别建模后，采用残差缩放的顺序双向交叉注意力，先执行V'=V+αA(V,M,M)，再执行M'=M+αA(M,V',V')，其中α=0.1且使用四个注意力头，随后用逐特征门控z=g⊙v+(1-g)⊙m融合，并由共享头输出双手44个手指与腕部角度。实验使用第三方公开的一段EgoEMG同步记录，仅含编号29的一名参与者和一个片段；经过标签、图像帧索引和数值有限性筛选得到1964个样本，并按中心时间顺序划分为1375、293、296个训练、验证、测试样本，边界剔除使跨划分肌电窗口不重叠。该设置适合可行性验证并避免直接窗口泄漏，但不能代表跨用户、跨会话或官方多划分基准。模型以随机初始化轻量视觉分支、64×64固定下方中央裁剪、训练块统计量归一化肌电信号，使用AdamW、学习率1.5×10^-4、Smooth L1损失、批量32、最多60轮和三个随机种子，按验证MAE选择检查点。评价指标为296个测试样本和44个角度上的平均绝对角度误差；EVFormer样本加权测试MAE为11.482°，低于视觉-only的13.228°、EMG-only的13.610°、后融合的13.387°和训练均值姿态的13.320°，相对视觉和后融合分别降低13.20%和14.23%，支持特征形成期跨模态交互的整体收益。类别分析显示其在22、23、24、27四类中误差最低，但在21类为12.989°，劣于三个学习基线，说明增益依赖类别；与修正总值不一致的逐种子、区域、时间分组和扰动结果暂不纳入定量结论。后续需在EgoEMG官方手势、用户、双偏移划分上验证，补充参数匹配消融、真实遮挡与传感器退化、逐用户不确定性、因果滤波和端到端在线延迟。现实场景包括VR交互、假肢或可穿戴控制和康复辅助，但当前结果受单人单片段、固定裁剪、离线处理、弱视觉骨干、相邻帧相关性及未验证在线性能约束，且角度MAE不能等同于手势识别或运动意图预测。\n\n### 关键要点\n\n- EVFormer以当前RGB图像和预测中心前200 ms的双侧腕部肌电信号为输入，联合回归左右手共44个手指与腕部角度。\n- 肌电分支使用左右腕各8通道信号，拼接为16通道；400个原始采样点经每4点平均形成长度100的序列，再由卷积和一层Transformer编码为25个时间token。\n- 视觉分支将视频帧下方中央固定区域裁剪并缩放为64×64 RGB图像，经卷积、自适应池化和Transformer形成16个空间token。\n- EVFormer的核心是顺序双向交叉注意力：视觉先查询肌电，随后肌电查询已更新的视觉表示，残差缩放系数α设为0.1以降低训练初期跨模态扰动。\n- 融合阶段由两层感知机和sigmoid生成64维门控g，并按z=g⊙v+(1-g)⊙m合成表征；门控未接受可见性或信号质量监督，不能解释为校准后的传感器可靠性分数。\n- 实验数据来自单个EgoEMG公开镜像片段，只有一名参与者和一个episode；最终1964个有效样本按时间顺序划分为1375个训练样本、293个验证样本和296个测试样本。\n- 划分时删除了边界附近可能导致400点肌电窗口跨块重叠的样本，因此可避免最直接的窗口泄漏，但不能消除同一次采集内的时序相关性。\n- 训练块手势类别为8至19，验证块为19至21，测试块为21、22、23、24和27；测试类别未在训练中出现，但类别21曾用于验证检查点选择。\n- 在相同296个测试中心和44维目标上，EVFormer的MAE为11.482°，低于视觉-only的13.228°、EMG-only的13.610°、后融合的13.387°和训练均值姿态的13.320°。\n- EVFormer相对视觉-only绝对降低1.746°、相对改善13.20%，相对后融合绝对降低1.905°、相对改善14.23%。\n- 按手势类别看，EVFormer在22、23、24、27类上误差最低，但在21类上为12.989°，高于视觉、肌电和后融合基线，因此总体最优不代表每个类别都最优。\n- 与修正后11.482°主结果不一致的逐种子、左右手、时间分组和输入扰动结果尚未通过原始预测核验，论文未据此声称初始化稳定、真实遮挡鲁棒或全路径有效。"
}