{
  "paper_id": "8270a3a1b0846955469205a435c69795",
  "paper_title": "EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation",
  "paper_authors": [
    "Ziheng Xi",
    "Jiayi Yu",
    "Yitao Wang",
    "Yanbo Duan",
    "Jianjiang Feng",
    "Jie Zhou"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "表面肌电（sEMG）能够记录手部运动过程中的肌肉活动，并可被解码以恢复精细的手部关节运动。EMG与第一视角视觉在手部感知上具有互补性：EMG即使在遮挡和弱光条件下也能捕捉细粒度手指运动，而视觉可提供全局手部构型。然而，此前没有数据集同步采集这两种模态。本文提出EgoEMG，一个用于双手手部姿态估计的多模态第一视角数据集。EgoEMG包含双侧腕带EMG，共16个通道（每腕8通道），采样率为2 kHz；同时包含120 Hz IMU、第一视角广角RGB视频、外部RGB-D视频，以及由动作捕捉得到并带有关节角度的手部运动。数据集覆盖41名参与者、60类手势，其中30类为单手手势、30类为双手手势，总记录时长超过10小时。作者还提出包含EMG到姿态、视觉到姿态以及EMG与视觉融合三项任务的基准，这些任务共享关节角预测目标和跨手势、跨用户及组合泛化划分。实验以EMGFormer作为EMG到姿态基线，以通用ResNet/ViT骨干网络作为视觉到姿态基线，并进一步研究残差融合架构；该架构相较匹配的轻量级纯视觉基线取得了稳定提升。EgoEMG及其基准为未来研究EMG与视觉多模态手部姿态估计奠定了基础。\n",
  "keywords": [
    "表面肌电",
    "手部姿态估计",
    "多模态融合",
    "第一视角数据集",
    "EMGFormer",
    "残差融合",
    "MANO",
    "跨用户泛化"
  ],
  "paper_institutions": [
    "清华大学自动化系"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:48.209900Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文针对现有EMG姿态数据集缺少同步第一视角视频、视觉手部姿态数据集又缺少腕部肌电信号的问题，构建并评估了EgoEMG多模态第一视角数据集；相关研究背景表明，EMG可在自遮挡、运动模糊和弱光下反映手指精细运动，视觉则更擅长恢复全局手型与空间上下文，但二者的系统融合长期受限于缺乏同步数据和连续姿态标签。EgoEMG采集41名参与者的60类手势（30类单手、30类双手），总时长超过10小时，同步提供双侧腕带16通道、2 kHz EMG，120 Hz IMU，头戴广角RGB，外部ZED 2i RGB-D，以及每只手21个光学动作捕捉标记点；姿态通过学习式markers2mano流程重建为MANO参数，并转换为每只手22自由度标量目标（20个手指角加2个腕部角），该流程将无效帧比例从EMG2Pose逐帧逆运动学方法报告的12.7%降至3.6%，标记点到网格平均对齐误差为4.3 mm，因而可在统一标签空间下检验单模态与跨模态回归。基准设置EMG到姿态、单帧视觉到姿态和EMG+视觉融合三项任务，并采用跨手势、跨用户和组合划分，主要评价指标为关节角平均绝对误差（MAE，单位为度）；EMGFormer以TDS时序卷积前端将2 kHz信号降采样至约37 Hz，再用带RoPE位置编码的Transformer建模长时依赖，视觉基线包括ImageNet初始化的ResNet、DINOv2初始化的ViT和手部专用WiLoR，融合方法采用核心残差机制 y = y_v + Δy_emg，并将残差头最后一层零初始化，使模型从纯视觉预测出发学习EMG贡献。结果显示，EMGFormer-S在EMG2Pose最难的user+stage划分上达到12.34° MAE，相较vemg2pose的15.8°改善22%且参数量仅为58%；在EgoEMG上EMGFormer-M/L平均MAE为14.2°，优于vemg2pose的15.9°和NeuroPose的16.1°，通用视觉骨干中ResNet-152平均MAE为5.1°，手部专用WiLoR以4.7°成为最强独立视觉模型，而F-RN18+S和F-ViT-S+S分别将匹配轻量基线的平均MAE从5.9°降至5.4°、从6.0°降至5.5°，且遮挡程度越高融合收益总体越明显，支持EMG提供视觉之外的精细关节信息这一核心结论。未来方向包括扩大参与者规模以建模个体差异，利用已发布的多视角、RGB-D和时序视频研究时序与三维融合，增加丰富手物交互，检验EMG能否增强WiLoR等强专用视觉模型，并探索交叉注意力、不确定性感知和显式时序对齐架构；其现实场景涵盖增强现实、假肢控制、可穿戴交互与物理智能，但主要约束是视觉仍受视线和遮挡限制、EMG受跨用户变异影响、当前受试者与单帧视觉基线范围有限，且简单残差融合尚未证明对大规模专用视觉模型同样有效。\n\n### 关键要点\n\n- EgoEMG同步提供双侧腕带EMG、IMU、第一视角RGB、外部RGB-D和双手连续姿态标签，填补了EMG姿态数据缺少同步自我中心视频的空白。\n- 数据集包含41名参与者、60类手势和超过10小时记录，其中手势分为30类单手手势与30类双手手势。\n- EMG采集使用每只手腕8个通道、共16个通道，采样率为2 kHz；IMU为120 Hz，视觉包括头戴广角RGB和外部RGB-D。\n- 姿态标签由每只手21个光学动作捕捉标记点重建为MANO参数，并进一步形成22自由度目标，包含20个手指角度和2个腕部角度。\n- 学习式markers2mano重建将无效帧比例降至3.6%，并在EgoEMG上取得4.3 mm的平均标记点到网格对齐误差。\n- 基准定义EMG到姿态、视觉到姿态和EMG+视觉融合三项任务，并使用跨手势、跨用户及组合三种泛化划分。\n- EMGFormer采用TDS时序卷积前端和带RoPE的Transformer解码器，将原始EMG窗口映射为逐帧关节角轨迹。\n- 在EMG2Pose的user+stage划分上，EMGFormer-S以12.34° MAE相较vemg2pose改善22%，且参数量仅为后者的58%。\n- 在EgoEMG视觉实验中，ResNet-152是最强通用视觉骨干，平均MAE为5.1°；手部专用WiLoR平均MAE为4.7°，为最强独立视觉模型。\n- 残差融合模型在所有匹配轻量视觉基线和划分上均取得改善，且融合收益与手部自遮挡程度呈正相关，但尚未验证其对WiLoR等强专用模型的增益。"
}