{
  "paper_id": "76148105dfe215e28b04768458e67755",
  "paper_title": "emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation",
  "paper_authors": [
    "Sasha Salter",
    "Richard Warren",
    "Collin Schlager",
    "Adrian Spurr",
    "Shangchen Han",
    "Rohin Bhasin",
    "Yujun Cai",
    "Peter Walkington",
    "Anuoluwapo Bolarinwa",
    "Robert Wang",
    "Nathan Danielson",
    "Josh Merel",
    "Eftychios Pnevmatikakis",
    "Jesse Marshall"
  ],
  "publication_date": "",
  "publication_venue": "Advances in Neural Information Processing Systems 37",
  "abstract": "手是人类与世界互动的主要方式，可靠且随时可用的手部姿态推断可为虚拟现实和增强现实等人机交互提供新的直观控制方案。计算机视觉方法虽然有效，但需要相机，并会受到遮挡、视场有限和光照不足影响。腕部表面肌电（sEMG）可感知驱动手部运动的肌肉活动，是一种随时可用的替代模态。然而，sEMG信号强烈依赖用户解剖结构和传感器位置，现有模型往往需要数百名用户和多种设备佩戴方式才能有效泛化。为推动sEMG姿态推断发展，本文提出emg2pose基准，这是最大的公开高质量手部姿态标签与腕部sEMG数据集，包含来自193名用户、370小时、29个多样化手势阶段的2kHz、16通道sEMG和26相机动捕姿态标签。论文还提供竞争性基线和面向留出用户、传感器位置及阶段的真实泛化任务，为sEMG人机交互研究提供平台。\n",
  "keywords": [
    "表面肌电",
    "手部姿态估计",
    "emg2pose",
    "vemg2pose",
    "基准数据集",
    "跨用户泛化",
    "可穿戴设备",
    "增强现实",
    "虚拟现实"
  ],
  "paper_institutions": [
    "Reality Labs, Meta"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:40.737823Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n本文面向AR/VR中高自由度、直观手部输入需求，解决计算机视觉受遮挡、弱光、视场和相机布置限制，而腕部sEMG虽可随时测量肌肉活动却因解剖结构、佩戴位置和手部运动学差异导致数据饥渴、跨用户泛化困难的问题；相关sEMG数据集多规模小且偏分类，已有姿态回归工作仅约11或13名用户，难以支撑通用模型。作者提出emg2pose这一大规模公开基准，使用可快速佩戴的sEMG-RD腕带采集2kHz、16通道、12位信号，并用26相机OptiTrack系统以60Hz记录19个标记点，离线IK生成手部关节角；选择该组合是因为动捕标记只影响标签、不改变sEMG输入，可提供高质量标签，而高采样率和低通道密度兼顾可用性与保真度。数据集含193名用户、370.3小时、751个会话、29个阶段、按手计8000万帧，以及25253个时间对齐HDF5文件，训练/验证/测试约按0.7:0.1:0.2划分，IK在12.7%帧失败，关节角经15Hz低通并线性上采样至2kHz，设备间相对延迟低于10ms。基准定义无初始姿态的回归和给定初始姿态的跟踪两类任务，并通过留出用户、留出阶段、同时留出用户与阶段来独立检验解剖/佩戴、运动学和最接近真实部署的复合泛化。方法上提供NeuroPose、SensingDynamics和新vemg2pose；vemg2pose用因果步控TDS卷积将sEMG降至特征序列，LSTM结合特征与上一时刻关节角预测关节角速度，再以核心自回归机制 s_t = s_{t-1} + s_t^v 积分得到姿态，跟踪时 s_0 使用真值，回归时前250ms直接预测角度、其后积分速度，该设计利用sEMG更接近运动而非静态姿态的特性。训练采用关节角L1损失与指尖欧氏损失（权重1和0.01）、1至6秒非重叠轨迹、500轮训练和50轮早停、批大小64/GPU，并在8块NVIDIA T4上于一天内完成；旋转增强和超参数搜索用于改善跨佩戴位置泛化。评估使用5秒轨迹上的平均关节角绝对误差（度）和平均标志点欧氏距离（毫米）。回归中vemg2pose在三种测试集分别取得12.2°/15.8mm、15.2°/20.4mm、15.8°/21.6mm，均优于NeuroPose和SensingDynamics，支持速度预测与自回归积分的有效性；跟踪中误差降至7.7°/10.3mm、11.2°/15.2mm、11.0°/15.4mm，复合留出场景最难，且用户、阶段、手指和关节差异显著，拇指和近端关节较准，小指、远端关节、内在肌运动和角度漂移更难。遮挡与手手/手物交互不会像视觉系统那样明显降低sEMG精度，增加训练用户和阶段可持续降低误差，证明数据规模与行为多样性的价值。成果可用于AR/VR、游戏、遥操作、康复和视觉不可靠场景，但现实约束包括未记录腕部角、默认手模型造成标志点偏差、预测可能物理不可行、用户间性能差异大、测试尚未充分涵盖汗液、电极接触、外部电干扰和肌肉疲劳等非平稳因素，且sEMG-RD可及性限制真人在环测试；未来可探索状态空间、扩散、概率建模、个性化、物理约束指标和视觉-sEMG融合。\n\n### 关键要点\n\n- emg2pose包含193名参与者、370.3小时数据、751个会话、29个运动学阶段和25,253个HDF5文件，每个文件保存单手、单阶段内时间对齐的sEMG与关节角。\n- 数据由sEMG-RD腕带记录，规格为16个差分干电极、2kHz采样和12位量化；相比Myo手环的200Hz、8通道和8位量化，其时间与通道带宽更高。\n- 姿态标签来自26相机OptiTrack动捕阵列和19个手部标记点，经ConvNet标记、个性化手模型注册与IK求解生成关节角，再做15Hz低通并上采样至2kHz。\n- 数据按训练、验证、测试约0.7:0.1:0.2划分；训练集有158人和23个阶段，三个测试集分别考察新用户、新运动学类别以及二者的组合。\n- 姿态回归任务不提供初始姿态，因sEMG只间接反映姿态而属于部分可观测问题；姿态跟踪任务提供初始真实关节角，难度较低并适合早期研究。\n- vemg2pose先以因果步控TDS卷积提取sEMG特征，再由LSTM根据特征和上一时刻关节角预测角速度，并通过 s_t = s_{t-1} + s_t^v 自回归积分出关节角；跟踪用真值初始化，回归前250ms直接预测角度。\n- NeuroPose采用带残差瓶颈的U-Net直接回归关节角，SensingDynamics采用通道-时间二维卷积加MLP，并额外输入20Hz低通sEMG。\n- 所有基线以关节角L1损失和指尖欧氏损失训练，权重分别为1和0.01，使用1至6秒非重叠轨迹、500轮训练、50轮早停及训练期通道旋转增强。\n- 回归测试中，vemg2pose在用户、阶段、用户+阶段测试集上分别取得12.2°/15.8mm、15.2°/20.4mm和15.8°/21.6mm，优于两个已有架构基线。\n- 跟踪测试中，vemg2pose对应误差为7.7°/10.3mm、11.2°/15.2mm和11.0°/15.4mm；提供初始姿态明显降低误差，但跨阶段和跨用户泛化仍有挑战。\n- 视觉遮挡下手部阶段的sEMG精度没有明显下降，手手或手物交互阶段表现也与无交互阶段相近，体现sEMG在视觉困难场景中的优势。\n- 基准仍有明确约束：未记录腕部角，标志点由默认手模型从关节角转换而存在解剖偏差，模型可能产生手指穿透等不可行运动，且测试集尚未系统覆盖电极接触伪影、汗液、外部电干扰和肌肉疲劳。"
}