{
  "paper_id": "76148105dfe215e28b04768458e67755",
  "paper_title": "emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation",
  "paper_authors": [
    "Sasha Salter",
    "Richard Warren",
    "Collin Schlager",
    "Adrian Spurr",
    "Shangchen Han",
    "Rohin Bhasin",
    "Yujun Cai",
    "Peter Walkington",
    "Anuoluwapo Bolarinwa",
    "Robert Wang",
    "Nathan Danielson",
    "Josh Merel",
    "Eftychios Pnevmatikakis",
    "Jesse Marshall"
  ],
  "publication_date": "",
  "publication_venue": "Advances in Neural Information Processing Systems 37",
  "abstract": "手是人类与世界互动的主要方式，可靠且随时可用的手部姿态推断可为虚拟现实和增强现实等人机交互提供新的直观控制方案。计算机视觉方法虽然有效，但需要相机，并会受到遮挡、视场有限和光照不足影响。腕部表面肌电（sEMG）可感知驱动手部运动的肌肉活动，是一种随时可用的替代模态。然而，sEMG信号强烈依赖用户解剖结构和传感器位置，现有模型往往需要数百名用户和多种设备佩戴方式才能有效泛化。为推动sEMG姿态推断发展，本文提出emg2pose基准，这是最大的公开高质量手部姿态标签与腕部sEMG数据集，包含来自193名用户、370小时、29个多样化手势阶段的2kHz、16通道sEMG和26相机动捕姿态标签。论文还提供竞争性基线和面向留出用户、传感器位置及阶段的真实泛化任务，为sEMG人机交互研究提供平台。\n",
  "keywords": [
    "表面肌电",
    "手部姿态估计",
    "emg2pose",
    "vemg2pose",
    "基准数据集",
    "跨用户泛化",
    "可穿戴设备",
    "增强现实",
    "虚拟现实"
  ],
  "paper_institutions": [
    "Reality Labs, Meta"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:34:40.737823Z",
  "template_tag": "deep_read",
  "summary": "# emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation\n\n\n**作者 / Authors:** Sasha Salter, Richard Warren, Collin Schlager, Adrian Spurr, Shangchen Han, Rohin Bhasin, Yujun Cai, Peter Walkington, Anuoluwapo Bolarinwa, Robert Wang, Nathan Danielson, Josh Merel, Eftychios Pnevmatikakis, Jesse Marshall\n\n\n**单位 / Institutions:** Reality Labs, Meta\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：文档含正文、附录 A–D、表 1–9、图 1–15，并在第 1 节与附录 A/B.6 给出数据/代码入口 <https://github.com/facebookresearch/emg2pose；未实际访问该仓库，故代码可运行性、数据许可执行与版本状态待核实。文档未给发表会议/日期，故> publication_* 留空。\n\n原型判断：system。本文主要交付 emg2pose 数据集、回归/跟踪任务、三种泛化测试划分和基线模型，构成可复现的评测系统；vemg2pose 是配套基线，不应把本文仅读成单一算法论文。\n\n影响解读的缺口：1）运动捕捉 IK 在 12.7% 帧失败，标签质量与遮挡偏差需谨慎；2）landmark 用默认手模转换，存在解剖不匹配偏差；3）未记录腕部角度；4）未验证在线/真实噪声条件（汗液、阻抗、疲劳等，见第5节）；5）统计只按用户聚合，未报告模型种子方差。\n\n\n\n\n\n### 问题\n\n问题：从腕部 16 通道、2 kHz 的表面肌电 sEMG 推断手部关节角/姿态，并让模型泛化到未见用户、未见运动类别（stage）及二者组合。意义：sEMG 不受遮挡、光照、视场限制，可作为 AR/VR 等场景的常驻高维输入；若能可靠解码，可支持交互、康复、遥操作等。\n\n现有方法主要短板：sEMG 受用户解剖、电极/腕带放置和手部运动学三重变化影响，模型数据饥渴；已有公开数据集规模小（表1：Atzori 等 67 人/37 小时但为消费级设备；Liu 等 11 人；Simpetru 等 13 人），难以训练跨用户通用模型。sEMG 更接近肌肉活动/运动而非静态姿态，直接回归姿态存在部分可观测性，需要长历史消歧；现有工作多验证单用户或个性化设置，且对“未见运动类别”的泛化缺少显式测试。本文以大规模同步 sEMG-动捕数据和 held-out user/stage/user+stage 划分来暴露这些短板。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话：本文发布 emg2pose——193 名用户、370 小时、29 个 stage 的 2 kHz 16 通道 sEMG 与 26 相机动捕手部姿态基准，并提供回归/跟踪任务与基线。\n\n核心思路与贡献：用可快速佩戴的 sEMG-RD 腕带同步采集 sEMG 和动捕关节角，构建分层数据（用户/会话/stage），设置三类测试集分别测未见用户、未见 stage、未见用户+stage；提供 NeuroPose、SensingDynamics 复现基线及预测角速度再积分的 vemg2pose。相对前人，关键增量是规模与行为多样性、公开姿态标签、以及把“新运动学类别”纳入泛化评测。\n\n最重要结果（作者声明/论文证据）：回归任务表4中 vemg2pose 在 User 测试集为 12.2°±1.3、15.8±1.9 mm，Stage 为 15.2°±1.6、20.4±2.2 mm，User+Stage 为 15.8°±1.4、21.6±2.0 mm，均优于 NeuroPose 与 SensingDynamics；跟踪任务表5为 7.7°/10.3 mm（User）、11.2°/15.2 mm（Stage）、11.0°/15.4 mm（User+Stage）。支持范围：5 秒轨迹、按用户聚合、未含腕角、landmark 经默认手模转换；因此绝对误差受标签/手模偏差影响，不能直接等同于真实部署精度。\n\n优先阅读：第3.2–3.4节（数据、任务、划分）、3.5节（基线细节）、4.1节与表3–5（主结果）、4.4–4.5节与图6–7（规模与泛化难度）、第5节（限制）；图3看 stage 方差，图9看角速度 vs 角度预测，图10–11看手指/关节分解。\n\n下一轮问题：数据/代码是否可直接复现表4–5；12.7% IK 失败帧如何影响分 stage 结论；stage 间行为分布差异是否混淆交互/遮挡分析；vemg2pose 的在线版本与离线指标差距；跨用户方差是否主要来自解剖或佩戴。\n\n过渡：下面进入方法细节，重点核对数据构造、任务定义与基线训练/评估条件。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n输入：单手腕带16通道sEMG e_t，2kHz；目标为20维手部关节角序列s_t（不含腕角），以及由关节角经默认手模前向运动学生成的landmark。\n关键步骤：\n\n1) 数据构造：26相机mocap 60Hz，19标记/手，IK得关节角；IK失败12.7%帧，训练/评估跳过无标签时刻；关节角15Hz低通后线性插值到2kHz；landmark用默认手模生成，近端非拇指landmark因腕不动而恒零，评估中剔除。\n2) 任务：回归任务仅给sEMG，要求输出5秒关节角轨迹；因初始姿态/速度未知，作者称其为部分可观测。跟踪任务给初始真值s_0=s_0*，降低歧义但仍测跨用户/阶段泛化。\n3) vemg2pose：featurizer f把最近R帧sEMG映为z_t：z_t=f(e_{t-R:t})；TDS卷积把2kHz降到25Hz，再线性上采样到50Hz。解码器π输入z_t和上一时刻角s_{t-1}，输出角速度s_t^v：s_t^v=π(z_t,s_{t-1})；积分得s_t=s_{t-1}+s_t^v。因此模型对自身预测自回归。跟踪时s_0用真值；回归时前P=250ms用直接角预测s_t^p，之后积分：s_t=s_t^p if t<P，否则s_t=s_{t-1}+s_t^v。LSTM两层512隐藏单元，输出乘0.01以稳训练。\n4) 训练：L1关节角误差 + 0.01×fingertip欧氏误差；1–6秒非重叠轨迹；旋转增广把通道循环平移-1/0/+1。\n输出：2kHz（或经上采样对齐）关节角序列；跟踪/回归两种模式。\n必要模块：数据采集与IK标签、任务定义、TDS featurizer、LSTM decoder、速度积分/初始状态处理、landmark前向运动学评估。核心公式的动机：sEMG更接近肌肉活动/运动而非静态姿态，预测速度并积分可鼓励平滑并利用初始状态；代价是误差会累积，长序列有漂移风险。\n\n\n\n\n\n### 评测设置\n\n数据与划分：193人、370.3小时、751 sessions、29 stages、25,253 HDF5；每文件单手单stage。表3：训练158人/23 stages/250.9h；Val User 15/23/21.7h；Val User,Stage 15/6/4.6h；Test User 20/23/31.9h；Test Stage 158/6/54.2h；Test User,Stage 20/6/7.0h。作者称划分约0.7/0.1/0.2；held-out users随机，held-out stages按视觉OOD选；所有held-out user场景同时是新佩戴位置。\n指标与协议：5秒轨迹；平均绝对关节角误差（°）与平均欧氏landmark距离（mm）；按用户聚合后报告均值±标准差；landmark由默认手模从关节角前向得到，近端非拇指landmark剔除；不回归腕角。统计：表4用Wilcoxon signed-rank，α=0.01经Bonferroni校正为0.0008；未报告模型种子方差（作者称可忽略）。\n基线：SensingDynamics（2D卷积+MLP，适配腕带，额外20Hz低通输入）、NeuroPose（U-Net，角度直接回归，按10x时间/2x空间调整下采样）、vemg2pose（TDS+LSTM，速度积分）；消融含emg2pose（角度直接预测）、vemg2pose-tran（BERT式Transformer）、vemg2pose-lstm。跟踪任务只报vemg2pose，因为NeuroPose/SensingDynamics未设计利用初始真值姿态。\n训练与算力：L1角度+0.01指尖欧氏；窗口1–6秒非重叠；500 epochs，50 epoch早停；batch 64/GPU；Amazon EC2 g5.48xlarge（8×T4）不到一天；Transformer在g4dn.metal（8×T4）并因显存减半特征维度。超参扫窗口、学习率、梯度裁剪、decoder MLP/LSTM；学习率0.001普遍最优；旋转增广±1通道。\n缺失/公平性：未给模型种子误差；在线vemg2pose未开源；数据许可非商业；IK失败帧被跳过可能改变阶段难度；默认手模landmark偏差；跨硬件改架构使基线不是原论文原样；跟踪任务缺少基线，不能据此宣称全面优于所有方法。\n\n\n\n\n\n### 结果与证据\n\n主结果：表4回归，vemg2pose在User为12.2°±1.3/15.8±1.9mm，Stage为15.2±1.6/20.4±2.2mm，User,Stage为15.8±1.4/21.6±2.0mm；对应NeuroPose 13.2/17.5、17.2/24.0、17.5/24.9；SensingDynamics 15.5/21.8、18.8/26.6、18.7/27.2。作者称Wilcoxon显著（校正阈值0.0008），表中加粗。\n表5跟踪：User 7.7±1.0/10.3±1.5mm，Stage 11.2±1.4/15.2±1.9mm，User,Stage 11.0±1.0/15.4±1.4mm；无NeuroPose/SensingDynamics对照，故只能说明vemg2pose在该协议下的绝对水平，不能说明相对优势。\n消融：表8/9中Transformer略差于LSTM（跟踪User 8.0/10.7 vs 7.7/10.3；Stage 11.7/15.9 vs 11.2/15.2；User,Stage 11.4/16.0 vs 11.0/15.4；回归同向）。图9显示vemg2pose在跟踪明显优于直接角度预测emg2pose，回归差异较小，速度预测更平滑。图6显示增加训练用户/阶段降低held-out误差；图7显示把held-out用户/阶段的70%数据纳入训练会显著改善，排除则显著变差。\n证据判断：数据规模与三轴泛化测试是本文最硬的贡献；表4支持vemg2pose在回归上稳定优于两个适配基线，但User条件增益不大（12.2 vs 13.2°），且无种子方差；Stage/User,Stage增益更明显。图4的遮挡/交互结论受行为分布差异混淆，作者也承认。绝对误差仍高于CV文献（作者在§5承认），且landmark受默认手模偏置。图10/11显示拇指最好、小指最差、近端优于远端。因而证据足以支持“基准有价值、vemg2pose是强基线”，不足以支持“已解决通用sEMG手部姿态”或“部署级精度”。\n\n\n\n\n\n### 相关工作\n\n最近邻工作与差异：\n\n- Liu et al. 2021 NeuroPose：MyoBand 8通道/200Hz/8-bit，11名参与者，跨用户/会话测试；本文用16通道/2kHz/12-bit、193人，且把未见stage纳入测试。差异不只在数据规模，还在任务暴露：回归 vs 跟踪、是否给初始姿态、是否显式测运动学类别泛化。\n- Simpetru et al. 2022 SensingDynamics：临床级高密度系统、13人、每人约20分钟，预测关节角/landmark/握力；本文为可快速佩戴的低密度腕带、370小时，并开源数据与基线。作者将SensingDynamics改为2D卷积并加入20Hz低通输入以适配腕带，属于有意的跨硬件迁移，不是原样比较。\n- Atzori et al. 2014：67个放置、37小时、消费级设备、含姿态；本文在人数、时长、会话、阶段多样性上更大（表1）。但“最大公开sEMG手部姿态数据集”是作者声明，需以仓库/版本核实。\n- CV数据集（表2）：本文80M帧/193人/60fps，规模可比；但标签来自mocap+IK，非视觉输入；不能直接与CV SOTA误差比较，因为任务、坐标系、是否推断手腕位置不同。\n成本与边界：数据与代码CC-BY-NC-SA 4.0，仅非商业；sEMG-RD腕带未广泛可得，限制在线人机闭环复现；无腕部角度、默认手模产生landmark偏差、12.7%帧IK失败。与NeuroPose的差异还包括本文不采用其速度正则，而vemg2pose直接预测速度。外部事实（仓库可运行性、许可证执行、当前SOTA）未在本次材料中核实，待验证。\n\n\n\n\n\n### 关键图表解读\n\n选读5项：\n\n1) 表4（§4.1）：回归主表，比较三模型×三种held-out条件；支撑“vemg2pose在回归上优于适配后的NeuroPose/SensingDynamics且随难度下降”。限制：只报跨用户均值/标准差，无种子方差；基线为跨硬件改版；User条件增益小。\n2) 表5（§4.1）：跟踪主表，只有vemg2pose；支撑“给初始姿态后误差明显下降”（7.7° vs 回归12.2°的User）。限制：无基线，不能作相对比较；跟踪初始真值在部署中不一定可得。\n3) 图3（§4.1）：按stage×泛化条件拆跟踪误差，支撑“stage间差异大，StaticHands/WristFlex较易，Gesture2/Pointing较难”；限制：分布为跨用户，stage行为分布与难度混淆，不能把差异全归因于运动学类别。\n4) 图6与图7（§4.4–4.5）：图6增加训练用户/阶段改善held-out误差，支撑数据规模必要性；图7把held-out用户/阶段70%数据纳入训练显著改善，支撑“这些轴确实难泛化”。限制：图7是跟踪任务vemg2pose，纳入/排除构造的是同一测试集，结论依赖该模型与划分。\n5) 图4（§4.2）：遮挡与手-手/手-物交互条件下性能相近，支撑sEMG不受视觉遮挡影响；限制：作者明确说行为分布不同，直接比较困难，且只覆盖特定stage。\n过渡：以上证据把“数据规模—泛化难度—基线性能”连起来；下面进入术语与完整图表索引，便于核查证据位置。\n\n\n\n\n\n### 术语表\n\n术语表（按重要性，非穷尽）：\n\n- sEMG（surface electromyography，表面肌电）：皮肤电极测得的肌肉电活动，反映运动单位激活；本文输入为腕部16通道，2kHz。直觉：它更接近“运动指令”而非静态姿态，故直接回归姿态有歧义。\n- sEMG-RD腕带：CTRL-labs/Reality Labs的16通道双极干电极腕带，2kHz、12-bit；可快速佩戴，是本文数据硬件。其未广泛可得是复现/部署成本。\n- stage（阶段）：一组同类手势/运动类别的集合，如Counting、Pointing；本文29个stage，用于测“未见运动学类别”泛化。\n- gesture（手势）：stage内的具体低层动作，如Counting Up/Down；stage是gesture的上位类别。\n- session（会话）：同一佩戴位置下的一组stage；换佩戴位置即换session，用于体现设备位置变化。\n- IK（inverse kinematics，逆运动学）：从mocap标记点反解关节角；本文IK失败12.7%帧，主要因遮挡，失败帧在训练/评估跳过。\n- motion capture（mocap，动捕）：26相机Optitrack、60Hz、每手19标记；提供高精度姿态标签，但相机遮挡会影响标签。\n- joint angle（关节角）：本文目标为MCP/PIP/DIP、拇指IP/MCP/CMC等屈伸及部分MCP外展内收，共20维；不含腕角。\n- landmark：关节中心与指尖的笛卡尔点；由关节角经默认手模前向运动学生成，用于mm误差；近端非拇指landmark因腕不动而恒零，评估剔除。\n- regression task（回归）：只给sEMG，输出5秒关节角轨迹；初态未知，作者称部分可观测。\n- tracking task（跟踪）：给初始真值姿态s_0=s_0*，再输出轨迹；降低歧义，但仍测跨用户/阶段。\n- partially observable（部分可观测）：仅凭当前sEMG不足以唯一确定姿态，需要历史/初始状态消歧。\n- angular velocity（角速度）与积分：vemg2pose预测s_t^v，再s_t=s_{t-1}+s_t^v；好处是贴合sEMG的动态性、鼓励平滑；风险是误差累积/漂移。\n- TDS（Time-Depth Separable Convolution）：参数高效的时序卷积featurizer，把2kHz降到25Hz；本文用3层1D卷积+4个TDS块。\n- LSTM decoder：两层512隐藏单元，输入特征与上一角，输出速度/角；输出乘0.01以稳训练。\n- auto-regressive（自回归）：每步用自己上一步预测s_{t-1}作输入；跟踪/回归皆如此。\n- held-out User / Stage / User,Stage：分别测未见用户、未见stage、二者组合；后者最接近真实部署，也最难。\n- mean absolute joint angular error：按时间样本算关节角绝对误差再对用户/时间聚合，单位度；本文主指标。\n- landmark distance：预测与真值landmark的欧氏距离，单位mm；受默认手模与用户解剖不匹配偏置。\n- default hand model（默认手模）：UmeTrack通用手模，用于前向运动学；不是个人化手模，故landmark有系统偏差。\n- rotation augmentation（旋转增广）：训练时把16通道循环平移-1/0/+1，模拟佩戴旋转，改善跨放置泛化。\n- Wilcoxon signed-rank / Bonferroni：表4按用户聚合后做配对非参数检验；α=0.01经24次比较校正为0.0008。\n- percentile（百分位）：图12–15用15%/50%/85%用户或stage展示最好/中位/最差轨迹，不是均值。\n- 符号：e_t为t时刻sEMG向量；R为featurizer感受野；z_t为特征；s_t为关节角；s_t^v为角速度；s_t^p为直接角预测；f为featurizer；π为decoder；P=250ms为回归初始直接预测时长。\n\n\n\n\n\n### 全部图表索引\n\n图表索引（据所给Markdown的图注/表题；图像本体未在文本中可读，像素细节待核验）：\n\n图：\n\n- 图1（§1）：sEMG腕带与vemg2pose实时手部姿态示意；支撑“实时从held-out用户估计姿态”的展示，属定性证据。\n- 图2（§3.2）：数据组成：腕带/标记、stage-gesture层级、193用户/370小时；支撑数据构造说明。\n- 图3（§4.1）：vemg2pose跟踪按stage×泛化条件的箱线图；支撑stage间差异大，详见module_d。\n- 图4（§4.2）：有无遮挡、有无手-手/手-物交互的跟踪结果；支撑sEMG不受视觉遮挡影响，但行为分布混淆。\n- 图5（§4.3）：held-out User,Stage的Counting2中位用户定性轨迹；展示手指跟踪成功/失败案例。\n- 图6（§4.4）：训练用户数/阶段数与held-out误差关系；支撑数据规模必要性。\n- 图7（§4.5）：纳入/排除held-out用户或阶段70%数据的对比；支撑泛化难度。\n- 图8（附录B）：参与者人口统计；支撑测试用户代表性。\n- 图9（附录D.2）：vemg2pose vs emg2pose在跟踪/回归的箱线图；支撑速度预测在跟踪更优、更平滑。\n- 图10（附录D.4）：按手指分解的跟踪误差；支撑拇指最好、小指最差。\n- 图11（附录D.4）：按近/中/远关节组分解；支撑近端优于远端。\n- 图12（附录D.5）：User,Stage跟踪，top 15% stage（Gesture2），中位用户；定性上界案例。\n- 图13（附录D.5）：bottom 15% stage（Counting1），中位用户；定性困难案例。\n- 图14（附录D.5）：中位stage（Counting2），top 15%用户；定性较好用户案例。\n- 图15（附录D.5）：中位stage（Wiggling2），bottom 15%用户；定性困难用户案例，含漂移观察。\n\n表：\n\n- 表1（§2）：公开sEMG数据集规模对比；支撑本文在人数/会话/时长上的规模主张。\n- 表2（§2）：CV手部数据集帧数/人数/fps对比；支撑80M帧规模可比。\n- 表3（§3.2）：emg2pose划分统计；支撑158/15/20用户与23/6 stage划分。\n- 表4（§4.1）：回归主结果；核心证据，详见module_d。\n- 表5（§4.1）：跟踪主结果；核心证据，详见module_d。\n- 表6（附录B.3）：29个stage的动作描述；用于解释stage难度与行为组成。\n- 表7（附录C.4）：各算法预测空间/网络/梯度裁剪/窗口；支撑训练配置与基线适配。\n- 表8（附录D.3）：回归Transformer vs LSTM消融；支撑LSTM略优。\n- 表9（附录D.3）：跟踪Transformer vs LSTM消融；支撑LSTM略优。\n\n缺失/不可核验：未发现缺失的A–D附录；但图像像素内容与代码仓库可运行性、数据许可执行、发表venue/date未在文本中给出，均待外部核实。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论（论文证据）：\n\n1) 数据集与划分：§3.2/Table 3 给出 193 用户、370.3 小时、751 sessions、29 stages、25,253 个 HDF5；训练/验证/测试为 158/15/20 用户等，三套 held-out 条件（User、Stage、User,Stage）定义清楚。这是本文最硬贡献。\n2) 基准结果：Table 4 回归中 vemg2pose 在 User 为 12.2°±1.3、15.8±1.9 mm，Stage 为 15.2°±1.6、20.4±2.2 mm，User,Stage 为 15.8°±1.4、21.6±2.0 mm，均低于适配后的 NeuroPose/SensingDynamics；Table 5 跟踪仅报 vemg2pose（User 7.7°±1.0、10.3±1.5 mm 等），说明给定初始真值后误差下降。\n3) 机制证据：Fig. 9 与 Table 8/9 支持速度积分在跟踪上优于直接角度预测，LSTM 略优于 Transformer；Fig. 6/7 支持增加训练用户/阶段和纳入 held-out 数据会改善误差。\n\n支持不足/需限定：\n\n- “largest publicly available”与“only open-sourced sEMG+mocap”是作者声明，依赖 Table 1 和仓库状态；未访问仓库/数据主页，待核实。\n- 最强比较是作者重实现的 NeuroPose 与 SensingDynamics，且为适配 16 通道/2 kHz 腕带改过架构/输入；不是原论文原样比较。Table 4 的 User 条件增益较小（12.2° vs 13.2°），且未报告模型种子方差。\n- 标签限制：IK 失败 12.7% 帧被跳过；landmark 由默认手模从关节角前向生成，与用户解剖不匹配；未记录腕角；近端非拇指 landmark 被剔除。绝对误差不能等同于部署精度。\n- 统计：按用户聚合后做 Wilcoxon，α=0.01 Bonferroni 校正为 0.0008；未给种子方差，作者称可忽略。\n- 泛化：abstract 提到 sessions，但实验主划分是 User/Stage/User,Stage；held-out user 同时是新佩戴位置，未单独报告 session-held-out。Stage 按“视觉 OOD”人工选，存在选择偏差。\n- 在线：Fig. 1 的在线变体未开源，未报告延迟/功耗/长时稳定性；5 秒轨迹离线指标不能证明闭环可用。\n- 鲁棒性：未覆盖汗液、阻抗变化、外部干扰、肌肉疲劳、电极接触伪迹（§5 自述）；遮挡/交互分析受行为分布混淆。\n\n关键假设与失败场景：\n\n- 假设 sEMG 与 mocap 时间对齐 <10 ms、IK 标签足够准、测试用户代表总体、默认手模偏差可接受、模型种子方差可忽略。\n- 失败场景：手部遮挡/握拳导致标签差；小指、远端关节、内在肌（外展/内收）误差大；速度积分漂移；不可行动作（手指穿插）；换佩戴位置/用户解剖；跟踪初始姿态不可得；非商业许可与 sEMG-RD 硬件不可得限制复现。\n\n复现计划（核心创新优先）：\n所需产物：GitHub 仓库与 S3 数据（§1、Appendix B.6）；split 元数据 CSV；PyTorch/Lightning/Hydra 环境；若要在线验证需 sEMG-RD 腕带。\n关键设置：2 kHz、16 通道 sEMG；20 维关节角；5 秒评估；训练窗口 1–6 秒非重叠；L1 角度 + 0.01 指尖欧氏；旋转增广 ±1 通道；500 epochs、50 epoch 早停、batch 64/GPU、lr 0.001；TDS 三层 1D 卷积（kernel 11/5/17，stride 5/2/4，256 特征）+ 4 个 TDS 块；LSTM 2×512，输出乘 0.01；回归前 P=250 ms 直接角预测后积分；跟踪初始角用真值；评估按用户聚合后均值±标准差。\n验证步骤：1) 先复现数据加载、划分统计与 Table 3；2) 用相同 featurizer/数据训练 emg2pose（直接角）与 vemg2pose（速度积分），在三种 held-out 条件比较 Table 4/5 与 Fig. 9；3) 跑 LSTM vs Transformer 消融（Table 8/9）；4) 复现 Fig. 6/7 的规模/纳入排除曲线；5) 增加 3 个模型种子，报告种子方差；6) 用每用户 IK 失败率分层，检查 Stage 结论是否被标签质量驱动；7) 若有个性化手模/标定可用，重算 landmark 评估默认手模偏差；8) 在线变体测延迟、丢包、缓冲与离线差距。\n成功标准（建议）：相同代码/划分下，Table 4/5 均值与论文差异在报告标准差量级（约 1–2°/1–2 mm），模型排序与显著性方向一致；跟踪显著低于回归；速度积分在跟踪上优于直接角；Fig. 6/7 趋势复现。若仓库/数据不可得、许可不允许或缺少在线硬件，则只能做文本级复核，核心复现阻塞。\n\n\n\n\n\n### 应用约束\n\n实际约束：\n\n- 数据：193 用户、370.3 小时、751 sessions、25,253 个 HDF5，规模大；但许可为 CC-BY-NC-SA 4.0，仅非商业，代码/数据入口在 <https://github.com/facebookresearch/emg2pose（论文给出，未实际访问）。sEMG-RD> 腕带未广泛可得，限制在线人机闭环复现。\n- 算力：训练用 Amazon EC2 g5.48xlarge（8×T4）不到一天；Transformer 在 g4dn.metal 上因显存减半特征维度。推理侧未报告延迟、功耗、内存或边缘部署实测；Fig. 1 只是在线定性展示。\n- 延迟与实时性：输入 2 kHz、16 通道，featurizer 降到 25 Hz 再上采样到 50 Hz；在线变体用缓冲处理变长数据包，但未给端到端延迟、抖动或长时稳定性。5 秒离线轨迹指标不能证明闭环实时可用。\n- 鲁棒性：未覆盖汗液、皮肤阻抗变化、外部电磁干扰、肌肉疲劳、电极接触伪迹；IK 失败 12.7% 帧被跳过；landmark 用默认手模，存在解剖不匹配偏差；未记录腕角；速度积分有漂移风险，且可能产生手指穿插等不可行动作。\n- 适用性：回归任务无需初始姿态但 User 条件仍有 12.2° 角度误差；跟踪任务需初始真值或间歇视觉/人工初始化，User 为 7.7°、10.3 mm。对 AR/VR 交互、康复、遥操作有潜在价值，但当前精度与鲁棒性不足以声称部署级通用手部姿态。\n- 已证明 vs 推断：已证明的是离线基准上的三轴泛化比较与消融；在线实时、低延迟、低功耗、长期佩戴稳定性和真实噪声条件均属推断或待验证。\n\n\n\n\n\n### 探索问题\n\n后续问题（每项含验证、收益、风险）：\n\n1) 速度积分带来的收益，在控制标签质量与手模偏差后是否仍成立？验证：用相同 TDS featurizer 与数据分别训练直接角预测 emg2pose 和速度积分 vemg2pose，固定划分与增广，跑 3 个种子；按每用户 IK 失败率分层，并在可用时用个性化手模重算 landmark。收益：把“核心机制有效”与“标签/评估偏差”分开。风险：个性化手模或原始 mocap 未必随数据集发布，重算后与论文数值不可直接比。\n2) 显式 session/佩戴位置泛化与在线闭环性能如何？验证：用 session ID 构造 held-out session 划分，比较 rotation augmentation 有无；再实现在线缓冲变体，测端到端延迟、丢包与离线差距。收益：直接对应部署条件，补足论文未单列的 session 泛化。风险：在线变体未开源且需 sEMG-RD 硬件，复现门槛高。\n3) 跨用户误差主要由解剖、佩戴还是行为分布驱动？验证：在控制 stage 后比较用户间误差，结合腕围/佩戴重复性与通道旋转扰动；若有个体标定数据则做 personalization 小样本实验。收益：指导个性化与硬件佩戴规范。风险：数据集缺少腕角与详细解剖元数据，且行为分布与用户强混淆，因果归因有限。\n\n\n\n\n\n### 引用与核验\n\n核验状态：本次只读取所给论文文本，未访问 GitHub/S3、未逐条检索参考文献原文，因此外部可获取性、版本、许可执行与当前 SOTA 均为待核实。\n\n重点核验：\n\n- 新颖性/规模声明：“largest publicly available sEMG hand pose dataset”“only open-sourced sEMG and mocap dataset”依赖 Table 1 与仓库状态；Table 1 引用 Palermo 2017、Amma 2015、Du 2017、Jiang 2021、Atzori 2014，未逐篇核对原始规模、是否含姿态标签与许可。Atzori 2014 的 67 放置/37 小时比较来自论文 Table 1，待原文核验。\n- 最强比较：NeuroPose（Liu et al. 2021）与 SensingDynamics（Simpetru et al. 2022a/2022b）是主要对手；论文明确对架构/输入做了跨硬件适配（NeuroPose 8×/2× 下采样调整；SensingDynamics 改 2D 卷积并加 20 Hz 低通），因此 Table 4 不是原论文原样复现。原始论文未访问，不能确认适配是否等价。\n- 决定性外部支撑：sEMG-RD 腕带用于 6400 人姿态序列分类的结论引自 CTRL-labs at Reality Labs et al. 2024（bioRxiv）；该文未访问，设备性能与数据许可待核实。\n- 复现依赖：代码/数据入口 <https://github.com/facebookresearch/emg2pose> 由 §1 与 Appendix B.6 给出；CC-BY-NC-SA 4.0 由 Appendix A 与 checklist 给出；均未实际打开，仓库可运行性、数据下载与许可执行待验证。\n- 统计与协议：Wilcoxon/Bonferroni 细节见 Appendix C.7 与 Table 4 注；5 秒轨迹、按用户聚合、跳过缺失 mocap 帧等来自 §3.3/§3.5，属论文自述。\n- 发表信息：所给材料未给 venue/date，故 publication_date 与 publication_venue 留空，待正式出版页核验。\n\n其他引用：CV 手数据集（Yuan 2017、Moon 2020/2024、Fan 2023、Sener 2022、Yu 2020 等）与可穿戴模态文献主要用于背景和 Table 2 规模对照，未逐条核验；UmeTrack（Han et al. 2022）用于默认手模与可视化，TDS（Hannun et al. 2019）用于 featurizer，均为方法依赖但未查原文。以上未逐条检查者不表示已确认。\n\n\n\n\n\n### 最终判断\n\n最终判断：作为数据集/基准论文，emg2pose 的规模、分层结构、三套 held-out 划分和公开基线是可信且有用的贡献；作为算法论文，vemg2pose 在回归上稳定优于两个适配基线，但 User 条件增益有限、跟踪缺少对照、无种子方差，且标签与手模偏差限制绝对精度解读。使用建议：把该数据集当作跨用户/跨运动类别的评测平台，引用 Table 4/5 时注明基线为跨硬件适配版、跟踪仅单模型、在线与噪声条件未验证；不要据此宣称通用 sEMG 手部姿态已解决或达到部署级精度。下一步优先复现数据加载与 Table 4/5，并补做种子方差、IK 失败分层与在线延迟验证。"
}