{
  "paper_id": "8270a3a1b0846955469205a435c69795",
  "paper_title": "EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation",
  "paper_authors": [
    "Ziheng Xi",
    "Jiayi Yu",
    "Yitao Wang",
    "Yanbo Duan",
    "Jianjiang Feng",
    "Jie Zhou"
  ],
  "publication_date": "",
  "publication_venue": "unknown",
  "abstract": "表面肌电（sEMG）能够记录手部运动过程中的肌肉活动，并可被解码以恢复精细的手部关节运动。EMG与第一视角视觉在手部感知上具有互补性：EMG即使在遮挡和弱光条件下也能捕捉细粒度手指运动，而视觉可提供全局手部构型。然而，此前没有数据集同步采集这两种模态。本文提出EgoEMG，一个用于双手手部姿态估计的多模态第一视角数据集。EgoEMG包含双侧腕带EMG，共16个通道（每腕8通道），采样率为2 kHz；同时包含120 Hz IMU、第一视角广角RGB视频、外部RGB-D视频，以及由动作捕捉得到并带有关节角度的手部运动。数据集覆盖41名参与者、60类手势，其中30类为单手手势、30类为双手手势，总记录时长超过10小时。作者还提出包含EMG到姿态、视觉到姿态以及EMG与视觉融合三项任务的基准，这些任务共享关节角预测目标和跨手势、跨用户及组合泛化划分。实验以EMGFormer作为EMG到姿态基线，以通用ResNet/ViT骨干网络作为视觉到姿态基线，并进一步研究残差融合架构；该架构相较匹配的轻量级纯视觉基线取得了稳定提升。EgoEMG及其基准为未来研究EMG与视觉多模态手部姿态估计奠定了基础。\n",
  "keywords": [
    "表面肌电",
    "手部姿态估计",
    "多模态融合",
    "第一视角数据集",
    "EMGFormer",
    "残差融合",
    "MANO",
    "跨用户泛化"
  ],
  "paper_institutions": [
    "清华大学自动化系"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:37:48.209900Z",
  "template_tag": "deep_read",
  "summary": "# EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation\n\n\n**作者 / Authors:** Ziheng Xi, Jiayi Yu, Yitao Wang, Yanbo Duan, Jianjiang Feng, Jie Zhou\n\n\n**单位 / Institutions:** 清华大学自动化系\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n\n\n**期刊/会议 / Publication Venue:** 未注明（稿件含 NeurIPS Paper Checklist，具体发表 venue 待核实）\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：正文、附录 A–D、图表与参考文献齐全，可支持数据集、标注流程、基准与基线结果的理解；代码与数据尚未实际可访问，文中称代码仓库包含训练/评估脚本，数据将在接收后以匿名链接和 CC-BY-NC 4.0 发布，需待核实。论文没有给出明确发表 venue/日期，也未提供外部可验证链接，因此相关元信息标记为待核实。\n\n原型判断：paper_archetype 选 other，而不是 survey/method/system。理由是本文核心贡献是“新数据集 + 统一基准 + 基线”，并非提出一个以算法机制为中心的新方法；虽然包含采集系统与基准系统，但用 system 会弱化其数据集/基准论文属性。\n\n影响解读的材料缺口：1）数据与代码不可直接检查，无法核验划分脚本、标签质量与基线复现；2）没有多随机种子误差棒或配对显著性检验，融合增益的统计稳健性需谨慎；3）EMG 与视觉的监督粒度不同（EMG 用整段轨迹，视觉/融合用中心帧），跨模态比较需保留这一条件；4）融合只测试轻量通用视觉骨干，尚未回答 EMG 是否能提升 WiLoR 等强手部专用模型。\n\n\n\n\n\n### 问题\n\n要解决的问题：如何从可穿戴双腕表面肌电（sEMG）与第一视角视觉中，连续估计双手的细粒度手部姿态，并在统一标签空间下系统比较 EMG、视觉及二者融合。\n\n为什么重要：手部姿态估计是 AR/VR、假肢控制、物理智能与自然人机交互的基础能力。EMG 直接反映肌肉激活，受自遮挡、运动模糊和光照影响较小；第一视角视觉提供全局手部配置与空间上下文。二者互补有望在视觉退化时仍保持手指关节估计。\n\n现有方法的主要不足：1）现有 EMG 手势/姿态数据集多缺少同步第一视角 RGB 或外部 RGB-D，无法系统研究 EMG+视觉连续姿态回归；2）视觉手部数据集缺少同步腕部 EMG；3）EMG-only 姿态估计受跨用户差异影响大，基于数据手套的标签自由度有限且可能有漂移/迟滞；4）已有 EMG+视觉工作多聚焦手势分类或离线表示映射，而非连续手部姿态回归。\n\n形式化目标（仅在有助于定义问题时）：对每一帧/窗口，预测每只手的 22-DoF 关节角向量 θ∈R^22，其中 20 个手指关节角、2 个腕部关节角（屈伸与桡尺偏），并在 cross-gesture、cross-user、combined 划分上评估 MAE。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话概述：EgoEMG 构建了同步双腕 EMG、IMU、第一视角 RGB、外部 RGB-D 与动捕手部姿态的多模态数据集，并给出 EMG-to-pose、vision-to-pose、EMG+vision fusion 三类任务的统一 22-DoF 关节角基准。\n\n核心思想与贡献：作者的核心主张是 EMG 与第一视角视觉互补——EMG 在遮挡、运动模糊和光照不佳时仍能提供细粒度手指关节信息，视觉提供全局手部配置；但现有数据缺少“双腕 EMG + 第一视角视频 + 连续手部姿态标签”的同步资源。具体贡献包括：1）41 名参与者、60 类手势、10 小时以上记录的多模态数据集，含 16 通道双腕 EMG（2 kHz）、120 Hz IMU、第一视角 RGB、外部 RGB-D、MANO 参数、22-DoF 关节角与逐帧手势标签；2）cross-gesture、cross-user、combined 三种泛化划分与统一关节角预测目标；3）EMGFormer、ResNet/ViT/WiLoR 视觉基线及残差 EMG+vision 融合基线。\n\n最重要结果与条件：作者报告 EMGFormer-S 在 EMG2Pose 最难 user+stage 划分上达到 12.34°±1.07° MAE，较 vemg2pose 的 15.8°±1.4° 提升约 22%，且参数量更少；在 EgoEMG 上，EMGFormer-M/L 优于传统基线，但跨用户泛化仍是主要难点。视觉侧 WiLoR 取得最强单模态视觉平均 MAE 4.7°，优于通用 ResNet/ViT；融合在匹配的轻量通用视觉基线上稳定提升（如 F-RN18+S 平均 5.4° vs V-RN18 5.9°），但尚未超过 WiLoR。需要区分：作者声称“融合一致改进”仅限轻量通用视觉分支与中心帧监督；跨用户增益较小；EMGFormer 增大模型在 EgoEMG 上并不稳定提升。\n\n优先阅读章节/图表：§3.1–3.4 与图 1–3、表 1 了解采集、标签与划分；§4.3–4.5 与图 4–6 理解三类基线；§5.1–5.3 与表 2–3 核对主要数值；附录 B.1–B.3 核查 markers2mano、腕角定义与 22-DoF 语义；附录 D.5–D.6 与图 12–13 评估融合增益的手势/遮挡条件。下一轮应追问：标签重建误差与无效帧率是否影响跨用户结论；划分是否严格防止同一手势/用户泄漏；融合增益是否具有统计显著性；EMG 对 WiLoR 等强视觉模型是否仍有增量。由此进入对方法细节与证据强度的核查。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n总体：每个episode输入同步的双腕16通道EMG（2 kHz）、IMU、ego RGB、外部RGB-D、21标记动捕；标签构建后输出每手22维关节角向量θ∈R^22（20指关节+2腕关节）。\n\n1）markers2mano标签重建：21个MANO虚拟标记M∈R^{21×3}→Graph Transformer→MANO θ∈R^{48}、β∈R^{10}→778顶点网格。标记索引覆盖腕/掌、拇指、食指/中指/无名指、小指/掌；位姿头回归16个关节的6D旋转再转轴角。训练损失 L=λ_verts(1/V)Σ_v||v_v^pred−v_v^gt||^2+λ_markers(1/N)Σ_n||m_n^pred−m_n^aug||^2，其中V=778、N=21，λ_verts=1、λ_markers=5。训练集来自11个公开数据集、按规模分层采样后约0.7M网格；增强含骨长±5%、全局缩放0.6–1.4、标记交换/丢失/邻域混合、高斯噪声、漂移、尖峰，50%样本不增强。\n\n2）腕角：由臂带标记定义前臂坐标系F、L、N；H为腕到中指MCP单位向量；H_proj=H−(H·N)N；θ_fe=arcsin(H·N)，θ_ru=atan2(H_proj·L, H_proj·F)；伸展/桡偏为正，左手N=L×F。该角度直接由动捕标记计算，独立于MANO重建。\n\n3）MANO→UmeTrack 20标量：固定对齐后优化a∈R^20，最小化 L(a)=(1/20)Σ_i||p_i^umetrack(a)−p_i^mano||^2；用L-BFGS与sigmoid关节范围约束；拟合误差2.8 mm。最终22维=20指关节+2腕角（表6）。\n\n4）基准模型：EMGFormer输入7790×16 EMG窗口→TDS前端（16→256、stride 5；256→256、stride 2；两个TDS stage）得到256×146、约37 Hz特征→RoPE Transformer解码器→每手22维轨迹；左手EMG镜像到右手约定。视觉：中心帧256×256手部crop→ResNet/ViT→2层MLP→22维；WiLoR用预训练MANO骨干微调。融合：y=y_v+Δy_emg；视觉分支给y_v，EMG分支经EMGFormer加时间注意力池化得256维，与视觉特征拼接后预测Δy_emg；残差头末层零初始化，使模型从视觉基线开始；仅监督窗口中心帧。\n\n5）评价：MAE=(1/(J T))Σ_jΣ_t|θ̂_{j,t}−θ_{j,t}|（度）。EMG在全窗口轨迹评价；视觉/融合在中心帧评价，这是跨模态比较的关键条件差异。\n\n\n\n\n\n### 评测设置\n\n数据：41人（23男/18女，均值24岁，每人约15分钟），60类手势（30单手、18对称双手、12不对称双手），超过10小时；16通道双腕EMG 2 kHz、120 Hz IMU、GoPro ego RGB 1280×720@60 fps、ZED 2i RGB-D 1280×720@30 fps、FZMotion 21标记@120 Hz、MANO参数与22-DoF关节角、逐帧手势标签。\n\n划分：按EMG2Pose协议，gesture留出10类手势（seen users）；user留出6名受试者（all gestures）；both同时留出；总体train:val/test≈7:3；所有模态同一划分，避免沿留出轴泄漏。\n\n指标：MAE度；表2/3按每用户均值±标准差，Avg为跨gesture/user/both的样本加权平均；另有per-hand、per-joint、per-gesture、occlusion分层。\n\n基线：EMGFormer-S/M/L 3.5/6.6/16.3M；vemg2pose 6.0M；NeuroPose 6.4M；视觉ResNet-18/50/152（ImageNet初始化）、ViT-S/B/L（DINOv2初始化）、WiLoR 631.6M；融合F-RN18+S、F-ViT-S+S。\n\n训练/环境：EMGFormer 200 epochs，AdamW β=(0.9,0.999)，wd 1e-4，lr 1e-4余弦至5e-6，batch 800，bf16，L1加0.01指尖距离；增强通道dropout 25%、频率掩码、高斯噪声SNR 25–35 dB、时间抖动±40 ms。视觉150 epochs，LR 1e-3（ResNet）/1e-4（ViT），WiLoR 30 epochs LR 1e-5；融合200–300 epochs LR 1e-4，batch 64–600。6×RTX 4090，总约128 GPU-hours（主基线120+分析8）。\n\n缺口/公平性：未报告多随机种子、置信区间或配对显著性；未列出具体留出受试者/手势清单；EMG全轨迹与视觉/融合中心帧的监督粒度不同；WiLoR参数量远大于通用骨干；视觉仅单帧，未用RGB-D/IMU/时序；CLDM/VQ-MyoPose因无公开代码未在EgoEMG复现；代码和数据当前不可访问。\n\n\n\n\n\n### 结果与证据\n\n1）EMG2Pose：表11中EMGFormer-S user+stage 12.34±1.07、L 12.25±1.08、M 12.39±1.08，均优于vemg2pose 15.8±1.4（约22%）；S仅3.5M（vemg2pose 6.0M的58%）。注意§5.1/摘要突出S，而表11/D.3显示L绝对最佳；stage split L 9.28±1.09，较vemg2pose 15.2±1.6约39%。这支持EMGFormer作为强EMG基线，但属基线贡献而非新算法核心。\n\n2）EgoEMG EMG-to-pose（表2）：EMGFormer-M/L平均14.2°，优于vemg2pose 15.9°、NeuroPose 16.1°；gesture split M 11.8 vs 15.0；但both split EMGFormer 17.4/17.7，不如NeuroPose 16.3，user split仅15.6 vs 15.7/16.3。结论：seen-user/held-out-gesture有优势，跨用户仍是瓶颈；增大模型在EgoEMG上不稳定。\n\n3）视觉（表3）：WiLoR平均4.7°最强；通用最佳RN152 5.1°，RN50 5.3°，ViT-L 5.4°；ViT-B 5.8、RN18 5.9、ViT-S 6.0。支持“手部专用预训练仍重要”，但不支持通用ViT在本数据规模占优。\n\n4）融合（表3）：F-RN18+S 5.4° vs V-RN18 5.9°；F-ViT-S+S 5.5° vs V-ViT-S 6.0°；匹配轻量通用骨干上稳定提升，但未超过WiLoR 4.7°，也未超过RN152 5.1°。per-gesture 54/59提升；occlusion分层增益0.24–0.52°（最高约0.8°，Spearman ρ=0.049，p=0.001），相关很弱但为正。\n\n5）证据强度：支持“数据集+统一基准可行”和“EMG对轻量视觉有互补”；对“EMG能提升强手部专用视觉模型”未回答；无多seed/配对检验，融合增益的统计稳健性有限；CLDM/VQ-MyoPose未在EgoEMG复现，跨数据集结论需谨慎。\n\n\n\n\n\n### 相关工作\n\n最近邻工作与差异（依据§2与表1，未独立核验各数据集版本）：\n\n- EMG2Pose：最直接对照。论文称其有193名受试者、32通道双腕EMG、20-DoF动捕姿态标签，但无同步第一视角RGB、外部RGB-D、IMU与显式腕关节标签；EgoEMG以41人、16通道换取同步多模态与22-DoF（含2个腕角）。代价是受试者规模更小、录制约10小时。\n- MyoKi、Jarque-Bou、NinaPro：多为数据手套或非双腕设置；论文称手套标签自由度有限且可能漂移、迟滞。NinaPro仅部分子库有连续关节角。EgoEMG用光学动捕加markers2mano，代价是重建误差（EgoEMG 4.3 mm、无效帧3.6%）与复杂标定。\n- 视觉数据集（InterHand2.6M、FreiHAND、HOT3D、H2O、GigaHand等）：RGB/RGB-D标注丰富但无同步腕部EMG，不能直接研究EMG+视觉连续姿态回归。\n- 既有EMG+视觉工作（Hao等、Zandigohar等、Cui等、Liu等）：论文归为手势分类或离线表示映射，不是连续手部姿态回归；EgoEMG的差异在统一22-DoF目标与三种泛化划分。\n- 成本与边界：EgoEMG的融合基线只覆盖轻量通用视觉骨干，未测试WiLoR等强手部模型；无手-物交互；数据与代码待接收后发布，当前不可复现核验。\n\n\n\n\n\n### 关键图表解读\n\n表1（§3.3）：比较EgoEMG与Jarque-Bou、NinaPro、MyoKi、PiMForce、EMG2Pose。关键列：双腕、ego RGB、RGB-D、腕标签、连续姿态。它支撑“首个同时具备双腕EMG+ego RGB+RGB-D+腕角+22-DoF动捕标签”的定位；限制是“✓”依赖各数据集版本与定义，论文未给逐项核验，NinaPro仅部分子库有连续角。\n\n表2（§5.1）：EMGFormer S/M/L vs vemg2pose/NeuroPose在gesture/user/both的MAE。支撑EMGFormer在gesture split和平均上更强；但both split不如NeuroPose，说明跨用户+跨手势组合更难，模型规模收益不一致。\n\n表3（§5.2–5.3）：视觉单模态与融合配对。支撑WiLoR最强（4.7°）、ResNet优于通用ViT、融合在匹配轻量骨干上提升（5.9→5.4，6.0→5.5）；限制是融合未超过WiLoR/RN152，且中心帧监督与EMG全轨迹评价不同。\n\n图6（§4.5）：残差融合结构 y=y_v+Δy_emg，零初始化残差头。它解释“从视觉基线出发只学EMG增量”的设计，因此融合提升可归因于EMG增量；限制是简单拼接+MLP，未做交叉注意力/不确定性融合。\n\n图13（附录D.6）：按GT MANO z-buffer自遮挡分数分箱，视觉与融合MAE及增益。支撑遮挡越高融合增益总体为正（0.24→0.52°，局部约0.8°）；限制是Spearman ρ=0.049很弱，p=0.001受样本量影响，不能证明强因果。\n\n过渡：以上图表给出“数据定位—EMG基线—视觉/融合—遮挡条件”的证据链，下一步应评估其可复现性、统计强度与对强视觉模型的未解问题。\n\n\n\n\n\n### 术语表\n\nsEMG（表面肌电）：腕部电极记录的肌肉激活信号；本文16通道、2 kHz，用于跨用户姿态回归。\n双腕/双侧：左右腕各8通道同步采集；与单臂数据集相比可研究双手协调，但跨用户差异更显著。\n22-DoF：每手22维关节角目标；20个手指关节角（拇指4、其余四指各4）加2个腕角（屈伸、桡尺偏）。\nMANO：参数化手部模型；θ∈R^48为姿态、β∈R^10为形状、t为平移，输出778顶点网格。\nmarkers2mano：本文的Graph Transformer标签重建管线；21个动捕标记→MANO参数，再用MANO前向得网格。\nUmeTrack：EMG2Pose使用的20标量关节角表示；本文通过逐帧逆运动学把MANO关节对齐到UmeTrack。\n6D旋转表示：用两个3维向量表示旋转，避免轴角不连续；markers2mano位姿头输出16关节的6D再转轴角。\nTDS：Time-Depth Separable卷积前端；把2 kHz EMG下采样到约37 Hz时序特征。\nRoPE：旋转位置编码；用于EMGFormer Transformer解码器建模长时依赖。\nEMGFormer：本文EMG-to-pose基线；TDS前端+RoPE Transformer解码器，分S/M/L三尺寸。\nWiLoR：手部专用单目3D手重建模型；本文作为最强视觉基线，631.6M参数。\n残差融合：y=y_v+Δy_emg；视觉分支给基础姿态，EMG分支学增量，末层零初始化使初始等于视觉输出。\n中心帧监督：视觉/融合只监督EMG窗口中心帧；EMG-only主表监督整段轨迹，二者不可直接等价。\n自遮挡分数s_occ：用GT MANO网格z-buffer可见面积定义，0为全可见、1为全遮挡；用于分层分析融合增益。\nz-buffer：深度缓冲光栅化；逐像素保留最近三角形深度，判断顶点是否可见。\nMAE：平均绝对关节角误差，度；本文主指标，按关节与时间步平均。\ncross-gesture：留出10类手势、受试者可见；评估手势泛化。\ncross-user：留出6名受试者、所有手势可见；评估受试者泛化。\nboth/combined：同时留出手势与受试者；最难的综合泛化设置。\nSpearman ρ/LOESS：图13用秩相关与局部平滑描述遮挡分数与融合增益的单调关联；ρ=0.049表示很弱正相关。\nIMU/RGB-D：IMU为120 Hz惯性测量；RGB-D为外部ZED 2i彩色加深度，均随数据发布但未进入本文基准。\n\n\n\n\n\n### 全部图表索引\n\n图1（§3.1）：EgoEMG采集设置，双腕EMG、头戴ego RGB、外部ZED 2i RGB-D、光学动捕与手部标记；支撑多模态同步采集主张。\n图2（§3.2）：3.9 s窗口的同步样本，GT姿态、双腕EMG、ego RGB中心帧、外部RGB-D；展示模态对齐。\n图3（§3.3–3.4）：(a) 41人/82手的MANO形状多样性；(b) participant–gesture矩阵上的Train/Gesture/User/Both划分；支撑形状差异与split设计。\n图4（§4.3）：EMGFormer架构，TDS前端+RoPE Transformer解码器+关节角输出；支撑EMG基线。\n图5（§4.4）：视觉基线，256×256中心帧手部crop→ResNet/ViT→MLP回归22角；支撑视觉协议。\n图6（§4.5）：EMG+vision残差融合，视觉给y_v、EMG给Δy_emg、零初始化残差头；module_d详释。\n图7（§5.3）：定性比较，融合模型在运动模糊、自遮挡、深度歧义下更接近GT；示例性证据，非统计结论。\n图8（§B.1.2）：markers2mano的Graph Transformer架构，标记嵌入、图位置编码、结构注意力偏置、形状/位姿头；支撑标签重建。\n图9（§B.1.3）：markers2mano训练增强管线，结构/身份/噪声三类扰动；支撑对动捕噪声的鲁棒性。\n图10（§B.1.3）：11个公开数据集的原始帧数与分层采样后约0.7M训练网格组成；支撑训练数据配比。\n图11（§B.1.3/B.3）：MANO与UmeTrack网格在ego RGB上的重投影；视觉检查标签对齐，非定量主结果。\n图12（§D.5）：每手势vision-only vs F-RN18+S融合MAE散点，对角线为 parity；支撑54/59手势融合改善。\n图13（§D.6）：按自遮挡分数分箱的视觉/融合MAE与融合增益，LOESS与Spearman；module_d详释。\n表1（§3.3）：EgoEMG与代表性EMG数据集比较（受试者、通道、双腕、ego RGB、RGB-D、腕标签、姿态标签、手势数）；module_d详释。\n表2（§5.1）：EgoEMG上EMG-to-pose结果，EMGFormer S/M/L vs vemg2pose/NeuroPose，gesture/user/both与Avg；module_d详释。\n表3（§5.2–5.3）：EgoEMG上vision-only与EMG+vision融合结果，ResNet/ViT/WiLoR及配对融合；module_d详释。\n表4（§A.1）：60类手势完整词汇与描述，30单手、18对称双手、12不对称双手；支撑gesture split与per-gesture分析。\n表5（§A.2）：41人/82手的MANO β十个维度均值、标准差、最小/最大、P95-P5；支撑形状多样性。\n表6（§B.3）：22-DoF目标逐维语义，拇指/食指/中指/无名指/小指各4维加2腕角；支撑标签顺序与可复现性。\n表7（§C.1）：EMGFormer S/M/L层数、隐藏维、头数、FFN维、参数量、GPU-hours；支撑复现与效率比较。\n表8（§C.2）：视觉骨干参数量、特征维、学习率、batch size、epochs（ResNet/ViT/WiLoR）；支撑训练配置。\n表9（§D.1）：每手EMG-to-pose MAE，左右手分列；支撑共享权重与镜像策略的对称性。\n表10（§D.2）：EMG-only中心帧参考结果；用于部分对齐视觉/融合的中心帧监督粒度。\n表11（§D.3）：EMG2Pose上EMGFormer与SensingDynamics/NeuroPose/vemg2pose/CLDM等比较；支撑跨数据集EMG基线。\n表12（§D.4）：EgoEMG每关节组MAE，distal、wrist、thumb、index、proximal、ring、middle、wrist flexion、pinky、mid-phalanx；支撑误差结构分析。\n表13（§D.4）：EMG2Pose每关节组MAE，仅手指关节；用于跨数据集误差结构比较。\n表14（§D.5）：按单手/对称双手/不对称双手汇总的Vis./EMG/Fusion MAE与Δ；支撑手势家族层面融合增益。\n表15（§D.5）：59类手势逐类Vis./EMG/Fus./Δ完整分解，按家族与增益排序；支撑逐手势互补性与少数退化案例。\n说明：材料含正文与附录A–D、图1–13、表1–15，未见缺失图；外部代码/数据链接与正式发表信息未提供，待核实。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n可信结论（稿内证据）：\n\n1) 数据集与基准定义较完整、可理解：§3.1–3.4、Table1、Fig1–3 给出同步采集、41 人/60 类手势/10 小时+、22-DoF 目标与 gesture/user/both 划分；Table6 给出逐维语义。可信度较高的是“提供了这样一套受控多模态资源与统一评测协议”，但“首个”定位依赖 Table1 与文献检索，未独立核验。\n2) EMGFormer 是强 EMG-to-pose 基线，但并非全面占优：Table2 中 EMGFormer-M/L 平均 14.2°，优于 vemg2pose 15.9°、NeuroPose 16.1°；gesture split 11.7–12.8° 优势明显。但 both split EMGFormer 17.4–17.7° 不如 NeuroPose 16.3°，user split 仅约 15.6°，说明跨用户仍是瓶颈；模型增大在 EgoEMG 上收益不稳定（§5.1、§6）。Table11 的 EMG2Pose 结果支持 EMGFormer 在 user+stage 上 12.25–12.39°，但这是基线贡献，不是新算法核心。\n3) 视觉单模态结论较可靠：Table3 中 WiLoR 平均 4.7° 最强，RN152 5.1°、RN50 5.3°、ViT-L 5.4°；ResNet 优于通用 ViT 的趋势在该数据规模下成立，但作者也承认 ViT 可能受监督数据量限制（§5.2）。\n4) 融合结论强度有限：Table3 中 F-RN18+S 5.4° vs V-RN18 5.9°，F-ViT-S+S 5.5° vs V-ViT-S 6.0°；Table14 总体 Δ=+0.46°，单手势 +0.50°、对称双手 +0.38°、非对称 +0.41°；Table15 显示 54/59 类改善。Fig13 遮挡增益 0.24–0.52°，ρ=0.049、p=0.001，相关很弱。可信说法是“在匹配轻量通用视觉骨干、中心帧监督下，EMG 带来小幅但方向一致的增益”；不可信或未支持的是“EMG 能提升强手部专用视觉模型”“融合普遍大幅优于视觉”“增益具有统计显著性”。\n\n不足与待核实：代码/数据当前不可访问（§A.3、Reproducibility Statement）；未给具体留出 6 人与 10 类手势清单；无多随机种子、置信区间或配对显著性检验；EMG 用全窗口轨迹评价、视觉/融合用中心帧评价（§4.2），跨模态比较不是完全同监督粒度；Table10 的中心帧 EMG-only 参考可部分缓解但仍非同一模型族；CLDM/VQ-MyoPose 未在 EgoEMG 复现（§5.1）；无手-物交互；无时序视觉/RGB-D/IMU 基准（§6 Limitations）。\n\n关键假设：多模态时间同步与标定准确；markers2mano 重建误差（EgoEMG 4.3 mm、无效帧 3.6%）不系统性偏置跨用户结论；划分沿用户/手势轴无泄漏；22-DoF 目标语义在左右手一致；中心帧视觉/融合与全轨迹 EMG 的差异不改变主要排序；预训练骨干与单次训练足以代表方法性能。\n\n失败场景与后果：1) 新用户电极位置/阻抗变化大时，EMG 跨用户误差可能维持在 15–18°，融合增益变小，不能用于即插即用假肢控制；2) 视觉已很强（WiLoR 4.7°）时，简单残差融合可能无增益甚至负增益，当前论文未回答；3) 同步/中心帧对齐错误会让融合把错误时刻的 EMG 加到视觉上，增益消失；4) 动捕标记遮挡/丢标导致标签噪声，可能夸大或掩盖跨用户差异；5) 数据不发布或 split 不公开，Table2/3 无法独立复现；6) 单 seed 下 0.4–0.5° 的融合增益可能落在训练噪声内，不能作为稳定结论。\n\n复现计划（核心创新验证）：\n必需 artifacts：EgoEMG 发布包（parquet 同步序列、MP4 帧索引、预裁剪 256×256 手部 patch LMDB、split 文件、标定与时间戳、MANO/UmeTrack 标签）、基线代码与配置、MANO 模型、UmeTrack 转换脚本、ImageNet ResNet 权重、DINOv2 ViT 权重、WiLoR 预训练 checkpoint；以及 markers2mano 训练所用的 11 个公开数据集或其派生网格（若只复现基准，可不重训 markers2mano，但需发布标签）。当前 blocker：无实际下载链接、无 split ID、无代码仓库访问、无随机种子清单。\n关键设置：EMG 使用过滤后 16 通道 2 kHz、窗口 7790 样本；TDS 前端 16→256 stride5、256→256 stride2，两个 TDS stage，输出约 256×146/37 Hz；EMGFormer 200 epochs、AdamW β=(0.9,0.999)、wd 1e-4、lr 1e-4 余弦至 5e-6、batch 800、bf16、L1+0.01 指尖距离；视觉 150 epochs、ResNet lr 1e-3、ViT lr 1e-4、256×256 中心帧 crop；WiLoR 30 epochs、lr 1e-5；融合 200–300 epochs、lr 1e-4、batch 64–600、残差头末层零初始化、只监督中心帧（§C.1–C.2）。\n验证步骤：a) 数据完整性：检查左右腕 8+8 通道、时间戳、IMU/RGB/RGB-D/动捕同步、22 维标签范围与左右手镜像；b) 复现 Table2：EMGFormer-S/M/L 在 gesture/user/both 的 MAE 与排序，至少确认 gesture 优势与 user 瓶颈；c) 复现 Table3：V-RN18/50/152、V-ViT-S/B/L、V-WiLoR 与两组融合配对；d) 复现 Table14/15 与 Fig13：按手势家族、逐手势、遮挡分箱统计 Δ；e) 消融：随机 EMG、时间打乱 EMG、仅视觉同参数量、EMG-only 中心帧（Table10）、不同视觉初始化；f) 统计：3–5 seeds，报告均值±标准差、配对 bootstrap/置换检验；g) 标签审计：在留出用户上比较重建误差与无效帧率，必要时注入标记噪声重训。\n成功标准（建议）：主要 MAE 与论文报告相差不超过约 0.3–0.5° 且方法排序一致；融合在匹配轻量骨干上 Δ>0 且配对 95% 置信区间不跨零；跨用户误差仍显著高于 gesture split；若 F-WiLoR 相对 V-WiLoR 无正增益，则应把“EMG 互补性”限定为轻量视觉条件。\n\n推断伪代码（据 §4.5/Fig6 重建，非论文原文）：\nfor batch in loader:\n  y_v = vision_head(vision_backbone(center_crop))\n  h_e = temporal_attention_pool(EMGFormer(emg_window))\n  delta = fusion_head(concat(f_v, h_e))\n  y = y_v + delta\n  loss = L1(y, theta_center) + 0.01 * fingertip_distance(y, theta_center)\n零初始化 delta 头使训练起点等于视觉基线；该伪代码只用于复现融合结构，具体层宽与初始化需以代码/附录为准。\n\n常规设置（数据预处理、优化器、batch、epoch、增强）按 §C.1–C.2 执行即可，不再逐项展开；真正决定结论的是上述融合对照、跨用户划分与统计检验。\n\n\n\n\n\n### 应用约束\n\n已演示的约束（稿内）：数据为实验室采集，41 人、60 类手势、约 10 小时；16 通道双腕 EMG 2 kHz、IMU 120 Hz、ego RGB 1280×720@60 fps、外部 RGB-D 1280×720@30 fps、动捕 21 标记@120 Hz（§3.1、§A.3）。训练侧 EMGFormer-S/M/L 约 2/4/8 GPU-hours，总实验约 128 GPU-hours，6×RTX 4090（§C.1、Reproducibility Statement）；融合训练 200–300 epochs、batch 64–600（§C.2）。推理侧 EMG 窗口 7790 样本，2 kHz 下约 3.9 s，TDS 后约 37 Hz（§C.1）；视觉与融合只监督中心帧（§4.2、§4.5），因此融合不是逐帧全轨迹实时输出，部署时需处理窗口延迟与中心帧对齐。\n\n数据与许可：数据计划以 CC-BY-NC 4.0 发布、代码 MIT，但当前不可访问，匿名链接与校验和待核实（§A.3、Ethics Statement）。非商业许可限制产品化；EMG、MANO 形状参数可能构成软生物特征，需遵守禁止再识别条款。\n\n鲁棒性与适用性：已演示的强项是 seen-user/held-out-gesture 下 EMGFormer 较好（Table2，gesture 11.7–12.8°），但跨用户仍差（user 15.6–16.3°、both 16.3–17.7°）；视觉最强 WiLoR 平均 4.7°，融合仅 5.4/5.5°，未超过 WiLoR 或 RN152 5.1°（Table3）。遮挡分层增益仅 0.24–0.52°，局部约 0.8°，Spearman ρ=0.049（Fig13），只能说明弱正相关。未演示：真实 AR/VR 头戴端侧延迟、电极重新佩戴后的漂移、手-物交互、时序多帧视觉、RGB-D/IMU 进入基准、跨数据集迁移。上述部署结论均为推断，不是论文实测。\n\n成本边界：若只做 EMG-to-pose，单模型 3.5–16.3M 参数、数 GPU-hours 可复现；若做融合，需要同步 EMG 与视觉、预裁剪手部 patch LMDB、视觉骨干预训练权重与更强 GPU 内存；WiLoR 类强视觉基线参数 631.6M，训练/推理成本显著更高。\n\n\n\n\n\n### 探索问题\n\n1) EMG 是否能提升强手部专用视觉模型？验证方法：在相同中心帧监督与相同划分下，将 EMGFormer-S 的时序特征接入 WiLoR 的冻结/微调视觉分支，比较 V-WiLoR 与 F-WiLoR，并做多随机种子、配对 bootstrap 与按遮挡分层的增益分析。收益：直接回答论文留下的核心开放问题（§5.3、§6 Limitations），判断 EMG 的互补性是否只对轻量通用骨干成立。风险：WiLoR 参数量 631.6M，融合头可能过拟合；EMG 增益可能被强视觉基线吞没，甚至为负；计算成本高。\n\n2) 融合增益是否统计稳健，是否只是中心帧协议或单次训练造成？验证方法：对 V-RN18 与 F-RN18+S、V-ViT-S 与 F-ViT-S+S 各跑 3–5 个种子，报告均值±标准差、配对置换检验或 bootstrap 置信区间；加入随机 EMG、打乱时间对齐的 EMG、仅视觉但同参数量的对照；在相同视觉初始化下比较。收益：把“稳定提升约 0.4–0.5°”从趋势性观察提升为可检验结论。风险：增益很小（Table3、Table14），多 seed 后置信区间可能跨零；训练预算增加。\n\n3) 标签重建误差与划分泄漏是否会改变跨用户结论？验证方法：审计 markers2mano 的 4.3 mm 标记误差与 3.6% 无效帧在留出用户上的分布；注入/放大标记噪声与丢标，重训 EMGFormer 观察 user split 是否仍最差；严格检查同一受试者、同一手势是否跨 train/test 泄漏，并要求公开具体留出 6 人与 10 类手势清单。收益：确认 cross-user 瓶颈是生理差异还是标签/划分伪影。风险：缺少独立手套或光学真值，难以判定标签绝对误差；重训与数据审计成本高。\n\n\n\n\n\n### 引用与核验\n\n核查范围说明：本次未访问外部网页或代码仓库，以下“已核对”仅指与 supplied paper 正文/附录/参考文献表一致；“待核实”表示需要外部原始论文、数据集主页或代码仓库确认。\n\n支撑新颖性与最强比较的引用：\n\n- EMG2Pose [Salter et al., 2024]：Table1 的数据集对照、Table2 的 vemg2pose 基线、Table11 的 15.8°±1.4° 与 12.7% 无效帧说法均依赖该文；稿内引用一致，但原始数字与协议未独立核验。\n- WiLoR [Potamias et al., 2024]：Table3 的 631.6M 参数、4.7° 最强视觉基线依赖该文与作者微调；预训练 checkpoint 是否公开、微调是否完全匹配需核实。\n- NeuroPose [Liu et al., 2021]：Table2/11 的 6.4M、16.1°/17.5° 对比依赖该文；稿内 Table2 的 both split 16.3° 与 Table11 的 user+stage 17.5° 是不同协议，不能混用。\n- CLDM [Verma, 2025] 与 VQ-MyoPose [Lovecchio et al., 2025]：Table11 引用其发表数字；VQ-MyoPose 明确标注 12-subject 子集、不可直接比较。二者无公开代码，作者未在 EgoEMG 复现（§5.1），因此跨数据集结论待核实。\n- SensingDynamics [Simpetru et al., 2024]：Table11 的 18.7° 为原文报告值，未独立核验。\n- “首个同时提供双腕 EMG+ego RGB+RGB-D+腕角+22-DoF 动捕标签”的新颖性依赖 Table1 对 Jarque-Bou 2019、NinaPro、MyoKi、PiMForce、EMG2Pose 的覆盖判断；Table1 的“✓”受各数据集版本与定义影响，需按数据集主页逐项核验，当前不能视为已证实。\n\n复现依赖引用：\n\n- MANO [Romero et al., 2017] 与 UmeTrack [Han et al., 2022]：22-DoF 标签转换与 20 标量关节角格式依赖二者；MANO 许可证与 UmeTrack 代码可用性待核实。\n- markers2mano 训练数据：GigaHand、HOT3D、ARCTIC、HOI4D、HanCo、DexYCB、H2O、InterHand2.6M、FreiHand、HO3Dv3、HO3Dv2（§B.1.3）；11 个数据集的许可、版本与派生网格获取方式未逐一核验，是复现标签管线的关键 blocker。\n- TDS [Hannun et al., 2019]、RoPE [Su et al., 2024]、ResNet [He et al., 2016]、ViT [Dosovitskiy et al., 2021]、DINOv2 [Oquab et al., 2024]、ImageNet [Deng et al., 2009]：架构与预训练权重来源明确，但具体版本/权重未在稿内给出 URL，需按官方仓库核实。\n\n外围引用与未逐项核查：EMG 数据集（NinaPro、MyoKi、PiMForce、EMG2Qwerty 等）、视觉/egocentric 数据集（FreiHAND、InterHand2.6M、HOT3D、H2O、GigaHand 等）、EMG+视觉融合工作（Hao et al. 2024、Zandigohar et al. 2024、Cui et al. 2025/2026、Liu et al. 2025）主要用于定位与差异陈述；本次未逐篇核对原文，均标记为待核实。参考文献中含 2026 年条目（Zhao et al. 2026、Xi et al. 2026、Cui et al. 2026），其发表状态与版本需外部确认。\n\n结论：稿内引用与表格数字自洽，但外部比较、代码/数据可用性、预训练权重与第三方数据许可均未独立验证；在复现或引用其“首个”“22% 提升”“融合一致改进”前，应优先核对 EMG2Pose、WiLoR、CLDM/VQ-MyoPose 原文与官方仓库。\n\n\n\n\n\n### 最终判断\n\n总体判断：EgoEMG 的可信核心是“数据集+统一 22-DoF 基准+基线趋势”，而不是一个已被充分证明的强融合算法。数据集设计与划分思路值得采用；EMGFormer 作为 EMG 基线、WiLoR 作为强视觉基线有参考价值；但“首个同时具备双腕 EMG+ego RGB+RGB-D+腕角的连续姿态数据集”需外部核验，融合“一致提升”只成立于匹配轻量通用视觉骨干和中心帧协议，且缺多 seed/配对检验，不能外推到强手部专用模型。使用时建议把本文当作基准与假设生成来源，而不是部署级验证。下一步应优先获取数据/代码并完成多随机种子与 WiLoR 融合实验，再决定是否采纳其融合结论。"
}