{
  "paper_id": "f175a1e94726fc074166b7e1be95e80f",
  "paper_title": "WatchHand: Enabling Continuous Hand Pose Tracking On Off-the-Shelf Smartwatches",
  "paper_authors": [
    "Jiwan Kim",
    "Chi-Jung Lee",
    "Tianhong Catherine Yu",
    "Ruidong Zhang",
    "Hohurn Jung",
    "Ian Oakley",
    "Cheng Zhang"
  ],
  "publication_date": "2026年4月13日至17日",
  "publication_venue": "2026 CHI Conference on Human Factors in Computing Systems (CHI '26), Barcelona, Spain",
  "abstract": "在腕戴设备上跟踪手部姿态可支持丰富且具表现力的交互，但商用智能手表尚无法实现这一能力，因为现有方案依赖外部传感器或定制硬件，限制了真实世界适用性。为此，本文提出 WatchHand，这是首个仅利用现成智能手表内置扬声器和麦克风实现的连续三维手部姿态跟踪系统。WatchHand 发射不可闻的调频连续波并捕获手部反射信号，再由深度学习模型估计20个手指关节的三维姿态。作者在多种真实条件下评估了系统，包括多款智能手表、不同佩戴手、身体姿势、噪声条件和姿态变化协议；在包含设备重新佩戴的跨会话测试中，平均每关节位置误差为7.87 mm。尽管系统在面对未见过的用户或手势时性能会下降，但只需少量数据进行轻量微调即可有效适配。总体而言，WatchHand 消除了额外硬件需求，降低了智能手表手部跟踪的门槛，使数百万现有设备能够支持鲁棒、随时可用的交互。\n",
  "keywords": [
    "手部姿态",
    "智能手表",
    "可穿戴设备",
    "声学感知"
  ],
  "paper_institutions": [
    "韩国科学技术院（KAIST）电气工程学院",
    "康奈尔大学"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:37.179962Z",
  "template_tag": "deep_read",
  "summary": "# WatchHand: Enabling Continuous Hand Pose Tracking On Off-the-Shelf Smartwatches\n\n\n**作者 / Authors:** Jiwan Kim, Chi-Jung Lee, Tianhong Catherine Yu, Ruidong Zhang, Hohurn Jung, Ian Oakley, Cheng Zhang\n\n\n**单位 / Institutions:** 韩国科学技术院（KAIST）电气工程学院, 康奈尔大学\n\n\n\n**输出语言 / Output Language:** zh\n\n\n\n**发表日期 / Publication Date:** 2026-04-13–2026-04-17\n\n\n\n**期刊/会议 / Publication Venue:** Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI '26), Barcelona, Spain；ACM, New York, NY, USA, 21 pages, DOI 10.1145/3772318.3790932\n\n\n## 第一轮：问题与贡献\n\n\n### 材料与类型\n\n材料检查：提供的是 CHI '26 论文正文（ACM 参考格式称 21 页），含系统设计、算法1、四项用户研究、图/表、讨论与局限、参考文献；未见独立附录、补充材料或代码清单。正文声明数据集公开于 <https://github.com/witlab-kaist/WatchHand，但该链接与代码可用性未在本文档内验证。原型判断：system> 论文，因为核心贡献是端到端系统——在三种 WearOS 商用智能手表上用内置扬声器/麦克风做主动声学传感，配 C-FMCW 回波剖面、FastViT-T12 回归和多项真实条件评估，而非单纯提出新算法或综述。影响解释的材料缺口：真值由 MediaPipe Hands 从单目 RGB 生成（Sec.3.6.1），遮挡与标注误差会进入指标；物体持握只有探索性案例分析（Sec.9.1.5、Fig.13），无定量；端到端部署只在 Galaxy Watch 7 上报告延迟（Sec.9.2.3）；功耗为 3 分钟粗测（Sec.9.3.1）；跨用户与未见手势仍是主要边界。\n\n\n\n\n\n### 问题\n\n问题：腕戴设备上的连续 3D 手部姿态跟踪——从腕部传感器连续估计 20 个手指关节的 3D 位置，而不是只识别离散手势。其重要性在于单手、随时可用、表达力强的交互，可用于免触摸控制、无障碍输入、手指拼写和上下文感知应用（Sec.1）。现有方法的主要短板：相机方案精度高但受视场、光照、隐私和算力限制；EMG 需紧贴皮肤电极，舒适性差；RF/雷达/深度相机等需额外或笨重硬件；EchoWrist 虽用主动声学达到 4.81 mm 跨会话 MPJPE，但依赖定制腕带上的两对扬声器-麦克风并需精心布置，无法直接用于现有 COTS 智能手表（Table 1、Sec.2.3）。因此核心问题是：在只有单个、位置不理想（常位于表壳两侧相对位置）的内置扬声器-麦克风对，且用户会反复摘戴、换手、改变姿势并处于噪声中的条件下，能否仍连续估计手姿。可形式化为学习映射 f: x_t → \\hat{Y}_t∈R^{20×3}，其中 x_t 为 1.2 s 窗口的双通道回波剖面（原+差分，60×96），可选 IMU；训练目标为坐标 MSE 加 0.1 权重的速度平滑损失，并在 within-session、cross-session、cross-user 三种协议下评估（Sec.3.6.2–3.6.3）。\n\n\n\n\n\n### 概览与阅读路线\n\n一句话概述：WatchHand 论证仅用商用智能手表内置的一个扬声器和一个麦克风，就能通过主动声学回波与深度学习连续回归 20 个手指关节的 3D 位置。核心思想与贡献：扬声器发射 18–21 kHz 不可闻 FMCW，麦克风收反射/衍射；用互相关生成原回波与差分回波剖面（Algorithm 1），经设备无关的峰值对齐和中值滤波校准后，输入 FastViT-T12 回归 20×3 坐标；相对 FingerTrak、WR-Hand、EchoWrist 等，关键差异是不加外设、不改表带，只用 COTS 单扬声器-单麦克风对，并系统评估三种品牌、左右佩戴手、姿势、噪声和 pose-to-pose 动态。作者声称的最重要结果：跨会话、设备重新佩戴条件下，20 关节平均 MPJPE 7.87 mm（SD 1.67）、MPJAE 6.06°；跨用户 14.88 mm；within-session 6.02 mm；pose-to-pose 跨会话 15.48 mm（Table 1、Fig.7、Sec.5、Sec.8）。支持范围：这些数字来自 24 名参与者、三款 WearOS 手表、固定 18 个手势/15 个手势集与 MediaPipe 真值，跨会话结果仍是同一用户微调后的模型；跨用户、未见手势、持物场景明显退化，作者也承认需更多数据与个性化（Sec.9.1）。优先阅读：Sec.3.3 与 Algorithm 1（回波剖面与校准）、Sec.3.6（真值、模型、训练协议）、Table 1（与先行工作对比）、Fig.7/Fig.10/Fig.11（结果边界）、Sec.9（部署、功耗、隐私、持物限制）。下一轮问题：单对扬声器-麦克风的空间信息上限在哪里；峰值校正/中值滤波各自贡献多少；MediaPipe 真值误差如何影响 mm 级结论；跨用户提升是否必须依赖个性化；持物与更广手势空间的失效边界。下面转入方法机制与证据链的细读。\n\n\n\n\n## 第二轮：方法与证据\n\n\n### 方法与公式\n\n**输入与总体流程**\n输入是智能手表内置扬声器发出的 18–21 kHz 不可闻 FMCW chirp，以及同一手表麦克风录到的经手部反射/衍射后的信号；系统把原始音频转成双通道回波剖面，再回归 20 个手指关节的 3D 坐标（60 维）。链路为：发射/录制 → 带通滤波 → 直达径对齐 → 逐 chirp 互相关生成原始回波剖面 → 帧间差分生成差分回波剖面 → 设备无关校准 → 1.2 s 窗口归一化 → FastViT-T12 回归 → 输出 20×3 坐标（以腕点为原点）。\n\n**C-FMCW 与分辨率**\n常规线性 FMCW 的距离分辨率受扫频带宽 B 限制：R_L-FMCW=C/(2B)。本文 B=21−18=3 kHz、C=343 m/s，所以 R_L-FMCW=343/(2×3000)=0.0572 m=57.2 mm，不足以分辨手指。C-FMCW 改用发射与接收信号的互相关峰值时延测距，按文中关系，其有效分辨率由采样率 F_s 决定：R_C-FMCW=C/(2F_s)=343/(2×48000)=0.00357 m=3.57 mm。推导（推断）：回波往返时延 Δt=2d/C；采样后最小可辨时延约为 1/F_s，因此最小可辨距离约为 C/(2F_s)。这是 3.57 mm 级距离分辨率的来源。\n\n**Algorithm 1：回波剖面**\n1）对整段接收信号 Rx 做 5 阶 Butterworth 带通（18–21 kHz），抑制带外噪声。2）用一段参考发射 chirp Tx 与滤波后的 Rx 做互相关 Corrsync=Rx⋆Tx，取 |Corrsync| 最大峰为直达径起点 p_start；直达径是扬声器到麦克风最短路径、最早到达，因而作为绝对距离参考。3）把 p_start 调整到帧中心：p_start=(p_start+L−floor(L/2)) mod L，并从该点截取 Rx。4）对每个 chirp 再算 y=Rx⋆Tx；每个 chirp 长 L=600 样本（12.5 ms），把 y 按 L 分帧、重排为 P（形状 L×N_frames），x 轴为时间、y 轴为距离，像素强度为对应时延/距离上的相关强度。5）差分剖面 P_diff[f]=|P[f]|−|P[f−1]|：原始剖面保留静态反射与手形信息，差分剖面抑制静态环境、突出运动；两者都作为网络输入，而不是只取差分。\n\n**校准与输入张量**\n实际设备存在两类伪影：Xiaomi/Pixel 的音频栈时序抖动使主峰在帧间漂移；Galaxy 更明显的是周期性漂移。作者用滑窗互相关峰值校正对齐主峰，再用中值滤波压制周期性漂移；所有设备走同一套硬件无关校准，没有按型号专门调参（Sec.3.3.3、Fig.3）。为覆盖手部，只保留最近 60 个距离像素，即 60×3.57 mm≈21.42 cm；时间窗 96 帧×12.5 ms=1.2 s。最终每个样本是 2×60×96（原始+差分），窗口内归一化；可视化时裁到 ±10^10，训练用未裁切原值。\n\n**模型与损失**\n主干为 FastViT-T12（6.62M 参数）：卷积 stem 先 4× 下采样，四个 hierarchical stage 用 RepMixerBlock 混合特征，stage 间用 PatchEmbed 下采样，最后全局平均池化+线性层输出 60 个坐标。损失为坐标 MSE 加 0.1 权重的速度平滑损失，后者惩罚相邻帧预测的突变，促使运动物理上更平滑；速度项的具体公式文中未展开（未报告）。IMU 分支是可选消融：6 轴×4 个频带（原始+三个 Butterworth 滤波带）=24 通道，线性映射到 512 维，过 BiLSTM，再与声学特征拼接，经融合解码器输出关节；但主实验发现没有显著增益（Sec.5.1.3），后续分析主要用纯声学模型。\n\n**真值与坐标归一化**\n真值由 MediaPipe Hands 从单目 RGB 以 30 FPS 生成 21 个 3D 点；以腕点为原点，取其余 20 个关节的相对坐标。为减小会话/用户差异，用腕点→食指 MCP、腕点→小指 MCP 定义掌面，旋转对齐到基线掌面；按腕点至小指 MCP 的物理长度缩放手大小；腕部旋转不做归一化，以保留自然变化（Sec.3.6.1）。这使输出坐标可比，但也把 MediaPipe 的遮挡/标注误差带入监督信号。\n\n\n\n\n\n### 评测设置\n\n**数据集与受试者**\nStudy 1：24 人（12 男，平均 22.5 岁，SD 2.3；23 人右利手；手长 17.95±0.95 cm，掌宽 7.88±0.53 cm）。三款 WearOS 表按组间分配，每款 8 人：Samsung Galaxy Watch 7、Xiaomi Watch 2 Pro、Google Pixel Watch 3；每人在左、右腕各 10 个 session，共 20 个 session。18 个手势=5 个单指弯曲+10 个 ASL 数字 0–9+3 个腕部旋转；每手势 4 次、每次 2 s；共 1152 分钟，六种表×手组合各 192 分钟。\nStudy 2：6 人（3 男，22.17±2.86 岁，全右利手），回到原表、非优势手；20 个站立 session=10 个 watch-raised+10 个 arm-resting；共 288 分钟，两种姿势各 144 分钟。\nStudy 3：8 人（5 男，23.88±4.39 岁；手长 18.18±1.21 cm，掌宽 8.04±0.62 cm）；10 个坐姿基线 session+4 类噪声各 2 个 session=18 个；共 345.6 分钟（基线 192 分钟，每类噪声 38.4 分钟）。噪声为 1 m 处约 80 dB 音乐、1 m 内他人走动、原地行走、故意改变手指间距/姿势。\nStudy 4：8 人（4 男，全右利手，23.5±4.17 岁；手长 18.46±1.94 cm，掌宽 7.99±0.94 cm）；Xiaomi Watch 2 Pro 戴左手；125 个有序 pose-to-pose 转换（10 个复杂手势间 100 个+5 个简单手势间 25 个）；20 个正常速度 session+1 个 fast（1.5 s 转换）+1 个 slow（2.5 s）；共 352 分钟（320 正常、12 fast、20 slow）。\n\n**真值、指标与划分**\n真值：MacBook Air 内置摄像头 30 FPS，镜头正对手掌以减少遮挡，MediaPipe Hands 输出 21 个 3D 点；腕点为原点，掌面旋转对齐，手大小缩放，腕旋转保留（Sec.3.6.1、Fig.6）。指标：MPJPE（mm）、MPJAE（°）、腕旋转用 MWAE（°）。划分：cross-user 为 leave-one-participant-out；cross-session 为用该用户除最后 session 外的全部数据微调 cross-user 基础模型，最后 session 测试；within-session 为用倒数第三个 session 之前的数据+最后两个 session 各 50% 微调，剩余 50% 测试（Sec.3.6.3）。所有帧（含转换段）都参与训练/测试；1.2 s 滑窗、步长 1/30 s，与视频帧对齐。\n\n**训练与部署设置**\n两阶段：先训练 cross-user 基础模型，Adam，初始 lr 0.001，100 epoch，验证 9 epoch 不升则早停，batch 256；再按用户 cross-session 微调，Adam，lr 0.0003，100 epoch，batch 64。训练硬件、随机种子、总帧数未报告。模型 6.62M 参数；端到端部署模型 26.7 MB，在 Galaxy Watch 7 上全本地运行，平均延迟 0.115 s（预处理 0.035 s+推理 0.08 s）（Sec.9.2.3）。功耗为 3 分钟粗测：Galaxy 约 1%（4.25 mAh/425 mAh）、Xiaomi 约 0.87%（4.31/495）、Pixel 约 1.52%（6.36/420）（Sec.9.3.1），包含屏幕和系统功耗，不是模型单独功耗。\n\n**基线与比较条件**\nTable 1 汇总 FingerTrak、WR-Hand、EchoWrist、Digits、DiscoBand、EtherPose、EITPose，但作者没有在同一数据上重跑这些系统；表内数字来自各自论文，协议/参考姿态数/是否重新佩戴或跨天/指标（MPJPE 或 MPJAE）不完全一致。模型侧比较了 ResNet-18、CNN-LSTM 与 FastViT-T12，最终选 FastViT-T12；IMU 融合是消融，不是强基线。缺失/待核验：各设备训练集测试集帧数、统计检验的多重比较校正、MediaPipe 真值的误差上界、持物定量指标、其他品牌手表的泛化。\n\n\n\n\n\n### 结果与证据\n\n## 主结果（作者报告，非外部复现）\n\n- Study 1 cross-session 纯声学：MPJPE 7.87 mm（SD 1.67）、MPJAE 6.06°（SD 1.52）、MWAE 7.19°（SD 2.26）；硬件与佩戴手对 MPJPE/MPJAE 无显著主效应/交互（F=0.005–0.42，p=0.66–0.95），腕旋转也无显著（F=0.12–2.37，p=0.11–0.73）。这支持三种表、左右手均可用。\n- within-session：6.02 mm、4.63°、5.70°；cross-user：14.88 mm、8.27°、12.76°。cross-user 的 MPJAE 出现硬件效应：Galaxy 8.84° vs Xiaomi 7.77°，p=0.003；MPJPE/MWAE 无显著硬件效应。说明跨用户退化主要来自手形/关节运动差异，而不是单一设备。\n- 多模态 IMU：7.96 mm、6.03°、7.48°，与纯声学差异不显著（F=0.01–0.41，p=0.52–0.92）；作者解释为 IMU 主要编码腕部运动，与声学已含的腕部/手指信息冗余。\n- 跨全部表/手的统一模型：cross-session 7.88 mm、6.22°、7.68°，与按配置分别训练相当（Sec.9.2.2），支持一个模型可跨品牌/朝向的部署 claim。\n- Study 2 姿势：zero-shot 9.96 mm/7.72°/13.74°；1-session 微调 7.65/6.33/8.06；9-session 微调 6.58/5.33/5.83。小样本，作者只作数值比较，未做正式统计。\n- Study 3 噪声：基线 10.26 mm/7.28°/9.6°；音乐与附近人走动相对基线不显著（p=0.18–0.76）；行走显著退化（p=0.003–0.028），改变手姿全部 p<0.001；每类 1 个 session 微调后行走与基线无显著差异（p=0.13–0.54）。支持环境音频/远处运动不敏感，但传感区内物理变化敏感。\n- Study 4 pose-to-pose：cross-session 15.48 mm/13.61°；within-session 12.68/10.96；cross-user 22.60/14.49；fast 15.61/13.82，slow 17.04/15.23。支持系统能处理动态转换，但难度明显高于 pose-neutral-pose。\n\n**证据是否支持创新**\n支持：在固定 15/18 个手势和 MediaPipe 真值下，单对 COTS 扬声器-麦克风确实能给出厘米级、跨重新佩戴可用的连续 3D 手姿；跨设备/左右手/姿势/噪声的消融与细调结果构成了较完整的可行性证据。\n削弱/边界：跨用户误差约为 cross-session 的 1.9 倍；持物只有 Fig.13 的定性回波干扰，没有 MPJPE；端到端部署只在 Galaxy Watch 7 上测延迟；功耗仅 3 分钟粗测；真值来自单目 MediaPipe，遮挡和标注误差会进入 mm 级结论；未见手势/更广姿态空间仍未覆盖。\n推断：这篇论文证明的是在受控手势集和短时个性化下可行，不是任意手姿、任意物体交互下已解决。\n\n\n\n\n\n### 相关工作\n\n最近邻是 EchoWrist [^19]：定制腕带、两对扬声器-麦克风（一对在表体、一对在表带并面向手掌），cross-session MPJPE 4.81 mm、cross-user 12.2 mm（Table 1，作者转述）。WatchHand 的实际差异是只用 COTS 表内单扬声器-单麦克风、不改表带，把可部署性作为主贡献；代价是空间采样更少、回波更弱，cross-session 7.87 mm、cross-user 14.88 mm，均差于 EchoWrist，且持物只有定性分析（Sec.9.1.5、Fig.13）。与 FingerTrak [^9]（4 个热像仪，12/27.2/87 mm）、WR-Hand [^22]（8 EMG+陀螺，25.7/31.3 mm）、DiscoBand [^3]（8 深度相机，11.69/17.87/19.98 mm）、EtherPose [^12]（2 RF 天线，11.57 mm within）、EITPose [^17]（8 EIT 电极，11.06/17.81/18.91 mm）相比，WatchHand 的硬件门槛最低，但跨用户误差并非最低。注意 Table 1 是作者汇总，不同工作的协议、参考姿态数、是否重新佩戴/跨天、MPJPE 与 MPJAE 并不完全一致；只能作方向性比较，不能视为同一 benchmark 的严格排名（外部复现待验证）。\n\n\n\n\n\n### 关键图表解读\n\n**Table 1（Sec.2.2–2.3 之间）**：把 WatchHand 与 FingerTrak、WR-Hand、EchoWrist、Digits、DiscoBand、EtherPose、EITPose 按传感模态、协议、within/cross-session/cross-user 误差并列。它支持两个 claim：WatchHand 是唯一只用 COTS 表内单扬声器-单麦克风的系统；其 cross-session 7.87 mm 在同类中可用。但比较条件并不统一（参考姿态数、是否重新佩戴/跨天、MPJPE vs MPJAE 不同），EchoWrist 的 4.81 mm 还依赖定制双扬声器-麦克风，因此该表是定位图，不是严格排名。\n\n**Figure 3（Sec.3.3.3）**：展示三款表在滑窗峰值校正与中值滤波前后的回波剖面，红三角标出峰值错位、红框标出周期性漂移，黄三角标出手势转换时刻。它支撑硬件无关校准能消除设备特定伪影的方法 claim；但主要是可视化示例，正文没有给出校准前后 MPJPE 的定量消融，因此各步骤贡献仍待验证。\n\n**Figure 7（Sec.5）**：A 给出 cross-session 下每根手指的 MPJPE/MPJAE，B 汇总 within-session、cross-session、cross-user 的多指标。它支撑核心结果：cross-session 7.87 mm、within 6.02 mm、cross-user 14.88 mm；MPJPE 随手指长度增加，MPJAE 更突出中指/无名指/小指，对应协同运动与解剖约束。解释边界是：这是 18 个手势、MediaPipe 真值下的结果，不是开放手姿。\n\n**Figure 10（Sec.7.3）**：A 对比基线、音乐、附近人走动、行走、改变手姿四类噪声；B 对比有无 one-session 微调。它支撑环境音频与 21.42 cm 外的人体运动影响小，传感区内行走/改变手姿影响大，短时微调可恢复的 claim。限制是每类噪声只有 2 个 session、8 名受试者，且改变手姿的定量恢复值未在正文逐项给出。\n\n**Figure 13（Sec.9.1.5）**：展示同一 reach-hold-release-depart 动作在有/无杯子时的回波剖面，持杯时物体表面反射在表附近造成明显干扰。它支撑单通道声学在持物时会失效的限制 claim；但这是定性案例，没有持物条件下的 MPJPE，也不能直接与自由手结果比较。\n\n总体看，证据链最稳的是 COTS 单对传感器在受控手势集上可行，最弱的是开放世界持物与跨用户泛化。下面转入评估。\n\n\n\n\n\n### 术语表\n\n**COTS**：commercial off-the-shelf，未经改装的商用现货设备；本文指三款 WearOS 智能手表。\n**FMCW**：frequency-modulated continuous wave，调频连续波；扬声器连续发频率扫变的 chirp，麦克风收反射。\n**C-FMCW**：cross-correlation based FMCW；用发射 chirp 与接收信号的互相关峰值时延测距，把距离分辨率从带宽限制转为采样率限制（本文 3.57 mm）。\n**chirp**：一次频率扫变，本文 L=600 样本、12.5 ms、18–21 kHz。\n**直达径**：扬声器到麦克风不经过手的最短传播路径，最早到达，用作距离原点/帧对齐参考。\n**回波剖面（echo profile）**：二维表示，x 轴时间、y 轴距离，像素值为互相关强度；本文 P 形状 L×N_frames。\n**差分回波剖面**：P_diff[f]=|P[f]|−|P[f−1]|，抑制静态反射、突出运动；与原始剖面组成双通道输入。\n**距离分辨率**：可区分的最小距离差；L-FMCW 为 C/(2B)，C-FMCW 为 C/(2F_s)。\n**MPJPE**：mean per-joint position error，20 个关节平均 3D 位置误差（mm）。\n**MPJAE**：mean per-joint angle error，平均关节角误差（°）。\n**MWAE**：mean wrist angle error，腕旋转平均角误差（°）。\n**cross-session**：同一用户，用除最后 session 外的数据训练/微调，最后 session 测试，且 session 间重新摘戴手表。\n**within-session**：同一用户，用最后两个 session 各 50% 数据微调，剩余 50% 测试；设备位置最稳定，接近上界。\n**cross-user**：leave-one-participant-out，测试用户完全不参与训练，模拟预训练模型面对新用户。\n**pose-neutral-pose**：每次目标手势后回到中性张开手（ASL-5）再换下一手势；Studies 1–3 采用。\n**pose-to-pose**：两个目标手势直接转换，不经过中性姿势；Study 4 采用，中间状态更多。\n**FastViT-T12**：CNN+ViT 混合主干，用 RepMixerBlock 和结构重参数化兼顾效率；本文 6.62M 参数，输出 60 维坐标。\n**RepMixerBlock**：FastViT 中的 token/channel 混合模块，用重参数化卷积替代部分注意力以降低移动端成本。\n**MediaPipe Hands**：Google 的单目 RGB 手部关键点检测器；本文用作 30 FPS 真值，但不是无误差的光学动捕。\n**MANO**：参数化手部模型，本文只用于预测结果的可视化。\n**fine-tuning**：在 cross-user 基础模型上用目标用户/新姿势/新噪声的少量数据继续训练；本文常见 1 个 session≈2 分钟手指数据。\n**IMU 融合**：把 6 轴加速度/陀螺的 24 通道特征经 BiLSTM 与声学特征拼接；本文发现无显著增益。\n\n\n\n\n\n### 全部图表索引\n\n**Table 1**（Sec.2.2–2.3 之间）：现有腕戴连续手姿系统对比；支撑 COTS 单传感器定位与跨协议误差比较；重要解释见 module_d。\n**Figure 1**（文首/摘要后）：WatchHand 总览 A 采集、B 预处理、C 深度学习、D 连续跟踪；支撑系统 pipeline。\n**Figure 2**（Sec.3.1–3.2）：A 三款表及扬声器/麦克风位置，B 步进电机+平板评估装置与角度；支撑硬件差异与可控可行性测试。\n**Figure 3**（Sec.3.3.3）：三款表回波剖面的峰值校正与中值滤波示例；支撑设备无关校准；重要解释见 module_d。\n**Figure 4**（Sec.3.5.1–3.5.2）：A 不同表、B 不同运动角度的原始/差分回波剖面；支撑设备/角度产生可区分模式。\n**Figure 5**（Sec.3.5.3）：单用户不同手势的原始/差分回波与 IMU 频带；支撑手势可分性，ASL-5 最弱。\n**Figure 6**（Sec.3.6.1、4.3）：A MediaPipe 20 个 3D 关节，B 摄像头正对手掌的实验设置；支撑真值采集。\n**Figure 7**（Sec.5）：A 每指 MPJPE/MPJAE，B 各评估协议汇总；支撑核心性能；重要解释见 module_d。\n**Figure 8**（Sec.6）：A sitting/watch-raised/arm-resting 三种姿势，B 站立姿势下 zero-shot、1-session、9-session 微调结果；支撑姿势适应。\n**Figure 9**（Sec.7.2）：四类噪声/干扰条件照片；支撑噪声实验设计。\n**Figure 10**（Sec.7.3）：A 基线 vs 四类噪声，B 有无 one-session 微调；支撑噪声鲁棒性边界；重要解释见 module_d。\n**Figure 11**（Sec.8.4）：A Study 4 三种协议，B fast/normal/slow 转换速度；支撑 pose-to-pose 与速度鲁棒性。\n**Figure 12**（Sec.8.4）：指令手势、Study 1 与 Study 4 的预测示例及失败案例；支撑定性错误模式（邻指耦合、解剖限制、异常）。\n**Figure 13**（Sec.9.1.5）：有/无杯子时 reach-hold-release-depart 的回波剖面；支撑持物干扰限制；重要解释见 module_d。\n未提供独立附录、补充材料或代码清单；正文称数据集公开于 <https://github.com/witlab-kaist/WatchHand，但该链接与代码可用性未在本文档内验证。部分图内小字/数值无法从文本核验，本文只引用正文明确写出的数字>。\n\n\n\n\n## 第三轮：评估与复现\n\n\n### 可信度、局限与复现\n\n## 可信度分层\n\n## 较可信（有正文定位与统计/多条件支持）\n\n- 在 15/18 个固定手势和 MediaPipe 真值下，单对 COTS 扬声器-麦克风可做连续 3D 手姿回归：cross-session MPJPE 7.87 mm（SD 1.67）、MPJAE 6.06°（SD 1.52）、MWAE 7.19°（SD 2.26）；within-session 6.02 mm/4.63°/5.70°；cross-user 14.88 mm/8.27°/12.76°（Sec.5.1–5.3、Fig.7B）。三款表与左右手在 cross-session 下无显著主效应/交互（p=0.66–0.95；腕旋转 p=0.11–0.73），支持“跨设备/佩戴手可用”的方向性结论，但不是外部复现。\n- 跨品牌/朝向的统一模型 cross-session 7.88 mm/6.22°/7.68°，与按配置训练相当（Sec.9.2.2），支持相似声学布局下单一模型可部署的 claim。\n- 少量个性化有效：姿势 zero-shot 9.96 mm→1 session 7.65→9 session 6.58（Study 2、Fig.8B）；行走退化在 1 session 微调后与基线无显著差异（p=0.13–0.54），改变手姿的 66.19% MPJPE 退化可降到 5.3%（Sec.7.3、9.1.2）。注意 Study 2 样本仅 6 人且作者只作数值比较。\n- 端到端上机可行：26.7 MB 模型在 Galaxy Watch 7 全本地运行，平均 0.115 s/次（预处理 0.035+推理 0.08）（Sec.9.2.3）。这是单设备演示，不是三设备全量验证。\n\n## 证据不足或不能外推\n\n- 跨用户泛化仍弱：14.88 mm 约为 cross-session 的 1.9 倍；Study 4 cross-user 22.60 mm（Sec.5.3、8.4）。论文没有证明“开箱即用、任意新用户”。\n- 持物只有定性案例（Fig.13、Sec.9.1.5）：杯子反射在表附近造成干扰，但没有持物 MPJPE，不能量化“下降多少”。\n- 开放手姿空间未覆盖：18 个手势含 ASL 0–9 和腕旋转；Study 4 的 125 个 pose-to-pose 仍是同一 15 手势集。未见手势、连续抓取、手物交互未解决。\n- 真值不是无误差：MediaPipe Hands 单目 RGB 30 FPS（Sec.3.6.1），用正面拍掌减少遮挡，但遮挡/运动模糊/标注误差会进入 mm 级结论；论文未给真值误差上界。\n- 功耗仅 3 分钟粗测，且包含屏幕/OS/传输：Galaxy 约 1%、Xiaomi 约 0.87%、Pixel 约 1.52%（Sec.9.3.1）；不能据此断言全天续航。\n- 校准消融缺失：Fig.3 只展示峰值校正/中值滤波前后可视化，没有分别报告对 MPJPE 的贡献；Algorithm 1 的必要性未逐项量化。\n- 部署延迟只测 Galaxy Watch 7；0.115 s/次约 8.7 次/秒，低于 30 FPS 的 33 ms/帧；论文的 30 FPS 是训练/真值对齐，未证明端到端 30 FPS 实时吞吐。此为分析推断。\n- Table 1 不是同一 benchmark：EchoWrist 4.81 mm 为定制双对硬件，协议/参考姿态/是否跨天不完全一致；不能把 7.87 vs 4.81 当作严格控制下的排名。\n- 统计细节不足：Study 2/4 样本小；多重比较校正、随机种子、训练帧数、训练硬件未报告；IMU 无显著增益只说明该融合设计无益，不能证明 IMU 一律无用。\n\n## 关键假设\n\n1. 直达径是扬声器到麦克风的最早、最强路径；设备音频栈抖动可被滑窗峰值校正和中值滤波统一消除（Sec.3.3.3）。\n2. 21.42 cm 的最近 60 个距离像素覆盖腕到指尖，且自由手条件下回波主要由手主导；差分剖面能去掉静态环境。\n3. MediaPipe 的 3D 标签加腕点原点、掌面旋转对齐、按小指 MCP 缩放，足以作为监督；腕旋转保留自然变化。\n4. 1.2 s 窗口、30 FPS 采样、包含转换帧的训练能代表连续手姿。\n5. 三款表“扬声器在左、麦克风在右”的相似布局使统一模型可迁移；其他布局未验证。\n\n## 失败场景与后果\n\n- 持物/抓握：物体表面反射掩蔽手部模式；作者建议检测物体并暂停跟踪，但未实现。\n- 行走/改变手姿：传感区内物理变化显著退化（p=0.003–0.028；改变手姿 p<0.001）；单 session 微调可缓解但需要标定。\n- 新用户：手形/关节运动差异导致约 2 倍误差；需个性化或更大异构数据。\n- 未见手势/更快更慢转换：退化有界但存在；slow 比 fast 更差（17.04 vs 15.61 mm，Study 4）。\n- 设备重戴/滑动：训练增强只覆盖 ±5 像素（约 1.8 cm）；更大位移、表带松紧、极端角度未测。\n- 其他品牌/平台：只验证三款 WearOS；iOS/watchOS、不同音频栈、不同扬声器功率未验证。\n- 背景强反射/多人近场：只测音乐与 1 m 外人走动；未测桌面、墙壁、另一只手近场。\n\n**复现计划**\n所需材料：论文与 Algorithm 1；三款表或至少支持 48 kHz 同时播放/录音的 WearOS 表；摄像头+MediaPipe Hands；作者公开数据集/代码（链接 <https://github.com/witlab-kaist/WatchHand，未在本文档内验证，是首要> blocker）。\n关键设置：18–21 kHz FMCW；48 kHz、16-bit PCM；chirp L=600（12.5 ms）；5 阶 Butterworth 18–21 kHz；互相关取直达径并移到帧中心；60 个距离像素（约 21.42 cm）×96 帧（1.2 s）；原始+差分双通道；FastViT-T12 6.62M；损失=MSE+0.1×速度平滑；基础训练 Adam lr 1e-3、100 epoch、早停 9、batch 256；个性化 Adam lr 3e-4、100 epoch、batch 64；增强：±5 像素垂直移位、80% 概率幅度×0.95–1.05、80% 概率时间 5–15 像素/距离 5–10 像素 masking。未报告：速度损失公式、权重初始化、学习率 scheduler 细节、随机种子、总帧数、训练硬件。\n复现伪代码（据 Sec.3.3/3.6 整理）：\n\n```text\nfor each recording:\n  Rx = bandpass(raw_audio, 18k, 21k, fs=48k, order=5)\n  p_start = argmax(|crosscorr(Rx, Tx)|)\n  p_start = (p_start + L - floor(L/2)) mod L\n  y = crosscorr(Rx[p_start:], Tx)\n  P = reshape(y, [N_frames, L]).T          # 距离×时间\n  P_diff[f] = |P[f]| - |P[f-1]|\n  P, P_diff = calibrate_peak_and_median(P, P_diff)\n  X = normalize(crop(P, P_diff, 60, 96))\n  train FastViT-T12 to regress 20×3 coordinates\n  phase 1: cross-user; phase 2: per-user cross-session fine-tune\n```\n\n验证步骤：1）先复现 Fig.3/4/5 的预处理可视化，核对 3.57 mm/像素、12.5 ms/帧、峰值对齐与漂移；2）按 leave-one-participant-out 训练 cross-user，报告 cross-user MPJPE/MPJAE/MWAE；3）按用户微调复现 cross-session 与 within-session，检查排序应为 within < cross-session < cross-user；4）做消融：原始 vs 差分、峰值校正开/关、中值滤波开/关、IMU 融合、增强开/关；5）若有 Study 2–4 数据，复现姿势/噪声/pose-to-pose 与单 session 微调；6）在 Galaxy Watch 7 上测预处理+推理延迟。\n成功标准：不要求逐位复现，但应出现同一方向与量级——within-session 最低、cross-session 约厘米级、cross-user 明显退化、单 session 微调显著恢复、IMU 无显著增益、三款表/左右手无显著 cross-session 差异；若这些趋势不成立，则核心 claim 需重新审视。绝对数值差异要归因于数据划分、设备批次、MediaPipe 版本和训练细节。\n\n\n\n\n\n### 应用约束\n\n**数据与标注**：总 35.6 h、40 人（Study1 24 人 1152 min；Study2 6 人 288 min；Study3 8 人 345.6 min；Study4 8 人 352 min，Sec.4–8）。真值需摄像头正对掌心+MediaPipe 30 FPS；不是无标注学习。个性化成本低：1 个 session 约 2 min 手指数据+0.4 min 腕旋转（Study2/3）。但数据链接与代码可用性未验证；跨用户需要更多异构数据。\n**计算与延迟**：模型 6.62M 参数、26.7 MB；在 Galaxy Watch 7 上预处理 0.035 s+推理 0.08 s=0.115 s/次（Sec.9.2.3）。训练算力/时长未报告；需 48 kHz 同时播放/录音。0.115 s/次约 8.7 Hz，低于 30 FPS 的 33 ms/帧；论文的“real-time”是响应性演示，不是已证明的 30 FPS 端到端吞吐（分析推断）。\n**功耗**：3 分钟粗测 Galaxy 约 1%（4.25/425 mAh）、Xiaomi 约 0.87%（4.31/495）、Pixel 约 1.52%（6.36/420），含屏幕/OS/传输；不能直接换算全天。作者建议用低功耗 IMU 手势唤醒声学模块，但未实现/评估。\n**鲁棒性**：对 80 dB 音乐、1 m 外人走动不显著（p=0.18–0.76）；对行走、改变手姿、持物、跨用户、未见手势敏感。21.42 cm 传感范围外运动被预处理滤掉是作者解释；未测强反射面、多人近场、极端表带松紧。三款表/左右手 cross-session 稳定；cross-user 的 MPJAE 有 Galaxy 8.84° vs Xiaomi 7.77°（p=0.003）。\n**适用性**：面向有内置扬声器+麦克风、支持 48 kHz 同时播放/录音的 WearOS 表；不能直接推至 watchOS/其他音频栈。固定 15/18 手势、自由手、短时个性化可用；开放手姿、手物交互、全天常开、30 FPS 高帧率尚未证明。隐私上 18–21 kHz 不可闻且带通滤除语音，但研究中原始宽带音频曾传到服务器；产品需端侧处理。\n**已演示 vs 推断**：已演示=三款表上的 cross-session/cross-user 误差、统一模型、单 session 微调恢复、Galaxy 端侧延迟、3 分钟功耗。推断=日常常开续航、持物自动暂停、跨平台泛化、30 FPS 实时、长期用户接受度。\n\n\n\n\n\n### 探索问题\n\n1. **单对扬声器-麦克风的空间信息上限与校准贡献**：验证方式：在受控步进电机平台上做消融（原始/差分、峰值校正开/关、中值滤波开/关、距离裁剪 30/60/120 像素），并在三款表上分别测 MPJPE；用不同角度/距离回归分析误差来源。可能收益：判断误差是硬件信息不足还是校准/模型不足，指导是否值得加第二麦克风。风险：消融改变输入分布，单独去掉校准可能让模型学到伪影；需要重训而非只推理。\n2. **跨用户/跨场景的最小个性化预算**：验证方式：leave-one-user-out 下做 0、0.25、1、5、9 个 session 的 k-shot 微调，分层报告新用户、新姿势、行走、持物；比较普通微调 vs 元学习。可能收益：给出产品可接受的标定分钟数。风险：小样本微调过拟合；若同一用户数据泄漏到预训练会高估；持物协议本身难定义真值。\n3. **持物感知与手物交互的失效边界**：验证方式：采集有/无杯子、不同物体尺寸/材质/抓握方式的同步声学+视觉数据，先训练物体存在/抓握分类器，再比较“检测到持物即暂停”与“物体条件化回归/多通道”策略；报告持物 MPJPE 或至少检测 AUROC。可能收益：把最大现实短板转为可部署的降级策略。风险：物体改变手几何使原手姿标签失效；单通道声学可能无法分离物体与手，需额外传感。\n\n\n\n\n\n### 引用与核验\n\n**核验范围**：仅使用所给论文正文与参考文献列表；未联网访问 ACM、GitHub 或原论文，因此外部事实均标为待核验。\n**重点核验**：\n\n- EchoWrist [^19] 是最近邻与最强对比。论文转述其定制腕带、两对扬声器-麦克风、cross-session 4.81 mm、cross-user 12.2 mm（Table 1、Sec.2.3）。该数字与“定制硬件换性能”的论点直接相关，但未核对 EchoWrist 原文的协议、参考姿态数和是否跨天；Table 1 自己也注明协议不完全统一。\n- FingerTrak [^9]、WR-Hand [^22]、DiscoBand [^3]、EtherPose [^12]、EITPose [^17] 的数值均来自 Table 1 的作者汇总；未逐篇核验。Study 4 声称优于 DiscoBand 17.87 mm、EITPose 17.81 mm（Sec.9.1.1），依赖这些数字与 pose-to-pose 协议可比；只能作方向性引用。\n- C-FMCW [^42]：3.57 mm 分辨率公式 R=C/(2F_s) 见 Sec.3.3.1；文中 L-FMCW 一句排版写作“=2B”但数值按 C/(2B) 算出 57.2 mm，属明显笔误，不影响公式使用。原始 C-FMCW 推导未核。\n- FastViT-T12 [^40]、MediaPipe Hands [^49]、MANO [^32] 是方法依赖；仅按论文引用，未核外部实现版本。\n- 数据集/代码链接 <https://github.com/witlab-kaist/WatchHand> 为作者声明，未访问；可用性待验证。\n**一致性问题**：标题页作者顺序为 Jiwan Kim、Chi-Jung Lee、Tianhong Catherine Yu、Ruidong Zhang、Hohurn Jung、Ian Oakley、Cheng Zhang；ACM Reference Format 把 Hohurn Jung 放在第三位，顺序不一致，本文采用标题页顺序。Study 4 写“Xiaomi Watch Pro 2”，而 Sec.3.2 与 Study 1 为“Xiaomi Watch 2 Pro”，疑为笔误。参考文献 [^14] OpenAcoustics 标 2026 但 venue 为 UbiComp Companion '25，元数据可能不一致；非核心。\n**外围引用**：应用/背景类 [1,2,4–8,10,11,13,15,16,18,20,21,23–31,33–39,41,43–48,50–52] 未逐条核验；只用于 related work、应用场景和组件选择，不支撑核心定量 claim。\n**结论**：核心定量证据来自本论文自己的实验与 Table 1 转述；凡涉及“优于先前系统”“公开数据集可用”“跨平台可部署”的说法，在未访问外部源前均应视为作者 claim/待核验。\n\n\n\n\n\n### 最终判断\n\n把 WatchHand 当作“在固定手势集和短时个性化下，COTS 单对声学传感器可行”的强系统论文，而不是通用手姿解决方案。最可信的是 cross-session/跨设备/左右手的厘米级结果、统一模型和单 session 微调恢复；最不应直接外推的是开放手姿、持物、跨用户开箱即用、全天续航与 30 FPS 实时。若做研究原型，可复用其 C-FMCW 预处理、FastViT 回归和三种评估协议；若做产品，先验证目标设备音频栈、持物降级策略和个性化预算。下一步：按 module_e 先核验数据集/代码并复现 cross-session 与 cross-user 两条主结果，再做校准与持物消融。"
}