{
  "paper_id": "f175a1e94726fc074166b7e1be95e80f",
  "paper_title": "WatchHand: Enabling Continuous Hand Pose Tracking On Off-the-Shelf Smartwatches",
  "paper_authors": [
    "Jiwan Kim",
    "Chi-Jung Lee",
    "Tianhong Catherine Yu",
    "Ruidong Zhang",
    "Hohurn Jung",
    "Ian Oakley",
    "Cheng Zhang"
  ],
  "publication_date": "2026年4月13日至17日",
  "publication_venue": "2026 CHI Conference on Human Factors in Computing Systems (CHI '26), Barcelona, Spain",
  "abstract": "在腕戴设备上跟踪手部姿态可支持丰富且具表现力的交互，但商用智能手表尚无法实现这一能力，因为现有方案依赖外部传感器或定制硬件，限制了真实世界适用性。为此，本文提出 WatchHand，这是首个仅利用现成智能手表内置扬声器和麦克风实现的连续三维手部姿态跟踪系统。WatchHand 发射不可闻的调频连续波并捕获手部反射信号，再由深度学习模型估计20个手指关节的三维姿态。作者在多种真实条件下评估了系统，包括多款智能手表、不同佩戴手、身体姿势、噪声条件和姿态变化协议；在包含设备重新佩戴的跨会话测试中，平均每关节位置误差为7.87 mm。尽管系统在面对未见过的用户或手势时性能会下降，但只需少量数据进行轻量微调即可有效适配。总体而言，WatchHand 消除了额外硬件需求，降低了智能手表手部跟踪的门槛，使数百万现有设备能够支持鲁棒、随时可用的交互。\n",
  "keywords": [
    "手部姿态",
    "智能手表",
    "可穿戴设备",
    "声学感知"
  ],
  "paper_institutions": [
    "韩国科学技术院（KAIST）电气工程学院",
    "康奈尔大学"
  ],
  "output_language": "zh",
  "provider": "doubao",
  "model": "doubao-seed-2.1-pro",
  "prompt_template": "simple",
  "extracted_at": "2026-10-20T04:25:37.179962Z",
  "template_tag": "simple",
  "summary": "### 摘要\n\n针对商用智能手表虽已大规模普及却不能连续跟踪三维手部姿态，而现有摄像头、雷达、射频天线、肌电、主动声呐或IMU方案往往只能识别离散手势或依赖额外/定制硬件的问题，WatchHand 在主动声学感知和腕戴连续姿态跟踪研究基础上，首次仅用现成智能手表内置的一对扬声器和麦克风实现连续3D手部姿态估计。系统发射18–21 kHz不可闻FMCW信号，由麦克风接收手部反射与衍射信号；其核心机制是采用C-FMCW互相关对齐发射与接收信号，并将回声时间滞后映射为空间距离，理论距离分辨率为 R_C-FMCW = C/(2F_s) = 343/(2×48000) = 3.57 mm。信号经五阶巴特沃斯带通滤波、直接路径同步、逐扫频互相关和设备无关校准后形成原始回波剖面，再用相邻帧差产生抑制静态反射的差分回波剖面；二者组合为60×96×2输入，对应21.42 cm感知范围和1.2秒时间窗，由6.62M参数的FastViT-T12端到端回归20个手指关节的60个三维坐标，训练损失结合坐标MSE与权重0.1的速度损失以保证时间平滑。研究使用MediaPipe Hands从30 FPS、正对掌心的RGB视频中获取真值，通过腕部参考、手掌平面旋转和手型缩放降低会话与用户差异，并在四项研究、40名参与者、共35.6小时的公开数据中覆盖三星Galaxy Watch 7、小米Watch 2 Pro、Google Pixel Watch 3、左右佩戴手、坐姿、举臂、垂臂、 loud music、旁人移动、行走、改变手型以及姿态-中性-姿态和直接姿态到姿态转换；这些设置刻意模拟日常硬件差异、设备重佩戴和环境干扰，并与既往研究协议保持可比。评估采用MPJPE、MPJAE和MWAE：姿态-中性-姿态跨会话声学模型达到7.87 mm、6.06°和腕部7.19°，会话内为6.02 mm、4.63°和5.70°，跨用户为14.88 mm、8.27°和12.76°，加入IMU的多模态模型没有显著提升；新姿势零样本误差为9.96 mm，单会话约2分钟微调后降至7.65 mm，九会话微调降至6.58 mm；音乐和1 m外旁人移动对性能影响较小，行走和改变手型会显著干扰回声，但简短场景微调可大幅恢复；直接姿态到姿态转换的跨会话、会话内和跨用户MPJPE分别为15.48 mm、12.68 mm和22.60 mm，快速与慢速转换分别为15.61 mm和17.04 mm。这些结果支持了本文的核心创新：单对、位置并不理想的商用智能手表声学器件也能捕获足够的手指与腕部信息，并用轻量个性化弥合泛化差距。未来工作包括构建更大规模异构数据集、分布式匿名采集、声学仿真、自监督学习、无监督域适应、元学习适配、物体感知以及功耗优化；真实应用可涵盖烹饪时免触控控制、演示导航、无障碍手指拼写和跨设备空间输入，但仍受未见用户、未见手势、行走等近场物理变化、手持物体反射和连续声学感知功耗等约束。系统已在三星Galaxy Watch 7上完成端侧部署，模型大小26.7 MB，平均预测延迟0.115秒，3分钟测试的整机电池消耗约为0.87%–1.52%。\n\n### 关键要点\n\n- WatchHand是首个仅依赖现成智能手表内置扬声器和麦克风的连续三维手部姿态跟踪系统，不需要外部传感器或硬件改装。\n- 系统持续发射18–21 kHz不可闻FMCW信号，并通过麦克风接收手部反射和衍射信号，从而把普通智能手表变成空中微型声呐。\n- C-FMCW通过发射与接收信号的互相关估计回声时延，在48 kHz采样率下理论距离分辨率达到3.57 mm，显著高于常规线性FMCW由3 kHz带宽决定的57.2 mm。\n- 原始回波剖面保留手部几何反射信息，差分回波剖面通过相邻帧相减抑制静态环境反射，二者组成60×96的双通道模型输入。\n- 针对不同手表音频栈导致的峰值错位和周期性漂移，系统采用滑动窗口峰值校正与中值滤波，且所有设备使用同一套硬件无关校准流程。\n- 姿态估计模型采用FastViT-T12，输出20个手指关节共60个三维坐标，并以MSE坐标损失和速度损失联合训练，以兼顾位置准确性与时间连续性。\n- 第一项研究有24名参与者，覆盖三款商用智能手表和左右佩戴手，每人完成20个会话并在会话间重新佩戴设备，共采集1152分钟数据。\n- 在姿态-中性-姿态协议下，跨会话MPJPE为7.87 mm，会话内为6.02 mm，跨用户为14.88 mm；跨会话结果中手表型号和佩戴手没有显著主效应。\n- 结合声学与IMU的多模态模型在MPJPE、MPJAE或MWAE上均无显著提升，说明声学回声已同时包含手指局部运动和腕部整体运动信息。\n- 身体姿势研究显示，直接测试未训练的举臂和垂臂姿势时MPJPE为9.96 mm，使用一个新会话微调后降至7.65 mm，九会话微调后降至6.58 mm。\n- 噪声研究中， loud music和1 m外旁人移动与基线性能相当，但行走和故意改变手型会显著降低性能；每个噪声条件仅用一个会话微调即可明显恢复。\n- 直接姿态到姿态研究包含125种转换，跨会话MPJPE为15.48 mm；手持杯子等物体会引入额外回声并掩盖手部姿态模式，是单通道声学方案的重要约束。"
}