# WatchHand：在市售智能手表上实现连续手部姿态跟踪 Jiwan Kim $^{*}$ 电气工程学院 韩国科学技术院 大田，韩国 Chi-Jung Lee $^{*}$ 康奈尔大学 纽约州伊萨卡，美国 Tianhong Catherine Yu 康奈尔大学 纽约州伊萨卡，美国 张瑞东 信息科学专业 康奈尔大学 纽约州伊萨卡，美国 Hohurn Jung 电气工程学院 韩国科学技术院 大田，韩国 Ian Oakley† 电气工程学院 韩国科学技术院 大田，韩国 Cheng Zhang† 计算与信息科学专业 康奈尔大学 纽约州伊萨卡，美国 A) 在商用智能手表上采集数据 ![Image](images/f6d8b7a01ec0a9304c2df104f019c0d90acc6b3cdfd614db1d2f04f2baa45304.jpg) B) 数据预处理 ![Image](images/2045013bca2619f224d64fddfb1458daf84f07f74bbb0651232f56ce49dc96cf.jpg) C) 深度学习 ![Image](images/83fd4f9caca5154bbf6660451cee0f8d6ef278b5500795fd17d4a8ff07e421b4.jpg) D) 连续手部姿态跟踪 ![Image](images/312fd5d2324114494ee16d61491d6742d5cc19a67b102a984ff54e6aeb3de71f.jpg)
Figure 1: Overview of WatchHand: (A) Commercial off-the-shelf smartwatch emits inaudible frequency-modulated continuous waves (FMCW) via its speaker while capturing reflected and diffracted signals from hand motion through its microphone. (B) The captured acoustic signals are preprocessed using cross-correlation to generate echo profiles—a spatiotemporal representation of signal reflections. (C) A deep-learning model then processes echo profiles to (D) continuously track 3D hand poses.
## 摘要 在可穿戴设备上跟踪手部姿态能够实现丰富且富有表现力的交互方式，但这一功能在商用智能手表上仍未实现，因为此前的实现方案依赖外部传感器或定制硬件，限制了其实际应用范围。为解决这一问题，我们推出了WatchHand——首个在市售智能手表上实现的连续3D手部姿态跟踪系统，该系统仅利用手表内置的扬声器和麦克风即可运行。WatchHand会发射人耳听不见的频率调制连续波，并捕捉这些声波从手部反射回来的信号。这些声学信号会被送入深度学习模型，用于估算20个手指关节的3D手部姿态。我们在多种现实场景下对WatchHand进行了评估，包括不同型号的智能手表、不同佩戴者的手、不同身体姿势、不同噪声环境以及不同的姿态变化协议；结果显示，在更换设备后进行的跨会话测试中，各关节位置的平均误差仅为7.87毫米。 ![Image](images/7ea416dd8fd8ea6a4c940ac7cc634d3afd9bb01ae4d089b7e25007425447f3af.jpg) 尽管对于未见过的用户或手势，系统性能会有所下降，但只要用少量数据对模型进行轻量级微调，它就能有效适应新情况。总体而言，WatchHand消除了额外硬件的需求，降低了基于智能手表的手部跟踪技术门槛，同时能在数百万台现有设备上实现稳定且随时可用的交互功能。 --- ## CCS概念 • 以人为中心的计算 → 手势输入；基于声音的输入/输出；移动设备。 ## 关键词 ## ACM参考格式 手部姿态、智能手表、可穿戴设备、声学传感 手部姿态、智能手表、可穿戴设备、声学传感 金志万、李智荣、郑浩勋、于天红、张瑞东、伊恩·奥克利和张成。2026年。WatchHand：在市售智能手表上实现连续手部姿态跟踪。收录于2026年CHI人机交互系统会议论文集（CHI '26），2026年4月13日至17日，西班牙巴塞罗那。美国纽约州纽约市ACM出版社，共21页。 ## 1 引言 手是我们与周围世界互动、表达物理意图以及执行活动的基本工具。然而，尽管市场上已有数百万块智能手表，但没有任何一款商用设备能够连续跟踪手部姿态——而这一技术对于理解用户意图和行为至关重要，例如支持情境感知应用或行为交流与表达（如手指拼写[^11] [^21] [^30]）。鉴于跟踪手部姿态对交互的重要性，研究人员探索了多种基于腕戴式设备的传感方法，包括摄像头[^3] [^13] [^28]、射频（RF）天线[^12]、肌电图（EMG）[^22]、雷达[^7]、主动声纳[^15] [^19]以及运动传感[^44] [^46]。不过，以往的研究要么仅专注于识别离散的手部手势（而非连续跟踪手部姿态）[^15] [^44] [^46]，要么需要额外的硬件[^3] [^9] [^12] [^13] [^17] [^19] [^22]，而这些硬件在数以百万计的现有商用现成（COTS）智能手表上并不具备。因此，连续手部姿态跟踪目前仍仅限于定制硬件或研究原型中才能实现。我们认为，若能在无需额外硬件的情况下，让COTS智能手表实现连续手部姿态跟踪，将极大推动该领域的研究进展，从而立即解锁一系列可显著改善最终用户交互体验的下游应用。 连续手部姿态跟踪的主要挑战在于捕捉所有手指关节运动及手部动态的详细信息。李等人[^19]近期的研究证明了在定制腕带上利用两对扬声器-麦克风构成微型声纳、进而实现基于超声波的指尖运动跟踪的可行性。受此启发，我们观察到现代智能手表通常至少配备一个扬声器和一个麦克风，二者恰好可组成单个微型声纳。因此我们推测，重新利用这些内置传感器便能获取足够信息，从而在COTS智能手表上连续跟踪手指关节运动及手部姿态。在本文中，我们旨在评估这一假设，具体做法是解决将此前在定制硬件上实现的连续手部姿态跟踪声纳概念验证方案[^19]转化为适用于现有COTS智能手表的实用且可部署的解决方案时所必须克服的几项关键挑战。 - 硬件配置：商用智能手表通常仅配备一对扬声器-麦克风，且往往位于表壳的两侧（见图2）。目前尚不清楚COTS智能手表上的单对扬声器-麦克风能否捕获足够的反射信号以实现精细的手部姿态估计。此外，实用的传感系统还需兼容不同型号的智能手表，这些手表在麦克风和扬声器的质量、摆放位置及设计方面存在差异。 设备重新佩戴时的鲁棒性：当用户取下并重新佩戴设备时，放置位置或方向上的微小变化可能会改变传感器数据模式，从而导致跟踪性能出现差异 [^3] [^9] [^17]。实用的传感系统即便在手表重新安装后，也应能提供可靠的手部姿态跟踪性能。 - 现实世界的多样性：实用的传感系统还必须能够在不同的佩戴习惯、姿势、噪声和运动模式下保持鲁棒性。 需考虑不同的手表佩戴手偏好（例如左手或右手），这会改变扬声器和麦克风的空间朝向。 还需支持多种身体姿势，比如抬臂查看屏幕或手臂自然垂于身侧，这些都可能影响信号反射，进而影响手部姿态跟踪性能。 - 在恶劣条件下仍需保持鲁棒性，比如环境因素（如嘈杂音乐或附近的人体活动）或用户引发的噪声（如行走状态或改变的手部姿态）。 - 需覆盖动态的手部姿态变化，包括姿态中性状态（即在姿态切换间回归到固定的中性姿态）、直接的姿态间转换，以及不同的手指运动速度。 尽管已有诸多开创性研究，但以往的工作并未完全解决这些现实世界中的变异问题；而这些问题正是构建鲁棒、通用且可扩展的连续3D手部姿态跟踪系统的关键挑战，这类系统有望立即惠及数百万台商用智能手表用户。 在本文中，我们旨在应对上述挑战，通过推出WatchHand来降低腕戴设备上连续手部姿态跟踪的应用门槛。WatchHand是首个专为商用智能手表设计的连续手部姿态跟踪系统，仅依赖设备内置的扬声器和麦克风。我们的方法采用了基于互相关的频率调制连续波（C-FMCW）技术 [^42]。该系统通过扬声器向空气中发射人耳听不见的FMCW信号（18–21 kHz），再通过麦克风捕捉由手部姿态产生的反射信号；随后利用基于互相关的方法分析这些信号，生成时空回波轮廓。这些轮廓会被输入深度学习模型，以连续估算3D手部姿态。为了评估WatchHand，我们采用了以往研究中使用的成熟实验方案，这些方案采用了定制的扬声器和麦克风阵列 [^19] [^48]。为了证明WatchHand在现实场景中的适用性，我们开展了首次 --- 研究（样本量N=24），在来自三星、小米和谷歌三家不同厂商的三款新型商用智能手表上测试该系统，受试者可任意选择佩戴手。随后我们邀请了6名参与者进行第二项后续研究，考察不同身体姿势下的系统性能。在第三项研究（样本量N=8）中，我们评估了系统在嘈杂音乐、附近人体活动、行走以及改变手部姿态等各种噪声条件下的鲁棒性。最后，我们开展了第四项研究（样本量N=8），评估系统跟踪更动态手部姿态变化的能力。这些研究共同旨在验证系统在各类现实场景下的性能表现。 实验结果表明，WatchHand能够可靠地追踪三维手部姿态，在跨会话模型中，20个手指关节的平均关节位置误差（MPJPE）为7.87毫米；在跨用户模型中，该误差为14.88毫米。这些测试涵盖了不同智能手表型号以及不同佩戴手的情况。即便仅用单会话（2分钟数据）进行微调，该系统在手臂和身体姿势变化以及嘈杂环境下仍能保持稳健性能。此外，在跨会话测试中，WatchHand对动态手部姿态变化的适应能力也很强（平均MPJPE为15.48毫米）。为了全面评估系统性能，我们进一步分析了同会话和跨用户场景下的表现，以便与以往的研究直接对比，从而凸显WatchHand在多种评估环境下的鲁棒性。这些发现证实，即使设备被重新安装，WatchHand仍能展现出良好的性能；不过跨用户场景或动态手势变化下，其性能会出现预期中的下降。尽管如此，该系统能有效适应不同的身体姿势和噪声条件，这凸显了其实用性和在现实世界手部追踪应用中的适用性。我们在四项研究中收集了涉及40名参与者的数据集，该数据集已公开在上供大家使用。由此可见，仅利用现有内置硬件，WatchHand便证明了在商用智能手表上实现连续手部姿态追踪的可行性。我们的贡献包括： 首次利用市售智能手表内置的扬声器和麦克风，开发出无需外部传感器或硬件修改的连续三维手部姿态追踪系统，从而大幅降低了在腕戴设备上实现连续手部姿态追踪的门槛。 针对手部姿态估计设计了深度学习模型并进行了评估，采用了同会话、跨会话和跨用户等多种训练策略，以便与以往的研究进行广泛对比。 - 我们使用三星、小米和谷歌这三个主流品牌的智能手表进行了广泛的实证评估。WatchHand在多种场景下均表现出色（例如不同的手表型号、佩戴手、身体姿势、噪声条件以及手部姿态变化协议），这证明了其在现实世界中的可行性。我们发布了包含来自所有研究中40名参与者的共计35.6小时手部姿态变化数据的数据集，以支持该领域的进一步研究。 - 探讨了实现不同手部姿态、未见过的用户以及各种使用场景下的泛化能力的关键见解，同时考虑了功耗、隐私、系统部署和应用设计等实际因素，这些因素对系统的现实世界应用至关重要。 ## 2 相关工作 ### 2.1 主动声学传感 主动声学传感技术已成为一种极具前景的设备周围交互方式，其通过分析扬声器发出的不可听声波的反射或衍射来检测用户的手势或动作。早期的研究如SoundWave [^6]利用多普勒频移以及笔记本电脑内置的扬声器和麦克风来识别空中手势。同样，FingerIO [^28]和LLAP [^43]则探索了正交频分复用（OFDM）或多路连续波信号技术，在定制的智能手表或配备两对麦克风的商用智能手机上实现精确的近距离手指追踪。基于这些初步成果，研究人员在各种可穿戴设备上实现了更为丰富的声学传感方案，例如腕带 [^18] [^19] [^23]、智能手表 [^15] [^16] [^50]、戒指 [^48]、智能眼镜 [^24] [^25] [^51]以及耳塞 [^37]。这类研究旨在实现更具表现力且能感知上下文的交互模式，比如离散手势识别 [^15] [^18] [^37]、连续手部姿态追踪 [^19] [^48]、无声语音识别 [^50] [^51]以及活动识别 [^25]。 总体而言，这些研究凸显了主动声学传感技术在简单硬件配置下（仅需扬声器和麦克风）实现多样化且富有表现力的交互方式的潜力。然而，尽管这些成果令人瞩目，但它们对定制化专用硬件设计的依赖——通常需要多对精心布置的扬声器和麦克风 $^{[19,25,28,51]}$——限制了其在商用设备中的实际应用。我们认为，该领域的研究需超越概念验证原型，着手解决实际部署中的难题，例如依靠单个位置欠佳的扬声器和麦克风（如相距较远且朝向相反的情况）。WatchHand直接针对这些局限展开研究，仅利用智能手表内置的硬件便成功实现了极具挑战性的三维手部姿态追踪任务。这一成果通过展示如何在当前商用可穿戴设备上部署主动声纳系统，推动了相关技术的发展。 ### 2.2 商用智能手表上的手部姿态输入 智能手表手部姿态输入是指利用佩戴手表的手的动作来发出指令或响应事件。这种模式颇具吸引力，因为它天生支持单手操作 [^5] [^11] [^44] [^46]，且能借助双手的高灵活性实现丰富的表达效果 [^3] [^7] [^12] [^19] [^22]。不过，感知这些细微的动作仍颇具挑战性。以往的研究主要侧重于利用手表内置的惯性测量单元采集的运动信号。例如，Serendipity [^44]提出了一种基于手表运动数据的离散五类手部姿态识别系统，其平均F1分数达到了87%。Xu等人 [^46]进一步提出了一种用户自适应方法，用于定制基于智能手表的姿态输入系统，从而能够识别出更多种类的离散姿态（如12到16种）， ---
Table 1: An overview of existing wrist-worn continuous hand pose tracking systems. The Pose-N-Pose protocol denotes returning to a neutral (default) pose between variations, while Pose to Pose signifies direct transitions between target hand poses. Cross-session evaluation refers to session-independent testing with device re-mounting [^9] [^19] or across different days [^17]. Errors are reported in MPJPE (mm), except for *denoting MPJAE (°).
Related WorkSening Modality (# of sensors)Study Protocol (# of Ref Poses)Within Session ErrorCross Session ErrorCross User Error
FingerTrak [^9]Thermal cameras (4)Pose-N-Pose (19)12 mm27.2 mm87 mm
WR-Hand [^22]EMG sensors (8), gyro (1)Pose-N-Pose (12)25.7 mm-31.3 mm
EchoWrist [^19]Speakers (2), mics (2)Pose-N-Pose (15)-4.81 mm12.2 mm
WatchHandCOTS smartwatch's built-in speaker (1), mic (1)Pose-N-Pose (15)6.06 mm7.87 mm14.88 mm
Pose to Pose (15)12.68 mm15.48 mm22.60 mm
Digits [^13]IR camera (1), IR laser (1)Pose to Pose (10)$2^{\circ} - 9^{\circ} *$--
DiscoBand [^3]Depth cameras (8)Pose to Pose (10)11.69 mm17.87 mm19.98 mm
EtherPose [^12]RF antennas (2)Pose to Pose (11)11.57 mm--
EITPose [^17]EIT electrodes (8)Pose to Pose (12)11.06 mm17.81 mm18.91 mm
其F1分数最高可达92.1%。Tsunoda等人 [^39]利用手表内的加速度计，以90.2%的准确率识别出了11种拇指与手指之间的手势。 虽然这些研究成果令人鼓舞，但其在实际应用中的可靠性仍存疑。目前，这类技术的商业化应用往往局限于由简单姿势构成的有限手势集，比如拇指和食指捏合动作 [^1]、握拳动作 [^29]，或者依赖额外传感器的辅助（例如PPG传感器 [^52]）。我们认为，当前的运动传感技术并未充分发挥手部姿态输入作为一种富有表现力的交互方式的潜力。为了实现更丰富且富有表现力的交互体验，我们需要开发全新的系统，去探索商用设备上现有的其他传感通道，比如WatchHand中所采用的声呐技术。 ### 2.3 腕戴设备上的连续手部姿态追踪 连续手部姿态追踪能够实现富有表现力、无缝且能感知上下文的交互方式，因此堪称可穿戴计算领域的重要交互手段。现有研究已经探索了多种集成到腕戴设备中的周边传感技术，比如用于追踪手部运动的摄像头 [^3] [^9] [^13] [^45]、雷达 [^7]、声音 [^19]、射频天线 [^12]、接近传感器 [^5] 以及肌电图（EMG）传感器 [^22]。基于摄像头的方法虽然精度较高，但存在诸多实际限制：它们通常需要为摄像头预留专门的空间，将交互区域限制在摄像头的视野范围内，对光线变化极为敏感，而且实时图像处理所需的计算成本也很高。此外，在可穿戴设备中使用摄像头还会引发隐私问题，尤其是在公共场合 [^20] [^31]。因此，人们提出了其他传感方式来缓解这些问题。EtherPose [^12] 利用腕戴式射频天线来追踪手部姿态，而WR-Hand [^22] 则通过分析从前臂肌肉采集到的肌电信号来实现追踪。 然而，这些解决方案都需要外接传感器或专用硬件，不仅笨重，而且难以在日常使用中普及。例如，基于肌电信号的系统需要电极与皮肤持续接触，且需搭配紧贴手腕的腕带，这会严重影响用户舒适度 [^22]。同样，基于天线 [^12] 和雷达 [^7] 的方法也需要额外的庞大组件，无法与设备无缝集成。此外，这些系统往往对传感器的摆放位置要求严格，稍有偏移就会导致信号失真或追踪可靠性大幅下降 [^3] [^9] [^17]，但在日常使用中，用户经常需要取下并重新佩戴设备，这种情况显然难以实现。最近，EchoWrist [^19] 推出了一种基于腕带的主动声呐系统，它采用两对精心布置的扬声器和麦克风，能够实现精准的手部姿态估计（MPJPE仅为4.81毫米），甚至能在设备重新安装后仍能进行手物交互。不过，由于该系统依赖定制的硬件配置——需要在手腕两侧分别布置组件——因此无法应用于现有的商用智能手表。 表1概述了相关研究中探索的腕戴式连续三维手部姿态追踪技术。根据我们的分析，据我们所知，目前尚不存在能够适配当前（乃至未来）智能手表形态的连续手部姿态估计系统。我们提出的WatchHand是首个能在未经改装的商用智能手表上实现连续手部追踪的解决方案。 ## 3 系统设计与实现 ### 3.1 设计考量与原则 本文旨在回答的主要研究问题是：我们能否让市售智能手表持续追踪手部姿态？这是一项极具挑战性的任务，因为它需要仅利用普通消费级智能手表的有限传感能力，来精确估算20个手指关节的三维位置。为解决这一问题，我们研究了现代商用智能手表中最常见的内置传感器，包括麦克风、扬声器和惯性测量单元（IMU）。要追踪手部姿态，关键的传感环节在于获取关于手部和手指的精细运动与形状的高质量信息。用于追踪运动的最直观传感器就是IMU，已有大量研究利用它来识别离散的手部手势——通过学习不同手势在手腕处产生的运动特征指纹 [^39] [^44] [^46]。然而，手腕的运动所包含的信息不足以推断全部20个手指关节的姿态。我们需要一种更强大的传感方式，能够捕捉到更丰富的手指关节活动信息。近期的研究 [^19] 表明，腕带上的两对具有特定配置的麦克风和扬声器可以充当微声呐，用以捕捉并推断精确的手部姿态。 ---
A)
![Image](images/3872467cd53710dd1114578693967415e98440e4f49db5a6c33e7ef749554237.jpg)
B)
Figure 2: (A) Three different COTS smartwatches we evaluated and the physical locations of their built-in speaker and microphone, and (B) system evaluation setup: A smartwatch is worn on a prop hand while a stepper motor-driven linear stage moves a flat plate back and forth within typical finger movement ranges (10–15 cm). To evaluate different angles, the prop hand was rotated to various orientations (e.g., $0^\circ$, $\pm30^\circ$, $\pm60^\circ$, $\pm90^\circ$, and perpendicular) relative to the direction of plate motion.
我们据此推测：将内置麦克风和扬声器重新用作微声呐，能够为在商用智能手表上持续追踪手指关节运动和手部姿态提供充足的信息。 为了验证这一想法，我们开发了一个系统，该系统利用普通消费级智能手表上的内置扬声器和麦克风进行主动声学传感，以捕捉细微的手指运动。该系统会发射编码声波，麦克风则负责捕获反射和衍射信号，本质上相当于一套空气声呐系统。发射的声波会在空气中向手部传播；当它们碰到手部时，部分能量会以回声的形式被反射回源头，也就是麦克风处。随后系统会测量声波发射与回声接收之间的时间差。为了提高测距分辨率，并持续捕捉手部周围的复杂时空反射强度，我们采用了C-FMCW技术 [^42]，正如先前的研究 [^19] [^48] 中所展示的那样。该技术通过比对发射信号与接收信号的相关性，来估算声波的往返时间。最终得到的反映手部几何形状的时空反射模式，会被用来推断手部姿态。更详细的信号处理过程将在3.3节中介绍。 ### 3.2 数据采集系统 我们在三款运行WearOS系统的商用智能手表上实现了传感器数据采集系统：三星Galaxy Watch 7、小米Watch 2 Pro和谷歌Pixel Watch 3。这三款设备分别配备425 mAh、495 mAh和420 mAh的锂离子电池。当手表佩戴在右手背侧时，这三款智能手表均在左侧配备扬声器，右侧配备麦克风，且能够同时支持48 kHz、16位PCM音频播放与录音功能 [^14]。虽然这三款型号的扬声器都固定在左侧底部中央位置，但麦克风的摆放位置略有差异：Galaxy Watch的麦克风位于右侧居中位置，而小米和Pixel手表上的麦克风则略微偏向左侧和下方（见图2）。如果手表佩戴在左手腕上，这些部件的位置则会相反。不同的传感器位置会显著影响声学信号的反射路径，这也是本文重点探讨的内容。 我们的系统会发射处于人耳听阈之外的FMCW信号（18–21 kHz），同时采集手部运动所产生的反射信号和衍射信号。为了测定不同设备上的输出声级，我们使用声级计在距离扬声器10厘米处测量播放时的声级。其中，Galaxy Watch 7发出的声级为61.6 dBA，小米Watch 2 Pro为66.9 dBA，Pixel Watch 3的声级最高，达到80.8 dBA。为确保不同硬件上采集的信号特征一致，我们的系统会通过Android MediaRecorder API记录未经处理的原始信号 $^{1}$。此外，我们还在每台设备上以最大可用采样率记录六轴IMU数据（Galaxy Watch：100 Hz；小米Watch：50 Hz；Pixel Watch：200 Hz），以探究其在手部姿态追踪中的潜在作用。 ### 3.3 声学数据预处理 3.3.1 基于C-FMCW的回波轮廓。我们采用基于C-FMCW方法的空气介质主动声学传感技术 [^42]。在传统的线性FMCW方法中，理论上的距离估计或测距分辨率（ $R_{L-FMCW}$）会受到扫描带宽（B）以及空气中声速（ $C = 343 m/s$）的限制。按照我们的工作带宽计算，分辨率仅为57.2毫米（ $= 2B = \frac{343 m/s}{2 \times (21000 - 18000)} = 0.0572 m$） [^36]。然而，通过运用C-FMCW技术，理论上有效的距离估计分辨率（ $R_{C-FMCW}$）转而受到系统采样率（ $F_s$）的限制，从而大幅提升了空间精度： $$ R_{C-FMCW}=\frac{C}{2F_{s}}=\frac{343m/s}{2\times(48000)}=0.00357m=3.57mm $$ ---
Algorithm 1 Echo Profile Generation
Require: Rx: Raw received audio signal in the full recording ( $N_{samples}$); $N_{samples}$: The length of Rx; Tx: Reference transmitted FMCW signal of one chirp, (L, ); L: Frame length, the samples per chirp, which is (600); $F_s$: Sampling rate, which is (48000); $[f_{min}, f_{max}]$: Bandpass frequency range, the frequency range of the transmitted signal, which is (18000, 21000); $N_{order}$: Butterworth bandpass filter order, which is (5) $N_{frames}$: The number of total echo frames.
Ensure: P: Original Echo Profiles ( $L, N_{frames}$); $P_{diff}$: Differential Echo Profiles ( $L, N_{frames} - 1$)
Step 1: Data Formatting and Filtering
1: Rx ← BUTTERWORTHBANDPASSFILTER( $R_x, f_{min}, f_{max}, F_s, N_{order}$)▷ Filter to match transmitted signal bandwidth
Step 2: Start Position Detection
2: Corrsync ← $Rx \star Tx$▷ ★ denotes Cross-Correlation
3: $p_{start}$ ← $\arg \max(|Corrsync|)$▷ Find index of strongest correlation
4: $p_{start}$ ← $(p_{start} + L - [L/2])$ mod L▷ Adjust to frame center
5: Rx ← $Rx[p_{start} , :]$▷ Align to start position, $R_x$ shape: $(N_{samples} - p_{start},)$
Step 3: Original Echo Profile Computation
6: y ← $Rx \star Tx$▷ ★ denotes Cross-Correlation, y shape: $(Length(Rx) + L - 1,)$
7: $N_{frames}$ ← $[Length(y)/L]$▷ Calculate $N_{frames}$ with L
8: P ← RESHAPE( y, $[N_{frames}, L]$)▷ Reshape into frames
9: P ← $(P)^T$▷ Transpose to (Distance, Time), P shape: $(L, N_{frames})$
Step 4: Differential Echo Profile Computation
10: for frame $f = 1$ to $N_{frames}$ do
11: $P_{diff}[f] \leftarrow |P[f]| - |P[f - 1]|$▷ Calculate frame-to-frame magnitude difference
12: end for▷ $P_{diff}$ shape: $(L, N_{frames} - 1)$
这种分辨率的显著提升，对于实现系统所需的精细手部姿态跟踪至关重要。先前的研究表明，C-FMCW技术能够借助定制戒指上的单个扬声器-麦克风对来支持连续的手部姿态跟踪[^48]。我们在系统中采用了该技术，并在算法1中详细阐述了信号处理流程。系统启动后，会持续发射并记录18-21 kHz频段内的FMCW信号。接收到的信号首先会经过一个5阶巴特沃斯带通滤波器，其截止频率与发射频段相匹配，以此消除带外噪声。由于扬声器与麦克风之间的直接路径（无反射）是最短的传播路径，因此也是最早到达的路径，我们将其作为绝对距离的参考。为了确定这一直接路径的到达时间，我们计算一次发射的FMCW扫频信号与滤波后的接收信号之间的互相关性。互相关峰值出现的时间戳便标识了接收扫频信号的起始点，也就是直接路径对应的时间点，该时间戳可作为后续信号对齐的参考。随后，我们将接收信号按每次FMCW扫频对应的片段进行处理，每次扫频包含600个采样点（L）。针对每一次扫频，我们都会计算发射信号与接收信号之间的互相关性。所得数值反映了不同时间延迟下的反射强度，我们再利用声速将这些数值映射为距离。这个经过距离映射得到的向量构成了回波轮廓的一个切片，我们称之为回波帧。将这些切片按时间顺序堆叠起来，便形成了完整的原始回波轮廓。在原始回波轮廓中，x轴上的每个像素对应一次频率扫频的持续时间，即12.5毫秒($L = \frac{L}{F_s} = \frac{600}{48000} = 0.0125s$)。y轴由600个像素组成，代表传感范围，每个像素对应的距离约为3.57毫米[^42] [^48]。每个像素的强度代表了该特定时间/距离下的相关性强度。 3.3.2 差分回波轮廓。原始回波轮廓通过时间与距离上的反射强度保留了手部形状信息，但其中也包含了来自附近表面和环境的静态反射。为了抑制这些静态成分并突出运动特征，我们通过计算原始回波轮廓沿时间轴的帧间差异来引入差分回波轮廓，从而捕捉声学反射的时间变化。具体来说，我们用当前帧减去前一帧的回波帧。这一过程有助于削弱静态反射，同时强化运动元素，进而提升系统跟踪手指运动的能力。 为了聚焦手部反射并减少环境干扰，我们仅保留回波轮廓垂直轴上距离最近的60个像素，对应的传感范围为21.42厘米。这一范围覆盖了典型的手腕到中指尖距离（男性平均：19.05厘米，女性：18.29厘米[^38]）。在水平轴上，我们采用1.2秒的窗口，对应96个像素。综合原始回波轮廓与差分回波轮廓，最终为模型提供两个通道的$60 \times 96$声学输入（见图1-B）。在将回波轮廓输入模型之前，会先对窗口内的数据做归一化处理，以确保在不同条件下的一致性。 --- ![Image](images/4dba3c0b6d1bfd60c71686f5cc31b8e71f905f74c1fb060eea2254648dfd968a.jpg)
Figure 3: Visual examples of echo profile calibration across three commercial smartwatches. Sliding-window cross-correlation peak correction removes peak misalignment (red triangles), while periodic drift calibration mitigates repeating noise artifacts (red dashed boxes). Hand pose transition timings are marked (yellow triangles). Together, these calibration steps produce cleaner and more temporally stable echo profiles during dynamic hand pose transitions.
为了提升信号清晰度并突出重要的模式，我们在可视化时将回波轮廓裁剪为阈值 $\pm10^{10}$。这一阈值是根据经验确定的，能够最有效地展示手指运动模式。本文中所有用于可视化的回波轮廓图均采用这种裁剪后的版本，从而更清晰地呈现提取出的特征。不过，为了给深度学习模型保留尽可能多的信息，我们在训练过程中使用的是未经裁剪的原始回波轮廓。 3.3.3 不同智能手表的回波轮廓校准。理想情况下，代表智能手表麦克风与扬声器之间固定直接路径的最强互相关峰值，应在同一录音中的每一帧回波里出现在一致的位置；而本身较弱的反射信号则可相对于该点进行分析。然而，我们的初步研究发现在部分录音中，尤其是小米和Pixel Watch设备，这一主导峰值在连续回波帧中的位置会出现明显偏移（见图3）。我们将此归因于音频栈中特定于设备的时序抖动：即啁啾信号重复之间的间歇性延迟。这种错位会使回波轮廓偏离正确范围，破坏原有模式，进而导致模型做出完全错误的预测。为解决这一问题，我们采用了一种简单却实用的方法——基于滑动窗口的校正方法。该方法能在重叠窗口内动态估算峰值位置，并对出现显著偏移的片段进行重新对齐。 另一个挑战是原始回波轮廓中回波帧的周期性偏移。这种偏移会在差分回波轮廓中表现为周期性伪影。导致该问题的因素可能包括有效采样率的细微周期性变化以及调制混叠效应。为消除这些周期性伪影，我们对原始回波轮廓应用了中值滤波。图3的第二行显示，这种滤波方法能有效消除细微偏移，同时保留原始数据的时间一致性，进而去除差分回波轮廓中的伪影，确保信号表示更加纯净。 我们发现小米和Pixel Watch更容易出现对齐问题，而Galaxy Watch则更易产生偏移现象。这些特定于设备的回波轮廓不一致性会显著降低模型性能，尤其是在使用跨品牌混合数据进行训练时。我们的校准流程能通过一种通用且不受硬件限制的算法有效解决这些问题，纠正对齐偏差和偏移现象。重要的是，所有设备的回波轮廓都采用相同的校准流程进行处理，无需针对特定手表或型号进行专门调整。 ### 3.4 IMU运动数据预处理 为了从IMU数据中提取更多有效特征并降低噪声干扰，我们采用了先前研究中的数据处理方法 [^46]。原始的六轴IMU数据包含三轴加速度数据和三轴陀螺仪数据，共产生6个初始数据通道。每个通道需经过二阶巴特沃斯带通滤波器处理，滤波器的截止频率范围分为三组：0.22–8 Hz、8–32 Hz以及32 Hz以上。这种滤波方式能够分离信号的不同频率成分。在保留原始数据的同时，加入这三种滤波后的数据，使得每个原始通道扩展为4个通道。与声学数据处理一致，我们对IMU数据采用1.2秒的窗口，且在输入模型前会对窗口内的数据进行归一化处理。 ### 3.5 基于商用智能手表的初步可行性测试 为了验证我们的系统在商用智能手表上进行3D手部姿态追踪的可行性，我们直观分析了处理后的数据，以评估硬件配置和佩戴手表的手部对回声轮廓的影响，判断单个内置扬声器-麦克风组合能否可靠地捕捉设备周围的3D运动，以及回声轮廓如何支持可靠的3D手部姿态追踪。 3.5.1 硬件与佩戴手表的手部的影响。我们首先研究了智能手表硬件差异及佩戴手部对所捕获回声轮廓的影响。为了模拟一致的设备周围运动，我们使用由步进电机驱动的线性平台，让一块平板以6厘米/秒的速度在佩戴智能手表的人手模型上往复移动，移动范围为10–15厘米——这一范围对应典型的手指运动区域（见图2-B）。对得到的差分回声轮廓进行直观观察（图4-A）发现，虽然所有手表都能可靠地捕捉到不同的运动模式，但不同设备和手部朝向下的信号特征存在差异。例如，Galaxy Watch呈现出明显的锯齿形图案，小米手表产生的轮廓更宽，而Pixel Watch则显示出较窄的响应。左右手配置之间也存在信号强度的差异（左右手配置会使手表翻转，进而改变麦克风和扬声器的朝向）。这凸显了在考虑实际应用中硬件及佩戴手表的手部差异时的重要性。 --- ![Image](images/5c4af6d3178dff1ebe0b1d6c8d1afaf52a5eb44c185ac8857861bc33d395e596.jpg)
Figure 4: Captured original and differential echo profiles across different COTS smartwatches (Galaxy, Xiaomi, and Pixel) (A) and varying angles between the plate's motion and line toward the hand (B) during repetitive back-and-forth movements toward and away from the smartwatch.
在佩戴智能手表的人手模型上，移动范围为10–15厘米——这一范围对应典型的手指运动区域（见图2-B）。对得到的差分回声轮廓进行直观观察（图4-A）发现，虽然所有手表都能可靠地捕捉到不同的运动模式，但不同设备和手部朝向下的信号特征存在差异。例如，Galaxy Watch呈现出明显的锯齿形图案，小米手表产生的轮廓更宽，而Pixel Watch则显示出较窄的响应。左右手配置之间也存在信号强度的差异（左右手配置会使手表翻转，进而改变麦克风和扬声器的朝向）。这凸显了在考虑实际应用中硬件及佩戴手表的手部差异时的重要性。 3.5.2 设备周围3D运动追踪的可行性。接下来，我们研究了商用智能手表上的主动声学传感技术支持设备周围3D运动追踪的能力。虽然SonarSelect [^16]利用商用智能手表上的声纳技术实现了对一维运动的稳健感知，但其他近期研究[^15] [^50]表明，仅通过单个内置扬声器和麦克风就能检测到更复杂的设备周围运动（例如用于无声语音识别的唇部运动）。为了在3D手部姿态追踪的背景下评估这一能力，我们直观分析了运动方向的变化对所捕获回声轮廓的影响。具体而言，我们改变了移动平板的运动路径与手/腕部长轴之间的夹角，从$-90^{\circ}$到$90^{\circ}$，每次递增$30^{\circ}$；此外还测试了垂直于手掌方向的运动角度（即朝向或远离手掌的运动，见图2-B）。图4-B展示了相关结果。结果显示不同周围运动角度对应着不同的图案。例如，当运动方向朝向手部时（$0^{\circ}$），会出现明显的直线锯齿形图案；随着角度变化，回声轮廓也会随之改变：左手情况下在$\pm30^{\circ}$处出现不连续现象，右手情况下在$\pm30^{\circ}$处呈现弯曲信号；当运动垂直于手表屏幕时会出现信号偏移；当角度超过$60^{\circ}$时，双手的信号都会变弱。这些观察结果表明，所捕获的回声轮廓包含了丰富的设备周围3D运动信息，这些信息有望被用于实现连续的3D手部姿态追踪。 3.5.3 三维手部姿态跟踪的可行性。基于上述发现，我们进一步探讨了在不同手部姿态下实现连续手部姿态跟踪的可行性。图5展示了该系统记录的、由单名用户做出的各种手部姿态所对应的声学数据与运动数据样本。每种姿态都是先从张开手的状态过渡到目标姿态，然后再返回到张开手状态。对传感器数据的直观观察表明，不同的手部姿态会产生足够明显的模式差异，这支持了连续手部姿态跟踪的可能性。大多数姿态都表现出显著的变化，唯有ASL-5手势除外——该手势中手部保持张开状态且活动幅度极小。此外，手腕旋转类姿态在差分回波轮廓中会产生更清晰的模式。综合这些观察结果，可以确认仅利用商用智能手表内置的传感器即可实现三维手部姿态跟踪。 ### 3.6 深度学习流程 3.6.1 真实值的获取与归一化。由于我们的传感技术对手部的物理几何形状十分敏感，依赖基于标记的系统可能会扭曲信号。为了在不改变手部声学反射特性的前提下，获得可靠的连续3D手部姿态真实值，我们采用了MediaPipe Hands [^49]。尽管当手指关节被遮挡时，单目RGB摄像头的精度会有所下降，但我们通过合理摆放摄像头位置来尽量减少此类遮挡情况。 --- ![Image](images/3cbfc699895e0118d0368355f68640a9e286f0509778ceead8baf7d1c1a37ca7.jpg)
Figure 5: Processed original and differential echo profiles (see Section 3.3) and bandpass-filtered IMU sensor data in the 32-100 Hz range (see Section 3.4) captured from a single user using a COTS smartwatch (Galaxy Watch 7) during different hand postures.
A)
![Image](images/22f22a4553b07e38ce7a71a9b68fba41a692eb66d2b251354a5ae5e4a6a060bb.jpg)
Figure 6: (A) MediapPipe-based 3D hand joint annotation used as ground truth, showing 20 labeled landmarks from the root to each fingertip. (B) Study setup in which the laptop's front camera faces the participant's palm to capture ground truth without optical occlusion during hand pose demonstrations.
直接面向用户手掌（见图6）。这种基于RGB相机的方法已被以往的可穿戴手部追踪研究广泛采用，用于生成真实值 [^3] [^12] [^19] [^41] [^48]。借助MacBook Air内置的网络摄像头，手部姿态能以每秒30帧的速度被捕捉。利用MediaPipe Hands处理摄像头采集的视频画面后，可得到由3D空间中的21个手部关节坐标构成的3D手部模型。我们将腕部坐标设为坐标系的参考点（原点），通过从各点到腕部坐标的差值来计算其余20个关键点的相对位置。这种方法提供了以腕部位置为中心的统一参考框架。为了消除不同会话之间以及不同用户之间的手部位置、朝向和尺寸差异，我们对3D手部姿态的真实值进行了归一化处理。对于生成的每一帧画面，我们首先利用从腕部延伸至食指和小指掌指关节的向量来定义手掌平面。接着计算旋转矩阵，将该手掌平面与基于基准姿势得到的参考手掌平面对齐。这种旋转校正能够弥补不同录制会话间以及用户重新佩戴设备时不可避免出现的手部朝向差异。此外，针对每位用户，我们通过缩放每一帧画面来归一化手部尺寸，使得腕部与小指掌指关节之间的距离等于实测的物理长度。需要注意的是，腕部旋转并未被归一化，以保留其自然变化特性。这种归一化方法确保了生成的手部姿态数据在不同录制会话及不同用户之间具有可比性。 3.6.2 深度学习模型框架。我们构建了一个回归模型，用于学习声学数据到3D手部姿态的映射关系。每个真实视频帧作为30 FPS下的独立样本，通过时间戳对齐将回波特征映射到对应的真实值。为了支持连续的手部姿态跟踪，所有帧均被纳入训练，包括过渡片段。我们采用了FastViT-T12 [^40]——这是一种最先进的混合模型，它结合了卷积神经网络（CNN）的高效性与视觉变换器的强大特征融合能力。在此过程中，我们也尝试了ResNet-18 [^8]以及CNN-LSTM，这些模型在相关先前研究中已有应用 [^18] [^19] [^48]，最终我们选择了性能最优且最轻量级的模型。该模型以双通道张量作为输入，包含原始回波特征与差分回波特征。模型架构首先通过卷积模块对输入进行初步的4倍下采样，随后经过四个层次化的阶段，利用RepMixerBlocks逐步优化特征；在各阶段之间，PatchEmbed层会进一步下采样特征图。最终的回归头通过全局平均池化与线性层，将学到的特征映射到60个输出参数上，这些参数对应20个手部关键点的3D坐标（见图1）。这些关键点可直接用于重建手部的线框模型，如图6所示。我们 --- 随后我们使用MANO [^32]生成所有可视化结果。该模型采用端到端的训练方式，使用复合损失函数来确保预测结果的定位精度与时间连续性。该损失函数是预测坐标与真实坐标之间的均方误差（MSE）与速度损失的加权和；其中速度损失的权重设为0.1，用于惩罚相邻帧间的剧烈变化，从而促使模型生成更符合物理规律的运动轨迹。总体而言，该模型包含662万个参数。 为了探究IMU信号是否能补充声学传感的信息，我们在原有流程中加入了轻量级的IMU编码器。受基于IMU的全身姿态跟踪研究的启发 [^27]，我们先通过线性层将滤波后的运动信号（见第3.4节）映射为512维的嵌入向量，再将其送入双向LSTM进行处理。得到的特征会与声学特征拼接起来，最后通过简单的融合解码器来预测3D手部关键点。 #### 3.6.3 训练流程。我们采用三种协议来训练和评估我们的模型 - 跨用户模型：我们利用除一名参与者外的所有人的数据来训练跨用户基础模型，该参与者的数据专门留作测试集。这种协议模拟了系统先在大规模数据集上预训练、却无法获取终端用户数据的部署场景。 - 跨会话模型：通过对跨用户基础模型用目标用户除最后一会话外的所有佩戴数据做微调，得到针对该用户的定制模型，最后一会话则留作测试之用。这种协议模拟了用户在实际使用中会在系统正式部署前提供个性化数据的情形。 - 会话内模型：这类模型针对特定用户，利用直到倒数第三个会话的数据，再加上最后两个会话中50%的数据子集，来对跨用户的基础模型进行微调。最后两个会话中剩余的50%数据则用作测试集。该协议用于评估用户在重新佩戴手表后收集校准数据时系统的性能，模拟每次设备位置调整时发生的短暂个性化过程。 为了最大限度地利用我们收集到的数据集，我们对声学模型采用了统一的两阶段微调训练策略。在第一阶段，我们开发出能够捕捉参与者之间通用手部姿态跟踪模式的跨用户基础模型。这个跨用户基础模型采用Adam优化器进行训练，初始学习率为0.001，同时配备学习率调度器以便在训练过程中动态调整优化参数。训练共进行100个周期，如果验证指标在连续9个周期内没有改善，则会触发提前停止机制；训练过程中使用较大的批量大小256以促进稳定的收敛。第二阶段是面向用户的跨会话微调。我们以预训练的跨用户基础模型为起点，利用特定用户的数据来调整网络以适应个体的手部特征。此微调过程同样采用Adam优化器，但初始学习率降至0.0003，以便进行更精细的参数调整。训练周期仍为100个，批量大小则缩小到64，从而使模型能够更好地捕捉用户特有的细微特征。这种两阶段方法高效利用了我们的完整数据集：基础模型首先具备广泛的手部跟踪能力，再通过有针对性的微调来适应个体差异。 3.6.4 数据增强。为了提升模型对干扰噪声的鲁棒性并缓解过拟合现象，我们在训练过程中实施了数据增强技术。在保留原始数据的同时，我们向复制的数据样本中加入可控的随机性。对于声学数据，我们采用了三种针对不同信号变异方面的增强方法。首先，我们对回声轮廓引入随机垂直偏移，以模拟不同用户和会话中佩戴手表位置的差异。具体来说，我们施加$\pm5$像素的随机偏移，相当于约1.8厘米的范围，从而应对用户和佩戴会话中的这些自然定位不一致情况，提升模型的泛化能力。其次，我们加入幅度变化以增强模型对信号强度波动的耐受力。有80%的概率，我们会将回声轮廓的值乘以一个介于0.95到1.05之间的随机因子（$\pm0.5\%$）。第三，为了进一步考验模型提取稳健特征的能力，我们应用了时间和频率/距离掩码处理。有80%的概率，我们会随机掩盖某些区域：x轴（时间）上5到15像素，y轴（距离）上5到10像素。这样就在训练过程中引入了可控的随机性，迫使模型在面临轻微信号变化时仍能保持性能，而非单纯记忆精确的模式。 ## 4 研究1：连续手部姿态跟踪 我们开展了一项研究，旨在评估WatchHand在三种不同的商用智能手表以及不同佩戴手上的连续3D手部姿态跟踪性能。该研究已获得当地机构审查委员会（IRB）的批准。 ### 4.1 参与者 我们从当地大学招募了24名参与者（其中男性12人，平均年龄22.5岁，标准差为2.3）。23名参与者为右利手。虽然大多数参与者表示会将智能手表佩戴在非惯用手上，但有两名右利手参与者出于更便于查看通知或佩戴更舒适等原因，选择将其戴在惯用手上。参与者的手长平均为17.95厘米（标准差0.95，从手掌基部到中指指尖的长度），手掌宽度平均为7.88厘米（标准差0.53）。研究大约需要两小时完成，参与者可获得30美元的当地货币作为报酬。 ### 4.2 研究设计 我们采用了一种先前在定制硬件上验证过的成熟方法 [^19]，以确保结果的可比性。本研究共评估了18种手势（见图5），将其分为三类：(1)简单手势（五种单指弯曲动作）；(2)复杂手势（十种代表美国手语（ASL）数字0–9的复杂手指动作）；(3)手腕姿势（三种不同的手腕运动：屈曲、伸展和尺侧偏斜）。尽管拇指弯曲姿势和ASL-4姿势属于相似的动作，且同时出现在简单手势集和复杂手势集中，但我们仍保留它们以便与以往的研究进行直接比较 [^19]。由于我们的系统能够执行连续操作 --- 采用逐帧手部姿态跟踪而非离散手势分类，这种重复对结果的有效性影响甚微。每个实验阶段包含每种手势的四次重复，每次手势持续两秒。我们在每组内随机排列手势顺序以减少潜在的顺序效应，但保持组别顺序（简单→复杂→手腕旋转）固定，以降低参与者的困惑程度。这种设计思路源自先前的研究[^19]，便于与他们的结果进行直接比较。虽然以往的研究让每位参与者使用单手完成20个实验阶段，但本研究引入了两个自变量：硬件设备（三星Galaxy Watch 7、小米Watch 2 Pro、谷歌Pixel Watch 3）以及手部朝向（左手、右手）。硬件变量属于组间变量，而手部朝向变量属于组内变量。我们将24名参与者平均分配到三个智能手表组中，每组有8名参与者会在每种智能手表上完成所有研究任务。每位参与者需完成20个实验阶段，每只手各10个阶段，以确保在不同条件下收集全面的数据。在每个智能手表组内，参与者使用右手和左手完成试验的顺序均经过完全平衡处理。 ### 4.3 研究流程 这项研究是在一个空房间里进行的，参与者坐在桌前。为防止身体疲劳，参与者将手肘搁在桌上。参与者首先签署知情同意书，测量手的大小，并阅读实验说明。开始实验前，他们需花五分钟练习全部18种手部姿势。如果由于人体工程学限制无法完成某些姿势，参与者会被要求尽量模仿该姿势。例如，有13名参与者无法单独弯曲小指，因此他们要么将无名指一起弯曲（8人），要么将无名指向掌心方向旋转（5人）。接着，参与者按照指示将智能手表戴在指定手腕上，研究随即开始。在每个测试环节中，目标姿势会在参与者面前的屏幕上显示2秒钟（见图6-B），参与者需做出该姿势后再恢复到默认姿势（ASL-5）。随后新的目标姿势会出现。每个测试环节大约持续3分钟。参与者被要求在各环节之间取下并重新戴上智能手表，期间也可以休息。这种反复佩戴的过程模拟了现实使用情况，因为用户经常需要取下和重新佩戴智能手表。完成10个环节后，他们会将智能手表换到另一只手腕上，继续完成剩余的10个环节。研究结束时，参与者需填写一份人口统计问卷。 ## 5 研究结果 我们从24名参与者那里共记录了1152分钟的手势数据，其中六种不同组合（三种智能手表型号与两种佩戴手腕）每种各占192分钟。研究期间，虽然部分参与者因身体限制或注意力分散而偶尔做出错误的手势，但我们仍保留了所有记录数据，因为我们的基准真值采集系统能够可靠地追踪实际做出的手势，且我们的研究重点在于连续手部姿势追踪。这些自然变异丰富了数据集的多样性，有助于开发出在连续且无约束的手部姿势追踪场景下表现更稳健的模型。 为了评估WatchHand在连续手部姿势追踪方面的性能，我们参照先前的研究[^12] [^19]，首先将收集到的手势数据分为两个不同的子集：（1）精细的手指运动，包括五种简单手势和十种复杂手势；（2）大幅度的手腕旋转，包含三种手腕旋转手势。接着，我们针对不同的智能手表型号、手表朝向差异以及评估条件（如跨会话、会话内及跨用户模型）探讨了性能结果。我们按照第3.3节和第3.4节所述的流程处理所有声学和运动数据，然后在六种条件下训练模型（三种手表乘以两种佩戴手腕）。在此结果中，声学模型的输入包含两通道的回声轮廓（原始信号与差分信号），每个通道的尺寸均为$96 \times 60$，如图1-C所示。多模态模型还额外包含24个IMU通道（六个轴向$\times$，四个频带：原始信号加上三个滤波后的频带）。重要的是，该模型是在每次录音的所有帧上进行训练和评估的，包括指令性姿势以及过渡到这些姿势和从中退出的过程。我们使用1.2秒的滑动窗口，步长为1/30秒，这样就能为每个视频帧（30 FPS）获得一个输入窗口。这种设计明确旨在实现连续手部姿势追踪，而非静态姿势分类。 如第3.6.3节所述，我们按照两阶段训练流程实现了跨会话、会话内以及跨用户模型，并对其进行了评估。在本分析中，由于所有结果均呈正态分布且符合球形假设，我们以不同的手表硬件和佩戴手作为自变量，对两项指标开展了双因素方差分析。 ### 5.1 跨会话模型 5.1.1 连续的精细手指运动。我们使用两个标准指标来评估系统性能：平均关节位置误差（MPJPE）和平均关节角度误差（MPJAE）。在所有条件下，声学模型的平均MPJPE为7.87毫米（标准差1.67），MPJAE为6.06°（标准差1.52）。对于这两个指标，均未发现显著的主效应或交互作用（F值范围为0.005–0.42，p值范围为0.66–0.95）。这些结果证实，WatchHand仅利用声学数据就能可靠地追踪不同硬件和佩戴手条件下的连续三维手部姿态及精细手指运动。通过分解MPJPE和MPJAE指标，图7-A展示了各手指的平均三维手部重建误差。虽然MPJPE误差通常与手指长度相关，但MPJAE更清晰地显示出中指、无名指和小指是角度误差的主要来源，这些区域正是最容易出现非预期或协同运动的地方（例如，当要求仅弯曲小指时，无名指也会随之运动，这种生理限制在不同参与者之间存在差异）。 5.1.2 连续手腕旋转。接下来，我们使用平均手腕角度误差（MWAE）指标来评估系统的手腕旋转追踪性能。声学模型在手腕旋转追踪方面表现出很高的准确性，其平均MWAE为 ---
A)
![Image](images/95768100d02a7ad9284a2f984af66032db72672c46461994ed87d207f1169571.jpg) ![Image](images/a6213340a86ebf44b107bf62a6ea8507c83de8a06b6a0bba8ae2c61830b1b040.jpg)
B)
![Image](images/c2e1f86327a4d5a6f218745609d095e7c39511f05daac924f2272dccc2f7c59b.jpg)
Figure 7: Hand pose tracking performance in Study 1: (A) average 3D hand reconstruction errors in cross-session evaluation for each finger in both MPJPE and MPJAE metrics, and (B) average hand pose tracking performance across all evaluation models and metrics.
7.19°（标准差2.26）。与精细手指运动追踪的结果类似，此处也未观察到显著的主效应或交互作用（F值范围为0.12–2.37，p值范围为0.11–0.73）。 5.1.3 多模态模型结果。随后我们评估了结合声学数据与IMU数据的多模态模型，该模型的平均MPJPE为7.96毫米（标准差1.69），MPJAE为6.03°（标准差1.49），MWAE为7.48°（标准差2.23）。与声学模型类似，该模型的表现也未受硬件或佩戴手因素的影响（F值范围为0.02–1.83，p值范围为0.17–0.96）。这表明该模型在三种手表以及左右手腕上的表现均稳定且鲁棒。通过单因素方差分析比较声学模型和多模态模型，结果显示加入IMU后对所有指标的影响均不显著（F值范围为0.01–0.41，p值范围为0.52–0.92），说明加入IMU数据并未提升模型性能。这可能是由于声学信号与运动信号之间存在冗余性。IMU数据主要捕捉手腕运动及其动态特征，缺乏表征精细手指关节活动的细节信息；相比之下，主动声学传感能够检测精细手指运动，同时还能通过反射信号编码手腕运动信息 [^19]。因此，仅靠声学通道即可提供局部（手指）和全局（手腕）信息，限制了IMU数据所能带来的额外益处，这并非表明声学模型存在过拟合现象。基于这一观察，我们决定在后续评估中不再对IMU数据进行分析，以避免冗余分析。 ### 5.2 会话内模型 为了与以往的研究进行全面比较，我们进一步使用同会话模型对WatchHand进行了评估。该模型的平均MPJPE为6.02毫米（标准差1.04），MPJAE为$4.63^{\circ}$（标准差0.80），MWAE为$5.70^{\circ}$（标准差2.07）。与跨会话模型类似，硬件或佩戴手表的手部对性能并无显著影响（F值范围为0.004–1.51，p值范围为0.27–0.95）。手部姿态跟踪性能明显优于跨会话模型（见图7-B）。这些结果与以往研究一致，表明同会话测试得益于稳定的设备放置以及最小化的变异性[^3] [^9] [^17]。虽然这种实验方案属于一种不太现实的最佳情况——即设备放置极为稳定——但它确实为遵循类似流程的现有系统提供了一个有用的基准，同时也凸显了WatchHand声学管道的有效性。 ### 5.3 跨用户模型 接下来，我们采用留一参与者法构建的跨用户模型来进一步验证WatchHand的性能，即每次训练时排除某位参与者的数据，仅用其数据进行测试。该声学模型的平均MPJPE为14.88毫米（标准差3.37），MPJAE为8.27°（标准差1.04），MWAE为12.76°（标准差2.56）。同样，MPJPE和MWAE也未观察到显著的主效应或交互效应（F值范围为0.09–1.78，p值范围为0.18–0.77）。不过，硬件因素对MPJAE产生了影响（F(2, 42) = 4.76，p = 0.01，$\hat{\eta}_{G}^{2}=0.18$）。事后t检验显示，Galaxy手表在MPJAE方面的预测性能较弱，其均值为8.84°（标准差0.80），而小米手表则为7.77°（标准差1.10，p = 0.003）。尽管我们在跨用户评估中观察到了显著的硬件差异，但在跨会话或同会话评估中并未发现此类差异。这表明，当模型被推广到不同用户时，硬件引起的变异性才会显现出来；此时声学信号振幅和发音模式的差异会与设备特定及用户特定的特征相互作用。我们注意到，与跨会话或同会话模型相比，跨用户模型中的性能明显下降（见图7-B）。这一模式与以往的手腕式连续手部姿态跟踪系统一致[^3] [^9] [^13] [^17] [^19]，其原因很可能是用户之间在手型、手指发音及运动方式上的差异较大，而非模型过拟合。这些结果提示，引入轻量级的个性化技术（如小样本微调）以缩小通用模型与个性化模型之间的性能差距，具有潜在价值。 ## 6 研究2：对不同身体姿势的适应性 鉴于研究1中在坐姿下观察到的良好手部姿态跟踪精度，我们进一步开展了后续研究，以评估WatchHand在更多样化姿势下的性能。具体而言，我们测试了两种常见的站姿，包括抬手姿势和手臂 resting 姿势（图8-A）。本研究已获得当地伦理委员会的批准。 --- ![Image](images/cf0f4ec02e02622fce5e9cb66335aa6215b53248ab9fccb39f086d7396c1cd25.jpg) ![Image](images/ddd0a741b13ba856e1132ce9b65af003ccf1317d7c6f07c61f9bb26dd0c6e2ab.jpg)
Figure 8: (A) Three key postures covered in this work: sitting and arm-raised pose, and watch-raised pose, where the arm is naturally positioned horizontally in front of the body to view the watch screen, and arm-resting, with the arm lowered in a relaxed position adjacent to the thigh. (B) Average hand pose tracking performances from standing postures (including both watch-raised and arm-resting poses) for each fine-tuning condition—without (trained with data captured from the sitting poses), 1-session, and 9-session, reported across all metrics.
### 6.1 参与者 我们重新邀请了来自第一项研究的六名参与者（三名男性，平均年龄22.17岁，标准差2.86，均为右利手），根据他们的时间安排随机选取。每位参与者将其此前使用过的同一款智能手表（三台小米手表、两台Google Pixel Watch和一台三星Galaxy手表）佩戴在非惯用手上。本研究持续约两小时，每位参与者可获得30美元的当地货币作为报酬。 ### 6.2 研究设计与流程 我们开展了20次站立测试——其中10次为抬腕姿势，10次为手臂 resting 姿势，测试流程与研究1保持一致。每次测试包含18种手势，每种手势重复4次，旨在评估系统对不同姿势变化的鲁棒性：当使用者处于不同身体姿势时，我们的系统能否准确追踪手部姿态？为了收集真实数据，针对抬腕姿势，我们将外部摄像头放置在下方；针对手臂 resting 姿势，则将其置于侧面，摄像头角度均朝向手掌，以获取完整的手指关节真实数据。 ### 6.3 研究结果 我们从6名参与者处共收集了288分钟的数据，其中144分钟来自抬腕和手臂 resting 两种姿势。继第一项研究之后，我们从两个维度评估了系统性能：（1）利用MPJPE和MPJAE指标衡量连续的精细手指运动追踪能力；（2）利用MWAE指标衡量手腕的大范围旋转情况。为了评估WatchHand在不同身体姿势下的鲁棒性，我们针对三种不同条件进行了针对性分析：（1）与姿势无关的模型；（2）单会话微调模型；（3）九次会话微调模型。针对抬腕和手臂 resting这两种新姿势收集的数据在评估过程中被单独分析。由于样本量较小，我们重点比较数值结果，而非进行正式的统计分析。 我们首先通过仅用坐姿抬臂数据训练的与姿势无关的模型来评估泛化能力（跨会话协议，见第5.1节），并在未经重新训练的情况下对未见过的姿势进行测试（零样本评估），最终得到9.96毫米的MPJPE值（标准差1.67）、7.72°的MPJAE值（标准差1.24）以及13.74°的MWAE值（标准差6.11）。接下来，经过有限的适应性调整，仅用一次新会话的数据（手指运动数据2分钟；手腕旋转数据0.4分钟）进行微调后，性能提升至7.65毫米的MPJPE值（标准差1.39）、6.33°的MPJAE值（标准差1.43）以及8.06°的MWAE值（标准差2.57）。最后，通过更全面的适应性调整，利用九次新会话的数据（手指运动数据18分钟；手腕旋转数据3.6分钟，与原始训练数据量相当）进一步降低了误差，最终MPJPE值降至6.58毫米（标准差1.12），MPJAE值降至5.33°（标准差1.05），MWAE值降至5.83°（标准差1.72）。总体而言，虽然与姿势无关的模型始终能实现厘米级的追踪精度，但随着用于训练的数据量增加，微调方法的性能也逐步提升（见图8-B）。这一结果凸显了数据多样性和数量对于提升模型在不同身体姿势下的泛化能力的重要性。 ## 7 研究3：对噪声的鲁棒性 我们进一步在多种噪声条件下对WatchHand进行了评估，这些条件模拟了现实场景中声学信号可能受到外界声音和运动干扰的情况。本研究已获得当地伦理委员会的批准。 ### 7.1 参与者 我们从当地大学招募了8名参与者（男性5名，平均年龄23.88岁，标准差4.39），这一人数与研究1中使用单只智能手表的参与者数量一致。他们的平均手长为18.18厘米（标准差1.21），平均手掌宽度为8.04厘米（标准差0.62）。每次测试时长两小时，参与者可获得30美元的当地货币作为报酬。 ### 7.2 研究设计与流程 我们总体遵循研究1中概述的方法。首先，我们让每位参与者以坐姿完成10次基线测试，测试设计与研究1相同。为了评估和比较在噪声条件下的系统鲁棒性，我们随后又开展了8次额外测试。 ---
A)
![Image](images/9935dfa3fae9ae1f30be989e98da78c237ba1702c9d6492931007b4d1485dbf6.jpg)
Figure 9: Four noise and interference conditions used in Study 3: (A) high-volume audio played near the participant, (B) another person walking around the participant within 1 m, (C) participant walking in place while executing pose transitions, and (D) participants intentionally performing modified gestures (e.g., reduced or increased finger spacing) to simulate natural inconsistencies.
每位参与者需完成2个会话，涵盖四种噪声场景，从而能够基于研究2中令人鼓舞的微调结果，进行跨条件及单会话微调评估。总体而言，每位参与者需完成18个会话，流程与研究1中描述的相同，包括知情同意、设备设置、说明讲解、练习、主任务以及问卷调查。四种噪声/干扰条件的设置如下：（1）大声音乐：通过置于参与者一米外的蓝牙音箱播放高音量音频（约80分贝）。（2）附近有人活动：另一人会在距离参与者约一米的地方走动。（3）行走场景：参与者在执行姿势变化的同时持续行走；他们被要求以自然步速原地踏步，以产生运动引发的噪声。（4）手部姿势改变：参与者故意做出修改后的手势来模拟自然状态下的不一致性。具体而言，他们在改变手部姿势时需消除手指间的间隙，而在手腕旋转姿势中则要加大手指间距，这与以往研究中要求的姿势有所不同。 ### 7.3 研究结果 我们从8名参与者处共收集了345.6分钟的数据，其中坐姿条件下为192分钟，四种噪声/干扰场景各为38.4分钟。本研究报告了三组结果：1. 基线测试：在坐姿条件下用9个会话进行训练，剩余1个会话用于测试；2. 跨条件测试：直接在同一训练好的模型上评估四种噪声条件；3. 单会话微调：利用每种噪声条件下的一个会话数据（手指运动数据2分钟；手腕旋转数据0.4分钟，参照研究2的结果）对模型进行适配，随后在另一个会话中测试。所有评估均按照跨会话协议进行，以反映现实世界的实际使用场景。 基线模型的平均MPJPE为10.26毫米（标准差1.37），MPJAE为7.28°（标准差0.76），MWAE为9.6°（标准差2.11）。尽管该基线性能是在与研究1相同的协议下获得的，但仍出现了性能下降现象，我们认为这源于参与者间的个体差异，表明不同参与者的发音风格会影响模型表现。接着，我们研究了该基线模型在四种噪声场景下的泛化能力（总结于图10-A）。在大声音乐和附近有人活动的场景下，模型性能与基线水平相比无显著差异，所有指标上的p值均在0.18至0.76之间。这表明我们的系统对可听音频干扰具有较强鲁棒性，且大多数超出21.42厘米感应范围的附近人体运动在预处理阶段便会被有效过滤掉。然而，自身产生的物理噪声条件导致了显著的性能下降：行走场景下的p值为0.003–0.028，手部姿势改变场景下的p值均小于0.001，这说明感应范围内的物理干扰（如行走时的手臂运动或手部姿势的不可见变化）确实会严重扰乱回声特征。最后，针对每种噪声条件仅用一个会话数据进行微调便大幅恢复了模型性能（见图10-B）。值得注意的是，行走场景在所有指标上的表现与基线相比均无显著差异（p值为0.13–0.54）。这些结果表明，WatchHand仅需极少额外数据便能适应现实世界的多样性，而简短的场景特定校准就能显著提升手部姿势追踪的精确度。 ## 8 研究4：动态手部姿势变化的评估 我们的研究1-3表明，仅利用内置麦克风和扬声器就能在连续手部姿态跟踪中取得令人鼓舞的成果，这些研究遵循了与之密切相关的实验协议 [^19]。不过，所评估的姿态变化较为有限，因为15种手势（10种复杂手势、5种简单手势）在转换之间都会回到中性姿态。为解决这一问题，我们的第四项研究记录了直接的姿态间转换——10种复杂手势之间有100次有序转换，5种简单手势之间有25次转换，总计125次。这种设计能让模型接触到更丰富、更真实的手部运动动态。基于此前已证实的模型对不同智能手表及佩戴手部的适应性，我们选择了一种具有代表性的设备——小米Watch Pro 2（因其平均跟踪性能较好），将其佩戴在左手上。此外，我们还评估了该模型在不同手部运动速度下的鲁棒性，以考虑现实世界中的各种情况。本研究已获得当地伦理委员会的批准。 --- ![Image](images/f9a34ec2d1b3870bcfcffe9272ecc128f3ec6bb650676c32a7a5493ee7dbf761.jpg) ![Image](images/5f1a4a936d0dbe9e018ebfe11a044888939c6944d7d09971c398e42c4f394259.jpg)
Figure 10: Average hand pose tracking performances across all metrics, comparing baseline (no noise) to (A) four noisy conditions—loud music, nearby movement, walking, and altered poses, and (B) average performance across the noisy conditions with and without one-session fine-tuning.
![Image](images/53759790b3f1e419d56ea8acfe989768f6bee5c9fc6f81929dd32878f356baf6.jpg) ![Image](images/539a4b18d2e055c411bbd5f44ecf19c7a6488ca31399b640a5bdeb1503defaf6.jpg)
Figure 11: Average hand pose tracking performance in Study 4 across (A) evaluation protocols and (B) hand pose transition speeds.
考虑到现实世界中的变化，我们设置了不同的手部运动速度。本研究已获得当地伦理委员会的批准。 ### 8.1 参与者 我们从当地大学招募了8名参与者（4名男性，均为右利手，平均年龄23.5岁，标准差4.17）。他们的手长平均为18.46厘米（标准差1.94），手掌宽度平均为7.99厘米（标准差0.94）。每次实验时长约为90分钟，参与者会因参与实验获得25美元的代金券。 ### 8.2 研究设计 我们评估了与研究1相同的一组15种手势，包括5种简单手势和10种复杂手势。由于腕部朝向手势的姿态间变化有限（仅有6种组合），因此被排除在外。每次实验包含多种姿态间转换，其中简单手势和复杂手势各重复4次，每次持续2秒，呈现顺序随机，这与研究1的实验协议一致。参与者需在正常转换速度下完成20次实验（每次姿态切换耗时2秒）。为了进一步评估模型的鲁棒性，每位参与者还需分别在快速（1.5秒转换时间）和慢速（2.5秒转换时间）条件下各完成一次实验。 ### 8.3 研究流程 本研究遵循与研究1类似的流程，包括获取知情同意、佩戴设备、下达指令、进行练习试验、执行主要任务以及填写人口统计问卷。实验开始前，参与者会先完成一次练习试验。随后他们要进行20次正常速度的实验，之后分别在快速和慢速条件下各进行一次实验。在快速和慢速条件下，参与者被要求将手部姿态转换时间调整为1.5秒（快速）或2.5秒（慢速），这一要求遵循以往研究中的协议 [^19]。考虑到实际操作和现实情况的多样性，参与者会在不同实验之间取下并重新佩戴智能手表。 ### 8.4 研究结果 我们共从8名参与者那里收集了352分钟的数据。该数据集包含320分钟的正常速度会话，以及在不同速度和风格下的额外测试会话：快速条件12分钟，慢速条件20分钟。其中一名参与者（P28）在尝试仅弯曲中指时出现了明显的手部震颤现象。为防止肌肉劳损并确保数据的一致性，我们指示他用拇指固定住中指（例如在ASL-8中）。我们对采集到的数据进行了处理，并采用与研究1中相同的流程来构建声学模型。下文我们将通过三种评估协议汇报相关结果，以便全面展示WatchHand在姿态转换过程中的连续3D手部姿态表现。 我们首先在跨会话协议下对WatchHand进行了评估，参与者在不同会话中反复佩戴该设备，以模拟真实的日常使用场景。在此测试中，该模型的平均MPJPE为15.48毫米（标准差2.75），MPJAE为13.61°（标准差2.18）。接下来，我们在同一会话协议下对WatchHand进行评估——将其作为性能上限基准，因为此时设备放置和环境因素均保持一致。在此 --- 测试中，该模型的平均MPJPE为12.68毫米（标准差2.63），MPJAE为$10.96^{\circ}$（标准差1.72）。最后，我们进行了跨用户评估：模型利用其他所有参与者的数据训练，再在未见过的参与者身上测试，以此检验该系统对新用户的泛化能力。在此测试中，该模型的平均MPJPE为22.60毫米（标准差5.18），MPJAE为$14.49^{\circ}$（标准差1.12）。总体而言，这些结果在不同协议下均呈现出与研究1一致的趋势：在同一会话设置下性能最佳，跨会话评估时误差适度增加，而跨用户测试时性能下降最明显（见图11-A）——这些模式与以往的研究结果相符[^3] [^9] [^17]。 随后，我们分析了WatchHand在不同手部姿态变化速度下的鲁棒性。本次测试采用了跨会话模型。针对不同速度条件，该模型在快速条件下的平均MPJPE为15.61毫米（标准差1.13），慢速条件下为17.04毫米（标准差1.35）。相应的MPJAE结果分别为$13.82^{\circ}$（标准差0.73）和$15.23^{\circ}$（标准差1.82）。这些结果表明，WatchHand在快速姿态变化期间仍能保持追踪能力，仅在较慢的过渡状态下性能略有下降（见图11-B），这既凸显了该系统的鲁棒性，也反映出需要更丰富的训练数据来涵盖现实世界中的各种变化。正如预期，研究4中更具动态性的姿态间转换相比研究1-3中的姿态-中性姿态协议引入了更多变异性。与研究1中每次手势转换都以中立的张开手姿态为起点不同，研究4涉及任意手势对之间的直接转换（共125种可能组合），这会导致中间状态更不稳定，时间动态范围也更广。总体而言，这些结果证实姿态间转换确实更具挑战性，但WatchHand在同一会话测试中仍能达到亚厘米级精度，且在跨会话/用户测试中的表现也颇具竞争力。 我们通过定性分析预测帧进一步研究了WatchHand的行为。图12展示了来自同一名参与者在姿势-中性姿势跨会话模型（研究1）以及姿势-到-姿势跨会话模型（研究4）中的重建示例，包括失败案例，还有相应的指令图像。选择参与者P11和P34是因为他们的整体追踪性能接近每项研究的平均得分。总体而言，我们的系统在预测拇指运动方面特别有效，这可能是因为拇指离智能手表更近，且与其他手指相比弯曲方向不同，同时在训练中出现频率也更高（无论是拇指弯曲姿势还是ASL-4姿势）。不过，我们也观察到了几种关键的误差模式。首先，相邻手指效应：模型有时会错误地激活相邻手指——例如，当只有食指应运动时，却预测食指和中指都有动作，这可能反映了手指间的生物力学耦合以及它们声学特征的可分性有限，这种情况在中指附近尤为常见，因为此处手指间距较小 [^10]。其次，人体工程学限制：由于许多参与者无法单独弯曲小指或无名指，模型有时会反映出这些现实中的限制，从而导致这些姿势下的表征出现偏差。第三，异常现象：我们偶尔会观察到随机误差（例如，在复杂手势期间预测到单个手指弯曲），我们推测这是由瞬时噪声引起的，比如细微的姿势调整或手臂动作。这类异常在姿势-到-姿势模型中更为常见，因为该模型中的动态过渡更复杂，且每种过渡的训练数据比研究1中更稀疏。相比之下，在姿势-中性姿势模型中，当反射信号较弱时（例如针对单独的小指弯曲情况），默认的张开手掌姿势（ASL-5）有时会被过度预测。总体而言，这些定性观察结果与参与者间的行为及手指发音差异相一致。 ## 9 讨论与局限 我们的研究证实了WatchHand在利用三款常见的商用智能手表推断连续3D手部姿势方面的出色表现。由于它完全依靠内置硬件运行，无需定制传感器，因此WatchHand具备立即拓展商用智能手表交互能力的巨大潜力。研究结果还表明它可应用于多种场景，包括更复杂的手部姿势、不同型号的智能手表、佩戴手表的手部、身体姿势以及噪声环境。在本节中，我们将进一步探讨未来将WatchHand更广泛地部署于各类手部姿势和使用场景中以支持日常使用的机遇与挑战。 ### 9.1 推广至多样化的手部姿势、用户及场景 9.1.1 动态手部姿态变化。我们在两种手部姿态变化协议下对WatchHand进行了评估：研究1-3中采用姿态中性模式（在姿态变化间恢复到中性手部姿态），研究4中则采用姿态间直接切换模式。后者会引入更丰富的中间状态以及更大的时间变异性，不出所料，这导致跨会话评估时的MPJPE值上升了96.7%，即准确率出现小幅下降。不过，这种下降必须结合任务复杂度的显著提升来理解：可能的姿态转换数量增加了8.3倍（从15种增至125种）。即便在如此具有挑战性的场景下，WatchHand在跨会话评估中的表现仍优于以往的姿态间切换系统（例如DiscoBand [^3]，误差为17.87毫米；EIT-Pose [^17]，误差为17.81毫米），这证明了其鲁棒性，也表明将连续手部姿态追踪技术应用于实际智能手表场景是可行的。 9.1.2 未见过的手部姿态。虽然我们的研究涵盖了多种手部姿态，但要全面覆盖所有可能的手部构型空间仍颇具挑战。例如在研究3中，改变手部姿态（如缩小或扩大手指间的间隙）会导致跨条件测试时MPJPE值上升66.19%；但仅需进行单次会话（2分钟数据）的微调，这一数值就仅比基线水平低5.3%。在研究4中，我们观察到在不同手部姿态变化速度下，追踪性能仅有小幅下降——快速条件下平均MPJPE值上升2.6%，慢速条件下上升11.5%，这一结果反映了中间状态和轨迹多样性带来的额外不确定性。重要的是，这些影响属于可控范围而非灾难性后果，说明即便遇到分布外姿态，传感流程仍能提供有效信息。这些结果证明了模型对未见过的姿态具有很强的泛化能力，是实现更大规模、更多样化数据集下的实际应用的重要一步。 --- ![Image](images/882f60da2a23c47cf4bd0a20bdf904f6d055c2587b776f8d15c7afa12a84c88f.jpg)
Figure 12: Hand poses instructed in the studies (top row) and example predictions (visualized with MANO [^32]) from the pose-neutral-pose cross-session model in Study 1 (middle row) and pose-to-pose cross-session model in Study 4 (bottom row).
A)
![Image](images/847ae333b746c7a103daaf0bec4b21f20fe14276561f87663ab843a61220426d.jpg)
B]
![Image](images/0dfe27c2978d3dc165b3bc4ed5df01ed8ca85afb6aeb657c26f9d39b475af2eb.jpg) ![Image](images/06c6f23be30d33f70c4ab94af291ca6874fc36e2775728e0a3138b8201ffb64f.jpg) ![Image](images/a4238dd296139b3a3118b17e7550a781492a6721255a7e2639ee84e72fc5c2f8.jpg)
Figure 13: Impact of hand–object interaction on acoustic hand pose tracking. (A) Echo profiles of a holding gesture performed without an object and (B) with a cup. Each sequence consists of four phases: Reach, Hold, Release, and Depart. Compared to the object-free condition, performing the gesture while holding an object produces noticeable acoustic interference near the smartwatches.
9.1.3 未见过的用户。跨用户评估的结果令人鼓舞，在姿态中性模式和姿态间切换模式下，MPJPE值均在15至23毫米之间。性能下降主要源于个体间手部尺寸和关节活动度的差异，这些因素导致了姿态执行时的更大变异性。这一规律与以往腕戴式手部姿态追踪系统的研究结果一致：跨用户性能明显弱于同会话内 [^3] [^17] 或跨会话评估结果 [^9] [^19]。这些发现凸显了跨用户泛化的关键挑战：虽然系统能很好地适配单个用户，但要适应个体间差异仍颇具难度。解决这一问题需要涵盖更广泛用户群体和手部特征、规模更大且更具多样性的数据集，而采用元学习式的适配方法或许能进一步提升跨用户的鲁棒性。 9.1.4 对噪声的鲁棒性。我们的噪声研究（研究3）表明，基于智能手表的声学手势追踪的主要脆弱点并非环境声音或远处运动，而是传感区域附近的物理变化。 loud音乐和附近的人体运动对其影响微乎其微，这说明在不可听频段工作且传感范围达21.42厘米的WatchHand，实际上与大多数日常音频活动和背景运动相隔绝。相比之下，移动场景（如行走）会改变手腕和手部周围的声波传播路径，从而导致可测量的性能下降，这也证实了手腕和手部附近的物理变化会干扰回波信号。不过，针对每种条件进行单次简短的微调训练后，性能便基本得以恢复，这表明WatchHand仅需极少的校准就能适应现实世界的噪声和运动场景，进一步凸显了其用于日常智能手表的实用性。 --- 9.1.5 持物干扰问题。虽然WatchHand能在空手场景下可靠地追踪三维手部姿态，但当用户手持物体时，其性能很可能会受到严重影响。一项探索性分析（见图13）支持了这一观察结果：当参与者执行相同的伸手-握持-释放-离开动作序列[^34]时，无论是否手持杯子，物体都会在回波轮廓中引入局部干扰。这些反射源自物体表面而非手部，掩盖了关键的姿态相关模式，从而证实物体交互会对单通道声学传感造成显著干扰。量化这种性能下降程度颇具挑战性，因为物体操作会从根本上改变手部几何形状，导致原有的姿态协议失效，因此无法与空手条件进行直接比较。不过，这一局限并非我们独有的问题。商用AR/VR系统通常会在遮挡情况下暂停手势追踪，而非输出不可靠的姿态数据[^26]。基于智能手表的声学系统也可采用类似策略——检测物体存在并暂时禁用姿态追踪。这一局限为未来的研究指明了令人兴奋的方向。融入物体感知功能——比如识别握持状态，或支持持物期间的微手势，正如定制化系统中所探索的那样[^18]，就能让WatchHand在现实世界的空手交互和物体介导的交互之间无缝切换。 9.1.6 改进和丰富数据集的策略。尽管我们进行了广泛的评估，但由于资源限制，数据集规模仍然是一个关键瓶颈。正如先前的研究[^3] [^9] [^12] [^17] [^19]所指出的那样，更大规模的数据集对于训练能够应对未见过的用户、姿势和场景的更复杂模型至关重要。由于我们的系统是基于商用智能手表和光学追踪系统实现的，我们可以利用这种便利性来采用分布式数据收集方法，或许可以通过一种允许用户在日常使用中贡献匿名手部姿势数据的自愿参与框架来实现。除了收集更多的真实世界数据外，开发基于物理原理或数据驱动的声学模拟器，可以生成针对代表性不足的手部姿势的合成回声轮廓，从而填补姿势覆盖范围的空白。此外，利用研究级光学追踪系统（如Optitrack或类似设备）进行的实验室研究，能够提供更准确可靠的基准数据。同时，自监督学习可以使模型从无标签的声学数据中学习到有意义的表征，从而减少对密集的地面真实标注的依赖。我们还认识到，鼓励在用户、会话或姿势之间保持不变性的无监督域适应方法，是缩小剩余泛化差距的有前景的方向，尤其是在跨用户场景中。这些策略综合起来将增强模型的泛化能力，为WatchHand在现实世界中的更广泛部署铺平道路。 ### 9.2 迈向现实世界的应用 9.2.1 定制硬件与商用智能手表。诸如EchoWrist[^19]等近期的声学手部追踪系统，通过使用两对扬声器-麦克风——一对置于手表本体上，另一对嵌入表带以直接朝向手掌——来实现高质量的姿势估计。虽然这种配置能产生更强的声学反射，并在跨会话评估中展现出比WatchHand更好的追踪性能（MPJPE分别为4.81毫米和7.87毫米），但它依赖于非商用的硬件改造。在当今的智能手表中，将电子元件嵌入表带的做法并不常见，因为表带旨在供用户更换，且不同品牌间的表带存在差异，目前也并未设计或优化来承载有源传感组件。相比之下，WatchHand证明仅利用商用智能手表中已内置的单个扬声器和麦克风，就能实现连续的3D手部姿势追踪。这一区别至关重要：定制系统展示了如果重新设计硬件所能达到的更佳传感效果；而WatchHand则显示了如今在已大规模量产的设备上即可实现的可能性。通过在数百万台现有智能手表上实现精细的3D手部姿势追踪，WatchHand为将连续手部追踪技术从定制的学术原型转化为现实世界的智能手表平台，开辟了第一条切实可行的道路。 9.2.2 硬件配置与佩戴手腕。Watch-Hand在硬件平台和手表朝向方面的适应性表现优异。实验结果表明，不同制造商的硬件配置差异以及因佩戴手腕不同（左手或右手）导致的朝向差异，对系统性能均无显著影响。这凸显了WatchHand在各类场景中的普适性潜力。在主实验中，我们针对每种手腕佩戴配置分别训练模型，使每个模型都能为其特定设置学习到稳定的映射关系。为了进一步验证其泛化能力，我们利用所有智能手表型号及不同佩戴手腕产生的训练数据，训练了一个通用模型，并在跨会话测试中对其进行了评估。结果令人鼓舞：该通用模型的性能与针对特定配置的跨会话模型相当，其平均MPJPE为7.88毫米（标准差1.49），MPJAE为6.22°（标准差1.45），MWAE为7.68°（标准差1.35）。由于所有测试设备均采用类似的声学布局（扬声器与麦克风位于相对边缘），这些结果说明单一模型即可跨品牌和朝向通用，从而为基于商用智能手表的规模化部署提供支持。 9.2.3 系统部署。与许多先前研究[^3] [^9] [^12] [^17] [^19] [^22] [^48]类似，本研究中的系统最初会将智能手表采集的原始传感器数据流式传输至外部服务器（如笔记本电脑或智能手机），信号处理与模型推理则在远程服务器上完成。然而，要在现实场景中部署，该系统必须完全在设备端运行，无需依赖外部基础设施。为了证明这一点的可行性，我们将包括信号处理和模型推理在内的整个流水线模型部署到了商用智能手表上。该模型大小为26.7 MB，可在设备端完整运行（已在三星Galaxy Watch 7上测试通过），能够在不向外部系统传输数据的情况下实现实时、连续的手部姿态跟踪。每次预测的平均延迟为0.115秒（标准差0.006），其中预处理耗时0.035秒（标准差0.004），推理耗时0.08秒（标准差0.005），足以支持实际应用中的快速交互。 ### 9.3 实际应用考量 9.3.1 功耗问题。在智能手表上运行用于主动声学传感的持续播放与录音功能会带来不小的能耗压力。为了评估这一成本，我们监测了一次3分钟会话中的电池使用情况——该会话涵盖了录音、播放和数据传输等关键操作，同时还包括 --- 屏幕背光和后台进程产生的环境功耗。三星Galaxy Watch 7的电池消耗约为1%（425 mAh电池中的4.25 mAh），小米Watch 2 Pro约为0.87%（495 mAh电池中的4.31 mAh），Pixel Watch 3则约为1.52%（420 mAh电池中的6.36 mAh）。这种功耗差异可能源于硬件配置和传感器特性的不同——例如，Pixel Watch 3的扬声器输出音量更高，可能导致其能耗更大。需要注意的是，这些数值反映的是商用智能手表上整个系统的能耗（包括操作系统、显示屏及其他功能），且我们的系统尚未针对此类传感任务进行优化；据悉，常见的可穿戴设备用麦克风和扬声器的功耗水平[^19] [^48]均低于1毫瓦。这表明，进一步优化后可显著延长基于智能手表的声学手部姿态跟踪系统的使用时间。在实际应用中，为了节省电量，可在检测到低功耗惯性测量单元（IMU）手势[^1] [^29]时，再激活基于声学传感器的手部姿态跟踪功能。 9.3.2 隐私保护。在18-21 kHz频率范围内工作能够为WatchHand带来隐私方面的优势，因为这一超声频段远高于人类语音通常所处的0.1到8 kHz频谱。我们的系统通过频率过滤技术，仅提取指定工作范围内的信号，从而有效排除语音相关的音频内容。尽管当前的WatchHand系统最初会记录包括语音频率在内的宽带音频，但后续处理流程会立即丢弃这些低频信息。在未来，当整个系统能够直接部署在智能手表上而无需外部处理时，借助设备端计算还能进一步增强隐私保护能力，确保潜在的敏感音频数据永远不会离开用户的个人设备。 9.3.3 潜在应用。基于我们所报告的出色且稳健的手部姿态追踪性能结果，我们认为WatchHand在日常可穿戴场景中具有诸多实用潜力。其中一个关键应用领域是基于手势的交互。WatchHand允许用户通过自然的手部动作与设备互动，无需物理触碰，这在双手忙碌或无需触碰的场景中尤为实用，比如做饭时控制音乐播放、演示时切换幻灯片，或发出指令[^2] [^4] [^35]。连续的追踪功能还支持比简单的点击或滑动更富表现力的手势，从而实现精细且富有表现力的控制，例如捏合缩放、拖拽，或是根据手指关节活动产生的不同滑动效果[^47]。此外，WatchHand还能助力辅助技术，尤其适用于行动或言语受限的用户。通过检测细微且连续的指尖运动，该系统可实现无声交流（如手语拼写[^21] [^30]）以及针对无障碍设置的可定制输入。最后，WatchHand还有潜力拓展跨设备交互。当与智能手机、平板电脑或智能眼镜配对时，运行WatchHand的智能手表可作为轻便且低成本的腕戴式输入设备，用于操控空间界面[^33]。这些应用展示了仅靠现有商用智能手表内的传感器即可实现的连续手部姿态追踪技术，如何在各类现实场景中促成更自然、更具表现力且贴合场景的交互方式。 ## 10 结论 我们介绍了WatchHand——首个完全依托商用智能手表、仅利用内置扬声器和麦克风即可运行的连续3D手部姿态追踪系统。借助主动声学传感技术，WatchHand无需外部硬件就能可靠地追踪手指运动和手腕旋转。我们在不同智能手表型号、佩戴手型、身体姿势、噪声环境以及手部姿态变化协议下进行的评估，证实了该系统的鲁棒性、适应性和普适性。利用现有的智能手表硬件，WatchHand提供了一种实用、注重隐私且可扩展的解决方案，能够立即投入应用。这一突破大幅降低了基于智能手表的手部追踪技术门槛，为如今已普及的数百万台设备开启了随时可用的交互新可能。 ## 致谢 我们感谢所有参与用户研究的参与者。本研究得到了美国国家科学基金会第2239569号资助项目（NSF CAREER奖）以及韩国政府（科学技术信息通信部）资助的IITP（信息通信技术规划评估院）-ITRC（信息技术研究中心）项目（IITP-2026-RS2024-00436398）的支持。 ## 参考文献 [^1]: Apple. 2024. Use AssistiveTouch on your Apple Watch. . [^2]: Riku Arakawa, Hiromu Yakura, and Mayank Goel. 2024. PrISM-Observer: Intervention Agent to Help Users Perform Everyday Procedures Sensed using a Smartwatch. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (Pittsburgh, PA, USA) (UIST '24). Association for Computing Machinery, New York, NY, USA, Article 15, 16 pages. doi:10.1145/3654777.3676350 [^3]: Nathan Devrio and Chris Harrison. 2022. DiscoBand: Multiview Depth-Sensing Smartwatch Strap for Hand, Body and Environment Tracking. In Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology (Bend, OR, USA) (UIST '22). Association for Computing Machinery, New York, NY, USA, Article 56, 13 pages. doi:10.1145/3526113.3545634 [^4]: Nathan DeVrio, Vimal Mollyn, and Chris Harrison. 2023. SmartPoser: Arm Pose Estimation with a Smartphone and Smartwatch Using UWB and IMU Data. In Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology (San Francisco, CA, USA) (UIST '23). Association for Computing Machinery, New York, NY, USA, Article 79, 11 pages. doi:10.1145/3586183.3606821 [^5]: Jun Gong, Zheer Xu, Qifan Guo, Teddy Seyed, Xiang 'Anthony' Chen, Xiaojun Bi, and Xing-Dong Yang. 2018. WrisText: One-handed Text Entry on Smartwatch using Wrist Gestures. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (Montreal QC, Canada) (CHI '18). Association for Computing Machinery, New York, NY, USA, 1–14. doi:10.1145/3173574.3173755 [^6]: Sidhant Gupta, Daniel Morris, Shwetak Patel, and Desney Tan. 2012. Sound-Wave: using the doppler effect to sense gestures. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (Austin, Texas, USA) (CHI'12). Association for Computing Machinery, New York, NY, USA, 1911–1914. doi:10.1145/2207676.2208331 [^7]: Ryo Hajika, Tamil Selvan Gunasekaran, Chloe Dolma Si Ying Haigh, Yun Suen Pai, Eiji Hayashi, Jaime Lien, Danielle Lottridge, and Mark Billinghurst. 2024. RadarHand: A Wrist-Worn Radar for On-Skin Touch-Based Proprioceptive Gestures. ACM Trans. Comput.-Hum. Interact. 31, 2, Article 17 (jan 2024), 36 pages. doi:10.1145/3617365 [^8]: Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition. 770–778. [^9]: Fang Hu, Peng He, Songlin Xu, Yin Li, and Cheng Zhang. 2020. FingerTrak: Continuous 3D Hand Pose Tracking by Deep Learning Hand Silhouettes Captured by Miniature Thermal Cameras on Wrist. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 4, 2, Article 71 (June 2020), 24 pages. doi:10.1145/3397306 ## [^10]: Jose M Jimenez-Olmedo, Alfonso Penichet-Tomás, Manuel Ortega Becerra, Basilio Pueo, and Jose J Espina-Agullo. 2019. Relationships between anthropometric --- 精英沙滩手球中的参数与过臂投掷。《人类运动》第20卷第2期（2019年），第16–24页。 [^11]: Patrick Kaifosh and Thomas R Reardon. 2025. A generic non-invasive neuromotor interface for human-computer interaction. Nature (2025), 1–10. [^12]: Daehwa Kim and Chris Harrison. 2022. EtherPose: Continuous Hand Pose Tracking with Wrist-Worn Antenna Impedance Characteristic Sensing. In Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology (Bend, OR, USA) (UIST '22). Association for Computing Machinery, New York, NY, USA, Article 58, 12 pages. doi:10.1145/3526113.3545665 [^13]: David Kim, Otmar Hilliges, Shahram Izadi, Alex D. Butler, Jiawen Chen, Iason Oikonomidis, and Patrick Olivier. 2012. Digits: freehand 3D interactions anywhere using a wrist-worn gloveless sensor. In Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology (Cambridge, Massachusetts, USA) (UIST '12). Association for Computing Machinery, New York, NY, USA, 167–176. doi:10.1145/2380116.2380139 [^14]: Jiwan Kim, Hohurn Jung, and Ian Oakley. 2026. OpenAcoustics: An Open-Source Framework for Acoustic Data Capture on Smart Devices and Microcontrollers. In Companion of the 2025 ACM International Joint Conference on Pervasive and Ubiquitous Computing (Finland) (UbiComp Companion '25). Association for Computing Machinery, New York, NY, USA, 662–664. doi:10.1145/3714394.3756156 [^15]: Jiwan Kim and Ian Oakley. 2022. SonarID: Using Sonar to Identify Fingers on a Smartwatch. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (New Orleans, LA, USA) (CHI '22). Association for Computing Machinery, New York, NY, USA, Article 287, 10 pages. doi:10.1145/3491102.3501935 [^16]: Jiwan Kim, Jiwan Son, and Ian Oakley. 2025. Cross, Dwell, or Pinch: Designing and Evaluating Around-Device Selection Methods for Unmodified Smartwatches. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (CHI '25). Association for Computing Machinery, New York, NY, USA, Article 604, 11 pages. doi:10.1145/3706598.3714308 [^17]: Alexander Kyu, Hongyu Mao, Junyi Zhu, Mayank Goel, and Karan Ahuja. 2024. EITPose: Wearable and Practical Electrical Impedance Tomography for Continuous Hand Pose Estimation. In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems (Honolulu, HI, USA) (CHI '24). Association for Computing Machinery, New York, NY, USA, Article 402, 10 pages. doi:10.1145/3613904.3642663 [^18]: Chi-Jung Lee, Jiaxin Li, Tianhong Catherine Yu, Ruidong Zhang, Vipin Gunda, François Guimbretière, and Cheng Zhang. 2025. Grab-n-Go: On-the-Go Microgesture Recognition with Objects in Hand. arXiv preprint arXiv:2508.11620 (2025). [^19]: Chi-Jung Lee, Ruidong Zhang, Devansh Agarwal, Tianhong Catherine Yu, Vipin Gunda, Oliver Lopez, James Kim, Sicheng Yin, Boao Dong, Ke Li, Mose Sakashita, Francois Guimbretiere, and Cheng Zhang. 2024. EchoWrist: Continuous Hand Pose Tracking and Hand-Object Interaction Recognition Using Low-Power Active Acoustic Sensing On a Wristband. In Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems (Honolulu, HI, USA) (CHI '24). Association for Computing Machinery, New York, NY, USA, Article 403, 21 pages. doi:10.1145/3613904.3642910 [^20]: Sarah M. Lehman, Abrar S. Alrumayh, Kunal Kolhe, Haibin Ling, and Chiu C. Tan. 2022. Hidden in Plain Sight: Exploring Privacy Risks of Mobile Augmented Reality Applications. ACM Trans. Priv. Secur. 25, 4, Article 26 (July 2022), 35 pages. doi:10.1145/3524020 [^21]: Hyunchul Lim, Nam Anh Dang, Dylan Lee, Tianhong Catherine Yu, Jane Lu, Franklin Mingzhe Li, Yiqi Jin, Yan Ma, Xiaojun Bi, François Guimbretière, et al. 2025. SpellRing: Recognizing Continuous Fingerspelling in American Sign Language using a Ring. arXiv preprint arXiv:2502.10830 (2025). [^22]: Yang Liu, Chengdong Lin, and Zhenjiang Li. 2021. WR-Hand: Wearable Armband Can Track User's Hand. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 5, 3, Article 118 (Sept. 2021), 27 pages. doi:10.1145/3478112 [^23]: Kian Mahmoodi, Yudong Xie, Tan Gemicioglu, Chi-Jung Lee, Jiwan Kim, and Cheng Zhang. 2025. EchoForce: Continuous Grip Force Estimation from Skin Deformation Using Active Acoustic Sensing on a Wristband. In Proceedings of the 2025 ACM International Symposium on Wearable Computers (Espoo, Finland) (ISWC '25). Association for Computing Machinery, New York, NY, USA, 53–60. doi:10.1145/3715071.3750405 [^24]: Saif Mahmud, Ke Li, Guilin Hu, Hao Chen, Richard Jin, Ruidong Zhang, François Guimbretière, and Cheng Zhang. 2023. PoseSonic: 3D Upper Body Pose Estimation Through Egocentric Acoustic Sensing on Smartglasses. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 7, 3, Article 111 (Sept. 2023), 28 pages. doi:10.1145/3610895 [^25]: Saif Mahmud, Vineet Parikh, Qikang Liang, Ke Li, Ruidong Zhang, Ashwin Ajit, Vipin Gunda, Devansh Agarwal, Francois Guimbretiere, and Cheng Zhang. 2024. ActSonic: Recognizing Everyday Activities from Inaudible Acoustic Wave Around the Body. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 8, 4, Article 183 (Nov. 2024), 32 pages. doi:10.1145/3699752 [^26]: Meta. 2025. Hands best practices. [^27]: Vimal Mollyn, Riku Arakawa, Mayank Goel, Chris Harrison, and Karan Ahuja. 2023. IMUPoser: Full-Body Pose Estimation using IMUs in Phones, Watches, and Earbuds. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (Hamburg, Germany) (CHI '23). Association for Computing Machinery, New York, NY, USA, Article 529, 12 pages. doi:10.1145/3544548.3581392 [^28]: Rajalakshmi Nandakumar, Vikram Iyer, Desney Tan, and Shyamnath Gollakota. 2016. FingerIO: Using Active Sonar for Fine-Grained Finger Tracking. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems (San Jose, California, USA) (CHI '16). Association for Computing Machinery, New York, NY, USA, 1515–1525. doi:10.1145/2858036.2858580 [^29]: Samsung Newsroom. 2023. More Than a Gesture: How Galaxy Watch's Universal Gestures Feature Enhances Accessibility. . [^30]: Nicolas Pugeault and Richard Bowden. 2011. Spelling it out: Real-time ASL fingerspelling recognition. In 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops). 1114–1119. doi:10.1109/ICCVW.2011.6130290 [^31]: Franziska Roesner, Tadayoshi Kohno, and David Molnar. 2014. Security and privacy for augmented reality systems. Commun. ACM 57, 4 (April 2014), 88–96. doi:10.1145/2580723.2580730 [^32]: Javier Romero, Dimitrios Tzionas, and Michael J. Black. 2017. Embodied hands: modeling and capturing hands and bodies together. ACM Trans. Graph. 36, 6, Article 245 (Nov. 2017), 17 pages. doi:10.1145/3130800.3130883 [^33]: Sasha Salter, Richard Warren, Collin Schlager, Adrian Spurr, Shangchen Han, Rohin Bhasin, Yujun Cai, Peter Walkington, Anuoluwapo Bolarinwa, Robert J Wang, et al. 2024. emg2pose: A large and diverse benchmark for surface electromyographic hand pose estimation. Advances in Neural Information Processing Systems 37 (2024), 55703–55728. [^34]: Adwait Sharma, Alexander Ivanov, Frances Lai, Tovi Grossman, and Stephanie Santosa. 2024. GraspUI: Seamlessly Integrating Object-Centric Gestures within the Seven Phases of Grasping. In Proceedings of the 2024 ACM Designing Interactive Systems Conference (Copenhagen, Denmark) (DIS '24). Association for Computing Machinery, New York, NY, USA, 1275–1289. doi:10.1145/3643834.3661551 [^35]: Adwait Sharma, Christina Salchow-Hörmmen, Vimal Suresh Mollyn, Aditya Shekhar Nittala, Michael A. Hedderich, Marion Koelle, Thomas Seel, and Jürgen Steimle. 2023. SparseIMU: Computational Design of Sparse IMU Layouts for Sensing Fine-grained Finger Microgestures. ACM Trans. Comput.-Hum. Interact. 30, 3, Article 39 (June 2023), 40 pages. doi:10.1145/3569894 [^36]: Andrew G Stove. 1992. Linear FMCW radar techniques. In IEE Proceedings F (Radar and Signal Processing), Vol. 139. IET, 343–350. [^37]: Shunta Suzuki, Takashi Amesaka, Hiroki Watanabe, Buntarou Shizuki, and Yuta Sugiura. 2024. EarHover: Mid-Air Gesture Recognition for Hearables Using Sound Leakage Signals. In Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (Pittsburgh, PA, USA) (UIST '24). Association for Computing Machinery, New York, NY, USA, Article 129, 13 pages. doi:10.1145/3654777.3676367 [^38]: Alvin R Tilley. 2001. The measure of man and woman: human factors in design. John Wiley & Sons. [^39]: Riku Tsunoda, Myungguen Choi, and Buntarou Shizuki. 2024. Thumb-to-Finger Gesture Recognition Using COTS Smartwatch Accelerometers. In Proceedings of the International Conference on Mobile and Ubiquitous Multimedia (MUM '24). Association for Computing Machinery, New York, NY, USA, 184–195. doi:10.1145/3701571.3701600 [^40]: Pavan Kumar Anasosalu Vasu, James Gabriel, Jeff Zhu, Oncel Tuzel, and Anurag Ranjan. 2023. Fastvit: A fast hybrid vision transformer using structural reparameterization. In Proceedings of the IEEE/CVF international conference on computer vision. 5785–5795. [^41]: Anandghan Waghmare, Ishan Chatterjee, and Shwetak Patel. 2023. Z-Pose: Continuous 3D Hand Pose Tracking Using Single-Point Bio-Impedance Sensing on a Ring. In Proceedings of the 2nd Workshop on Smart Wearable Systems and Applications (Madrid, Spain) (SmartWear '23). Association for Computing Machinery, New York, NY, USA, 1–6. doi:10.1145/3615592.3616851 [^42]: Tianben Wang, Daqing Zhang, Yuanqing Zheng, Tao Gu, Xingshe Zhou, and Bernadette Dorizzi. 2018. C-FMCW Based Contactless Respiration Detection Using Acoustic Signal. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 1, 4, Article 170 (Jan. 2018), 20 pages. doi:10.1145/3161188 [^43]: Wei Wang, Alex X. Liu, and Ke Sun. 2016. Device-free gesture tracking using acoustic signals. In Proceedings of the 22nd Annual International Conference on Mobile Computing and Networking (New York City, New York) (MobiCom '16). Association for Computing Machinery, New York, NY, USA, 82–94. doi:10.1145/2973750.2973764 [^44]: Hongyi Wen, Julian Ramos Rojas, and Anind K. Dey. 2016. Serendipity: Finger Gesture Recognition using an Off-the-Shelf Smartwatch. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems (San Jose, California, USA) (CHI '16). Association for Computing Machinery, New York, NY, USA, 3847–3851. doi:10.1145/2858036.2858466 ## [^45]: Erwin Wu, Ye Yuan, Hui-Shyong Yeo, Aaron Quigley, Hideki Koike, and Kris M. Kitani. 2020. Back-Hand-Pose: 3D Hand Pose Estimation for a Wrist-worn --- 基于背部形变网络的摄像头技术。收录于第33届ACM用户界面软件与技术年会论文集（美国虚拟会场）（UIST '20）。美国计算机协会，纽约州纽约市，第1147–1160页。doi:10.1145/3379337.3415897 [^46]: Xuhai Xu, Jun Gong, Carolina Brum, Lilian Liang, Bongsoo Suh, Shivam Kumar Gupta, Yash Agarwal, Laurence Lindsey, Runchang Kang, Behrooz Shahsavari, Tu Nguyen, Heriberto Nieto, Scott E Hudson, Charlie Maalouf, Jax Seyed Mousavi, and Gierad Laput. 2022. Enabling Hand Gesture Customization on Wrist-Worn Devices. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (New Orleans, LA, USA) (CHI '22). Association for Computing Machinery, New York, NY, USA, Article 496, 19 pages. doi:10.1145/3491102.3501904 [^47]: Chun Yu, Yizheng Gu, Zhican Yang, Xin Yi, Hengliang Luo, and Yuanchun Shi. 2017. Tap, Dwell or Gesture? Exploring Head-Based Text Entry Techniques for HMDs. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (Denver, Colorado, USA) (CHI'17). Association for Computing Machinery, New York, NY, USA, 4479–4488. doi:10.1145/3025453.3025964 [^48]: Tianhong Catherine Yu, Guilin Hu, Ruidong Zhang, Hyunchul Lim, Saif Mahmud, Chi-Jung Lee, Ke Li, Devansh Agarwal, Shuyang Nie, Jinseok Oh, François Guimbetière, and Cheng Zhang. 2024. Ring-a-Pose: A Ring for Continuous Hand 姿态追踪。《ACM交互式移动可穿戴及普适技术会议论文集》第8卷第4期，文章编号189（2024年11月），共30页。doi:10.1145/3699741 [^49]: Fan Zhang, Valentin Bazarevsky, Andrey Vakunov, Andrei Tkachenka, George Sung, Chuo-Ling Chang, and Matthias Grundmann. 2020. Mediapipe hands: On-device real-time hand tracking. arXiv preprint arXiv:2006.10214 (2020). [^50]: Qian Zhang, Yubin Lan, Kaiyi Guo, and Dong Wang. 2024. Lipwatch: Enabling Silent Speech Recognition on Smartwatches using Acoustic Sensing. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 8, 2, Article 84 (May 2024), 29 pages. doi:10.1145/3659614 [^51]: Ruidong Zhang, Ke Li, Yihong Hao, Yufan Wang, Zhengnan Lai, François Guimbetière, and Cheng Zhang. 2023. EchoSpeech: Continuous Silent Speech Recognition on Minimally-obtrusive Eyewear Powered by Acoustic Sensing. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (Hamburg, Germany) (CHI '23). Association for Computing Machinery, New York, NY, USA, Article 852, 18 pages. doi:10.1145/3544548.3580801 [^52]: Yu Zhang, Tao Gu, Chu Luo, Vassilis Kostakos, and Aruna Seneviratne. 2018. FinDroidHR: Smartwatch Gesture Input with Optical Heartrate Monitor. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 2, 1, Article 56 (March 2018), 42 pages. doi:10.1145/3191788