# Soli：基于毫米波雷达的普适性手势传感技术
Jaime Lien、* Nicholas Gillian、M. Emre Karagozler、Patrick Amihood、Carsten Schwesig、Erik Olson、Hakim Raja、Ivan Poupyrev
Google ATAP
Figure 1: Soli is the first millimeter-wave radar system designed end-to-end for ubiquitous and intuitive fine gesture interaction.
## 摘要
本文介绍了Soli——一种全新的、鲁棒性强、分辨率高、低功耗且体积小巧的基于毫米波雷达的人机交互手势传感技术。我们阐述了一种开发面向人机交互优化的雷达传感器的新方法：从零开始构建传感器架构，涵盖雷达设计原理、高时间分辨率手势追踪、硬件抽象层（HAL）、固态雷达芯片与系统架构、交互模型与手势词汇表，以及手势识别功能。实验表明，Soli能够实现可靠的手势识别，其手势追踪精度可达亚毫米级，在嵌入式硬件上运行时帧率可超过每秒10000帧。
关键词：传感器、交互、手势、射频、雷达
概念：●以人为中心的计算 → 交互设备；手势输入；●硬件 → 传感器设备与平台；
## 1 引言
本文介绍了Soli——一种全新的、鲁棒性强、分辨率高、低功耗且体积小巧的基于毫米波雷达的交互式计算机图形学手势传感技术。雷达的工作原理是反射并检测射频（RF）电磁波[Skolnik 1962]。射频频谱作为交互系统与应用的传感方式具有诸多极具吸引力的特性：这类传感器不依赖光照条件，
$^{*}$本研究得到了谷歌多大学研究协议的支持，当时作者还是斯坦福大学的学生。
需要特别指出的是，最早的雷达系统早在20世纪30年代就已研发出来[Watson-Watt 1945]，此后射频传感便已成为工程与应用科学领域成熟且发展完善的领域。不过，当前的雷达硬件与计算方法主要是为传统雷达应用而开发的，这类应用通常涉及对远距离大型移动物体的检测与追踪，比如空中与地面交通管制、海上雷达、飞机防撞系统、太空监视以及地球物理监测等等。这类应用对工程方面的要求，与现代消费类应用场景的需求并不相符：现代消费类场景要求传感器能够装入小巧的移动设备及可穿戴设备中，依靠有限的计算资源运行，在极短距离内（即小于5毫米）工作，功耗极低，还能以亚毫米级的精度追踪复杂且极易变形的弹性物体（如人手而非刚性飞机）的动态形态。我们尚未发现能满足上述要求的现有雷达系统。我们的研究表明，要开发出面向人机交互（HCI）优化的基于雷达的传感器，就必须从基本原理出发，重新思考并重构整个传感器架构。
它们不受噪声或大气条件的干扰；运行速度极快且精度极高；还能穿透各种材料，因此很容易被嵌入到设备和环境中。当在毫米波射频频率下工作时，整个传感器可以设计成一种紧凑的固态半导体器件：即雷达芯片。这种微型低功耗设备没有活动部件，能够低成本地大规模生产。由此产生的Soli传感器实现了真正无处不在的手势交互，可应用于极为广泛的领域，包括但不限于虚拟现实（VR）、可穿戴设备及智能服装、物联网（IoT）和游戏控制器，以及手机、平板电脑和笔记本电脑等传统设备。
在这项工作中，我们首次提出了专为追踪和识别精细手部手势而设计的端到端雷达传感系统。我们的研究建立在雷达领域已有的大量研究成果之上，首次探索了在现代人机交互的限制和要求下，实现可扩展手势传感所需的全面设计原则、实施方法和优化策略。我们证明，无处不在且直观的手势交互是通过对整个传感器架构进行量身定制的相互关联的设计来实现的——从雷达传感范式（第3节和第4节）到硬件及固态雷达芯片（第5节），再到交互模型（第6节）、手势追踪技术与词汇表（图1及第7节），以及软件流程（第8节）。
---
通过从雷达传感范式（第3节和第4节）到硬件及固态雷达芯片（第5节），从交互模型（第6节）到手势追踪技术与词汇表（图1及第7节），再到软件流程（第8节），对整个传感器架构进行量身定制的相互关联的设计，才能实现无处不在且直观的手势交互。这种新型手势传感模式的完整端到端设计、开发与评估是本研究的主要成果与贡献，它为非成像传感器的交互应用开辟了全新的研究前沿。
## 2 背景与相关研究
输入是交互式计算机图形系统中不可或缺、至关重要且关键的组成部分。为了能让操作者控制计算机生成的物体，人们对新型输入设备和交互模式的探索可以追溯到几十年前：Ivan Southerland发明的首批笔式界面、Engelbart发明的计算机鼠标、Bolt提出的“Put it there”手势界面、PHIGS和GKS、任天堂Power Glove、GOMS以及Lee和Buxton研发的早期电容式多点触控屏幕等等[Sutherland等人，1963年；Bolt，1980年；Shuey等人，1986年；Barnes，1997年；Lee和Buxton，1985年；Card等人，1983年]。尽管取得了显著进展，开发新型输入设备的重要性并未减弱；无论是在学术界还是工业界，这一领域依然是一个极具相关性、活跃且不断发展的研究方向。
新型输入技术的发展与计算应用环境的变迁密切相关。过去十年中最重要的发展之一便是移动计算的迅猛崛起——手机、平板电脑、手持游戏设备、可穿戴设备以及重新兴起的虚拟现实技术，已然成为获取和交互信息的主流平台。事实上，截至2014年，使用移动设备访问内容的人数已经超过了台式电脑用户数量[Comscore Inc. 2014]。随着移动计算的发展，新的交互模式不断涌现且变得切实可行，包括基于摄像头追踪或电容式场传感器的触摸及非接触手势、语音与视线输入，以及嵌入各类物体、人体、衣物、环境中的多种传感器，还有以3D界面形式呈现的交互方式（例如参见[Kim et al. 2012; Harrison et al. 2010; Rekimoto 2001; Saponas et al. 2009; Smith et al. 1998; Strickon and Paradiso 1998; Dietz and Leigh 2001; Russell et al. 2005; Gustafson et al. 2011; Holz and Wilson 2011; Yatani and Truong 2012; Cooperstock et al. 1997; Holleis et al. 2008; Chan et al. 2015]）。特定输入技术的选择始终由应用场景决定，需要在尺寸、功耗、与设备及环境的集成便捷性、对光线和环境噪声的敏感度、成本、更新速率及追踪精度等诸多因素之间做出艰难权衡。
研发Soli传感器的初衷，源于可穿戴、移动及普适计算领域中出现的一些应用场景：在这些场景中，传统的触摸交互要么难以实现，要么根本不可行，而空中手势则逐渐成为一种极具前景且吸引人的人机交互形式[Song et al. 2014; Kim et al. 2012]。我们尤其关注那些需要手腕和手指的小肌肉群进行高精度、受控动作的手势。数十年来的研究早已证实：手部的小肌肉群能够实现流畅、高效且快速的操作，进而带来精准且直观的交互体验[Zhai et al. 1996]。当我们观察到钟表匠等专业人士使用手工工具时展现出的极其精准流畅的操作时，便能明显感受到手指及小肌肉群的卓越能力。开发出能够通过非接触手势捕捉到类似手指运动精度的输入技术，正是我们研发Soli传感器的重要驱动力之一。
设计出能够捕捉自由空间中精准、快速手部运动的界面，被证明是一项极具挑战性的任务。过去十年间，计算机视觉技术取得了巨大进步[Kim et al. 2012]，但依然存在延迟问题，且难以区分重叠的手指与物体，同时还需要对人体手部进行额外装置安装[Wang and Popović 2009; Dorfmuller-Ulihaas and Schmalstieg 2001]。利用多摄像头或单深度摄像头获取深度信息，确实能显著提升精度[Sharp et al. 2015]，但却难以满足可穿戴及移动设备对小型化形态的要求。电容式和场传感技术在各类应用中具备良好的适配性，却无法实现自由空间内的高清交互[Smith et al. 1998]。
在本文中，我们探讨了将一种新型物理介质用于精细手势交互的可能性：毫米波雷达。尽管自20世纪40年代以来雷达就一直是研究与开发的热点领域，但其在交互系统中的应用却十分有限且零散。这可能是由于直到最近，生成和处理雷达信号仍需要较大的设备尺寸、较高的能耗以及巨大的计算量。随着20世纪90年代首批微型脉冲雷达的研发[Azevedo和McEwan 1996]，加之雷达技术在汽车领域的广泛应用使其变得更加普及，人们才开始尝试利用雷达进行存在检测、行走模式识别，以及呼吸与睡眠模式检测[Rahman等人 2015；Zhuang等人 2015；Otero 2005；Wang和Fathy 2011]。
现有的射频手势传感研究仅限于对单一刚性目标的追踪，例如单个肢体或身体运动[Paradiso 1999；Paradiso等人 1997；Pu等人 2013；Kellogg等人 2014]、大范围手部运动[Wan等人 2014；Molchanov等人 2015c]，或是笔类物体[Wei和Zhang 2015]。我们尚未发现任何先前的研究试图利用射频传感器来精确追踪多根手指的细微运动，并识别由复杂变形的手部姿态所表达的动态手势。正如[Wei和Zhang 2015]所指出的，这一问题与追踪整个手部的运动有本质区别，当雷达传感器的分辨率受到尺寸、功耗及计算负载等应用限制时，会面临独特的挑战。尤其是，我们首次探索了由现代毫米波雷达所实现的可扩展且无处不在的手势交互系统——这类系统不仅设计紧凑、能在近距离内实现精确追踪，还能以低成本大规模生产。
本文所介绍的Soli雷达传感器有着广泛的应用前景，其用途远不止于手势识别，还能为各计算领域设计令人兴奋且高效的用户界面开辟诸多新途径。不过在本研究中，我们重点关注可穿戴设备、移动计算领域，以及物联网和普适计算等新兴领域中的手势交互应用。
## 3 雷达基本原理
雷达传感的基本原理十分简单（见图2）：调制后的电磁波被发射向静止或运动的物体，这些物体会散射发射的辐射，其中一部分能量会被反射回雷达，并由接收天线截获。时间延迟、相位或频率偏移以及振幅衰减等信息，能够反映物体的诸多特性，如距离、速度、尺寸、形状、表面光滑度、材质及朝向等。因此，通过适当处理接收到的信号，便可提取并估算出这些特性。
雷达系统设计的目标是在特定应用的约束条件下，优化雷达的功能性能——以Soli为例，就是实现手势追踪功能。任何雷达系统的设计都包含三个方面：a) 硬件，如天线和内部电路组件；b) 信号处理技术，用于调制发射波形并从接收波形中提取信息；
---
c) 雷达控制软件，用于执行雷达操作和算法[Richards等人 2010]。所有这些组成部分的设计紧密相连，无法独立于彼此或具体应用的需求而单独确定。
从历史上看，雷达系统的设计主要服务于探测、定位和识别飞机、舰船及其他刚性目标等应用[Skolnik 1962; Brown 1999]。这些应用与在极近距离下追踪并识别复杂的、动态的、可变形的手部形状及细微动作截然不同。在本节的剩余部分，我们将简要回顾现有的雷达技术，并探讨将其应用于移动手势传感这一新领域时所面临的挑战。随后，我们将在第4节中讨论Soli雷达的设计原则。如需全面了解雷达技术，感兴趣的读者可参考[Skolnik 1962; Richards et al. 2010]。
### 3.1 雷达目标的建模
在传统的跟踪雷达系统中，目标通过称为雷达散射截面（RCS）的单一参数来建模和抽象，该参数反映了目标将电磁能量反射回雷达的能力[Knott 2012]。需要注意的是，RCS是目标的属性，而非雷达系统的属性，且它并不直接对应目标的实际物理横截面。
在手势追踪应用中，由于手距离传感器非常近，将手简化为单一的雷达散射截面会产生极其粗略的区分信息，这类信息主要由手部的物理横截面决定。对于需要捕捉各个手指重叠动作的精细手势识别而言，RCS远远不够。因此，我们并未采用RCS，而是将手建模为一系列动态散射中心，具体描述见下一节。
### 3.2 雷达的距离分辨率
雷达进行目标识别的经典方法是将测量到的反射特性和动态特征映射到空间坐标上[Smith and Goggans 1993]。该技术依赖于对目标多个部分的空间分辨能力。雷达系统的距离分辨率指的是雷达视线上两个可区分点之间的最小物理间距。需注意，这一指标不同于精度或精确度，后者反映的是雷达测量单个点距离的能力。定义雷达在距离维度上的空间分辨率的经典公式如下：
$$ res_{r}=\frac{c}{2BW}, $$
其中c为光速，BW为发射波形的总带宽。鉴于美国联邦通信委员会（FCC）目前允许在60 GHz频段使用的最大带宽为7 GHz[FCC 2016]，雷达所能达到的最精细距离分辨率约为2厘米。显然，这一分辨率比其他手势追踪技术的分辨率要低，例如可参考微软Kinect传感器的分辨率测量结果[Khoshelham and Elberink 2012]。
Figure 2: The fundamental principles of radar sensing are based on transmission and reflection of RF waves.
为了克服这一局限，我们提出了一种全新的雷达传感范式：放弃高空间分辨率，转而追求极高的时间分辨率。这种适用于任何信号调制形式的范式将在下一节中详细介绍。
### 3.3 波束转向与波束宽度
通过机械方式或使用电子扫描天线阵列进行数字波束转向，雷达不仅能追踪距离，还能确定目标在水平和垂直维度的位置，例如在距离和方位角上[Brookner 1985]。波束转向技术已被用于还原目标形状[Ralston et al. 2010]；因此，从传统思路出发进行手势追踪的话，会倾向于设计窄波束，并让其扫过手部以分辨其骨骼结构和各个手指的动作。
通过机械或数字方式利用电子扫描天线阵列来控制雷达波束，雷达不仅能测量距离，还能确定目标在水平和垂直维度的位置，比如范围和方位角 [Brookner 1985]。波束控制技术已被用于还原目标形状 [Ralston等人，2010]；因此，从暴力破解的思路来看，手势追踪的实现方式是设计一束窄的铅笔状波束，让其扫过手部以空间解析其骨骼结构和各个手指的运动。
使用这种经典技术进行手势传感所面临的挑战在于：为了实现所需的角分辨率，必须设计尺寸非常大的雷达天线。实际上，距离r处的角分辨率可通过以下公式进行计算 [Skolnik 1962]：
$$ res_{a}=rb=\frac{r\lambda}{l}, $$
其中b表示天线波束宽度，$\lambda$ 为波长，l则是天线孔径尺寸。若要达到区分手部姿态所需的1厘米级角分辨率，在20厘米的距离下使用60 GHz雷达时，所需的天线孔径将达到10×10厘米。这样的尺寸显然不适合用于可穿戴及移动应用中的小型交互传感器。此外，要推断出手部的骨骼结构需要巨大的计算量，而智能手表等受功耗限制的设备根本无法胜任这一任务。
在Soli项目中，我们提出了一种创新方法：利用宽波束天线照射整个手部，从而捕获能够反映特定手部形态的复杂反射信号。通过信号处理与机器学习技术，我们无需重建手部的空间模型即可识别出相应的手势。
### 3.4 雷达调制与硬件无关设计
雷达的中心频率 $f_{c}$ 对其系统设计有着至关重要的影响。由于天线尺寸大致与波长成正比，较低的中心频率意味着需要更大的天线孔径。波长的选择还会决定射频信号的传播与散射特性，以及FCC的监管要求 [FCC 2016]。为实现测距功能并达到所需的分辨率，必须将雷达波形调制到中心频率上。事实上，像测速枪那样未调制的单频雷达无法测量距离，因为缺乏确定发射波形与接收波形之间时间延迟的参照基准。可采用的调制技术种类繁多，包括脉冲调制 [Hussain 1998]、频率调制 [Stove 1992]、相位调制 [Levanon 2000] 以及伪噪声调制 [Axelsson 2004]。
针对特定应用所选用的调制方案及其设计受到多种因素的制约，其中包括调制发射波形及处理接收信号所需的硬件与算法复杂度、传输时长、峰值发射功率、能效、最小及最大可检测距离，以及对各类噪声和干扰的抵御能力。
---
因此，并不存在能适用于所有应用场景与环境的通用最优调制技术。正因如此，传统上雷达系统往往被设计为专用传感器，在硬件与软件层面均针对特定用途进行高度优化。
雷达软件与硬件之间这种高度的专门化与集成特性，限制了其在广大消费市场的扩展性。为使雷达成为可普及的技术，必须将传感算法与软件从底层硬件细节及特定信号调制方案中抽象出来。这种抽象机制使得相同的应用软件能够在不同厂商生产的硬件上运行，并针对特定应用领域进行优化。换句话说，与所有软件栈一样，我们希望应用层软件能够独立于硬件架构以及硬件特有的底层信号处理方式。
硬件抽象层（HAL）的概念在传感器领域（如摄像头）已经十分成熟，但迄今为止尚未应用于雷达。在本文中，我们提出了一组适用于所有雷达架构的通用抽象层。我们通过在一三种不同的雷达架构上运行同一套手势识别软件来验证这种新型雷达HAL的有效性，这三种架构分别为：FMCW雷达、相位调制扩频雷达以及脉冲雷达，且它们的工作中心频率各不相同。
### 3.5 固态雷达器件
高频雷达的电子硬件设计颇具挑战性，需要高度专业化的设备和技能。尤其是针对超高频段的宽带天线与波导设计，往往会成为实现低成本、普及化传感技术的重大障碍。为克服这一难题，我们设计出一款集成式雷达集成电路，将全部雷达功能集成到单颗芯片上，包括天线以及可直接与普通手机或智能手表中所配备的标准微处理器相连的前置处理模块。
## 4 Soli雷达设计原则
在本节中，我们将介绍Soli雷达的基本设计原则。这些原则通过采用全新的雷达传感范式，规避了传统技术的局限性，专门旨在消费类应用中实现对精细手部动作的追踪。
Soli雷达设计的整体思路可以直观地理解如下（见图3）：我们用覆盖150度范围的宽雷达波束照射手部，该波束的脉冲重复频率高达1-10 kHz。反射信号是来自多个动态散射中心的反射信号的叠加，这些散射中心对应着手部的不同动态形态。随后，我们对接收到的信号进行处理，将其转换为多种抽象表示形式（我们将其称为“变换”），借此提取出移动手部及其各部位的瞬时与动态特征，我们将其称为“特征”。这些特征虽不足以重构手部的骨骼结构，但它们的组合能够唯一标识不同的手部形态与动作；通过将它们与预先采集的训练数据集进行对比，再利用机器学习技术即可识别出这些形态与动作。上述步骤共同构成了Soli处理流程（Soli PP）。本节剩余部分我们将深入探讨Soli PP各个组成部分的具体细节。
### 4.1 人手散射中心模型
我们将手部的射频响应建模为多个离散的动态散射中心所产生的响应的叠加（见图3）。
Figure 3: Soli illuminates the entire hand and measures a superposition of reflections from multiple dynamic scattering centers.
如上图所示。当波长远小于目标的空间尺寸时，散射中心模型与几何绕射理论相一致[Keller 1962]，这一假设在毫米波手部传感场景中同样成立。在下面的公式3中，我们提出了一种通用的时变散射中心模型，该模型能够反映手部的非刚性运动特性。
每个散射中心由复反射率参数$\rho_{i}(T)$以及距传感器的径向距离$r_{i}(T)$来参数化，这两个参数会随时间T发生变化：
$$ y(r,T)=\sum_{i=1}^{N_{SC}}\rho_{i}(T)\delta(r-r_{i}(T)), $$
其中 $N_{SC}$ 表示散射中心的数量，而 $\delta$(.) 则是狄拉克δ函数。$^{1}$ 复杂的反射系数 $\rho$ 会随频率变化，同时还会受到手部局部几何形状、相对于雷达的方向、表面纹理以及材料成分的影响。这种针对可动态重构手部的毫米波散射响应的参数化描述，为手势参数的估计与跟踪提供了可行的模型。
### 4.2 高时间分辨率
与传统雷达技术依赖高空间分辨率来区分目标不同，Soli采用了一种基于高时间分辨率的传感范式。在这种范式中，我们通过以极高的帧率测量手部对雷达的响应，来检测细微且复杂的手部动作与手势，进而提取出与这些手部动作和手势相对应的精细时间信号变化。我们是通过发射周期性调制波形来实现这一理念的，
$$ s_{t r}(t,T)=u(t-T)\exp(j2\pi f_{c}t),T=0,R R I,2R R I,..., $$
其中 $f_{c}$ 代表中心频率，$u(t)$ 是定义调制方案一个周期的复数包络，而RRI则是雷达重复间隔，指从一个调制周期开始到下一个调制周期开始所经过的时间。每个发射周期内，都会测得对应的接收波形 $s_{rec}(t, T)$。这种传输方案定义了两种用于分析反射手部信号的不同时间尺度。
---
Figure 4: The Soli received signal is measured as a function of slow time and fast time.
在慢时间维度T下，雷达会以 $RRF = \frac{1}{RRI}$ 的重复频率采集接收信号。对于Soli雷达而言，RRF的取值范围在1 kHz到10 kHz之间。在一个调制周期RRI内，发射波形会随着快时间t的变化而改变，相应的接收信号则按照模数转换采样率进行采集（见图4）。
高雷达重复频率是将散射中心手部模型与Soli信号处理方法相联系的基本设计理念。当雷达重复频率足够高时，由于人手的运动相对较慢，我们可以认为在单个雷达重复间隔内散射中心的特性基本保持不变。因此，如上式3所示，散射中心的距离和反射率仅会随慢时间T而变化。
一个重复间隔内的接收雷达信号包含了关于瞬时散射中心距离和反射率的信息，而多个重复间隔内接收雷达信号的变化则源于散射中心的动态特性，例如速度和几何形状的改变。因此，我们通过处理作为快时间t函数的 $s_{rec}(t, T)$，来提取描述手部瞬时姿态和方向的特征；同时如图5所示，通过处理作为慢时间T函数的数据来追踪手势的动态变化。我们在快时间和慢时间下提取出的手部动作及特征，随后会被用于估算手势。下文我们将探讨其中的一些特征。
Figure 5: The combination of slow time and fast time processing produces several signal transformations, including the range-Doppler, range profile, Doppler profile, and spectrogram.
### 4.3 宽天线波束与快速时间处理
Soli雷达并未采用窄天线波束来在空间上分辨手部的散射中心，而是在每个发射周期内用单一宽波束照射整个手部。由于手部上的所有散射中心会同时被照亮，因此测得的波形 $s_{raw}(t, T)$ 是由各个散射中心产生的反射信号在快时间内叠加而成的：
$$ s_{r a w}(t,T)=s_{t r}(t,T)*y(\frac{c t}{2},T)=\sum_{i=1}^{N_{S C}}s_{i,r a w}(t,T). $$
每个单独的反射波形 $s_{i,raw}(t,T)$ 都会受到相应散射中心的瞬时反射率 $\rho_{i}(T)$ 以及距离 $r_{i}(T)$ 的调制（见上方的图3）$^{2}$：
$$ s_{i,r a w}(t,T)=\frac{\rho_{i}(T)}{r_{i}^{4}(T)}u(t-\frac{2r_{i}(T)}{c})\exp(j2\pi f_{c}(t-\frac{2r_{i}(T)}{c})). $$
我们注意到，$\frac{1}{r^{4}}$ 路径损耗模型是理想化的，但由于我们并不依赖接收信号强度来进行距离测量，因此我们的处理流程对该模型中的不准确性并不敏感。
经过射频解调以及特定调制方式的滤波处理（例如匹配滤波或脉冲压缩）后，预处理后的接收信号便代表了来自手部各个散射中心的响应 $s_{i,rec}(t, T)$ 的叠加：
$$ s_{r e c}(t,T)=\sum_{i}s_{i,r e c}(t,T). $$
第 i 个散射中心的响应可由下式表示：
$$ s_{i,r e c}(t,T)=\frac{\rho_{i}(T)}{r_{i}^{4}(T)}\exp(j\frac{4\pi r_{i}(T)}{\lambda})h(t-\frac{2r_{i}(T)}{c}), $$
其中 $\lambda$ 为传播介质中的波长，$h(t)$ 则为雷达系统的点目标响应。点目标响应函数的形状决定了距离分辨率，且这一特性取决于具体的调制方式、传输参数以及预处理步骤。
公式7-8表明，所有散射中心 $r_i(T)$ 的瞬时特性 $\rho_i(T)$ 和 $i = 1, \ldots, N_{SC}$ 都包含在接收信号 $s_{rec}(t, T)$ 中。每个散射中心产生的点目标响应 $h(t)$ 会在快时间维度上因往返传播时间而产生延迟，其振幅会按照散射中心的反射率 $\rho_i(T)$ 进行缩放，相位则会受散射中心的距离 $r_i(T)$ 调制。如果两个散射中心 i 和 j 在距离上的差值大于距离分辨率，即：
$$ |r_{i}(T)-r_{j}(T)|>\frac{c}{2B W}, $$
那么它们的响应 $s_{i,rec}(t,T)$ 和 $s_{j,rec}(t,T)$ 就能在快时间维度上被区分开来。
手部整体的多种特征也能通过快时间维度提取出来。例如，人手的射频散射特性和电磁特性能够提供关于手部形状、大小、姿态、纹理以及任何覆盖材料的丰富信息 [Baum et al. 1991]。为了分析手部的射频频谱
---
我们对原始接收信号进行快时间-频率谱分解，具体过程如下（见图5）：
$$ SP(t,f,T)=\int_{t}^{t+t_{win}}s_{raw}(t^{\prime},T)\exp(-j2\pi ft^{\prime})dt^{\prime}. $$
对于Soli而言，由于其对距离分辨率的要求较为宽松，因此手部上每个单独散射中心的特性与动态变化（如速度或位移）通常无法在快时间维度上直接分辨。相反，Soli依靠精细的运动分辨率来在慢时间维度上区分各个散射中心的响应。
### 4.4 精细运动分辨率与慢时间处理
高雷达重复频率使Soli能够捕捉到接收信号 $s_{rec}(t, T)$ 中与慢时间维度上的散射中心动态相对应的细微相位变化。这些由运动引起的时序信号变化被用来从复杂的信号叠加中分离出各个散射中心的响应。
Soli卓越的运动灵敏度源于每个散射中心响应的相位 $s_{i,rec}(t, T)$。当散射中心 i 从 $r_i(T_1)$ 移动到 $r_i(T_2)$ 时，相对位移会产生相应的相位偏移 $\Delta\phi_i(T_1, T_2)$，该偏移量与 $\lambda$ 成正比：
$$ \Delta\phi_{i}(T_{1},T_{2})=\frac{4\pi}{\lambda}(r_{i}(T_{2})-r_{i}(T_{1}))\mod2\pi. $$
在60 GHz频段下，这种关系决定了1毫米的距离位移会产生$0.8\pi$弧度的相位变化。由于可观测的相位抖动约为$0.25\pi$弧度，Soli雷达理论上能够以高达0.3毫米的精度测量理想点目标的位移，这一精度与其他传感器相比非常突出。
相位变化对位移的依赖特性，使得Soli能够基于各散射中心的相位历史，在慢时间维度上分辨它们。我们假设每个散射中心i的速度$v_{i}(T)$在某个相干处理时间$T_{cpi}$内近似保持恒定，该时间长度大于雷达重复间隔，即：
$$ \frac{d r_{i}(T)}{d T}=v_{i}(T)\approx v_{i}\mathrm{f o r}T_{c p i}>R R I. $$
在相干处理时间内产生的相位历史会对应一个多普勒频率。
$$ f_{D,i}(T)=\frac{1}{2\pi}\frac{d\phi_{i}(T)}{d T}=\frac{2v_{i}(T)}{\lambda}. $$
对于以不同速度运动的多個散射中心，可通过计算相干处理慢时间窗口$s_{rec}(t, T)$内每个快时间单元中$T_{cpi}$的频谱，来分辨它们的多普勒频率：
$$ S(t,f,T)=\int_{T}^{T+T_{{c p}i}}s_{{r e c}}(t,T^{\prime})\operatorname{e x p}(-j2\pi f T^{\prime})d T^{\prime}. $$
从功能实现上看，这一过程是通过将连续预处理后的$N_{cpi} = T_{cpi} RRF$雷达回波$s_{rec}(t, T)$存入快时间-慢时间数组中，随后对慢时间列上的每一行快时间数据进行FFT变换来实现的。得到的快时间-频率映射$S(t, f, T)$可利用以下变换轻松转换为距离和速度信息：
$$ RD(r,v,T)=S(\frac{2r}{c},\frac{2v}{\lambda},T). $$
ACM Trans. Graph.，第35卷第4期，文章编号142，出版日期：2016年7月
Figure 6: Scattering center positions and dynamics can be resolved and differentiated in the range-Doppler signal transformation. (Left) Two stationary hands resolvable in range. (Middle) Two fingers moving at different velocities within the range resolution limit but resolvable in velocity. (Right) Multiple fingers moving at different resolvable velocities.
信号处理参数$T_{cpi}$和RRF可根据预期的手部运动特征，以及信噪比、速度分辨率和多普勒混叠等方面的传感性能要求进行精细调节。
由此生成的三维距离-多普勒数组$RD(r, v, T)$会将每个散射中心反射的能量映射到其在时间T时的距离$r_{i}(T)$和速度$v_{i}(T)$上。只要满足以下任一条件，就能分辨出不同散射中心返回的能量（具体示例见上方的图6）：
1. 它们在距离上的间距大于由$\frac{c}{2BW}$决定的距离分辨率；
2. 它们的速度差大于由$\frac{\lambda}{2T_{cvi}}$决定的多普勒速度分辨率；或者
3. 它们仅在互不重叠的相干处理时间窗口内可被检测到。
需要重点强调的是，Soli传感模式并不需要大带宽或高空间分辨率即可实现手势追踪。实际上，可穿戴雷达形态下的空间分辨率要比大多数细微手指动作的尺寸更粗，因此上述条件1很少适用。相反，我们的核心传感原理主要依赖基于运动的分辨率，即通过分析慢时间维度上原始信号的时间变化来解析散射中心的动态特征。
值得注意的是，距离-多普勒处理是许多合成孔径雷达（SAR）及逆SAR刚性目标成像与识别技术的初始步骤[Park和Kim 2010]。虽然可以基于Soli的距离-多普勒信号处理构建SAR成像流程，但我们认为这种方法目前并不适用于计算资源受限的实时手势传感应用。不仅是因为手部细微动作会导致刚性目标假设不成立，而且从多普勒测量结果中推断空间结构所需的算法会带来巨大的计算开销。我们通过直接从运动空间中提取并跟踪手势特征，证明了这种额外处理对于精细手势识别而言并非必需。
### 4.5 手势运动轮廓
与基于图像的手势传感器不同，Soli直接捕捉手势运动轮廓以及散射中心特性的时间变化，将其作为手势识别的运动特征。无需推导手部的骨骼结构或手指的空间方位，这些运动模式本身就可以作为输入数据，与用于描述手部瞬时特性的传统特征一同送入机器学习模型。这种方法降低了计算负荷，使得即使在智能手表、物联网设备等低功耗设备上也能实现基于雷达的实时手势识别。
---
这类技术结合了更传统的、用于编码手部瞬时特性的特征。这种方法降低了计算负荷，使得基于雷达的手势识别能够实时运行，甚至可以在智能手表和物联网等低功耗设备上实现。
散射中心的动态特性可通过距离-多普勒图中散射中心响应的位置与轨迹来体现，也可通过其低维投影——距离剖面来反映。
$$ RP(r,T)=\sum_{v}RD(r,v,T) $$
此外还有多普勒剖面，也被称为微多普勒信号。
$$ DP(v,T)=\sum_{r}RD(r,v,T). $$
距离剖面和多普勒剖面分别展示了反射能量随距离和速度的分布情况，且均以慢时间函数为参数。因此这些信号能够清晰呈现完整手势过程中手部的动态变化。
结合这些技术，Soli能够以低维特征的形式捕捉手势动态以及手部的瞬时特性。下文我们将介绍其中的一些特征。
### 4.6 特征提取
#### 4.6.1 散射中心的显式跟踪
根据上述信号变换结果，我们提取了多种低维特征，大致可分为以下几类：
• 散射中心显式跟踪特征。
- 射频测量的底层描述符；
- 以数据为中心的机器学习特征。
当相关散射中心满足4.4节所述的可分辨条件时，Soli就能实现稳健的手部和手指检测与跟踪。我们利用恒虚警率（CFAR）检测技术在距离-多普勒图像中分离出单个散射中心响应，并随时间跟踪这些响应的轨迹。对于每个可分辨的散射中心i，我们能够持续估算其距离$r_i(T)$（即传感器到该点的径向距离）、径向速度$v_i(T)$与加速度$\frac{dv_i(T)}{dt}$，以及反射率$\rho_i(T)$——该参数反映了从散射中心反射并被雷达截获的能量大小（详见公式3和12）。最后，还可以提取出可分辨散射中心的数量$\tilde{N}_{SC}(T)$。
#### 4.6.2 射频测量的底层描述符
## - Soli：基于毫米波雷达的普适性手势感知技术
传统的雷达传感与分辨率限制往往导致在距离-多普勒图像中无法完全区分多个手指的散射中心。对于精细、快速且流畅的手势而言，由于手指运动速度相近，或者因相干处理间隔内的加速度导致响应在多个多普勒单元中模糊化，单个散射中心在速度维度上常常难以被分辨。我们发现，在此类情况下，能够表征信号变换空间中能量分布的低阶抽象特征，足以描述手指间的相对动态关系。
速度剖面质心：距离门限内的多普勒剖面质心与手指的相对运动相关性较强：
$$ v_{c e n t r o i d}(T)=\sum_{r=r_{0}}^{r_{1}}\sum_{v}v R D(r,v,T) $$
其中边界 $r_{0}$ 和 $r_{1}$ 可通过简单的距离估算或上述手部追踪技术来确定。
相对位移：从时间 $T_{1}$ 到 $T_{2}$ 的手指相对位移，可通过对距离门限内的速度质心进行积分来估算：
$$ d i s p(T_{1},T_{2})=\sum_{T=T_{1}}^{T_{2}}v_{c e n t r o i d}(T). $$
速度剖面离散度：多普勒空间内能量的离散程度反映了相干处理间隔内的速度分布情况：
$$ v_{dispersion}(T)=\sqrt{\frac{\sum_{r=r_{0}}^{r_{1}}\sum_{v}RD(r,v,T)(v-v_{centroid}(T))^{2}}{\sum_{r=r_{0}}^{r_{1}}\sum_{v}RD(r,v,T)}}. $$
距离剖面离散度：距离空间内能量的扩散程度描述了雷达视场中目标的空间范围。
$$ r_{{d i s p e r s i o n}}(T)=\sqrt{\frac{\sum_{r}R P(r,T)(r-r_{i^{*}}(T))^{2}}{\sum_{r}R P(r,T)}}, $$
其中 $i^{*}$ 表示反射率最高的可分辨散射中心的索引：
$$ \begin{align*}i^*=\arg\mathop{\max}\limits_{i=1}^{\bar N_{SC}}\rho_i(T).\end{align*} $$
瞬时总能量：接收信号的总能量包含了目标的多种属性信息：
$$ E_{i n s t a n t a n e o u s}(T)=\sum_{r}R P(r,T). $$
时变总能量：相邻帧间接收信号的相干差值所蕴含的能量，可用于衡量目标的波动与运动情况。
$$ E_{t i m e-v a r y i n g}(T)=\sum_{r}|\tilde{R P}(r,T)-\tilde{R P}(r,T-1)|. $$
其中 $RP(r, T)$ 为复数值的距离剖面。
### 4.6.3 以数据为中心的机器学习特征
为供Soli机器学习算法使用（详见第7节），我们直接从Soli变换数据中提取了多项特征。在计算这些以数据为中心的特征前，需先将变换数据归一化至单位尺度，并在Soli变换中定义感兴趣区域（ROI）。例如，可以追踪归一化距离-多普勒变换中的主能量质心，进而提取以该能量质心的距离单元为中心的矩形ROI。采用ROI能大幅降低搜索维度，无需遍历全部变换数据。随后即可在该ROI内提取以下部分以数据为中心的特征。
---
Figure 7: The Soli Processing Pipeline implements algorithmic stages of increasing data abstraction from raw radar signal to application-specific gesture labels.
距离多普勒多通道融合（RDMI）：RDMI矩阵整合了K个虚拟通道的ROI数据。为进一步降低维度，可对RDMI数据进行下采样，得到 $\frac{1}{M_{ds}}$ROI $_{rows}$、$\frac{1}{N_{ds}}$ROI $_{cols}$ 矩阵。该矩阵在时刻T的元素值可由以下公式给出：
$$ \mathbf{R}\mathbf{D}\mathbf{M}\mathbf{I}_{i j}^{(T)}=\frac{1}{M_{d s}N_{d s}K}\sum_{m=1}^{M_{d s}}\sum_{n=1}^{N_{d s}}\sum_{k=1}^{K}R D_{r c}^{(T,k)}, $$
其中，$\mathrm{RDMI}_{ij}^{(T)}$ 表示时间T时RDMI矩阵的第i行第j列，而$RD_{rc}^{(T,k)}$ 则表示时间T时来自Soli变换的测距多普勒数据中第k个通道的第r行第c列。此处r和c的值分别为：$r = x + i \cdot M_{ds} + m$ 和 $c = j \cdot N_{ds} + n$，其中x是一个偏移量，用于确保测距多普勒质心位于感兴趣区域（ROI）的中心。$M_{ds}$ 和 $N_{ds}$ 分别用于控制行和列的降采样因子。
测距多普勒多通道导数（RDMD）：RDMD矩阵用于提取两个测距多普勒通道之间的差异：
$$ \mathbf{R}\mathbf{D}\mathbf{M}\mathbf{D}_{i j}^{(T)}=\frac{1}{M_{d s}N_{d s}}\sum_{m=1}^{M_{d s}}\sum_{n=1}^{N_{d s}}\left[R D_{r c}^{(T,0)}-R D_{r c}^{(T,1)}\right]\frac{1}{\delta T}, $$
其中，$\delta T$ 表示系统的采样率，用于对不同采样率下的导数进行归一化处理。
测距多普勒时间导数（RDTD）：RDTD矩阵用于提取连续两个时间步长内RDMi矩阵的变化情况，从而描述信号随时间的变化趋势：
$$ \mathbf{R}\mathbf{D}\mathbf{T}\mathbf{D}_{i j}^{(T)}=\left[\mathbf{R}\mathbf{D}\mathbf{M}\mathbf{I}_{i j}^{(T)}-\mathbf{R}\mathbf{D}\mathbf{M}\mathbf{I}_{i j}^{(T-1)}\right]\frac{1}{\delta T}. $$
RDMI、RDMD和RDTD矩阵能够提升信号质量，提取虚拟通道间的空间和时间差异，同时降低特征空间的维度。
I/Q导数向量：I/Q导数向量描述了I/Q向量中每个复数值随时间的变化情况：
$$ \mathrm{i}\mathbf{q^{\prime}}_{i}^{(T)}=\frac{\mathrm{i}\mathbf{q}_{i}^{(T)}-\mathrm{i}\mathbf{q}_{i}^{(T-1)}}{\delta T}. $$
I/Q导数之和：I/Q导数之和标量描述了整个I/Q向量随时间的变化情况：
$$ \mathrm{i}\hat{\mathrm{q}}^{^{\prime}(T)}=\sum_{i=1}^{\left|\mathrm{iq}\right|}\mathrm{i}\mathrm{q^{\prime}}_{i}^{(T)}. $$
I/Q最大通道角度：I/Q最大通道角度描述了各通道中幅度最大的复数值之间的夹角：
$$ \mathrm{i}\bar{\mathrm{q}}^{(T)}=\operatorname{a r c c o s}(\frac{\alpha\beta}{|\alpha||\beta|}), $$
其中，$\alpha$ 和 $\beta$ 分别是第一和第二虚拟通道中幅度最大的复数值。
综合来看，这些I/Q特征在检测细微手势方面尤为有用，因为即使手部或手指的亚毫米级微小运动也会引起I/Q的可检测变化。
Soli频谱图包含了信号反射回各天线的程度、哪些频率被衰减以及特定帧内哪些频率发生共振等信息。与测距多普勒类似，频谱图中的大部分信息也位于与主目标的距离单元相对应的感兴趣区域（ROI）内。
频谱图多通道整合（SPMI）：SPMI矩阵将K个虚拟通道的ROI中的频谱图数据整合在一起：
$$ \mathbf{S P M I}_{i j}^{(T)}=\frac{1}{M_{d s}N_{d s}K}\sum_{m=1}^{M_{d s}}\sum_{n=1}^{N_{d s}}\sum_{k=1}^{K}S P_{r c}^{(T,k)}. $$
### 4.7 三维手部追踪
上述新型Soli传感范式能够在受限的移动应用中实现精细的手指和手势追踪。我们还可以轻松地将这一功能与传统雷达空间定位技术相结合，以追踪整个手部，而不会显著增加硬件或计算复杂度。Soli传感器采用2×2元件的接收天线阵列和两个可切换的发射器，能够实现二维数字波束成形和三维定位。关于大规模手部追踪的讨论超出了本文范围。
### 4.8 Soli处理流程与硬件抽象层
上文所述的Soli原理定义了Soli处理流程（SPP），如图7所示。在信号预处理阶段，依赖硬件的模拟和数字预处理模块会对原始接收信号进行解调，并形成点目标响应$h(t)$。具体的预处理步骤及实现方式，
---
Figure 8: The Soli hardware architecture features a highly integrated chip with antennas-in-package, RF front end, and baseband processing.
由于雷达调制方式、传输参数以及硬件架构的不同，各目标响应形式也会有所差异。不过，输出结果 $s_{rec}(t, T)$ 的表示形式是相同的（公式7-8）：尽管特定的波长 $\lambda$ 和 $h(t)$ 的形式会影响分辨率与精度等性能指标，但SPP的其他部分在功能上对雷达调制方式、硬件及传输参数并不敏感。
预处理阶段结束后，会利用文中前文所述的用于快速和慢速时间测量的算法与技术，计算出一组信号表示形式，也就是各种变换结果。目前我们计算出的变换结果包括I/Q数据、距离-多普勒图、距离剖面、微多普勒图、快速时间频谱图以及三维空间剖面。这些表示形式能够直观地反映手部的雷达响应情况，且对具体的硬件和调制方式不敏感。换句话说，基于这些变换开发出的任何应用程序或算法，理论上都能在任何雷达上运行。因此，这些变换构成了雷达的硬件抽象层。
最后，在Soli PP的最后一步中，这些特征会被提交给各类机器学习分类器，用以识别用户正在执行的具体手势，以及定义该手势的连续参数。需要注意的是，Soli PP并不旨在还原手部结构或识别单个手指。手势识别是基于在雷达变换空间中观察到的雷达手势特征，并通过计算出的能够反映这些手势的特征来实现的。本文第7节会对手势识别算法进行综述。
一旦计算出各种变换结果，就会从变换数据中提取出一组低维特征。这些特征包括但不限于细微位移、总测量能量、来自运动散射中心的测量能量、散射中心距离、速度质心等等。设计出能够实现稳健手势追踪的特征，是一门艺术与科学的结合，既需要对数据进行创造性分析，也需要具备关于雷达和待捕捉手势的领域知识。由于本研究具有新颖性，我们尚未发现以往在选取这些特征方面的相关技术。
## 5 Soli芯片与系统架构
图8展示了Soli的系统架构。在硬件开发过程中，我们迭代了多种Soli硬件架构实现方案，逐步将系统尺寸从台式大小的雷达盒缩小到单芯片级别。我们早期的FMCW雷达原型（图9，左上角）是一套采用英飞凌BGT60背靠背通信集成电路、由分立元件构成的57-64 GHz定制雷达，配备了多个窄波束喇叭天线。与此同时，我们还基于Novelda公司的XeThru NVA620x集成电路[Novelda]开发了3-10 GHz超宽带脉冲雷达原型（图9，右上角），其中包括对多种集成相干接收天线的设计，比如混合阿基米德功率螺旋天线。
很快我们就发现，这些原型的外形尺寸和功耗要求无法支撑我们将雷达手势传感器集成到移动设备和可穿戴设备中的最终愿景。此外，对于超宽带雷达而言，厘米级的波长无法满足精细手势交互所需的足够相位灵敏度要求，而且要在保持宽带宽和足够增益的同时进一步缩小天线尺寸也不可行。
Figure 9: Top: Early prototypes of Soli FMCW and impulse radars. Bottom: Soli radar 60 GHz chips with antennas-in-package (AiP).
近期半导体技术的进步使我们能够将雷达硬件从最初的原型大幅小型化。随着采用越来越精细工艺节点的新型CMOS、BiCMOS和SiGe工艺技术日益普及，实现毫米波雷达所需的高频射频电路（>30 GHz）成为可能。此外，现代硅芯片封装技术允许将天线直接集成到封装内，既可以将其垂直堆叠在硅芯片上方，也可以水平放置在同一平面上。这些技术使得包括天线和计算模块在内的传感雷达能够完全集成到单颗芯片中。
除了物理尺寸的小型化外，将雷达电子设备完全集成到单颗半导体器件上还显著提升了能效并降低了成本。这种单芯片解决方案极大地简化了终端系统设计，无需再进行GHz频率的射频开发，例如天线和波导设计，也无需使用具有特定射频特性的昂贵材料，如Rogers PCB。本质上，雷达已变成可以像加速度计、触摸传感器和CMOS摄像头一样轻松集成到消费设备中的组件。
---
波导设计以及Rogers PCB这类具有特定射频特性的昂贵材料。本质上，雷达已经变成了可以轻松集成到消费类设备中的组件，就像加速度计、触摸传感器和CMOS摄像头一样。
### 5.1 Soli雷达芯片
基于早期雷达原型的性能评估，我们开发了两款完全集成的Soli雷达手势芯片，如图9底部所示：
- 一款由英飞凌采用嵌入式晶圆级球栅阵列（eWLB）技术制造的$12 \times 12$毫米FMCW SiGe雷达芯片[Brunnbauer等人，2008]。
- 一款由SiBeam制造的9×9毫米直接序列扩频（DSSS）CMOS芯片，芯片上集成了天线。
制造这两款芯片时所采用的工艺技术不同（SiGe与CMOS），因此它们的信号质量、功耗和集成能力也存在差异。例如，CMOS可以在同一芯片上集成标准数字逻辑模块、混合信号模块和雷达技术，而SiGe则无法做到。SiGe芯片采用传统跟踪和成像雷达中常见的FMCW调制方案；CMOS芯片则采用通信领域常用的二进制相位编码DSSS调制方式。尽管存在这些差异，Soli雷达HAL（第4.8节）仍允许我们互换使用这两款芯片。关于Soli雷达芯片的详细讨论超出了本文范围；更多关于FMCW雷达芯片设计的信息可参见[Nasr等人，2015；Nasr等人，2016]。下文我们将重点介绍手势感应应用所需的关键硬件设计原则和特性：
雷达组件的高度集成。Soli雷达芯片属于即插即用型传感器，只需极小的工作量即可集成到消费电子设备中。天线、射频前端、基带处理、压控振荡器以及用于芯片编程的串行通信模块均集成在芯片上（图8）。CMOS芯片还集成了板载模数转换器和数字接口。未来，我们计划进一步提高组件的集成度。
V波段工作。这两款集成电路均在60 GHz频段工作，这一特性使得天线尺寸更小、能利用7 GHz的带宽，且只需稍作硬件修改即可与802.11ad和Wi-Gig标准兼容[Hansen，2011]。
宽波束天线封装设计。这两款芯片均采用天线封装（AiP）贴片阵列，可形成150度的宽波束，从而能够在近距离内照射手部及手指。
多通道2发射-4接收天线配置用于波束成形。这两个发射天线和四个接收天线元件能够实现数字波束成形，从而进行三维追踪和粗略的空间成像。接收天线采用针对60 GHz中心频率优化的$2 \times 2$排列模式，可支持经典的相控阵波束成形，同时最大程度减少栅瓣现象。我们在两种芯片中均在接收端实现了波束成形功能。对于SiGe FMCW芯片而言，波束成形为全数字方式，无需使用CMOS芯片中常见的模拟移相器。
低噪声、低功耗。该芯片设计针对低1/f噪声、相位噪声和抖动进行了优化，这对于精准追踪细微手势至关重要。目前雷达芯片的功耗为300毫瓦，通过自适应占空比调节机制，可在计算期间关闭芯片。利用应用层面的占空比调节，还能进一步降低平均功耗。我们计划继续优化Soli芯片设计，例如改用BiCMOS工艺，以进一步削减功耗。
Figure 10: The Soli chip is easily integrated into development boards as shown here, as well as consumer devices.
### 5.2 Soli系统设计
Soli芯片的设计便于集成到各类消费电子设备中。图10展示了一款基于Soli FMCW芯片的开发板示例。
不同Soli芯片在原始雷达数据的采集与传输架构上存在差异。FMCW芯片提供模拟输出，需要外接ADC。因此，在数据采集环节，我们采用了英飞凌XMC4500 Cortex M4微处理器，搭配四路12位ADC，采样速率可达1.79兆样本/秒。采集到的数据随后通过USB接口传输至应用处理器，比如标准PC或运行Soli处理流水线的嵌入式处理器。而对于Soli DSSS雷达而言，数据转换直接在芯片上完成，再通过SPI总线传输至应用处理器。无论哪种芯片，都需要借助SPI总线和微处理器来配置和控制芯片参数。
我们使用多种嵌入式微处理器对Soli芯片的运行性能进行了测试，包括主频500 MHz的双核英特尔Atom处理器、骁龙400平台上的1.6 GHz四核A7处理器，以及Mac和Linux台式机。由于架构和信号处理库的差异，不同微处理器上的信号处理性能也有所不同。通过标准化的距离-多普勒变换测试，我们测得的性能数据分别为：500 MHz双核英特尔Edison处理器每秒1830次变换，900 MHz四核ARMv7 Cortex-A7处理器每秒1200次变换，而搭载3.4 GHz四核英特尔i7-4770微处理器的Linux PC则能达到每秒49000次变换。
### 5.3 Soli雷达性能评估
我们通过将Soli雷达的位移测量结果与激光测距仪的数据进行对比，验证了Soli的基本追踪精度。实验中，一块金属板被垂直安装在雷达视线的方向上，初始位置距离共位的雷达和激光测距仪均为50厘米。随后，机械臂以不同速度带动金属板向传感器移动，同时收集位移数据。Soli雷达的工作RRF设置为1 kHz，采用单个发射器和单个接收器。雷达数据首先通过激光测距仪的标准距离测量结果进行校准。
图11(a)展示了两个传感器测量的位移轨迹，而Soli与激光传感器之间的均方根误差随速度的变化情况则显示在图11(b)中。在20毫米/秒到200毫米/秒的十二种不同速度下，平均均方根位移误差为0.43毫米。这一数据验证了Soli理论上小于1毫米的位移精度，且确实接近理想点目标的0.3毫米极限——该数值是根据Soli雷达的相位抖动规格确定的。
---
Figure 11: (a) Comparison of robotic arm displacement measurements for four velocities: 21.146 mm/s, 38.401 mm/s, 51.472 mm/s, and 73.053 mm/s. (b) The average RMS error between the two sensors over twelve different velocities validates Soli's theoretical sub-mm displacement accuracy.
## 6 Soli交互设计
Soli的手势交互必须依托雷达传感器的优势，同时兼顾人体工程学和认知需求。我们发现，技术特性与人类需求在一个我们称之为“微手势”的设计空间中相互重叠：即手指在传感器附近做出的手部尺度手势。这些微手势能够充分发挥传感器的速度与精度优势，同时避免基于摄像头的手势追踪技术所引发的疲劳感与社会尴尬问题[Khoshelham和Elberink 2012]。
### 6.1 动作手势
基于摄像头的系统通常通过解析图像和深度数据来构建并追踪人体骨骼模型[Shotton等，2013]或手部模型[Weichert等，2013]。由于我们的传感模式是在时间域而非空间域进行追踪，Soli无法采用这种方式。尽管并非不可能，但重构物体的空间形态（如身体姿势或静态手型，例如张开的手掌或握拳）十分困难。
Soli交互的关键并非静态形状，而是运动、范围和速度——传感器能够精准检测并追踪用户手部在感应区域内移动和做手势时产生的复杂运动成分。因此，我们专注于利用具有明显运动成分的手势，将其称为“动作手势”，而非以静态手型表达的手势或“符号手势”（见图12）。顺带一提，Soli雷达传感器的这一特性也缓解了使用网络摄像头追踪用户交互时的隐私顾虑。
对动作手势的关注催生了这类易于执行却难以描述和解释的手势，比如拇指和食指指尖相互摩擦的动作。目前尚无公认的术语能让我们用清晰明确的方式向用户传达此类手势。我们解决这一问题的方法是将其……
Figure 12: Sign Gestures (left) describe static hand shapes, while Action Gestures (right) relate to the use of tools and devices.
设计语言不与符号化手势挂钩，而是借鉴人们熟悉的物理工具和设备（见图12）。
### 6.2 虚拟工具
许多小型的、手部尺度的物理工具和控制机制，其特性恰好契合雷达传感器与用户的优势。实际上，它们的操作涉及物理运动，要求用户在手部尺度上做出协调的手指动作。相关动作令人印象深刻且为人熟知，跨文化背景下都容易理解，只需提及所操作的工具就能轻松描述。同时，这些动作尺度较小，不会让用户感到疲劳，也契合人类运动控制系统的优势——当手部和小肌肉群作为主要执行者时，能够实现非常精准、快速且轻松的操作[Zhai等，1996]。
虚拟工具的主题在Soli手势语言设计中占据核心地位，由此衍生出多种手势：虚拟按钮，即弯曲食指与拇指（图15(a)）；虚拟滑块，即在同一只手的食指侧面移动拇指（图15(b)）；以及虚拟旋钮，即在拇指与食指之间操作的隐形旋钮（图13）。
Soli传感器能够识别更传统的手势类型，比如滑动操作（图15(c,d)）。我们正在评估这些手势，认为它们是对虚拟工具主题的补充。这一主题在指导交互设计、定义独特的Soli手势语言方面发挥了重要作用，而该语言具备其他手势界面难以具备的特性。我们将在本节的后续部分介绍其中的一些特性。
#### 6.2.1 触觉反馈
由于手既是虚拟工具的载体，也是对其施加作用的主体，因此触觉反馈是由手自身产生的。所以，与基于摄像头的其他非接触式手势交互系统不同，Soli交互不会存在缺乏触觉反馈的问题——而触觉反馈是物理控制的重要组成部分。即便没有实际的物理设备存在，系统也未生成主动触觉反馈，Soli交互仍能带来触感体验。
---
Figure 13: Virtual Dial Tool
#### 6.2.2 本体感觉
虚拟工具交互依赖于手和手指之间的相对运动。在这种情况下，手势交互能受益于本体感觉——即人体对自身在空间中的相对位置以及身体各部位之间相对位置的感知能力。例如，在操作食指与拇指之间的虚拟滑块时，无需依赖手眼协调就能精准控制交互过程。只要确定了手相对于传感器的位置，用户就无需注视其所控制的界面；来自用户自身的反馈便已足够。
Figure 14: Virtual Slider Tool in two zones
#### 6.2.3 交互区域
由于雷达可以独立于运动来追踪距离，大多数虚拟工具可以根据其相对于传感器的位置，被映射到不同的界面功能上，这一概念有时被称为空间复用。例如，在靠近传感器的位置执行虚拟按钮手势可能会使地图放大，而在离传感器较远的位置执行相同手势则可能导致地图缩小（图14）。虚拟工具与交互区域的结合，使得设计出能用最少的手势控制复杂功能的界面成为可能。
### 6.3 反馈
视觉或听觉反馈是任何用户界面的重要组成部分，对Soli而言更是如此，因为其交互发生在空中、无形的区域内。这种反馈可理解为桌面图形用户界面中的悬停效果，但需与Soli交互系统的独特状态相匹配。这些状态包括“存在”概念，即指示手是否处于感应区域内；“邻近”或上述的空间复用概念；以及“活动”状态，比如虚拟旋钮交互的开始与结束。
### 6.4 虚拟工具包
由于Soli手势识别流程的特性（见第7.1节），Soli交互被定义为有限的手势集合。通常情况下，某一集合中手势数量越多，手势识别的可靠性就越低。手势识别的这一特性与人类的需求相契合：人们希望尽量减少为操作系统而需要学习的新手势和交互方式的数量。基于虚拟工具的理念，我们将Soli交互归类为虚拟工具包：这些小型手势集合组合起来既易于被传感器检测到，也便于用户记忆，同时其复杂度足以支持日常用户界面的控制。
## 7 基于Soli的手势识别
Soli手势识别的基本思路是利用雷达的时间精度。因此，我们直接通过提取并识别Soli变换中的运动特征，来从接收到的雷达信号的时间变化中识别手势。这与许多现有的手势传感方法截然不同——后者主要基于空间信息，在识别手势前会先估算手部姿态或骨骼模型 [Romero et al. 2013; Keskin et al. 2013]。除了利用雷达的时间精度外，Soli的手势识别设计还旨在：(i) 保持传感器的高吞吐量以最小化延迟；(ii) 利用多天线的优势来最大化信噪比并提高识别准确率；(iii) 提供离散和连续的预测结果 $^{3}$；(iv) 具备计算效率，可应用于智能手表等微型低功耗设备。
实现这些设计目标并非易事，需要做出各种权衡，比如识别准确率、检测延迟和计算效率之间的平衡。在本节中，我们将介绍这些挑战，并阐述可用于构建各类基于雷达的手势系统的Soli手势识别流程的基本组成部分。
为了评估我们的方法，我们针对基础手势集实现了一种基于经典随机森林分类器 [Breiman 2001] 的手势识别流程。这一示例流程展示了众多可能的手势识别流程实现方式之一，也验证了Soli能够用于实现计算效率高、实时性强的手势识别这一前提——这种识别功能甚至可以在计算能力较弱的设备（如可穿戴设备）上运行。
### 7.1 Soli手势识别流程
Soli的典型手势识别流程包含以下三个模块：
---
Figure 15: The four gestures recognized in the gesture evaluation.
1. 特征提取：从变换中提取低维且特定于手势的特征；
2. 手势推断：使用合适的机器学习分类器进行手势识别；
3. 过滤：进行时域和上下文过滤以提升识别质量。
本节剩余部分我们将详细探讨Soli手势识别流程的这三个模块。
#### 7.1.1 特征提取
与许多机器学习任务一样，从雷达信号中提取关键特征，是构建稳健的手势识别流程的关键步骤[Guyon和Elisseeff 2003]。这对于时序手势的识别尤为重要，因为时序特征能够反映手势随时间的变化情况。需要强调的是，特征的选择完全取决于具体的应用场景和手势类型：虽然一些通用特征——比如目标距离、散射中心的速度或之前在论文中讨论过的速度质心（第4.5节）——在多种手势识别中都能发挥作用，但它们通常并不足以满足需求。要实现稳健的手势识别，几乎总是需要针对特定手势定制化的特征。由于毫米波雷达手势识别领域已有不少现有技术，特征发现自然也就成了开发过程中的重要环节。
特征发现并没有单一的方法。在我们的研究中，我们将信号观测结果和直觉，与关于雷达运作原理及交互约束的领域知识相结合。此外，我们大量运用机器学习的思路，在学习阶段自动检测并筛选出最相关的特征。例如，使用随机森林算法时，可以分析分类器在学习阶段选出的特征，从而得到针对特定手势集的特征重要性排序。其他机器学习算法也采用类似的技术[Storcheus等 2015；Bishop 2006]。
Soli系统专注于动态的手部时序手势，而非静态的手部姿势。这就导致仅依靠T时刻采集的单份雷达数据中的特征，很难准确识别手势。为解决这一问题，Soli手势识别流程中的部分特征是在滑动时间窗口内提取的。具体做法是先将特征收集到时间缓冲区中，每来一份新样本，就将缓冲区的内容拼接成特征向量。此外，还可以根据时间缓冲区的内容计算出元特征，比如特征随时间演变的基本统计数据，包括均值、标准差、均方根偏差、频率等。通过这两种方法从时间窗口中提取出的特征会被合并，形成最终的特征向量，作为机器学习算法进行手势分类的输入。
#### 7.1.2 手势推断
用于时序手势识别的强大分类算法有很多，比如隐马尔可夫模型[LoPresti等 2015；Kurakin等 2012]、动态时间规整[Wu等 2013；Gillian等 2011]、支持向量机[Dardas和Georganas 2011；Gillian 2011]，以及卷积神经网络[Ji等 2013；Duffner等 2014；Molchanov等 2015b]。不过这些算法计算开销较大，无法在低功耗嵌入式平台上以高帧率、小内存占用的条件实现实时运行。经过对各类算法的基准测试和比较后，我们最终选择了随机森林分类器。
随机森林已被证明是一种快速且高效的多类分类器[Shotton等人，2013年；Song等人，2014年]，由于其计算速度快、内存占用低以及泛化能力强，因此被优先选用于Soli手势识别流程中。实际上，在第7.2.2节的评估中，Soli手势识别流程在智能手表中常用的高通骁龙应用处理器上，每秒可完成多达2080次分类。此外，随机森林生成的模型大小仅占其他分类器（如支持向量机）的一小部分，而在我们之前的分类基准测试中，这些分类器也能产生相当的分类结果。
较小的模型占用空间和高效的实时分类能力，是选择随机森林用于Soli流程的重要因素。在内存、功耗和计算资源不受限制的场景下，也可以采用其他强大的分类方法。
#### 7.1.3 过滤
为了提高分类器的预测准确性，我们采用贝叶斯滤波器对原始预测结果进行优化。我们利用该流程的高帧率特性以及相邻预测结果之间的时间相关性：即便动作很快，也会持续数十甚至数百帧。我们利用这种时间连贯性，通过贝叶斯滤波器对分类器产生的原始预测结果进行过滤，从而显著减少偶发的误判错误，同时还能为终端应用保持极低的预测延迟（见图16）。实际上，借助时间过滤技术，有些手势甚至能在动作完成前就被识别出来。例如图16显示，滑动手势的分类概率在动作刚开始时便迅速上升，并在动作结束时达到峰值。
与其他仅对随时间变化的预测结果取平均值的时间滤波器不同，Soli贝叶斯手势滤波器会考虑两个重要的先验信息——
---
（1）基于最近预测结果加权平均得到的时间先验；（2）上下文先验，即由监听手势事件的终端应用传递给Soli库的信息。
在时间T、特征向量为x的条件下，手势k的贝叶斯滤波后验概率表示为：
$$ P(g_{k}|\mathbf{x})=\frac{P(\mathbf{x}|g_{k})P(g_{k})}{\sum_{j}P(\mathbf{x}|g_{j})P(g_{j})}, $$
其中，似然值$P(\mathbf{x}|g_k)$是分类器在时间T输出的原始预测似然值。先验值$P(g_k)$由时间先验和上下文先验$z_g$组成：时间先验是通过对分类器前N个预测结果取加权平均得到的；上下文先验则由终端应用传递给Soli库，用于指示在时间T的应用当前状态下，某一特定手势出现的可能性大小：
$$ P(g_{k}^{(T)})=z_{k}^{(T)}\sum_{n=1}^{N}w_{n}P(\mathbf{x}^{(T-n)}|g_{k}^{(T-n)})^{(T-n)}, $$
其中$w_{n}$为滤波权重，该权重会被设置为增大较新预测结果的权重。时间T的滤波后预测结果表示为：
$$ g^{*}=\mathop{\operatorname{a r g}\operatorname*{m a x}}_{k}\quad P(g_{k}|\mathbf{x}),\quad1\leq k\leq K. $$
#### 7.1.4 手势检测与时间变化
将特征提取、手势推断和时间过滤结合起来，就构成了Soli手势识别流程的总体结构。要将这一流程应用于连续未分割数据流的实时手势识别，必须解决以下两个挑战：手势检测和手势的时间变化问题。
为了解决Soli的手势识别问题，我们向机器学习算法明确提供了正样本和负样本（即有效手势与背景动作），用于模型训练。此外，我们将连续的时间序列数据流作为分类流水线的输入，并结合贝叶斯滤波器来平滑随时间产生的预测结果，从而消除偶发的误检错误。正如第6节所述，通过对系统施加设计约束，识别效果还能得到进一步提升。
为应对手势在时间维度上的变化，我们收集了大量由不同用户执行的手势样本。利用这些数据，我们训练机器学习模型，使其对手势的适应性尽可能强。
#### 7.2 按钮、滑块和滑动手势的识别
在本节中，我们在以下四种手势上评估了Soli手势识别流水线：虚拟按钮、虚拟滑块、水平滑动和垂直滑动（见图15）。虚拟按钮是指拇指与食指之间的双击手势。虚拟滑块是一种连续手势，表现为拇指沿食指水平“滑动”以形成连续控制器；该手势会与拇指垂直轻触食指的“选择”手势配合使用。最后，滑动手势是指手在传感器上方进行的两个方向的挥动：1）从右向左横穿传感器的水平挥动；2）从传感器向上远离的垂直挥动。
#### 7.2.1 手势识别流水线的配置
我们配置了Soli传感器，使用两个虚拟通道以每秒2500帧的速度采集原始雷达帧。选择使用两个虚拟通道是为了提升信噪比并提取通道间特征。每10帧会对两个通道的数据进行计算转换，最终达到每秒250次转换的频率。我们将原始采样率设定为尽可能高的数值，以便捕捉虚拟工具手势的精确速度信息，同时缓解较大幅度滑动手势的速度混叠问题。虽然传感器能够以更高的速率采集数据，但我们的采样率受限于雷达帧尺寸和活跃通道数量。此外，我们并未对每一帧原始雷达数据都计算Soli转换结果，而是按10:1的比例进行计算。这种方式大幅降低了计算负载，同时仍能保持高采样率以缓解速度混叠问题。Soli软件库（第8节）允许开发者轻松调整这些参数，从而在系统的响应速度、性能与效率之间取得平衡。
为了识别四种测试手势以及背景类别，我们使用了九个低维特征：距离、加速度、速度、速度质心、总能量、运动能量、运动指数、细微位移和目标检测（第4.8节）。此外，我们从距离-多普勒感兴趣区域计算了RDMI、RDMD和RDTD矩阵，该区域的高度设为原始尺寸的20%，宽度设为100%。最终得到的矩阵尺寸为6×32，随后又被下采样至3×8的大小。除了基于距离-多普勒的特征外，我们还使用了I/Q导数之和以及I/Q最大通道角度特征。
上述特征均对应于时间T时的某一帧变换数据。为了考虑手势的时间特性，将每一帧的特征缓存到一个滑动窗口中。时间窗口的大小被设定为10帧，大约覆盖40毫秒。对于每一个低维跟踪特征，我们计算了五种元特征：均值、标准差、均方根、积分和以及积分增量。每当时间缓冲区更新时，就会计算上述特征并将其拼接成一个主要特征向量，用作随机森林分类器的输入。最终生成的特征向量包含785个特征：$3 \times 8 \times 3 \times 10$ RD ROI特征、$2 \times 10$ I/Q特征以及$9 \times 5$ 跟踪元特征。
将数据中心特征、跟踪特征、射频能量特征和元特征组合成一个特征向量的优势在于，随机森林分类器能够在学习阶段自动检测并选择相关特征。这使我们能够禁用无关特征的计算，从而提高分类速度。
#### 7.2.2 手势识别评估
我们记录了五名用户在传感器30厘米范围内的不同位置执行图15所示四种手势各50次的情况。此外还包括在传感器上进行的普通背景动作，以及手势开始与结束时的自然过渡过程。参与者坐在固定传感器前，先接受每种手势的操作指导，并有几分钟时间练习直至熟练掌握。每位参与者每种手势需执行50次，共进行两轮，两轮之间休息片刻。将每位用户的第一轮时间序列记录汇总为一个数据集，用于训练评估模型；第二轮记录则单独作为测试集来评估该模型。我们选择了独立的测试数据集，而非采用留一法、交叉验证或其他随机抽样方式。
---
Figure 16: Ground truth labels (top), raw likelihoods from the random forest classifier (middle), and filtered predictions from the Bayesian filter (bottom) for a small subset of the test data set containing nine vertical swipe gestures. The square wave in the ground truth labels indicates sections in the time series containing valid swipe gestures.
| per-sample accuracy | per-gesture accuracy |
| raw | 73.64% | 86.90% |
| filtered | 78.22% | 92.10% |
Table 1: The accuracy for the per-sample and per-gesture results for 1000 test gestures (308,335 test samples) for five users. Raw indicates the direct estimation of the Random Forest classifier, filtered indicates the estimation of the Bayesian filter.
我们并未采用这些技术，因为发现用它们进行验证时得到的结果高得不合实际，且无法推广到实时应用场景。这是由于传感器的高帧率以及数据的时间序列特性导致了样本间强相关性。
总体而言，训练和测试数据集共包含2000个手势样本（5名参与者 × 4种手势 × 50次重复 × 2轮），相当于约600万个原始数据帧，可生成60万个Soli变换结果。我们采用规模为50棵决策树、最大深度为10的随机森林分类器进行训练。随后用1000个测试手势对训练好的模型进行测试。我们采用了以下评估指标：1）系统逐样本准确率；2）各手势准确率。我们还进一步评估了原始预测结果（即随机森林分类器的直接输出）以及过滤后的预测结果（即贝叶斯滤波器的输出）。
结果如表1所示，在1000个测试手势中，经过滤波后的单手势识别准确率达到92.10%。图16展示了测试数据集中一小部分样本的原始预测结果与滤波后的预测结果。这反映出无论是基于单个样本还是基于整个手势的分析，滤波后的预测效果都有显著提升。这种提升直接转化为实时预测的准确性，因为贝叶斯滤波器大幅减少了误判为手势的情况。图16还解释了测试数据集中7.9%的误差来源：手势起始或结束阶段的一些样本被错误地归类为背景类别，从而降低了整体预测准确率。在第8节中，我们将展示整个流程能够在嵌入式平台上通过Soli软件流水线实现实时运行。
## 8 Soli软件流水线的性能表现
Soli软件流水线（SSP）支持利用多种雷达硬件架构实现实时手势识别，且可针对嵌入式应用处理器进行优化，从而在保证高帧率的同时将延迟降至最低，以提升时间分辨率。SSP可分为以下几个主要模块：
1. 从Soli传感器或预录文件中采集原始雷达数据。
2. 运用第4.8节所述的Soli DSP算法对原始雷达数据进行处理并计算变换结果。经Soli HAL输出后，这些DSP变换结果具备硬件无关性。
3. 基于Soli变换结果计算自定义特征，例如追踪用户手部的位置。
4. 利用机器学习分类器识别手势。
5. 触发回调函数，将数据与通知传递给主应用程序。
我们已在多种嵌入式平台上对整个SSP进行了测试与基准测试，包括主频为900 MHz的Raspberry Pi2以及主频为1.6 GHz的Qualcomm Snapdragon 400（APQ8028）。测试程序利用Soli库处理10秒采集数据，每个通道包含64个样本，共计8422帧。为测量最大帧率，我们关闭了节流功能，使单个线程的CPU利用率达到100%。
我们针对两种测试实现方案测量了SSP的性能：1）公式19中描述的细微位移计算；2）第7.2.2节中描述的完整手势识别流水线。这些流水线在以下系统配置上进行了测试：未启用NEON优化的DSP功能的Raspberry Pi2；启用了NEON优化的DSP功能且采用针对ARM SIMD优化的FTTS开源FFT库的Raspberry Pi2；以及启用了NEON优化的DSP功能且采用FTTS库的Qualcomm Snapdragon。ARM版本是使用GCC 4.9开源编译器构建的。
性能评估结果显示，在未进行优化的情况下，Soli细微位移流水线在Raspberry Pi2上无节流时的运行帧率可达约10,000帧/秒。经过嵌入式优化后，Soli手势识别流水线在Qualcomm Snapdragon 400上的运行帧率可超过2,800帧/秒。如此高的帧率能够确保出色的时间分辨率并最大限度降低延迟。
---
142:16 · J. Lien et al.
| Platform | Fine Displacement | GR |
| RPi2 (no NEON-opt) | 8000 fps | 669 fps |
| RPi2 (NEON-opt) | 11500 fps | 1480 fps |
| Snapdragon (NEON-opt) | 18000 fps | 2880 fps |
Table 2: Performance of SSPs on embedded platforms for fine displacement computation ("Fine Displacement") and the gesture recognition pipeline outlined in Section 7.2.2 ("GR"). The maximum frames per second (fps) is measured while consuming one thread at 100% CPU utilization.
从而实现精细的手势控制。此外，这些优化使得Soli流水线在适用场景下能以更低的帧率运行，且仅占用少量CPU资源。
总体而言，本次性能评估表明，SSP具有轻量化的特点，其高效的实现方式使得在可穿戴设备、移动设备和物联网应用中使用的低功耗嵌入式平台上也能实现无接触手势交互。
## 9 应用场景与未来工作
Soli提出了一种基于毫米波射频辐射物理原理的新型手势传感器类别，这类原理此前并未在交互类应用中被探索过。本文证明，雷达确实是一种可行、强大且极具吸引力的技术，能够增强并改善用户交互体验。我们推出了专为精细手势交互设计的射频硅传感器，其基于全新的雷达硬件设计与信号处理原理。此外，我们的手势识别与软件流程也证明：在智能手表等轻量级嵌入式系统上，我们就能实现高更新率与高识别率下的快速流畅手势操作。
### 9.1 Soli的应用场景
这项新技术有着广泛的应用前景。由于基于射频的手势传感器体积小、功耗低且成本低，我们可以设想将其应用于可穿戴与移动交互、智能家电与物联网、移动VR与AR系统、交互式机器人与无人机、游戏操控、智能物体与服装、大规模交互式物理环境，以及用于扫描和成像物理环境、路径指引、无障碍设施与安全、移动光谱分析等诸多令人兴奋的领域。
在上述众多可能性中，我们选择专注于基于本文提出的虚拟工具隐喻的近距离精细流畅手势感知。我们设想，同一套简单的无接触手势词汇能够控制多个应用类别中的各类设备。例如，用于在智能手表上浏览地图的同一手势，可以用来控制收音机上的音乐播放、操作平板电脑上的图形，或者简单地设定闹钟。因此，Soli有望催生一种真正无处不在的手势语言：一旦掌握，用户就能用一套通用的手势集来控制智能计算设备，无需依赖实体控件。界面将不复存在，用户的手将成为他们唯一需要的输入设备。
从诸多方面来看，Soli背后的愿景与计算机鼠标类似——鼠标为桌面计算带来了交互的通用性，拓展了用户接触技术的途径。它为互联网、移动应用以及当前的计算扩张铺平了道路，极大地提升了我们获取信息、内容与服务的能力，为我们的生活带来了新的品质与乐趣。
### 9.2 挑战与未来工作
Soli技术仍处于发展的早期阶段。目前可供参考的相关成果极少，本文仅记录了探索这种新型传感方式的初步步骤，仍有广阔的探索空间与新颖的研究方向等待发掘。
要解决雷达传感中固有的诸多根本性难题，未来还有大量工作要做，这些难题包括雷达杂波、信号耦合、多径效应、信号衰落、干扰以及遮挡等。这些现象对雷达手势传感的影响尚未被充分理解，它们为研究与技术开发开辟了新的方向。此外，还需要对Soli传感器进行进一步的实验表征，同时定量了解帧率、带宽等多种雷达参数对精细手势追踪与识别性能的影响。
未来研究最重要且尚未探索的方向之一，在于探索能够发挥Soli传感器固有优势的新型机器学习与手势识别方法。我们目前的工作通过为少量手势设计基础的手势识别流程，并在有限数量的测试用户中进行评估，验证了Soli的有效性。我们期待能出现替代且更优的手势识别方法，从而实现在更大手势集合和更多用户场景下的稳健手势交互。尤其是，我们期待未来的研究能够完全实现本文提出的虚拟工具范式，拓展我们在此方向上已迈出的初步步伐。
关于Soli的未来研究，另一个重要领域是这些新型交互方式对人体因素的影响。此外，还有许多令人兴奋的机会，可以发现并开发这项技术的新颖交互技术、应用及使用场景。
通过这篇论文，我们希望激发广大研究人员、科学家及从业者探索这项新颖而令人兴奋的技术。我们相信，Soli以及射频技术作为人机交互与未来交互图形的全新传感范式的全部潜力，尚未被完全发掘。
## 致谢
我们感谢谷歌ATAP的Touchstone团队，尤其是Roberto Aiello和Changzhan Gu，感谢他们的专业技术与协助；也感谢我们的紧密合作者：Ottica公司的Timo Arnal和Jack Schulze；Studio NAND公司的Jonas Loh、Stephan Thiel和Steffen Fiedler；以及Tim Gfrerer、Arturo Castro、Hannah Rosenberg、Derek Yan；还有斯坦福大学的Howard Zebker教授。我们同样感谢Regina Dugan在谷歌ATAP所展现的领导力与支持。最后，我们衷心感谢英飞凌公司的众多行业合作伙伴所作的贡献，尤其是Saverio Trotta；还有SiBeam、BluFlux、FlatEarth、CEI以及BDTI。
## 参考文献
AXELSSON, S. R. 2004. 采用随机相位与频率调制的噪声雷达。《IEEE地球科学与遥感汇刊》第42卷第11期，2370–2384页。
AZEVEDO, S. 与 MCEWAN, T. 1996. 微功率脉冲雷达。《科学与技术评论》，17–29页。
BARNES, S. B. 1997. Douglas Carl Engelbart：当代计算底层概念的发展。《IEEE计算机历史年鉴》第19卷第3期，16–26页。
---
BAUM, C. E.、ROTHWELL, E. J.、CHEN, K.-M. 与 NYQUIST, D. P. 1991. 奇异性展开方法及其在目标识别中的应用。《IEEE会议录》第79卷第10期，1481–1492页。
BENEZETH, Y.、JODOIN, P. M.、EMILE, B.、LAURENT, H. 与 ROSENBERGER, C. 2008. 常用背景减除算法的综述与评价。载于2008年ICPR会议论文集。
BISHOP, C. M. 2006. 模式识别。机器学习领域。
博尔特，R. A. 1980年。Put-that-there。SIGGRAPH '80会议论文集，第262–270页。
布雷曼，L. 2001年。随机森林。《机器学习》第45卷第1期，第5–32页。
布鲁克纳，E. 1985年。相控阵雷达。《科学美国人》第252卷第2期，第94–102页。
布朗，L. 1999年。《第二次世界大战雷达史：技术与军事需求》。物理研究所出版社。
布伦鲍尔，M.，迈耶，T.，奥夫纳，G.，穆勒，K.，哈根，R. 2008年。嵌入式晶圆级球栅阵列（eWLB）。收录于2008年IEEE电子封装技术会议论文集，第1–6页。
卡德，S.，莫兰，T.，纽厄尔，A. 1983年。《人机交互心理学》。L. 埃尔鲍姆出版社。
陈L.，陈C.-H.，杨S. 2015年。Cyclops：可穿戴式单件全身手势输入设备。收录于2015年ACM人机交互大会论文集，第3001–3009页。
ComScore公司 2014年。美国移动应用报告。技术报告。
库珀斯托克，J. R.，费尔斯，S. S.，巴克斯顿，W.，史密斯，K. C. 1997年。响应式环境。《计算机协会通讯》第40卷第9期（9月），第65–73页。
达尔达斯，N. H.，乔治亚纳斯，N. D. 2011年。基于特征袋和支持向量机技术的实时手势检测与识别。《IEEE仪器仪表与测量学报》第60卷第11期，第3592–3607页。
迪茨，P.，利，D. 2001年。Diamond Touch。收录于2001年用户界面软件与技术研讨会论文集，第219页。
多夫穆勒-乌尔哈斯，K.，施马尔施泰格，D. 2001年。增强环境中用于交互的手指追踪技术。2001年增强现实国际会议论文集，第55–64页。
杜夫纳，S.，贝尔勒蒙，S.，勒费弗尔，G.，加西亚，C. 2014年。基于卷积神经网络的3D手势分类。收录于2014年IEEE声学、语音与信号处理会议论文集，第5432–5436页。
美国联邦通信委员会 2016年。FCC频率分配在线表格。
耿S.，基维宁，J.，赵X.，瓦伊奈宁，P. 2009年。短距离无线通信的毫米波传播信道特性分析。《IEEE车辆技术学报》第58卷第1期（1月），第3–13页。
吉莉安，N.，纳普，R. B.，奥莫德雷恩，S. 2011年。利用n维动态时间规整技术识别多变量时序音乐手势。收录于2011年新音乐表达界面国际会议论文集，挪威奥斯陆。
吉莉安，N. 2011年。音乐家与计算机交互中的手势识别。贝尔法斯特女王大学音乐与声音艺术学院博士论文。
古斯塔夫森，S.，霍尔兹，C.，鲍迪施，P. 2011年。虚拟电话：通过从熟悉的设备迁移空间记忆来学习虚拟界面。收录于2011年用户界面软件与技术研讨会论文集，第283–292页。
盖永，I.，埃利塞夫，A. 2003年。变量与特征选择简介。《机器学习研究杂志》第3卷。
汉森，C. J. 2011年。WiGiG：60 GHz频段的多千兆无线通讯。《IEEE无线通信》第18卷第6期，第6–7页。
哈里森，C.，谭D.，莫里斯，D. 2010年。Skinput：将人体用作输入表面。收录于2010年人机交互大会论文集，第453–462页。
霍莱斯，P.，施密特，A.，帕索瓦拉，S.，普伊科宁，A.，哈基莱，J. 2008年。评估衣物上的电容式触摸输入。收录于2008年移动人机交互会议论文集，美国纽约ACM出版社，第81–90页。
霍尔兹，C.，威尔逊，A. 2011年。数据挖掘：从人类手势中推断空间物体描述。收录于2011年人机交互大会论文集，第811–820页。
侯赛因，M. G. 1998年。超宽带脉冲雷达——原理概述。《IEEE航空航天与电子系统杂志》第13卷第9期，第9–14页。
季硕、徐伟、杨明、余凯 2013年。用于人体动作识别的3D卷积神经网络。《IEEE模式分析与机器智能汇刊》第35卷第1期，第221–231页。
容克，H.、阿姆夫特，O.、卢科维奇，P.、特罗斯特，G. 2008年。利用可穿戴惯性传感器进行手势识别以检测用户活动。《模式识别》第41卷第6期，第2010–2024页。
凯勒，J. B. 1962年。衍射的几何理论。《美国光学学会杂志》第52卷第2期，第116–130页。
凯洛格，B.、塔拉，V.、戈拉科塔，S. 2014年。将手势识别技术应用于所有设备。收录于第11届USENIX网络系统设计与实现研讨会（NSDI 14），第303–316页。
凯斯金，C.、基拉奇，F.、卡拉，Y. E.、阿卡伦，L. 2013年。利用深度传感器进行实时手部姿态估计。收录于《消费级深度相机与计算机视觉》，施普林格出版社，第119–137页。
霍舍尔哈姆，K.、埃尔贝林克，S. O. 2012年。Kinect深度数据在室内测绘应用中的精度与分辨率。《传感器》第12卷第2期，第1437–1454页。
金东、希利格斯，O.、伊扎迪，S.、巴特勒，A. D.、陈杰、奥伊科诺米迪斯，I.、奥利维尔，P. 2012年。Digits。UIST '12会议论文集，第167–176页。
诺特，E. F. 2012年。《雷达散射截面测量》。施普林格科学与商业媒体出版社。
库拉金，A.、张哲、刘哲 2012年。基于深度传感器的动态手势识别实时系统。收录于2012年第20届欧洲信号处理会议（EUSIPCO）论文集，第1975–1979页。
李硕、巴克斯顿，W. 1985年。一种多点触控三维触敏平板。收录于CHI'85会议论文集，第21–25页。
莱瓦农，N. 2000年。多频互补相位编码雷达信号。《IEE雷达、声呐与导航学报》第147卷第6期，第276–284页。
洛普雷斯蒂，L.、拉卡西亚，M.、斯克拉罗夫，S.、坎普斯，O. 2015年。基于汉克尔变换的隐马尔可夫模型手势建模。收录于《计算机视觉——ACCV 2014》，克雷默斯，D.、里德，I.编。
《ACM图形学汇刊》第35卷第4期，文章编号142，出版日期：2016年7月。
---
斋藤宏、杨明华 编，《计算机科学讲义》第9005卷。施普林格国际出版社，第529–546页。
梅尔加雷霍，P.、张晓、拉马纳坦，P.、朱丹 2014年。利用定向天线功能实现细粒度手势识别。收录于2014年ACM国际普适计算联合会议论文集，ACM出版社，第541–551页。
莫尔恰诺夫，P.、古普塔，S.、金凯、考茨，J. 2015年。基于3D卷积神经网络的手势识别。收录于IEEE计算机视觉与模式识别研讨会论文集，第1–7页。
莫尔恰诺夫，P.、古普塔，S.、金凯、普利，K. 2015年。用于驾驶员手势识别的多传感器系统。收录于IEEE自动面部与手势识别会议论文集。
莫尔恰诺夫，P.、古普塔，S.、金凯、普利，K. 2015年。用于手势感测的短距离FMCW单脉冲雷达。收录于IEEE雷达会议（RadarCon 2015）论文集，IEEE出版社，第1491–1496页。
纳斯尔，I.、卡拉戈兹勒，E.、波普列夫，I.、特罗塔，S. 2015年。一款高度集成的60 GHz 6通道收发芯片，采用0.35微米SiGe工艺，用于智能传感与短距离通信。收录于IEEE CSICS 2015会议论文集，IEEE出版社，第1–4页。
NASR, I.、JUNGMAIER, R.、BAHETI, A.、NOPPENEY, D.、BAL, J. S.、WOJNOWSKI, M.、KARAGOZLER, E.、RAJA, H.、LIEN, J.、POUPYREV, I.和TROTTA, S.于2016年发表了一篇关于用于智能传感和短距离通信的、高度集成的60 GHz六通道收发器（天线集成于封装内）的文章，该文已提交给《IEEE固态电路期刊》审核。
NATHANSON, F. E.、REILLY, J. P.和COHEN, M. N.于1991年出版了《雷达设计原理——信号处理与环境》一书，第91卷。
NOVELDA公司推出的Novelda Xethru NVA620x集成电路。
OTERO, M.于2005年发表了关于连续波雷达在人体步态识别中应用的研究，载于SPIE会议论文集第5809卷，第538–548页。
PARADISO, J. A.于1999年提出了Brain Opera技术：用于音乐互动与表演的新型乐器和手势传感器。《新音乐研究杂志》第28卷第2期，第130–149页。
PARADISO, J.、ABLER, C.、HSIAO, K.-Y.和REYNOLDS, M.于1997年在CHI'97人机交互系统扩展摘要集中介绍了Magic Carpet：用于沉浸式环境的物理传感技术，ACM出版社，第277–278页。
PARK, J.-I.和KIM, K.-T.于2010年开展了关于雷达目标识别中ISAR成像算法的对比研究，《电磁学进展》第108卷，第155–175页。
POTTER, L. C.、CHIANG, D.-M.、CARRIERE, R.和GERRY, M. J.于1995年提出了基于GTD的雷达散射参数模型，《IEEE天线与传播学报》第43卷第10期，第1058–1067页。
PU, Q.、GUPTA, S.、GOLLAKOTA, S.和PATEL, S.于2013年研究了利用无线信号实现全屋手势识别的技术，载于第19届年度国际移动计算与网络会议论文集，ACM出版社，第27–38页。
RAHMAN, T.、ADAMS, A. T.、ZHANG, M.和CHOUDHURY, T.于2015年开发了DoppleSleep系统：一种利用短距离多普勒雷达的无接触式睡眠传感系统，发表于Ubicomp '15会议，ACM出版社。
RALSTON, T. S.、CHARVAT, G. L.和PEABODY, J. E.于2010年研究了利用超宽带MIMO技术实现实时穿墙成像的技术。
这是一种相控阵雷达系统，发表于IEEE相控阵系统与技术领域国际研讨会（ARRAY），IEEE出版社。
REKIMOTO, J.于2001年发明了GestureWrist和GesturePad：两种无接触式的可穿戴交互设备，载于ISWC 2001会议论文集，第21–27页。
RICHARDS, M. A.、SCHEER, J.、HOLM, W. A.等于2010年出版了《现代雷达原理：基本原理》一书，SciTech出版社。
ROMERO, J.、KJELLSTRÖM, H.、EK, C. H.和KRAGIC, D.于2013年研究了结合物体上下文的非参数化手部姿态估计方法，《图像与视觉计算》第31卷第8期，第555–564页。
RUSSELL, D.、STREITZ, N.和WINOGRAD, T.于2005年探讨了隐形计算机的设计思路，《ACM通讯》第48卷第3期，第42–48页。
SAPONAS, T. S.、TAN, D. S.、MORRIS, D.、BALAKRISHNAN, R.、TURNER, J.和LANDAY, J. A.于2009年研究了利用肌电接口实现随时可用的输入技术，载于UIST 2009会议论文集，第167–176页。
SHARP, T.、KESKIN, C.、ROBERTSON, D.、TAYLOR, J.、SHOTTON, J.、KIM, D.、RHEMANN, C.、LEICHTER, I.、VINNIKOV, A.、WEI, Y.、FREEDMAN, D.、KOHLI, P.、KRPKA, E.、FITZGIBBON, A.和IZADI, S.于2015年研发出了一种精准、稳健且灵活的实时手部追踪技术，发表于CHI 2015会议，第3633—3642页。
SHOTTON, J.、SHARP, T.、KIPMAN, A.、FITZGIBBON, A.、FINOCCHIO, M.、BLAKE, A.、COOK, M.和MOORE, R.于2013年实现了从单张深度图像中实时识别人体局部姿态的技术，《ACM通讯》第56卷第1期，第116–124页。
舒伊，D.，贝利，D.，莫里西，T. P. 1986. PHIGS：一种标准的动态交互式图形接口。《IEEE计算机图形学与应用》第6卷第8期，第50–57页。
斯科尔尼克，M. I. 1962. 雷达导论。《雷达手册》第2版。
史密斯，C.，戈根斯，P. 1993. 雷达目标识别。《IEEE天线与传播杂志》第35卷第2期（4月），第27–38页。
史密斯，J.，怀特，T.，道奇，C.，帕拉迪索，J.，格申-费尔德，N.，奥尔波特，D. 1998. 用于图形界面的电场传感技术。《IEEE计算机图形学与应用》第18卷（6月），第54–59页。
斯穆尔德斯，P. 2002. 利用60 GHz频段实现本地无线多媒体接入：前景与未来方向。《IEEE通信杂志》第40卷第1期，第140–147页。
宋杰，索罗斯，G.，佩斯，F.，法内洛，S. R.，伊扎迪，S.，凯斯金，C.，希利格斯，O. 2014. 在未改装的移动设备周围的空中手势识别。UIST 2014会议论文集，第319–329页。
斯托尔切乌斯，D.，罗斯塔米扎德，A.，库马尔，S. 2015. 特征提取领域的现代问题与挑战综述。收录于第一届特征提取：现代问题与挑战国际研讨会论文集，NIPS会议，第1–18页。
斯托夫，A. G. 1992. 线性FMCW雷达技术。收录于IEEE雷达与信号处理会议论文集，第139卷，IET出版社，第343–350页。
斯特里孔，J.，帕拉迪索，J. 1998. 利用低成本扫描激光测距仪追踪大型交互表面上的手部动作。CHI'98会议论文集，第231–232页。
萨瑟兰，I. E.，布莱克韦尔，A.，罗登，K. 1963. Sketchpad：一种人机图形通信系统。麻省理工学院林肯实验室技术报告TK296，马萨诸塞州列克星敦市。
---
万强，李阳，李超，帕尔，R. 2014. 基于便携式雷达传感器的智能家居应用手势识别技术。收录于第36届IEEE工程医学与生物学会年会（EMBC 2014）论文集，IEEE出版社，第6414–6417页。
王洋，法西，A. E. 2011. 利用超宽带脉冲雷达获取微多普勒特征以实现智能人体步态识别。收录于IEEE天线与传播学会AP-S国际研讨会论文集，第2103–2106页。
王荣毅，波波维奇，J. 2009. 基于彩色手套的实时手部追踪技术。收录于SIGGRAPH 2009会议论文集，美国纽约ACM出版社，第1页。
沃森-瓦特，R. 1945. 战争与和平中的雷达技术。《自然》杂志第155卷第3935期，第319–324页。
魏涛，张晓 2015. mTrack：利用毫米波无线电实现高精度被动追踪技术。收录于第21届移动计算与网络年度国际会议论文集，ACM出版社，第117–129页。
魏赫特，F.，巴赫曼，D.，鲁达克，B.，菲塞勒，D. 2013. Leap Motion控制器的精度与稳定性分析。《传感器》杂志第13卷第5期，第6380–6393页。
韦格尔，M.，卢涛，贝利，G.，乌拉斯维塔，A.，马吉迪，C.，施泰姆勒，J. 2015. iSkin：一种用于移动计算的柔性、可拉伸且外观可定制的体表触摸传感器。收录于CHI 2015会议论文集，ACM出版社，第1–10页。
吴杰，康拉德，J.，伊斯瓦尔，P. 2013. 基于Kinect的手势用户身份识别与认证中的动态时间规整技术。收录于ICASSP 2013会议论文集，第2371–2375页。
耶塔尼，K.，张庆南 2012. BodyScope：一种用于活动识别的可穿戴声学传感器。收录于Ubicomp '12会议论文集，ACM出版社，第341–350页。
翟世，米尔格拉姆，P.，巴克斯顿，W. 1996. 肌肉群对多自由度输入性能的影响。CHI '96会议论文集，第308–315页。
庄Y.、宋C.、王A.、林F.、李Y.、顾C.、李C.和徐W.，2015年。SleepSense：利用电磁探针进行非侵入式睡眠事件识别。载于IEEE第12届可穿戴与植入式人体传感器网络会议（BSN 2015），第1–6页。