# Digits：一种可随时进行自由手绘3D交互的手腕佩戴式无手套传感器 David Kim $^{1,2}$、Otmar Hilliges $^{1}$、Shahram Izadi $^{1}$、Alex Butler $^{1}$ 陈佳文 $^{1}$、Iason Oikonomidis $^{1,3}$、Patrick Olivier $^{2}$ $^{1}$微软研究院 $^{2}$Culture Lab 7 JJ Thomson Ave $^{3}$FORTH 英国剑桥 纽卡斯尔大学、克里特大学 英国纽卡斯尔、希腊伊拉克利翁 {b-davidk, otmarh, shahrami, dab, jiawen}@microsoft.com、、 ![Image](images/3d92c1df3664f8f6e9f30aea4fadd83766ed056304fe9474e63aef48d8dfd80d.jpg) ![Image](images/b61d489ee7af2c3aa96ffbaac30136b8a7bfd197071a050d542c415e138cab11.jpg) ![Image](images/98bca004ca9f285bf96e76c1d5dc721dbc18e98afbb881f007a3a55d968c066a.jpg) ![Image](images/845097c4c639e2b0367625794662b729f3363d027b30adc28214db681c749f7f.jpg)
Figure 1: A) Digits is a wrist-worn sensor for freehand 3D interactions on the move. By instrumenting only the wrist, the user's entire hand is left to interact freely without wearing a data glove. B and C) Digits recovers the full 3D pose of a user's hand. D) Spatial interactions using a mobile phone and Digits.
## 摘要 Digits是一种手腕佩戴式传感器，能够还原用户手部的完整3D姿态。这使得在移动过程中实现多种自由手绘交互成为可能。该系统面向移动场景设计，特点是低功耗且仅需利用现成的硬件即可轻松复现。电子元件集成在用户手腕处，却能通过光学方式拍摄到用户手部的全貌。这些数据会经过全新处理流程，该流程能可靠地采集手部关键部位的信息，比如指尖和每个手指的下半部分。这些稀疏的采样数据会被输入到全新的运动学模型中，利用手部的生物力学约束来还原用户手部的3D姿态。所提出的系统无需对手部进行全套仪器配置（例如使用数据手套）、无需环境中的额外传感器，也无需深度摄像头——由于功耗和外形方面的限制，这些设备在移动场景下目前还难以应用。我们展示了Digits在多种应用场景中的实用性，包括与移动设备的3D空间交互、移动中的免视交互以及游戏领域。最后我们对系统进行了定量和定性评估，并探讨了其优势、局限性和未来发展方向。 ## ACM分类关键词 H.5.2 [信息界面与展示]：用户界面——交互方式： ## 作者关键词 手部追踪、3D交互、移动设备、可穿戴设备。 ## 引言 我们的双手极其灵巧，是操纵和与物理世界交互的主要工具。因此，人机交互研究领域相当多的重点都放在将这种“自然”的手部操作方式迁移到数字领域。然而，当前的用户界面很少能充分利用我们双手的全部灵巧性。这主要是由于感知手部完整3D姿态的技术挑战较大，毕竟手部拥有多个自由度（DoF）。 因此，系统会从不同维度对这一问题加以限制：例如仅将手部追踪局限于二维输入范围 [^9] [^24]；仅关注指尖或其他特定手部部位 [^19] [^35]；仅支持通过表面及其他实体媒介进行的交互 [^5] [^10] [^11]；或者仅支持数量有限的手部手势 [^14] [^32] [^33]。直到最近，实时三维手部追踪仍需要对手部进行全面传感（参见 [^7]）。研究人员（尤其是计算机视觉领域的研究人员）已经开始展示用于实时三维手部姿态还原的算法 [^27] [^31]，以及这些算法在人机交互中的应用 [^37]。 尽管随着消费级深度相机的问世，感知手部的完整三维姿态已变得愈发可行，但在某些领域这仍是一项根本性挑战。移动领域便是其中之一，也是本文的研究重点。在移动场景下，计算成本、功耗、外形尺寸、日常使用便利性以及独立性都是关键要求。这使得那些需要将传感器嵌入环境、依赖体积庞大且能耗较高的深度相机，或是要求用户双手完全被覆盖的手部追踪方案变得不切实际。 --- 本文正是针对这一挑战展开研究，旨在实现移动场景下的灵巧三维手部交互。我们的系统名为Digits，是一款外形紧凑、可佩戴于手腕的设备，采用易于获取的现成硬件制成，其功耗比现有深度相机低数个数量级。该传感器完全集成于人体之上，无需环境中的外部传感设施，能够支持多种裸手交互方式。 专注于移动应用场景并不会以牺牲感知精度为代价。我们提出了高效的处理技术，利用这款腕戴设备稳健地检测手部特征；同时还设计了新算法，利用有关手部生物力学约束的知识来还原出完整的三维手部模型。 我们利用还原出的三维手部姿态来识别各类手部手势，包括离散型和连续型三维手势。我们展示了多种交互场景，包括：移动场景下的免视线空间交互、移动设备周边的空中三维交互、手机上的表面触控与空中输入相结合的操作、通过自由手势远距离控制大屏显示器，以及沉浸式三维游戏体验。 我们的主要贡献可总结如下： - 一款腕戴式系统，无需外部传感设施或对手部进行全面传感即可感知完整的三维手部姿态（与现有的数据手套不同）。 - 一套实时信号处理流程，能够稳健地追踪用户手部的特征点。 两种全新的运动学模型，可利用这些稀疏的特征点完整还原手部姿态。 - 展示了Digits所能实现的极具吸引力的交互场景。 通过初步的定性和定量研究，验证了该方法的可行性。 ## 相关工作 鉴于其复杂性，要感知用户手部的完整3D姿态在技术上极具挑战性，这也是当前研究的热点领域。一种方法是直接在手上安装设备，比如佩戴内置传感器或标记物的手套（相关概述见[^7]）。这类最初为AR/VR设计的传感器，后来也被应用于移动场景。不过，手套佩戴起来可能较为笨重且不舒服，还会削弱触觉感受，限制与电容式触摸传感器的交互，而后者如今已是手机的标准配置。 另一种无需用户佩戴额外设备的方法是在环境中放置一台直接对准用户手部的摄像头。许多系统仅专注于检测指尖位置，用于实现表面操作（见[^5]）或空中输入（相关文献综述见[^20]）。还有些系统能够识别一小部分离散的3D手部姿态（如[^14]），或者利用3D形状与运动分析来近似模拟徒手交互过程[^12]。 图像[^27]。这些系统提供了一些最为精密的3D手部追踪机制，且无需用户佩戴额外设备。不过，这类方法显然缺乏移动性，需要依赖嵌入环境中的传感器，且计算成本较高。 计算机视觉领域的研究人员已经探索了更高精度的3D手部追踪方法（详细综述见[^8]）。实时3D姿态还原正逐渐成为可能，要么采用非参数化方法，通常是通过最近邻查找在RGB图像数据库[^31]或深度图像数据库[^37]中匹配数据；要么尝试将参数化的手部模型拟合到观测到的深度图像上。消费级深度摄像头的兴起，催生了人们对移动场景下3D交互的兴趣。研究人员已经探索了手持式[^15] [^25]、肩戴式[^10]甚至鞋载式深度摄像头[^3]，但所有这些设备都需要确保能看到用户的手部。不过，这些系统都无法实现完整的3D手部姿态还原，而是侧重于感知与平面[^10]或更复杂的物理表面[^15] [^25]的接触交互；或是检测简单的捏合手势来实现交互[^3]。手持式系统会限制需要双手配合的自由手部交互。肩戴式和鞋载式系统虽然缓解了这一问题，但可能会出现手部被身体其他部位遮挡的情况。此外，尽管这类设备在传感器精度方面表现突出，但要实现深度摄像头的移动化仍存在实际障碍，尤其是功耗和外形尺寸方面的限制。 超移动可穿戴手势系统：可穿戴设备领域的研究已经提出了许多用于移动手势交互的轻量级系统。它们并不追求高精度的传感能力，而是利用红外接近传感器来检测手指的粗略运动[^13] [^17] [^18] [^26]，通过感知肌肉或肌腱活动来识别一小部分离散的手势[^30] [^32]，或者利用声学原理来粗略定位身体上的触碰位置[^11]。凭借其轻巧的外形，这类设备可以安装在身体的多个部位，包括前臂[^32]和手腕[^17] [^18] [^30]。 我们的工作以这些系统为基础，旨在提供随时可用的可穿戴式输入方式，同时将交互范围从感知离散事件或粗略运动手势，扩展到更丰富的连续3D输入。 可穿戴式二维摄像系统：另一类可穿戴系统采用二维摄像头，在不显著牺牲外形尺寸的前提下实现更高精度的传感功能。这类系统要么使用单色摄像头与漫反射红外照明[^9] [^33]，要么使用RGB摄像头[^19] [^24] [^28] [^34] [^35]。从此类二维输入数据推断手部的完整三维姿态显然颇具挑战性。目前，相关系统仅能实现简单的二维捏合手势[^9]，或通过带有标记物的方法[^24]、无标记物方法[^19] [^35]来识别手指，以实现简单的指向、握拳或张开手势。[^33] [^34]还能对更丰富的离散手部姿势进行分类，例如用于手语识别。这类系统的外形设计允许其被佩戴在身体的不同部位（参见[^22]）：包括肩部或头部[^19] [^34]以及颈部[^9] [^33]。这种佩戴方式能够同时捕捉双手数据以支持双手操作，但会将交互空间限制在用户上半身正前方的固定区域内。此类交互往往不够细腻，且会被他人察觉（这可能成为其在公共场所应用的障碍[^3]）。长时间使用时还可能出现手臂疲劳问题。 将摄像头直接对准用户的手部，是实现手部与传感器更紧密耦合的可行方案。[^35]采用类似手表的摄像头来统计可见手指数量，从而实现粗略的输入控制。[^28]则展示了一款腕戴式摄像头的原型：该摄像头可对准手部，拍摄手指尖部的图像；通过在每根手指上放置标记物，进而根据三维指尖数据推断手部姿态。 --- 该系统利用逆向运动学（IK）来估算手部姿态。不过从外形尺寸来看，该系统相对较大，且要求每根手指上都佩戴标记物，这显然是一大局限。 设计考量：从相关研究成果的广泛性可以看出，这一设计领域既丰富又充满挑战。借助Digits项目，我们旨在将数据手套以及基于环境的视觉技术所具备的高精度传感能力引入移动场景。这要求系统无需用户佩戴手套，便能实时完整还原三维关节式手部姿态。我们致力于打造比现有深度摄像技术更实用的系统——正如前文所述，深度摄像技术在移动场景下存在严重局限。我们在这一设计领域中找到了一个有趣的方向：专注于研发一款腕戴式设备，仅依靠二维摄像头即可还原完整的三维手部姿态。 我们借鉴了可穿戴设备领域的研究成果，这些研究已证实腕戴式设备的优势[^17] [^18] [^13]：它们能够支持无需注视屏幕、随时可用的交互方式[^1]；同时还能克服其他传感器布局方式的局限性，比如手部被身体其他部位遮挡、交互方式过于强调性能表现（而非私密或细腻的交互[^3]），以及由于传感器需要视线匹配而导致交互空间受限等问题。 ## DIGITS——系统概述 Digits是一款小巧的基于摄像头的传感器，可佩戴在手腕上，通过光学方式拍摄用户裸露手部的大部分区域。摄像头的位置经过精心设计，能够捕捉手掌上部及手指向设备弯曲时的图像。为简化信号处理流程，系统采用了两种不同的红外（IR）照明方案。使用红外光可使照明对使用者不可见，同时还能增强系统对环境可见光的抗干扰能力。这两种照明方案均采用成本低廉、易于获取且功耗低的元件。 ![Image](images/1777e73e36c6be7b7ddb9ba3bb74c4e97279cb8e7cada266610a65603634770f.jpg)
Figure 2: Digits main hardware components attached to a wrist brace.
首先，红外激光线发生器会在用户的手上投射出一条细窄的红外线，当手指向内弯曲时，该线条会与手指相交[^36]。利用这种方法可以可靠地采集到每个手指和拇指上的单个三维点数据。基于这五个稀疏采样点，并结合生物力学约束条件，我们推导出一种正向运动学（FK）算法，用以重建完整的手部骨骼模型。这一初步近似结果使我们能够支持图9中所展示的各种三维手部姿态。不过，每个指尖实际上仅被简化为一个维度的输入数据，因此其运动范围仅限于朝向或远离传感器的弯曲动作（见图7B）。为了更精确地还原手部姿态，需要在手上采集更多特征点。另一种互补方法是利用环形调制的红外LED均匀照亮用户的手。我们通过建模红外LED的光线衰减规律，成功从红外图像中稳健地提取出指尖的二维位置信息，并附带粗略的深度估计值。这种指尖感应方法可与激光线感应方法结合，进而得出一种新的逆向运动学（IK）算法，用于计算手部的完整关节角度配置。正如图12所示，该方法能够实现更加逼真的手部重建效果，从而提供更高自由度的输入。 这些方法协同工作，有助于解决从二维图像中恢复完整三维手部姿态这一原本难以确定的问题。由于每种方法单独使用时也具备实用价值，因此我们将两种方法的描述分开阐述。这样也有助于理解本文所介绍的核心概念、技术与算法。最后，惯性测量单元（IMU）可用于估算手腕和前臂在三维空间中的运动情况（见图2）。 Digits本质上是一种新型传感器，也是实现交互的技术基础；不过在全面介绍该系统之前，我们先展示其交互功能。 ## 交互场景 我们探索了由该系统支持的多种交互场景，在此简要加以说明。每种场景都体现了Digits与不同输出设备搭配所形成的独特配置。第一种场景涉及与嵌入式显示设备的空间交互（见图3A+B），例如与家中的电视或大型公共显示屏互动。在此场景下，用户可借助Digits设备在远距离进行操作。应用场景可包括游戏或计算机辅助设计（CAD），用户可通过各种连续或离散的手部手势来实现三维空间内的导航、指向或选择操作（图3A+B）。根据追踪得到的三维手部模型，通过观察关节角度配置即可可靠地识别离散手势（图3C）。 ![Image](images/4816b50d04a1dd1975915d2b90d80a9882fe0bb9f7060b652b2d2d1a54960e71.jpg)
Figure 3: Illustration of potential Digits application scenarios. A+B) Continuous interaction with 3D content on a large display. C) Gesture recognition performed on reconstructed hand model.
移动性是我们研究中的重要驱动力。我们设想，Digits能够将移动设备的物理交互区域扩展到显示屏之外。在一种应用场景中（见图4A+B），用户用惯用手握住并操作平板电脑（或手机），同时用非惯用手向应用程序提供三维输入。例如，通过空中捏合手势来启动语义缩放功能，而缩放比例则由其余手指来控制。 ## 一个有趣的可能性是支持屏幕上的交互与同步的手写交互。例如，将精细的交互操作与—— --- ![Image](images/d07952fd8b352ee3bec32ed6513d0106ea9c20f42cc56de4387e40c3739c4450.jpg)
Figure 4: Digits application scenarios. A+B) Extending interaction space around a mobile device into 3D. C+D) Non-visual UIs allow users to manipulate application parameters without looking at or touching a physical device (GUI elements are for illustration only).
屏幕上的操作以及使用非惯用手和Digits进行的较为粗略的导航任务区分开来。我们的追踪器无需佩戴手套，用户便能用同一只手操作移动设备并使用Digits。这使得标准的二维触控手势能够与三维的空中交互相结合。例如，要快速更改所选对象的Z轴顺序，可先触碰目标，然后执行基于空中捏合操作的缩放动作。 最后，在无视觉交互的场景中，显示屏甚至可以完全移除。Digits的三维输入功能能够实现与不可见用户界面的空间交互，比如无需视觉输出的拨盘、滑块或按钮（见图4C+D）。例如，我们可以利用本体感知知识和空间记忆，让用户直接伸手去操作虚拟拨盘来调节手机音量；将手移到身体右侧并在虚拟数字键盘上执行打字手势来拨打电话；或将手移到身体左侧，通过触碰拇指和其他手指来激活其他手机功能。这里一个有趣的可能性是通过手部初始的三维形状来识别操作类型。例如，如果用户需要调节音量，只需将手摆成仿佛握着虚拟拨盘的样子，然后旋转该“拨盘”即可设定所需音量。 这些场景展示了Digits作为多种手部交互通用平台的实用性。在后续章节中，我们将全面介绍系统的实现细节，重点阐述我们如何感知手部特征，并据此构建不同精度级别的手部关节模型。 ## 传感硬件 Digits硬件如图2所示。一台PointGrey Fire-Fly MV红外摄像头（分辨率为640×480，帧率可达90Hz）被安装在佩戴于手腕内侧的手环上。一台工作波长为850nm、发散角为105°的红外激光线发生器（Global Laser公司生产的Gated Cameo 1260）被固定在距离摄像头一定基准距离的位置。另外四颗工作在850nm波段的漫反射红外LED（OSRAM CHIPLED SFH 4053）则被安装在摄像头镜头周围。最后，一台IMU（x-IO Technologies公司生产的x-IMU）能够以120Hz的频率采集前臂的绝对三轴方向数据。该硬件设计简洁，采用现成的元件即可轻松复制，且功耗较低。整个设备通过USB供电，激光器和四颗LED均由摄像头通用输入输出（GPIO）引脚产生的脉冲信号来驱动。其总功耗低于400mW（激光器为16mW，红外LED为60mW，其余摄像头硬件为300mW）。这一数值远低于当前一代Kinect摄像头3.4至5W的功耗水平。Digits设备本身重量约为75克，加上无线IMU后重量为124克，比带有金属表带的标准手表（160-180克）还要轻。该设备通过一条宽2厘米的魔术贴带固定在手腕上，与手腕内侧的接触面还覆盖了5×5厘米的柔软垫层。 ## 信号处理 主要处理流程可分为以下步骤： 背景减除：我们通过拍摄红外摄像头在不同光照条件下的连续三帧图像（有效帧率为30Hz）来降低环境红外光的影响。第一帧关闭所有主动照明光源，仅捕捉环境红外光；该帧会从另外两帧中减去——其中一帧仅开启激光器，另一帧仅开启LED。如图所示，经过处理后，输入图像中的环境红外光被大幅削弱，比如来自室内灯光或阳光的干扰（见图5）。 图像校正：根据此前的摄像头内参标定结果，对两幅主动照明图像进行校正。 手指分离：将LED照明的红外图像分割成对应不同手指或拇指的区域。 激光线感应：通过三角测量法确定每根手指或拇指与激光线发生器相交处的三维坐标。 正向运动学：这些三维坐标会被送入全新的正向运动学算法，该算法基于手部生物力学约束假设来重建完整的三维手部姿态。 漫反射红外指尖检测：此外，根据手部姿态的不同，我们还可以利用LED照明图像来可靠地提取高质量的表面法线和粗略深度信息，从而精准检测指尖位置。 逆向运动学：从激光传感器获取的三维坐标以及二维指尖位置会被送入全新的逆向运动学模型，以实现更高自由度的手部姿态还原。 手指分离：初始处理流程中的重要步骤之一是将图像中的区域与手指的各个指节对应起来。在红外光照图像中，我们采用缝纫算法中使用的技术[^2]来区分相邻手指之间的主要垂直边界。一维Sobel滤波器用于检测红外图像中的垂直边缘。我们将两根手指之间的凹陷处[^20]识别为手轮廓上的凹点。在每个凹陷位置，我们沿着边缘追踪多条垂直路径，并利用动态规划算法找出总能量最低的路径——该算法会对不沿边缘延伸的路径予以惩罚（见图5F）。该方法将图像划分为五个区域，每个区域对应一个独特的指节。 激光线传感：激光线发生器会在手掌上方投射一条水平线，该线条会与各手指部分相交。 --- ![Image](images/b11f4dadaa83945d207ec1769f79da46b067f4eb0f0f67a38944db87c6c4f082.jpg)
Figure 5: Background subtraction. A) Active illumination off. B) IR laser + background IR. C) IR LEDs + background IR. D) Background subtracted IR LEDs. E) Background subtracted IR laser. F) Finger separation via seam carving.
这些交点在二维红外相机图像中表现为明亮的区域；当手指弯曲时，这些区域会向手掌方向移动，而手指伸直时则反向移动（见图7）。由于激光器和相机之间的基线长度是固定且已知的，因此能够三角测量出每条激光线段的精确三维位置（目前我们的实现采用3厘米的基线长度，这是在深度精度与人机工程学之间的合理折衷，见图2）。 首次使用时需对相机和激光器进行校准：首先采用棋盘格校准法获取相机的内部参数[^39]，并利用这些参数对图像进行校正。接着，用户移动同一目标物使其与激光线相交（见图6A）。随后计算出该目标物相对于相机中心的六自由度外部位姿[^39]。用户点击交点后，相应的三维坐标点便被记录下来。重复这一过程，直到选出三个不共面的点来定义相对于相机的激光平面。 为了三角测量手指与激光线的三维交点，首先对经过背景减除和校正的图像进行二值化处理，以便进行连通分量分析。交点清晰可见，呈细长的椭圆形，可根据其大小和形状进行筛选。对于相互靠近的手指所产生的合并连通分量，可利用之前的缝纫算法输出结果将其分开。再利用相机内部参数重新投影每个连通分量的质心。从相机中心出发，通过质心作射线，并与求得的激光平面相交（见图6B）。由此便确定了每个手指相对于相机的三维坐标点。
A)
![Image](images/8b4da1c3de72c8e7af82e08ba26a27cfcf901127e3a8d267106f18ec68729731.jpg)
B)
Figure 6: A) Laser plane calibration procedure. B) Reprojected ray intersecting with the laser plane.
## 简单的运动学手部模型 在获取激光线与手指的三维交点后，我们采用一种新的运动学方法来还原手部姿态。图7展示了手部的主要指骨和关节。每根手指由三节指骨组成，即近节、中节和远节指骨。从指尖到手掌，这些指骨通过一个名为远侧指间关节（DIP）的一自由度旋转关节、一个近侧指间关节（PIP）的一自由度旋转关节，以及一个称为掌指关节（MCP）的二自由度球面关节相连[^4]。
A)
![Image](images/644bb41e0d54e63db537520428d66db4fc590589693560ed829a1004e031f66a.jpg)
Figure 7: A) Illustration of main finger bones and joints. B) Natural flexing of fingers. Proposed forward kinematics model reconstructs this behavior.
这些骨骼并非完全独立运动。具体而言，研究表明由于连接中节指骨和末节指骨的肌腱相互作用，远侧指间关节角度会依赖于近侧指间关节角度 [^4]。此外，正如 [^16] 通过实验所证实的那样，在手指自然弯曲时（即并未单独控制掌指关节与其他关节的运动），当中节指骨和末节指骨弯曲时，掌指关节角度也会依赖于近侧指间关节角度。我们利用这些骨骼与关节之间的相互依赖性，将手指上稀疏采样的三维位置映射到手部的三维关节模型上。 具体来说，在手指自然弯曲过程中（见图8右侧），手指的三个关节之间存在线性关系，只要已知近侧指间关节角度，就能推导出掌指关节和远侧指间关节的角度。Kamper [^16] 通过实验发现，近侧指间关节与远侧指间关节的长度比为 $\frac{1}{0.84}$，而近侧指间关节与掌指关节的长度比则为 $\frac{1}{0.54}$。利用这些比例，我们仅需一个参数就能近似描述伸直的手指向内弯曲直至触碰手掌时的运动过程。 ![Image](images/40268c95f4c6ce64f15edb38578a399b90535e2d30ce0a92a01fdecc84222232.jpg) ![Image](images/8744e3d7b2ef58c4c9af045aeb6955819ae89c17bd412aad66ca4cd750479dae.jpg)
Figure 8: Left: Forward kinematics model for a single finger intersecting with laser line. Right: Graph mapping between laser distance and PIP joint angle.
## 计算关节角度 为了确定自然弯曲过程中各手指的关节活动情况，我们通过简单的正运动学模型（见图8）实验性地建立了三维交点与近侧指间关节角度之间的映射关系。我们用预设长度 $(l_{0}, l_{1}, l_{2}$ 来模拟每根指骨。指骨的平均长度可从文献中查得 [^4] [^16]，也可针对每个用户进行测量。 --- 我们在仿真时计算近侧指间关节角度为 $\theta_{p}\,[0^{\circ},\,120^{\circ}]$。掌指关节和远侧指间关节角度则分别按 $\theta_{m}=a\theta_{p}$ 和 $\theta_{d}=b\theta_{p}$ 计算，其中a和b是从 [^16] 中得出的关节比例。 校准期间，我们还会确定手掌相对于摄像头的六自由度位姿（通过在手掌上放置棋盘格来实现），借此可确定激光相对于手掌的偏移量及方向。我们通过改变关节角度 $\theta_{p}$ 来模拟正运动学模型。当 $0^{\circ}$ 时手指处于伸直状态，而完全弯曲时为 $120^{\circ}$。对于 $\theta_{p}$ 的各个角度，我们测量激光射线与各指骨的交点，并取最小距离。采样数据绘制在图8中，用于建立激光距离与 $\theta_{p}$ 之间的映射关系。该曲线可用以下三次函数拟合（其中d为交点处的距离，单位为毫米）： $$ \theta_{p}=-0.0003*d^{3}+0.059*d^{2}-4.07*d+119.75 $$ 由于各手指的解剖结构相似，可以合理假设该函数对所有手指都适用。因此，我们为每根手指提供了一个简单的一次性在线校准流程，即绘制每根手指的运动主轴。新的交点会沿该主轴进行归一化。由于我们沿三维直线进行归一化，这种方法也适用于在传感器图像中呈对角线运动的拇指。虽然实际上拇指的关节运动能被较好地追踪，但若能为拇指专门构建类似图8中的模型，结果还能进一步优化。我们的模型还可扩展至手指的横向运动（即允许手指左右移动），只需将偏离校准后的主轴的情况映射为三维旋转，再在手指弯曲后将其应用于每根手指即可。 ![Image](images/ca366efe80b7a409c5ff9b62114e0b4ab47f519fcec12e990e2b512a9c715742.jpg)
Figure 9: Top: Various hand poses supported by our forward kinematics model. Bottom: User's real hand poses.
## 优势与局限性 这种方法提供了一种简单却自然的手部姿态近似方式。图1和图9展示了多种现实中的手部姿态，以及如何利用Digits来复现这些姿态。虽然激光线传感与正运动学模型的结合本身具有强大的能力，但也存在局限性。具体而言，该模型假设每个手指的所有关节之间存在紧密关联。然而，在实际中常有这样的情形：例如掌指关节（MCP）的运动可独立于近侧指间关节（PIP）。为了应对更广泛的手部姿态，我们需要感知手部的其他部位，并构建扩展的运动学模型。通过实验我们发现，利用红外LED发出的光照可以可靠地检测指尖位置，从而能够定义更完整的手部运动学模型。 ## 指尖检测 尽管受限于外形与供电因素，无法在手腕处安装全功能深度相机，但我们仍展示了如何通过建模LED的光强衰减规律，生成高分辨率的法线贴图和粗略的深度估计值。即便手指直接正对摄像头，这种方法也能在2D图像中可靠地识别指尖位置。
C)
E)
![Image](images/479c7f758f24796238fad29339b4893012e88fc51ff18a8fb1ada729273d8d54.jpg)
B)
F)
Figure 10: Our fingertip detection pipeline. A) Background subtracted imaged fingers. B) Estimated depth encoded in red color channel. C) Normal map computed from depth map. D) Response map from template matching (darker is closer match), black rectangles mark fingertip candidates. E) Recovered mesh viewed from the physical camera's view. F) Depth distortion visible when viewed from off-center viewpoint. Note the distinct peaks caused by fingertips.
深度近似：我们的方法借鉴了基于阴影恢复形状（SFS）的相关研究（概述见[^29]）。在我们的场景中，由于LED光源的位置、光强及径向强度衰减等参数部分已知，且可将皮肤反射模型简化为纯朗伯反射模型（考虑到表面与光源之间的入射角通常较小，详见[^21]），因此SFS问题变得更容易处理。 我们首先根据平方反比定律估算每个像素的距离值。距离为d处的光强为$I = 1/d^{2}$，由此可解出每个像素u的初始距离估计值：$d(u) = \sqrt{I(u)}$。随后，针对远离光线中心轴的像素，需根据光强的径向衰减规律对该距离估计值进行调整。最终的距离值计算如下： $$ D(u)=\sqrt{I(u)}*\frac{1}{\cos(\arctan(\frac{(u-pp)}{fl}))} $$ 其中，pp为相机校准得到的主点，fl为焦距。由此可生成深度图，其中的每个像素都能被重投影为相机坐标系下的3D点。最后，我们根据深度图中相邻像素的信息计算每个像素的表面法线（见图10）。 优点与局限：该技术仅能提供近似的深度值，因为像素光强受诸多因素影响，并非仅取决于到光源的距离及光强衰减情况。具体而言，我们并未对成像3D表面的形状和材质进行建模，也未考虑表面朝向因素。虽然从摄像头视角看，生成的深度图效果尚可，但偏离中心位置观察时，信号的失真与非线性现象便清晰可见（见图10F）。 不过，该方法在检测指尖及计算相对深度估计方面颇具潜力。由于手指—— --- 指尖的形状较为接近球形（尤其是当手指指向摄像头时），因此会产生明显的信号特征，这一点从法线贴图（图10C）和网格渲染结果（图10F）中便可清晰看出。每个指尖都会产生一个形状类似于以手指最突出部位为中心的高斯球体的深度峰值。 要检测并追踪这些峰值，有多种可行的方法。我们仅通过简单的模板匹配就获得了可靠的结果（该匹配基于滑动合成指尖模板与实时法线图之间的平方距离作为匹配得分）。图10D-F展示了我们技术的最终结果，能够可靠地检测出指尖位置。尤其值得一提的是，我们的技术适用于指尖朝向摄像头以及多根手指相互接触的情况；而在这类情况下，单纯的二维技术（如峰谷算法或连通域分析）往往难以奏效。 ## 全新的运动学模型 指尖估计结果可以与激光线交点结合，利用逆向运动学（IK）来还原出更精确的手部模型。逆向运动学通常会根据末端执行器——即指尖的3D位置来推导关节角度。我们并没有指尖的精确3D测量数据，且激光采样的3D点也无法直接与末端执行器对应。不过，将这两种传感方式结合起来，就能推导出全新的逆向运动学模型，从而实现掌指关节与近端指间关节/远端指间关节的独立活动。 ![Image](images/bcb70ef73d1756a10b60640d5c6a8cfa54edc15d0699764e3da781eeb84cc680.jpg)
Figure 11: IK model that articulates both the MCP joint and the PIP/DIP joints based on an sensor fusion approach
图11展示了我们逆向运动学模型的简化参数化形式。为便于说明，我们将问题简化为二维情况，并将近端指间关节与远端指间关节合并处理——除非手指按压在物体表面，否则这两个关节无法独立移动。在这种参数化设定中，手掌仍被假定为直接贴合在X轴上。掌指关节的位置由$P_{0}$表示，近端指间关节的位置为$P_{1}$，末端执行器则位于$P_{2}$处。虽然末端执行器的3D位置未知，但我们能观测到该点($y_{obs}$)在图像平面I上的投影（这相当于红外图像中检测到的指尖质心）。借助相机的校准矩阵，我们可以从相机中心(C)向图像平面发射一条射线。我们知道$P_{2}$必然位于这条射线上。 手指各骨节$(l_{0}, l_{1})$的长度同样被假定为已知，这些数据要么通过测量获得，要么采用预设值。我们需要求解的是掌指关节和近端指间关节的角度，分别用$\theta_{m}$和$\theta_{p}$表示。我们还可以将激光参数化为相对于原点的偏移量$(L_{o})$以及方向$(L_{d})$。此外，我们还有一个通过激光$t_{obs}$感测到的、距离为$(L_{obs})$的已观测3D点，已知该点会与某根骨节相交（但具体是哪根骨节尚不清楚）。 $P_0$是预先已知的，利用激光线即可计算出每根手指的最小3D范围（如前所述）。据此，我们对$P_1$施加局部变换（沿骨节长度$l_0$平移，并围绕关节角$\theta_m$旋转），就能算出$P_0$，进而得到$P_1 = \mathbf{R}(\theta_m) \cdot [l_0, 0]^T + P_0$和$P_2 = \mathbf{R}(\theta_p) \cdot [l_1, 0]^T + P_1$。 我们的目标现在是找到$\theta_{m}$和$\theta_{p}$的最佳组合，以最大程度匹配观测数据（即利用LED感测到的2D指尖位置，以及激光测量的3D点）。针对指尖位置，我们定义了如下能量函数： $$ E_{led}=|proj(P_{2})-y_{obs}|^{2} $$ 该函数会根据$P_{2}$和$\theta_{m}$的不同取值，生成$\theta_{p}$的估计位置，再将这些位置投影到图像平面I上（利用相机的内部校准参数）。对于靠近图像平面上观测点$y_{obs}$的点，该函数的能量值较低。 我们的第二个能量函数首先根据$\theta_{m}$和$\theta_{p}$的变化，计算激光线与手指中每根骨骼的交点，并取其中的最小值： $$ \begin{aligned}t=&\min\{\operatorname{isect}(L_{0}\overset{\rightharpoonup}{L_{d}},\overline{P_{0}}\overrightarrow{P_{1}}),\\&\operatorname{isect}(\overrightarrow{L_{0}}\overrightarrow{L_{d}},\overline{P_{1}}\overrightarrow{P_{2}})\}\end{aligned} $$ 接着，该函数会最小化观测到的3D激光点$L_{obs}$与这个估算出的交点之间的距离： $$ E_{l a s}=|t L_{d}+L_{o}-L_{o b s}|^{2} $$ 我们的完整能量函数定义如下： $$ \underset{\theta_{m},\theta_{p}}{\arg\min}E=E_{led}\lambda_{led}+E_{las}\lambda_{las} $$ 这使我们能够利用一个标量($\lambda$)来相应地调整LED传感或激光传感的贡献权重。在我们当前的实现中，我们以穷举的方式在$\theta_m$、$[0^\circ, 100^\circ]$以及$\theta_p$、$[0^\circ, 90^\circ]$范围内评估该能量函数，并选取能量值最小的结果。 这种新的运动学模型为我们提供了更高自由度的输入传感能力。如图12所示，借助原始传感器数据，我们能够更精确地预测更广泛的手部姿态，其中包括使用更简单的运动学模型难以预测的多种姿态。激光线与光线衰减这两种传感方式的结合，使我们能够解决原本不适定的逆运动学问题。 ![Image](images/27984f51288a43e7992e2559dabbbc04870f7387e4478e22668b20f4069a540a.jpg)
Figure 12: Truer hand pose recovery with inverse kinematics. Note PIP and MCP joint angles recovered correctly.
--- ## 初步评估 我们对Digits进行了初步评估，以了解该系统在重建不同手部姿态时的准确性和可重复性。虽然这并非详细的用户或系统评估，但本研究旨在为这种3D手部追踪方法提供初步的可行性验证。 ## 手势可行性实验 为了初步量化系统的准确性和可重复性，我们要求参与者模仿在交互式3D应用程序中屏幕上显示的手部姿势。我们使用Vicon动作捕捉系统采集的基准数据，如[^23]中所述。我们生成了如图13所示的六种静态手部姿势。实验中，我们测试了上一节描述的完整逆运动学模型。 ![Image](images/0bc98789c6432ce13940b41a85af7eaed13618d3ab6066594c9576380a1ce86e.jpg)
Figure 13: Hand postures in experiment. A) Open palm B) Counting two C) Pointing D) Grasping small object E) Grasping large object F) Pinching.
参与者我们招募了12名年龄在24至39岁之间、平均年龄为32岁的参与者。其中10名为右利手。所有参与者均无身体残疾或活动范围受限的情况。相关文献指出，上肢的人体测量差异会导致性别间的比较出现偏差[^6]。因此，在首次实验中，我们仅对男性参与者测试Digits。 流程与任务该系统被安装在每位用户的手腕上，如图13所示。系统会针对每位用户的手部进行校准（包括骨骼长度、手指运动范围和轨迹）。对于左利手用户，我们会调整摄像头和激光器的位置，并重新进行完整的摄像头/激光器校准。在研究阶段，屏幕上会显示六种参考3D手部配置（图13）。屏幕上还会渲染出由参与者输入驱动的第二个“实时”手部模型，叠加在参考手部之上。本研究未涉及手腕和前臂的重建（因此也未使用内置惯性测量单元）。参考姿势会根据参与者的利手情况选择左侧或右侧版本。 参与者在每次试验中都以中立姿势开始（拳头完全握紧）。实验者会触发每项任务。随后，屏幕上会显示参考姿势，要求用户尽可能将自己的手部调整到该姿势（这一阶段称为“获取”阶段）。当用户对自己的姿势感到满意时，他们会自行报告（用未佩戴传感器的手按下按钮），此时便要求他们保持该姿势3秒（这一阶段称为“静态”阶段）。每位用户完成3个区块的试验，每个区块包含6次试验，涵盖全部6种手部姿势，且顺序随机。用户有10分钟的时间熟悉该应用程序。 结果与讨论：平均获取时间为4074毫秒。第一个区块平均为4417毫秒，第二个为3981毫秒，第三个为3823毫秒。重复测量方差分析结果显示，不同区块间的获取时间存在显著的主效应（$F_{2,28} = 48, p < 0.01$）。事后分析（经Bonferroni校正，$\frac{\alpha}{n} = \frac{0.05}{3} = 0.0167$）表明，第1块与第2块之间存在线性改善趋势（$p < 0.01$），但第2块与第3块之间无显著差异（$p > 0.35$）。 重复性：作为重复性的衡量指标，我们计算了组内相关系数（ICC）——这是针对此类时间序列数据的标准重复性测试方法[^6] [^23] [^38]。对于六种姿势，我们分别计算了三个重复区块中每个手指和每个关节的ICC得分（仅限静态阶段）。我们随机选取两个区块，再从每个区块中随机选取一次试验，计算两者间的ICC得分。此过程重复40次以确保结果的一致性，最终将ICC得分取平均值。为简洁起见，我们仅报告近端指间关节角度的单独得分，总体而言ICC得分在0.6到0.97之间（中等到强相关性）。各手指重复测量间的相关性表现为：小指为中等相关（ICC = 0.66），拇指为良好相关（ICC = 0.74），食指、无名指和中指则呈强相关（分别为0.88、0.81和0.84）。总体来看，这些结果表明Digits在多次重复同一姿势以及不同参与者使用时，能生成中等到强相关的关节角度测量结果。 准确性：为了确定准确性，我们将各区块和参与者的数据分别按关节和手势进行平均。由于手指运动并非完全独立（参见前文关于生物力学限制的讨论），对多个手指的数据进行平均并无太大意义。同样为简洁起见，我们仅报告近端指间关节弯曲角度的结果，不过近端指间关节弯曲、掌指关节弯曲及倾斜角度的结果具有可比性。 ![Image](images/542f395b05a176242b615330e8827e6149e8f0d389eab7ca115f1453c53135f1.jpg)
Figure 14: Mean error in PIP joint-angle (in degrees) per finger and for all six gestures. Error bars show std deviation.
图14总结了五个手指及所有六种姿势的结果。 整个数据集中的平均误差相对较小， 所有手指和手势的误差都很小（均小于9°）。最佳精 度通常出现在食指上（最小误差为1.8°的姿态 “D”，最大误差为2.9°的姿态“A”）；这可能是由于食指在诸多日常活动中所起的重要作用所致（例如 指物、捏取、抓挠等）。对于大多数姿态而言，拇指的误差 指向、捏合、抓挠）。对于大多数姿势，误差 在拇指处最大，这可由以下事实解释： 我们的 IK 模型将拇指视为普通手指，而在 实际上，拇指的运动更为复杂（参见 [^23]）。 小指的平均误差也相对较高（最小误差为 3.8°姿态为“E”，最大7.3°姿态为“D”），这一现象可以用以下原因来解释： 我们实验装置中的摄像头摆放位置——为了实现紧凑的外形设计， 摄像头被安置得离手掌非常近，因此 在某些情况下小指可能无法被摄像头捕捉到。 尽管只是初步结果，但这些整体表现还是令人鼓舞的。 --- 所实现的追踪精度，尤其是关节角度误差率，与数据手套相关研究中所报道的结果相当 [^6] [^38]。此外，平均精度（介于$2^{\circ}$和$9^{\circ}$之间）优于文献中定义的手动测角法精度（介于$7^{\circ}$和$10^{\circ}$之间），而手动测角法在临床实践中被视为关节角度测量的金标准 [^23]。 ## 讨论 Digits是一款通用型可穿戴式3D手部追踪器。它无需直接安装在用户手上，而是佩戴在手腕处。我们已经证明，无需佩戴深度摄像头这类高精度且目前尚不实用的硬件，就能推断出用户手部的完整3D姿态。对我们原型系统的初步评估表明，其追踪效果接近现有的数据手套，且无需直接对手部进行仪器安装。 两种运动学模型的故事 在本文中，我们提出了两种互补的方法，利用用户手上的少量采样点来恢复3D姿态。虽然这两种模型（分别基于正运动学和逆运动学）所提供的交互表现力水平不同，但不应认为其中一种能完全取代另一种。两者各有优劣，在不同场景下各有用处。第一种模型的优势在于简单性：仅需对每个手指进行一次测量，就能重建出丰富的3D手部姿态，这已经能够实现多种引人注目的连续空间手势交互（见图1和图9），也有助于移动应用中的手势识别。第二种模型增加了更多自由度的感应能力，能让每个手指关节独立运动，因此在还原用户手部姿态时更精准；如图15所示，该模型也能更真实地还原手部形态。例如，在需要模拟任意虚拟物体抓取过程的物理仿真应用中，或是需要精确关节角度测量的医疗应用中，这种特性就非常有用。我们只需添加简单的额外硬件就能实现这一点，不过相应的算法复杂度会更高。 ![Image](images/b72a38b857c76157135274a620ade20cddf21b4a0d311a281a151d30b45bc20a.jpg)
Figure 15: Failure cases for our forward kinematics (FK) model. Notice mismatch in PIP angle (left) and MCP angle (right). Using our inverse kinematics (IK) model we can mitigate such issues, and offer a truer reconstruction.
我们的：带有侧向结构 局限性：由于我们当前的实现基于视觉技术，因此手指交叉、拇指过度弯曲以及手持物体所造成的遮挡现象会对手部姿态重建造成困扰。不过这些属于特殊情况，我们预计通过仔细指定手势即可避免此类问题。此外，采用更先进的手指分离与识别技术也能缓解这些问题。在当前的Digits原型中，我们并未对腕部弯曲及前臂旋转进行建模。尤其是手掌完全平展或过度拱起的情况会带来问题。我们的概念验证原型已经具备可穿戴性且不会过于笨重，但需要用户佩戴相关设备。此外，该设备仍需连接至执行计算的PC或笔记本电脑。不过，将设备进一步小型化，使其变成独立的手表式设备或与普通手表完全集成，也是可以实现的。未来诸如飞行时间技术之类的深度摄像技术或许能助力实现这种紧凑型设备。目前我们认为，我们的方案在实用性、可用性、计算复杂度、功耗以及外形尺寸之间取得了最佳平衡。 随时可用的输入：值得注意的是，Digits的输入不受用户周围固定空间的限制，而是会随着用户的手移动。例如，手势可以在身体前方完成（与其他可穿戴系统类似 [^10] [^24] [^33]）。不过，手势输入也可以以更微妙、更轻松的方式实现。比如，手垂在身体一侧或放在物理表面上时也能做手势，这样在长时间使用时就能避免手臂疲劳。相关示例可在附带的视频中看到。 新兴交互功能：Digits还有其他值得在未来研究中探索的新兴交互特性。例如，当双手互动时，Digits可用于追踪另一只未佩戴设备的手各手指的空间位置。可以将参考手的掌心当作触控板使用，或者利用参考手上各手指的节段来控制图形用户界面中的滑块。 虽然Digits被设计成通用交互平台，但我们已在本文及附带视频中展示了使用该技术的交互场景。我们认为Digits在移动场景下尤其实用，此时传感器可与手机、平板电脑等现有个人设备共存。设备在自由空间中同时支持触摸和3D输入的特性尤为引人注目。无需从口袋中取出移动设备即可进行交互的免视界面也同样值得关注。Digits的另一个应用领域是游戏，目前Xbox Kinect或任天堂Wii等技术尚无法达到如此高精度的手部感应水平。此类设备可以与现有的感应方式互补。例如，将Kinect全身追踪器与Digits的高精度自由手势交互功能相结合。 ## 结论 我们介绍了Digits——一种可佩戴在手腕上的系统，用于感知用户手部的完整三维姿态。该系统面向移动场景设计，其特点是低功耗，且仅需利用市面上常见的硬件即可轻松复现；这些硬件比当前的消费级深度摄像头体积更小、能效更高。我们提出了两种互补的方法，用于稳健地追踪手部特征，并展示了如何利用运动学模型从这些稀疏样本中重建出完整的关节手部模型。我们还验证了Digits在多种应用场景中的实用性，包括手机上的三维空间交互、移动环境下的免视交互以及游戏领域。 --- ## 参考文献 [^1]: Ashbrook, D. L. Enabling mobile microinteractions. Phd thesis, Georgia Institute of Technology, 2010. [^2]: Avidan, S., and A. Shamir. Seam carving for content-aware image resizing. SIGGRAPH Comput. Graph. 26, 3 (July 2007), 10. [^3]: Bailly, G. et al. ShoeSense: A New Perspective on Hand Gestures and Wearable Applications. In ACM SIGCHI (2012), 1239–1248. [^4]: Becker, J. C., and N. V. Thakor. A study of the range of motion of human fingers with application to anthropomorphic designs. IEEE Trans. Biomed. Eng. 35, 2 (1988), 110–117. [^5]: Buxton, B. Multi-touch Systems that I have Known and Loved. Tech. rep., Microsoft Research, 2007. [^6]: Dipietro, L., A. M. Sabatini, and P. Dario. Evaluation of an instrumented glove for hand-movement acquisition. Int. J. Rehabil. Res. 40, 2 (2003), 179–189. [^7]: Dipietro, L., A. M. Sabatini, and P. Dario. A Survey of Glove-Based Systems and Their Applications. IEEE Trans. Syst. Man Cybern. Part C Appl. Rev. 38, 4 (2008), 461–482. [^8]: Erol, A. et al. Vision-based hand pose estimation: A review. Comput. Vision Image Understanding 108, 1-2 (Oct. 2007), 52–73. [^9]: Gustafson, S., D. Bierwirth, and P. Baudisch. Imaginary interfaces. In ACM UIST (2010), 3–12. [^10]: Harrison, C., H. Benko, and A. D. Wilson. OmniTouch: Wearable Multitouch Interaction Everywhere. In ACM UIST, ACM (2011), 441–450. [^11]: Harrison, C., D. Tan, and D. Morris. Skinput: Appropriating the Body as an Input Surface. ACM SIGCHI 3, 8 (2010), 453–462. [^12]: Hilliges, O. et al. HoloDesk: Direct 3D Interactions with a Situated See-Through Display. In ACM SIGCHI (2012), 2421–2430. [^13]: Howard, P love：可佩戴在手腕上 virtu（2001）， [^14]: Izadi, S. et al. C-Slate: A Multi-Touch and Object Recognition System for Remote Collaboration using Horizontal Surfaces. In IEEE TABLETOP (2007), 3–10. [^15]: Izadi, S. et al. KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera. In ACM UIST (2011), 559–568. [^16]: Kamper, D. G., T. George Hornby, and W. Z. Rymer. Extrinsic flexor muscles generate concurrent flexion of all three finger joints. J. Biomech. 35, 12 (2002), 1581–1589. [^17]: Kim, J. et al. The Gesture Watch: A Wireless Contact-free Gesture based Wrist Interface. In IEEE ISWC (2007), 1–8. [^18]: Lee, S. C., B. Li, and T. Starner. AirTouch: Synchronizing In-air Hand Gesture and On-body Tactile Feedback. In IEEE ISWC (2011), 3–10. [^19]: Lee, T., and T. Hollerer. Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking. In IEEE ISWC (2007), 1–8. [^20]: Malik, S. Real-time hand tracking and finger tracking for interaction. Tech. rep., University of Toronto, 2003. [^21]: Marschner, S. R. et al. Image-Based BRDF Measurement Including Human Skin. In Eurographics Rendering Workshop, vol. 5 (1999), 1–15. [^22]: Mayol-Cuevas, W., B. Tordoff, and D. Murray. On the Choice and Placement of Wearable Vision Sensors. IEEE Trans. Syst. Man Cybern. Part A Syst. Humans 39, 2 (Mar. 2009), 414–425. [^23]: Metcalf, C. et al. Validation and Application of a Computational Model for Wrist and Hand Movements using Surface Markers. IEEE Trans. Biomed. Eng. 55, 3 (2008), 1199–1210. [^24]: Mistry, P., and P. Maes. SixthSense: a wearable gestural interface. In ACM SIGGRAPH ASIA Sketches, K. Anjyo, Ed., ACM (2009), 60558. [^25]: Molyneaux, D. et al. Interactive Environment-Aware Handheld Projectors for Pervasive Computing Spaces. In Pervasive Computing (2012), 197–215. [^26]: Nakatsuma, K., and H. Shinoda. Touch interface on back of the hand. In ACM SIGGRAPH Emerging Technologies (2011), 4503. [^27]: Oikonomidis, I., N. Kyriazis, and A. A. Argyros. Full DOF tracking of a hand interacting with an object by modeling occlusions and physical constraints. In IEEE ICCV (Nov. 2011), 2088 – 2095. [^28]: Pamplona, V. The image-based data glove. In Symposium on Virtual and Augmented Reality (2008), 204–211. [^29]: Prados, E., and O. Faugeras. Shape From Shading. In Handbook of Mathematical Models in Computer Vision, N. Paragios, Y. Chen, and O. Faugeras, Eds. Springer, 2006, 375–388. [^30]: Rekimoto, J. GestureWrist and GesturePad: unobtrusive wearable interaction devices. In IEEE ISWC, vol. 5 (2001), 21–27. [^31]: Romero, J., H. Kjellstrom, and D. Kragic. Hands in action: real-time 3D reconstruction of hands in interaction with objects. In IEEE ICRA (2010), 458–463. [^32]: Saponas, T. S. et al. Enabling always-available input with muscle-computer interfaces. In ACM UIST, no. 38 (2009), 167–176. [^33]: Starner, T. et al. The gesture pendant: a self-illuminating, wearable, infrared computer vision system for home automation control and medical monitoring. In IEEE ISWC (2000), 87–94. [^34]: Starner, T., J. Weaver, and A. Pentland. A wearable computer based on American sign language recognizer. In IEEE ISWC, vol. 1 of ISWC '97 (1997), 130–137. [^35]: Vardy, A. The wristcam as input device. In IEEE ISWC (1999), 199 – 202. [^36]: Villar, N. et al. Mouse 2.0. In ACM UIST (New York, New York, USA, Oct. 2009), 33–42. [^37]: Wang, R. 6D hands: markerless hand-tracking for computer aided design. In ACM UIST (2011), 549–558. [^38]: Wise, S. et al. Evaluation of a fiber optic glove for semi-automated goniometric measurements. Int. J. Rehabil. Res. 27, 4 (1990), 411–424. [^39]: Zhang, Z. A flexible new technique for camera calibration. IEEE Trans. Pattern Anal. Mach. Intell. 22, 11 (2000), 1330–1334.