
# Kinect V2飞行时间相机的计量特性分析

安德烈亚·科尔蒂、西尔维奥·詹科拉 $^{*}$、贾科莫·迈内蒂、雷莫·萨拉

米兰理工大学机械工程系，意大利米兰，20156

本文提出了一种飞行时间（TOF）相机的计量特性分析流程，并将其应用于微软Kinect V2相机。基于《测量不确定度表达指南》（GUM），本文对三维场景重建的不确定度进行了分析。具体而言，分别评估了单个传感器像素以及整个深度相机的随机分量与系统分量。制造商宣称该传感器中心像素的测量不确定度仅为几毫米左右（Kinect for Windows Features, 2015），这一数值明显优于第一代微软Kinect相机（Chow等人，2012年$^{[1]}$）。本研究指出，相机性能受测量条件和场景环境参数的影响极大；实际上，三维点云重建的不确定度范围可从1.5毫米到数十毫米不等。

关键词：飞行时间、Kinect V2、特性分析、点云库、GUM、计量认证

## 研究亮点

Kinect V2的温度会对距离测量产生影响。

随机不确定度会随着深度和径向坐标的增加而增大。

系统不确定度呈现出一种被称为“摆动误差”的谐波趋势。

- 不同材料和表面会在深度测量中产生微小偏差。

- 多次反射会导致凹面三维几何结构的重建出现失真。

### 1. 引言

飞行时间（TOF）系统是一种光学设备，可通过测量光线发射后从目标物反射回来所经历的时间来重建三维场景。

TOF相机属于特殊的TOF系统，能够通过光线在整个场景中的扩散来获取距离图：它将反射回来的光线聚焦在相机矩阵传感器上，并针对每个像素测量发射光与反射光之间的相位差。这类相机比三维激光扫描仪更快且成本更低：它们无需使用在球面坐标中旋转的单个传感器，而是利用传感器矩阵来重建三维场景，典型帧率可达30–60 Hz。

最初，TOF系统是为汽车市场设计的，用于测量车辆盲点，以检测行人或其他车辆的靠近情况[^2]。如今，TOF系统能够辅助驾驶员进行操控，而自动驾驶汽车也即将实现完全自动化：它们能够通过这些三维传感器感知周围世界[^3]。不过，三维深度相机在视频游戏和娱乐领域取得了巨大成功。微软Kinect的第二代产品（Kinect V2）是Xbox One的配件，可重建场景并识别玩家的身体位置以实现与虚拟现实的互动。它也是市场上最高效的低成本TOF相机之一。开源驱动程序libfreenect2[^4]使得用户能够在Linux发行版及点云库应用中使用Kinect V2设备。

本文基于《测量不确定度表示指南》（GUM）[^5]，对Kinect V2飞行时间相机进行了计量学特性分析，并验证了其可靠性与技术极限。为了确定三维位置的不确定性，本文通过不同配置与测试来估算其精度与准确度。

针对Kinect第一代产品，已有类似研究发表，许多论文也探讨了不确定性重构问题[1,6-8]。该设备第一代产品为基于深度相机的感知应用开辟了众多潜在的机器人应用场景[^9] [^10] [^11]。

---

![Image](images/a6095ff2fe4497345bcdf9170abb4d73dee4e74bb69d20c5f4b3fa102287f91e.jpg)

<div style="text-align: center;">Fig. 1. Four phase-stepped samples to compute phase offset  $\phi$ [^23].</div>

关于飞行时间系统，以往的研究已在[^12] [^13]中对早期飞行时间相机的性能进行了分析。其他研究则聚焦于多种三维相机之间的性能对比：Kinect V1与其他三维系统的比较见于[^14] [^15]，而Kinect V2的相关对比则见于[^16] [^17]。

在[^18] [^19]中，研究人员评估了利用Kinect V2重建人体模型的效果，主要面向包含手臂和面部的人机交互应用，但并未将深度测量纳入考量。部分研究指出了Kinect V2的特性、性能与不足[20–22]，但并未提供完整的计量学评估。

本文的第一部分研究了系统的稳定性，尤其是由温度变化引起的漂移现象。随后，分析被分为两个层面，下文分别称为像素级与传感器级。在像素级特性分析中，评估了与三个定位分量相关的测量不确定性、入射光在场景中的角度以及目标表面的特性（颜色和材质）。接着，进行了基于已知几何形状重建、混合像素分析与多路径误差评估的传感器级特性分析。在讨论结果之前，将先介绍飞行时间相机模型以及微软Kinect V2的主要特性。

### 2. 初步研究

#### 2.1. 飞行时间模型

飞行时间（TOF）相机由红外发射器、红外传感器阵列以及能够采集反射信号并运用适当数学模型计算往返距离的电子电路组成。市场上主要的两种飞行时间技术为脉冲调制技术与连续波（CW）技术。

在脉冲调制技术中，通过与发射信号同步的快速计数器来测量发送脉冲与接收脉冲之间的延迟。所得到的时间延迟（$\Delta t$）可通过以下公式转换为距离（d）：

 $$ d=c\frac{\Delta t}{2} $$

其中c为光速（空气中）。

这种方法需要极其精确的计数过程，而在室温条件下难以实现[^23]。

在连续波技术中，发射光会被调制成正弦波，或更常见的方波，其频率（f）范围为10–100 MHz[^24]。在每个周期内，为了获取相位偏移$\phi$，传感器会采集4个反射光样本（相位依次相差$90^{\circ}$）（见图1）。

距离d可通过以下公式计算：

 $$ d=\frac{c}{4\pi f}\phi\quad\mathrm{w i t h}\phi=a t a n\Big(\frac{Q3-Q4}{Q1-Q2}\Big). $$

在公式(2)中可以发现，$(Q3-Q4)$和$(Q1-Q2)$这两项能够减弱恒定偏移对测量结果的影响，而它们的比值则能减弱恒定增益的影响。此外，为了解析整个$2\pi$范围，必须考虑分子和分母的符号，此时需使用“atan2”函数。

基于相位的连续波方法意味着存在一个混叠距离，它界定了飞行时间系统的测量范围，该距离被称为模糊距离[^23]，其定义如下：

 $$ d_{a m b}=\frac{c}{2f}. $$

采用单频技术时，只有降低调制频率才能扩展模糊距离，但这样一来精度就会下降[^23]。

采用多频技术的先进飞行时间系统，既能扩展模糊范围，又能保持较高的精度。

#### 2.2. Kinect V2 for Windows的特性

Kinect V2由一台分辨率为$512 \times 424$像素的连续波飞行时间摄像头、一台分辨率为$1920 \times 1080$像素的RGB摄像头、一个包含4个麦克风的阵列以及用于信号处理的相关电子元件组成。该摄像头的最大采集频率可达30 Hz。其工作范围限定在0.5–4.5米的深度范围内，水平视角为$70^\circ$，垂直视角为$60^\circ$ [^25]。

微软提供的软件开发工具包（SDK）允许用户编写软件来控制该设备，尤其是通过USB 3.0适配器采集并保存深度流、红外流、彩色流以及音频流数据。该SDK还包含一个基于针孔相机模型的函数，名为“坐标映射器”，它能将摄像头参考帧中采集到的深度图数据转换为世界参考帧中的数据，从而生成点云。最终，借助专有算法处理飞行时间摄像头返回的距离数据，Microsoft Kinect V2能够在视野内追踪多达6个物体，并为每个物体计算出25个关节的位置与朝向。

#### 2.3. 实验设置

为了进行后续章节中涉及的特性分析，数据采集工作是通过一款专为Windows Kinect SDK开发的C语言 $\sharp$ 软件来完成的。之后，数据处理和绘图则是利用Mathworks Matlab脚本实现的。

后续章节中描述的大多数测试，都是通过将飞行时间摄像头对准平面目标来进行的。这一操作可手动完成；若需更高精度，则可借助机械臂以及红外摄像头校准程序来实现[^26]。

在最后两项实验中，采用了第5.2节和第5.3节中详细描述的特殊设置。

### 3. 系统的稳定性

电子传感器和信号调理电路会受到温度波动的影响，这通常会导致输出漂移。由于Kinect V2在运行数分钟后会发热，因此分析静态测量期间系统的稳定性十分重要。此外，设备内部装有由温控装置控制的风扇，因此本次测试旨在对比有持续气流和无气流情况下的采集结果差异。

---

![Image](images/80f54a890bcab71b928aef86b57e9db5bb5d8d7783328b61b4de4d3338798f24.jpg)

<table border=1 style='margin: auto; word-wrap: break-word;'><tr><td style='text-align: center; word-wrap: break-word;'>Rated voltage</td><td style='text-align: center; word-wrap: break-word;'>12 V</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Input current</td><td style='text-align: center; word-wrap: break-word;'>0.04 A</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Speed</td><td style='text-align: center; word-wrap: break-word;'>5000 rpm</td></tr><tr><td style='text-align: center; word-wrap: break-word;'>Max air volume</td><td style='text-align: center; word-wrap: break-word;'>0.0026 m $^{3}$/s</td></tr></table>

<div style="text-align: center;">Fig. 2. Detail and general specifications of the fan used as external cooling system.</div>

事实上，无法手动开启或关闭内部冷却系统。因此，我们在原有风扇的基础上加装了一个外部风扇（见图2），以便完全控制气流。实际上，外部冷却系统的持续运转会使内部温度低于恒温器阈值，从而防止控制器启动以及两个风扇同时旋转。

首次测试时，我们以30 Hz的采样率采集了20,000个样本，将传感器放置在距离白色平面墙约一米处。为了凸显测量趋势，我们对传感器中心像素返回的500个距离样本计算了移动平均值。在整个测试期间（10分钟），内部冷却系统一直处于关闭状态，因为传感器温度始终低于高温阈值。

随后，在保持与上次测试相同设置的前提下，开启外部风扇进行了第二次20,000样本采集。图3展示了两次测试中中心像素的距离数据及移动平均值。

左侧图表显示10分钟内平均值增加了超过2毫米，而右侧采用持续冷却系统的测试结果则能维持稳定的温度值，没有出现明显的漂移现象，仅存在局限于0.6毫米范围内的随机波动。

为了获取更多信息并验证先前测试的结果，我们以1 Hz的采样频率分别在有、无外部风扇的情况下进行了24小时数据采集。结果（原始数据和移动平均值）如图4所示。

没有外部风扇时，系统会出现4小时的过渡阶段，其特征是因内部风扇交替运转而产生的振荡趋势。这一阶段过后，设备温度会升至较高水平，从而阻止风扇停止运转；风扇会持续旋转并使系统稳定，直至测试结束。

第二次测试证实了这一假设：风扇的持续运转能够确保测量快速稳定，并缩短过渡阶段。在后续所有测试中，都会使用固定在Kinect V2背部的风扇，并使其保持持续旋转状态。

最后，在保持与前次测试相同设置的前提下，我们采集了由中心像素返回的5,000个深度样本。图5展示了距离测量的直方图以及累积概率分布函数图。可以看出样本呈高斯分布。因此，在本文后续部分，所有数据集均可视为正态分布，以便计算平均值和标准差。

### 4. 逐像素特性分析

#### 4.1. 空间坐标系中的随机误差

本次测试的第一部分是评估相机在不同距离下的精度。我们将Kinect V2固定在摄影三脚架上，并与安装在机械臂法兰上的白色平面靶标对齐；该机械臂可沿相机轴线移动，精度达到0.1毫米。由于机械臂完全伸展后的最大长度为1000毫米，因此将工作距离（800–4200毫米）划分为4个区间，各区间有200毫米的重叠部分（800–1800毫米/1600–2600毫米/2400–3400毫米/3200–4200毫米）。在每个区间内，平面以20毫米为步长移动，每个姿态下采集4,000个深度样本。仅有这些数据……

![Image](images/a349077db97af6f6051c2904a6794d8e9b287c5831d6c9dd8b773d4bf496640a.jpg)

![Image](images/46b39b5dd31b1ff5c0a3cb6220db01837fa3bf230d1a70bdc07b1a7ff4e877cb.jpg)

<div style="text-align: center;">Fig. 3. Static measurements of a single pixel in time without (a) and with (b) cooling system.</div>

![Image](images/aa9288f25deb285741ebaf1ca0675dc2c10a2e55987c5b990632bd3f4a213809.jpg)

![Image](images/612e39daf9fae18679a97b7a99083bf0143d360c36674f90e8ff1a3e050b5c0f.jpg)

<div style="text-align: center;">Fig. 4. Static measurements of a single pixel in time during 24 h without (a) and with (b) cooling system.</div>

---

![Image](images/11b798b5d4e910df429779decfb557c8526d0bcea97c3a66f43de6357397a5f2.jpg)

![Image](images/b369b975c9d54afaec8b1155876484475a38c0662b7dcd7fe89b4b0f469122f5.jpg)

<div style="text-align: center;">Fig. 5. Histogram (a) and cumulative probability distribution function (b) of 5000 distance measurements performed at 1000 mm from a planar wall.</div>

![Image](images/c4ba5f474b37ddec1450054a4b4e50c8d4f1d42193aa49168e698e3db01a238e.jpg)

![Image](images/b3be94dc00d097d42d777d5183c132e82d70bc23b47d6345b2c564c35bb03c96.jpg)

<div style="text-align: center;">Fig. 6. Absolute (a) and percent (b) casual error in function of the distance.</div>

![Image](images/f87ef28d5461e00428ab5c2578a394601f3a7ea323dc92d8b050dcdc71a67029.jpg)

![Image](images/60b83fb84e800252a384d2dbfee4a72577ee9007bd793a033b76b192eb29abdc.jpg)

<div style="text-align: center;">Fig. 7. Casual error in function of the pixel position (a) and along the field of view (b).</div>

中央像素返回的数据经过分析后，其标准差与平均值的关系绘制在图6(a)中。

该测试呈现出线性趋势（$R^{2}$等于0.9916）：从1.2毫米处的约1500点，到最大可靠距离（4200毫米）处的3.3毫米，且初始阶段存在噪声基线。这是因为目标物距离越远，每个像素捕获的红外光量就越少，进而导致信噪比下降。类似结果也可在[^20]中找到。

以Kinect V2在距平面墙1250毫米处拍摄的一组图像为例，计算每个像素的标准差，并将其绘制成具有传感器宽高比的图像。图7(a)显示了由于红外光锥的存在，传感器径向坐标与标准差趋势之间的关系，因此场景照明并不均匀[^27]。这导致边缘点的噪声比中心点更大。最后，图7(b)展示了在相机Z轴方向上750至3750毫米视场内拍摄的七组图像的分析结果。标准差大于15毫米的角点可能位于照明锥之外，因此Kinect V2返回的其深度值并不可靠。

#### 4.2. 空间坐标系中的系统误差

该测试旨在确定单个像素测距的准确性。实验采用4.1节描述的相同装置和数据采集方式开展。

图8(a)绘制了实际距离与测量距离之间的差异。为四个步骤分别绘制图表，并通过对齐重叠点来最小化间距。这种呈谐波形状的趋势被称为“摆动误差”，与文献报道一致[^28] [^29]；其产生原因是电子元件的非理想性，以及调制信号并非完全正弦形、包含奇次谐波分量。

图8(b)中将拟合曲线$(R^{2} \text{ equal to } 0.9915)$（由正弦函数求和计算得出）绘制在测量点上。

此外，分析在1250毫米处采集的数据集，计算各像素深度的平均值，以此作为参考基准。

---

![Image](images/b7834f671d18f4ab9875531e88b38542355df08c1b8a42c53f2bf4c7c43565e7.jpg)

![Image](images/eb21dd7be50ed7f7d5ff1ca539259c56bc0679173559a2348f85b66da2b2c2dd.jpg)

<div style="text-align: center;">Fig. 8. Distance systematic error (a) with fitting curve (b).</div>

![Image](images/a99b85fb8fbb966a7a9dbc289a38fffb226d836c95d6d5ca7ad489cbf795eb55.jpg)

<div style="text-align: center;">Fig. 9. Distance systematic error inside the sensor.</div>

利用SDK中提供的“坐标映射器”提取的内参查找表（LUT），对平均距离数据进行处理后得到点云，进而计算出最佳拟合曲面。图9显示距离误差被限制在20毫米以内的范围内；中心点呈现正向位移，而角点则呈现负向位移。

#### 4.3. 目标物入射角导致的误差

此外，图像中心附近可观察到位移值较大的点，这可能是传感器矩阵存在缺陷所致。

##### 4.3.1. 中央像素分析

本节评估红外光与目标平面之间的入射角对测距的影响。采用与4.1节类似的装置，但使用更小的机器人，以确保能围绕平行于传感器X轴和Y轴的轴线进行非常精确的旋转。从$0^{\circ}$（目标物与相机传感器平行）到$60^{\circ}$，以$5^{\circ}$为步长，每个姿态下采集4000帧距离数据。实验同时进行了绕垂直轴和水平轴的旋转。

计算中央像素的标准差，其结果如图10所示。

![Image](images/8f3782207f572b2afeab88328ce9999464a63607510d75af2e2f0e99239f796f.jpg)

从图表分析中可以发现角度与单像素距离测量之间的特定关系。这项测试扩展到了传感器的中心区域，将在下一段中进一步探讨。

##### 4.3.2. 居中传感器的裁剪分析

本节是对4.3.1节所述测试的延伸。借助机械臂，将一个平面白色目标物绕垂直轴旋转成13个姿态，角度范围从$0^{\circ}$到$60^{\circ}$，旋转步长为$5^{\circ}$。我们分析了传感器对称中心部分返回的深度数据。计算出每个像素的标准差，其中一些重要结果绘制在图11中。

通过分析图像可以明显看出，计算出的标准差值呈现出沿旋转轴的带状分布，这反映了其与单束光线入射角的相关性。角度越大，目标物反射到单位面积上的光量就越少（因此信噪比也越低）。

类似地，围绕水平轴进行旋转测试也得到了相同的结果。

##### 4.4.1. 颜色的影响

#### 4.4. 由目标特性引起的误差

本节探讨了测量结果对目标颜色的依赖性。测试中使用了不同的材料样本（纸板、胶带和织物），并为每种材料选择了几种颜色（黑色、白色、黄色、红色、蓝色和绿色）。每次将一个样本固定在平面上，使其与摄像头对齐，距离为约775毫米，共采集4000组深度值。结果以误差棒图的形式展示（图12）。分析这些图表可以发现，每组采集数据中的标准差值约为1毫米，且保持恒定，

![Image](images/f0da7c6ca4bfa22463969eeb5d2eecba31147f26c1354bdd61a4e0f9c18ccdfc.jpg)

<div style="text-align: center;">Fig. 10. Standard deviation value depending on target rotation angle around vertical (a) or horizontal (b) axis.</div>

---

![Image](images/f342d664da9ebddf72e3c89ee901cd15dfafe644353254dd76630549e7e9bf75.jpg)

<div style="text-align: center;">Fig. 11. Standard deviation related to the ray incidence angle.</div>

![Image](images/9cdf1e28ec81763dd99d3c56342c258cd93a1b3ad16fdf4399dc81bba35bfb0e.jpg)

![Image](images/fced1c0fdb07f7251d54763d7626c34dadbbe72d007cb3dce14c09e6b698173d.jpg)

![Image](images/c53a4c973dd43fbf24fe32e005afc614884dff2620b1944883bc728b9f6ff8e4.jpg)

<div style="text-align: center;">Fig. 12. Error distribution of different colour targets. (For interpretation of the references to colour in this figure legend, the reader is referred to the web version of this article.)</div>

由此可以断定表面颜色对其没有影响。

相反，这些测试显示出各组采集数据的平均值之间存在明显的偏移。具体而言，纸板样本导致最近和最远检测物体之间的距离差为0.8毫米。从胶带数据中也能得出类似的误差。而对于织物样本，距离偏移被限制在0.5毫米范围内。

综合这三组数据来看，无法找到特定的偏移值与某种颜色之间的相关性，因此分析范围被扩展到了不同材质的物体上。

##### 4.4.2. 材质

本节探讨了测量结果对目标材质的依赖性。测试中使用了五种常见材料样本（纸板、塑料、铝、木材和织物）。测试过程与前一次类似。

绘制此次测试的结果（图13）可以发现，距离最近的是反射性最强的材料（铝）。相反，摄像头识别为最远的物体是木材（表面粗糙）。同样，在此测试中标准差也几乎保持恒定，因此无法指出其数值与材质之间的相关性。

最后，我们采集了一个反光织物的圆形样本，这是红外计算机视觉中常用的材料。由于其反射率极高，会导致摄像头像素饱和，因此无论距离多远，Kinect V2都无法识别该样本（图14）。

![Image](images/213d8cfb569390be16ee46b030a05d74190193041bb2021890c5810ee55c398e.jpg)

<div style="text-align: center;">Fig. 13. Error distribution of different material targets.</div>

综合前述分析可以得出结论：平均值之间的最大差异小于1毫米，因此目标物体的颜色和材质对测量结果的影响往往可以忽略不计。某些测量问题可能源于对反射表面的采集 [^21]。

### 5. 传感器特性分析

#### 5.1. 已知几何形状的重建

本节将分析平面、圆柱和球体等已知几何形状的重建质量，通过测量采集点与数学模型之间的距离分布来评估。

---

![Image](images/496b1886f7f8fc01de804b9e71f4c2c7e60290eb6c270098978c178a2361281f.jpg)

![Image](images/e5b3b0dc5c85d8b194571c3ad87ea3ca6defc610621b5972ac3eef98633e3d21.jpg)

<div style="text-align: center;">Fig. 14. Reflective tissue test: setup (a) and corresponding point cloud (b).</div>

![Image](images/766b4c066bd70ba0bbd514a37765151b65d9cc7e1c51fb1aae0e7666ce070f48.jpg)

![Image](images/09b3528269c6ef97867f95448cb0a0f40fd5b731afd67e5b9684a861ee9adec2.jpg)

<div style="text-align: center;">Fig. 15. Plane: point-model distance (a) and error distribution (b). (For interpretation of the references to colour in this figure legend, the reader is referred to the web version of this article.)</div>

##### 5.1.1. 平面

我们采集了一个与传感器平行、距离约为1000毫米的平面数据。该点云在X轴上的延伸范围约为1.4米，在Y轴上约为1.2米。这一结果证实了Kinect V2的视角在水平方向为$70^{\circ}$，垂直方向为$60^{\circ}$。在1米距离处，沿X轴和Y轴方向的分辨率约为2.7毫米。

我们对点云进行了平面最佳拟合处理。图15(a)展示了拟合得到的平面与原始平面的对齐情况。图中右侧的参考系显示了传感器的位置。每个点的颜色根据其到模型平面的距离而定：蓝色代表靠近平面的点，绿色代表中间距离的点，红色则代表远离平面的点。

图15(b)展示了传感器区域内的误差分布情况。最大的偏差约为15毫米，出现在图像角落处。不过在图像中心区域，距离偏差被限制在约$\pm5$毫米的范围内；而在角落处，偏差值可达数十毫米。

角点相对于参考平面的位移误差源于红外镜头产生的光学畸变，基于数学模型的深度图像到点云的转换过程无法完全消除这种畸变。

##### 5.1.2. 圆柱

圆柱是一种简单的物体，常被用于测试3D重建的质量。我们将一个直径约为500毫米的圆柱形物体放置在距传感器约1000毫米的位置进行采集。

利用PCL中实现的迭代最近点算法，将采集到的点与计算机生成的圆柱模型进行对齐。

图16(a)和(b)展示了距离误差的分布情况，其中大部分采集点与模型的距离小于25毫米。此外，如5.1.1节所述，偏差较大的点（数十毫米）出现在传感器的上下边缘。

##### 5.1.3. 球体

最后，我们评估了球面结构的重建质量，采集了一个半径为105毫米的球体部分，该球体距传感器1000毫米。通过迭代最近点算法将3D点与模型对齐（图17(a)）。

误差分布（图17(a)和(b)）几乎呈对称状态，以零为中心，偏差范围小于5毫米。只有轮廓点与模型表面的距离达到数十毫米，这可能是由于下一节所述的混合像素误差造成的。

#### 5.2. 混合像素误差

本次测试旨在分析边缘重建的质量。一个尺寸为3毫米的平面被放置在距离1平方米平面约350毫米的位置。

---

![Image](images/0ff45d5f6cc6ba0a9d4d9fc4a27a07bf246cd9d84c258c50e2ebdadff7e844ea.jpg)

![Image](images/dc65526db5a805abd21599cc4f3da9a9fa3548c87010fd0fe0df862c377a10c1.jpg)

<div style="text-align: center;">Fig. 16. Cylinder: point-model distance (a) and error distribution (b).</div>

![Image](images/f0a229da45006a1d69936842cbd207110953a2accdb3a2e64af5e9516475cecf.jpg)

![Image](images/daeb61d86a383bed5667637556d572f2584ce8388103318c5d36a3ce0a128923.jpg)

<div style="text-align: center;">Fig. 17. Sphere: point-model distance (a) and error distribution (b).</div>

背景部分：使用Kinect V2设备手动对准该装置，在距离目标约1050毫米处采集点云数据，同时也会采集背景数据。

如图18(a)所示，从前景到背景的过渡区域会出现一些杂散点。我们采用了PCL中可用的样本共识分割算法来识别这两个平面，如图18(b)所示。不属于任何平面的剩余点则对应混合像素。

这种现象也被称为跳变边缘[^30]，其成因是在深度图中对相邻像素应用加权平均运算[^28]以降低噪声。由此，属于过渡区域的相邻像素会被赋予一个中间值。

本次测试还扩展到了背景平面距离过远而无法被采集的情况（距离＞4500毫米）。在此情况下，不会出现混合像素误差。

#### 5.3. 多路径误差

飞行时间相机一个广为人知的问题就是多路径误差。这种现象源于多次反射：在凹面几何结构中，部分红外光会从一个表面反射到另一个表面，之后才返回相机传感器[^24] [^31]。

由于信号传播路径比理想情况更长，因此会产生畸变的点云。为了分析误差程度，我们搭建了特定装置，使用两个表面（一面白墙和一块木板）适当对齐以形成二面角。

---

![Image](images/5a9b52a6df747de1c0efa7238102c1b08bb81e902d5dbd63ea6fdc284a011c46.jpg)

![Image](images/96ff4505a9326908cb6e875adef0f72b45cba94bb6974b269c32202b47bdd62f.jpg)

<div style="text-align: center;">Fig. 18. Point cloud (a) where red dots denote mixed pixel and the 2 plane recognized with sample consensus algorithm (b). (For interpretation of the references to colour in this figure legend, the reader is referred to the web version of this article.)</div>

![Image](images/fd3b33b2e77fe08749c61f917e62d25dcdf1aec71ca4b2921a39c2f533ba67d9.jpg)

![Image](images/ff21e6d3da4372022765cc4afd2eac1f598f80b573aff5e3016234025c6c8925.jpg)

<div style="text-align: center;">Fig. 19. Point cloud aligned with the reference markers in red (a) and error distribution (b). The wall denotes less distortion than the wooden panel. (For interpretation of the references to colour in this figure legend, the reader is referred to the web version of this article.)</div>

以及一块经过适当对齐的木板，用以构成二面角。

首先，使用Leica TS06全站仪在每个平面上采集9个点的数据，以此重建表面的计算机模型，便于与Kinect V2生成的点云进行对比。

由于全站仪和Kinect V2设备的姿态与参考坐标系不同，我们在每个表面远离平面交线的一侧粘贴了三个圆形黑色标记。通过全站仪测量这些标记的中心坐标，再通过Kinect红外图像分析确定它们的质心位置，从而得出两者的变换矩阵，将点云对齐到全站仪的参考坐标系中。

图19(a)展示了点云与由每面墙上的9个红点所表示的参考平面之间的对齐情况。

距离平面交线不到250毫米的像素会出现几十毫米（最多达80毫米）的误差（见图19(a)）。

### 6. 结论

本文对Kinect V2飞行时间相机进行了计量学特性分析，旨在评估其在三维重建中的测量性能与局限。对系统稳定性的研究揭示了传感器温度对返回深度值的影响。通过使用持续运转的外部风扇，这一问题得到了显著改善，从而获得了更稳定的数据。

---

借助一台持续运转的外部风扇，这一问题得到了显著改善，从而获得了更为稳定的数据。

在逐像素分析中，中心像素的偶然误差评估表明：测量不确定性随位移呈线性变化，在4200毫米处达到最大值3.3毫米。此外，通过对整个传感器采集的深度数据进行分析发现：距离测量的不确定性会随着画面中径向坐标的增加而增大；当拍摄物体距离摄像头超过1500毫米（沿Z轴）时，由于场景边缘区域光照不足，所得到的角落深度值并不可靠。中心像素的系统误差呈现谐波状变化趋势，其数值范围在[-10, 15毫米]之间。使用倾斜目标进行的测试表明：计算出的标准差值与光平面入射角之间存在相关性。由不同材料和颜色表面引起的深度测量偏差可以忽略不计，反射率的影响更为显著。如果目标物体反射性极强，Kinect V2便无法给出可靠的测量结果。

后续研究将聚焦于不同光照条件下的测量不确定性分析，以及光入射角和物体表面近红外反射率对测量偶然误差的影响机制。未来还将把研究结果与目前市面上的飞行时间相机进行比较。此外，研究范围还将拓展至Kinect V2设备对人体关节位置的测量与追踪，以及利用该设备进行的场景重建（如Kinect Fusion、SLAM技术）。

在基于传感器的层面分析中，已成功重构出一些已知几何形状的物体（平面、球体、圆柱体）。数学模型与Kinect V2重构结果之间的最大误差约为10毫米。只有当目标物体位于摄像头视野内的背景前方时，才会出现混像素现象。最后，飞行时间相机面临的主要技术问题之一——多路径误差，在Kinect V2采集的数据中也有体现，会导致最大80毫米的距离误差。

## 参考文献

[^1]: J. Chow, K. Ang, D. Lichti, W. Teskey, Performance analysis of a low-cost triangulation-based 3d camera: Microsoft kinect system, in: International Society for Photogrammetry and Remote Sensing Congress, ISPRS, vol. 39, 2012, pp. 175–180.

[^2]: R. Benenson, Cars perception, state of the art.

[^3]: M. Bertozzi, A. Broggi, A. Fascioli, Vislab and the evolution of vision-based ugvs, Computer 39 (12) (2006) 31–38.

[^4]: Open source drivers for the kinect for windows v2 device, <https://github.com/OpenKinect/libfreenect2> (accessed: 1.07.15).

[^5]: B.I. des Poids et Mesures, C. électrotechnique Internationale, O. internationale de normalisation, Guide to the Expression of Uncertainty in Measurement, International Organization for Standardization, 1995.

[^6]: K. Khoshelham, S.O. Elberink, Accuracy and resolution of kinect depth data for indoor mapping applications, Sensors 12 (2) (2012) 1437–1454.

[^7]: H. Gonzalez-Jorge, B. Riveiro, E. Vazquez-Fernandez, J. Martínez-Sánchez, P. Arias, Metrological evaluation of microsoft kinect and asus xtion sensors, Measurement 46 (6) (2013) 1800–1806.

[^8]: S. Kahn, U. Bockholt, A. Kuijper, D.W. Fellner, Towards precise real-time 3d difference detection for industrial applications, Comput. Ind. 64 (9) (2013) 1115–1128.

[^9]: S. Izadi, D. Kim, O. Hilliges, D. Molyneaux, R. Newcombe, P. Kohli, J. Shotton, S. Hodges, D. Freeman, A. Davison, et al., Kinectfusion: real-time 3d reconstruction and interaction using a moving depth camera, in: Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology, ACM, 2011, pp. 559–568.

[^10]: A.D. Wilson, Using a depth camera as a touch sensor, in: ACM International Conference on Interactive Tabletops and Surfaces, ACM, 2010, pp. 69–72.

[^11]: M. Labbe, F. Michaud, Online global loop closure detection for large-scale multi-session graph-based slam, in: Intelligent Robots and Systems, IROS 2014, 2014 IEEE/RSJ International Conference on, IEEE, 2014, pp. 2661–2666.

[^12]: F. Chiabrando, R. Chiabrando, D. Piatti, F. Rinaudo, Sensors for 3d imaging: metric evaluation and calibration of a CCD/CMOS time-of-flight camera, Sensors 9 (12) (2009) 10080–10096.

[^13]: S. May, D. Droeschel, D. Holz, C. Wiesen, S. Fuchs, et al. 3d pose estimation and mapping with time-of-flight cameras, in: International Conference on Intelligent Robots and Systems, IROS, 3D Mapping Workshop, Nice, France, 2008.

[^14]: B. Langmann, K. Hartmann, O. Loffeld, Depth camera technology comparison and performance evaluation, ICPRAM (2) (2012) 438–444.

[^15]: T. Stoyanov, R. Mojtahedzadeh, H. Andreasson, A.J. Lilienthal, Comparative evaluation of range sensor accuracy for indoor mobile robotics and automated logistics applications, Robot. Auton. Syst. 61 (10) (2013) 1094–1105.

[^16]: T. Breuer, C. Bodensteiner, M. Arens, Low-cost commodity depth sensor comparison and accuracy analysis, in: SPIE Security + Defence, International Society for Optics and Photonics, 2014, p. 92500G.

[^17]: H. Gonzalez-Jorge, P. Rodríguez-González, J. Martínez-Sánchez, D. González-Aguilera, P. Arias, M. Gesto, L. Díaz-Vilariño, Metrological comparison between kinect i and kinect ii sensors, Measurement 70 (2015) 21–26.

[^18]: H. Fürntratt, H. Neuschmied, Evaluating pointing accuracy on kinect v2 sensor, in: International Conference on Multimedia and Human-Computer Interaction, MHCI, 2014.

[^19]: C. Amon, F. Fuhrmann, F. Graf, Evaluation of the spatial resolution accuracy of the face tracking system for kinect for windows v1 and v2, in: Proceedings of the 6th Congress of the Alps Adria Acoustics Association, 2014.

[^20]: T. Butkiewicz, Low-cost coastal mapping using kinect v2 time-of-flight cameras, in: Oceans-St. John's, IEEE, 2014, pp. 1–9.

[^21]: P. Fankhauser, M. Bloesch, D. Rodriguez, R. Kaestner, M. Hutter, R. Siegwart, Kinect v2 for mobile robot navigation: Evaluation and modeling.

[^22]: E. Lachat, H. Macher, M. Mittet, T. Landes, P. Grussenmeyer, First experiences with kinect v2 sensor for close range 3d modelling, in: International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, ISPRS.

[^23]: L. Li, Time-of-Flight Camera—An Introduction, Texas Instruments-Technical White Paper.

[^24]: A.A. Dorrington, J.P. Godbaz, M.J. Cree, A.D. Payne, L.V. Streeter, Separating true range measurements from multi-path and scattering interference in commercial range cameras, in: IS&T/SPIE Electronic Imaging, International Society for Optics and Photonics, 2011.

[^25]: Kinect for Windows Features, <http://www.microsoft.com/> (accessed: 6.01.15).

[^26]: R. Hartley, A. Zisserman, Multiple View Geometry in Computer Vision, University Press, Cambridge, 2003.

[^27]: D. Piatti, F. Rinaudo, Sr-4000 and CamCube3.0 time of flight (tof) cameras: Tests and comparison, Remote Sens. 4 (4) (2012) 1069–1089.

[^28]: T. Instruments, Introduction to The Time-of-Flight (tof)—System Design, User's Guide.

[^29]: H. Rapp, Experimental and theoretical investigation of correlating tof-camera systems.

[^30]: T.T. Ratshidaho, J.R. Tapamo, J. Claassens, N. Govender, An investigation into trajectory estimation in underground mining environments using a time-of-flight camera and an inertial measurement unit, South African J. Ind. Eng. 25(1) (2014) 145–161.

[^31]: A. Bhandari, A. Kadambi, R. Whyte, C. Barsi, M. Feigin, A. Dorrington, R. Raskar, Resolving multipath interference in time-of-flight imaging via modulation frequency diversity and sparse regularization, Opt. Lett. 39 (6) (2014) 1705–1708.

![Image](images/a8a3da67cd2137fb3afa87306d7b1f23b81b108e4c615b1762cb84de720b72d1.jpg)

安德烈亚·科尔蒂，1989年出生于意大利米兰省朱萨诺；他于2008年在意大利德西奥的E.马约拉纳科学高中获得毕业证书，2012年在米兰理工大学取得自动化工程学士学位。如今他正在该校攻读自动化工程硕士学位，其硕士论文主题为“Kinect V2飞行时间相机的计量特性分析”，旨在开发用于创伤后上肢自主康复的计算机应用程序。他还对基于微控制器的电子设备开发与编程感兴趣。

他对基于微控制器的电子设备开发与编程感兴趣。

![Image](images/d6200341a429e0c891496a4ae4de3379c814cdf513faad689e6b2f00246864c4.jpg)

西尔维奥·詹科拉，1990年出生于法国斯特拉斯堡，17岁时从理科高中毕业。随后他在家乡的国立应用科学学院继续深造，获得了为期5年的机电一体化工程硕士学位。他的硕士论文是在米兰理工大学完成的，期间他在VBLab实验室专攻计算机视觉与3D视觉系统领域。之后他曾在实验室衍生企业ISS担任软件开发工程师。2014年底，他进入同一所意大利大学攻读博士学位，研究方向为3D计算机视觉应用。

---

![Image](images/ae20b12194332d64274c852c67fc1bc11e6ff5f488d0fe24f729f814d5df87d7.jpg)

飞行。

贾科莫·马伊内蒂，1986年出生于意大利莱科，于2005年在莱科的G.B.格拉西科学高中获得高中文凭。他分别于2008年和2011年在米兰理工大学获得自动化工程专业的学士和硕士学位。2010年，他在加拿大不列颠哥伦比亚省温哥华的西蒙弗雷泽大学学习。他目前是米兰理工大学机械工程系的博士候选人。他的主要研究方向是非接触式测量和计算机视觉，尤其侧重于立体成像和时间法等3D重建技术的计量分析。

![Image](images/f5473c164571eb3967d05c5926f9e1a1f2f63e8bf47b3891d592f79e23ef454c.jpg)

雷莫·萨拉，1961年出生于意大利莱科省的卡萨特诺沃，于1985年在米兰理工大学获得机械工程硕士学位。在IBM意大利公司工作数年后，他于1993年在米兰理工大学机械工程系获得博士学位。2007年，他创立了“VBLab”——米兰理工大学机械系的计算机视觉实验室。

他还是两家衍生公司的创始人和现任管理者：一家是成立于2006年的Innovative Security Solutions，专门从事工业应用领域的3D计算机视觉系统研发；另一家是成立于2014年的Steriline Robotics，专门从事医院和制药领域的自动化系统研发。
