# 基于姿态估计与运动检测的痴呆患者移动能力评估——环境辅助生活领域的一项实验研究
Julia Richter、Christian Wiede 和 Gangolf Hirtz
电气工程与信息技术系
德国开姆尼茨工业大学，Reichenhainer Str. 70，09126 开姆尼茨
关键词：姿态估计、立体视觉、图像理解、视频分析、三维图像处理、机器学习、支持向量机、环境辅助生活。
摘要：未来几十年，欧洲人口将持续老龄化。同时，患痴呆症的风险随年龄增长而升高。这两个因素都将给社会带来严重问题，尤其在护理领域，该领域目前还面临专业人员短缺的困境。由于技术支持系统可以为医护人员和患者提供帮助，本文提出了一套面向痴呆患者的移动能力评估系统。该系统通过监测区域内人员的姿态和运动测量移动能力等级。为此，我们开发了姿态估计和运动检测算法，处理由安装在生活环境中的光学立体传感器提供的三维数据。为了训练和测试判别分类器，我们记录了大量带标注的训练与测试数据。此外，我们为姿态估计设计了一个具有判别性的通用特征向量。实验表明，算法运行具备良好鲁棒性。结合人机交互界面，该系统既能够促进患者活动，又能对患者的健康状况给出比当前常规方法更准确的评估。
## 1 引言
预期寿命的延长是现代医学的一项重要成就。未来数年，老年人口数量将持续增长，痴呆患者的数量也会随之增加（柏林人口与发展研究所，2011）。受这一发展趋势影响，护理机构在维持护理质量方面将面临诸多挑战。
为缓解这些问题，处于痴呆早期的患者应尽可能长时间留在熟悉的家庭环境中。鼓励患者保持认知、社交和身体功能，也有助于维持较高的生活质量。除了促进患者活动外，定期评估护理需求是医护人员面临的另一项任务。由于目前仅不定期检查个人健康状况，检查结果高度依赖检查当日的身体状态，还可能受到患者提前准备检查这一因素的影响。此外，许多患者在检查当日会格外注意个人卫生，当被问及身心舒适程度时，他们通常会感到尴尬，避而不谈自己的问题。因此，医学检查结果并不总是可靠的。
本文仅研究居家独居、无伴侣照料的人群，研究重点为失智症患者的身体能力，尤其是其活动能力。该参数通过检测受试者在居住环境中的整体姿势（即站立、坐姿和躺姿）以及活动情况进行测量。为此，我们在天花板安装了一台单广角立体相机，在一段特定时间内记录收集到的整体姿势与活动信息。如果检测到受试者长时间不活动，系统会鼓励失智症患者做一些运动或散步。信息交互通过人机界面实现：提示消息会显示在平板或显示器上，还可搭配声学信号提示。此外，系统会根据记录数据计算统计结果，后续医护人员可分析这些统计结果，发现患者活动能力的显著变化，并对护理需求得出可靠结论。
---
## 2 相关研究
已有多项研究围绕居家环境下的老年人照护支持主题展开，各类辅助方案都与AAL（Ambient Assisted Living，环境辅助生活）领域密切相关。能够无干扰地融入居住环境，是AAL系统最重要的要求之一。
Clement等人借助智能电表检测ADLs（Activities of Daily Living，日常活动），这类电表可测量家用设备的能耗（Clement et al., 2013）。研究人员训练了半马尔可夫模型，用于构建个人行为画像，并对其健康状况得出结论。Kalfhues等人通过部署在公寓中的多个传感器（例如运动探测器、接触传感器和压力传感器）分析用户行为（Kalfhues et al., 2012）。Link等人使用光学立体传感器识别紧急情况，即跌倒和预定义的紧急手势（Link et al., 2013），并分析了重心高度以及身体主轴与地面夹角的时间序列。Belbachier等人同样使用立体传感器检测跌倒（Belbachier et al., 2012），采用基于神经网络的方法对跌倒事件进行分类。光学传感器的主要优势是易于在公寓中集成部署。应用图像处理算法可获得大量额外信息，尤其是结合RGB-D传感器时，这类传感器可同时提供红、蓝、绿色通道图像和深度信息。因此，我们在本研究中决定使用立体相机。尽管Kinect这类可提供RGB-D数据的传感器也可安装在公寓中，但事实证明，它们的特性在AAL应用领域存在劣势：第一，如果将Kinect安装在天花板，其测距范围和视场无法覆盖整个房间，必须在公寓的不同位置安装多台Kinect传感器，这几乎无法实现。第二，Kinect的分辨率不足以识别距离传感器较远的物体。第三，如果为了更好覆盖房间而安装多台Kinect，由于这类传感器采用主动式深度获取技术，很容易互相干扰。因此，尽管Kinect在诸多应用中性能优异，我们仍认为该传感器不适合AAL场景。
上述方法要么针对ADL检测，要么针对紧急场景展开研究。在评估人员健康状况的背景下，已有多个项目尤其聚焦于移动能力分析。Scanaill等人采用穿戴式传感器进行移动能力远程监测（Scanaill et al., 2006）。但这类传感器并不适合痴呆人群，因为该群体往往会忘记佩戴，或是故意摘下传感器。Steen等人的研究提出了另一种测量移动能力的方法（Steen et al., 2013）。在首次实地测试中，多名参与者的公寓内都安装了激光扫描仪、运动探测器和接触式传感器。借助这些传感器，可以定位人员在公寓内的位置。除此之外，研究还计算了传感器之间的通行时间以及步行速度。这些实地测试证实，通过对传感器数据进行评估可以得到关于移动能力的有效推断。
除了人员的位置和运动信息之外，我们认为姿态（即站立、坐姿和躺卧）也能反映一个人的移动能力。因此，我们提出了一种姿态估计算法，可在单个立体相机观测的区域内检测人员的姿态。
现有多种使用光学传感器的姿态估计算法。这些算法的差异体现在多个参数方面，例如相机类型（单目、立体）、是否包含时间信息以及是否采用显式人体模型。Ning等人利用单张单目图像识别人体姿态（Ning et al., 2008）。通过改进词袋方法，他们提升了特征的判别能力。他们还提出了一种具有选择性的不变局部描述子，不需要进行背景分割。经过监督学习后，该方法可以对行走、拳击、慢跑等姿态进行分类。Agarwal等人通过回归从单目轮廓中估计姿态（Agarwal and Triggs, 2006），因此该方法既不需要人体模型，也不需要对身体部位进行标注。Ferrari等人在研究中除了考虑身体部位的空间配置，还额外考虑了时间信息（Ferrari et al., 2008）。Haritaoglu等人采用顶置立体相机识别顾客购物时的“取物”动作（Haritaoglu et al., 2002）。该研究中，研究人员利用深度信息和标定参数将图像点反向投影到对应的世界点，计算得到三维轮廓。人员的位置被确定在占用图中出现显著峰值的区域。姿态通过计算形状特征确定，无需使用显式模型。另有一些方法采用Kinect传感器，结果证明，当Kinect适配特定应用场景时，能够得到高质量的结果。Ye等人利用Kinect获取的单张深度图估计姿态（Ye et al., 2011），随后将该深度图与数据库中的网格模型进行比对。在第一步中，一个相
---
通过主成分分析和最近邻搜索进行点云配准，搜索得到初始位姿。第二步对得到的位姿进行优化。被遮挡部分缺失的信息可由对应网格模型的数据补充，最终可得到与Kinect骨架输出精度相当的骨架关节点。另一项研究设计了一种对尺度和视角鲁棒的特征向量，用于描述人体的头肩特征（Kirchner等人，2012）：头肩之间的点首先被划分到各个垂直切片中，每个切片内的点再投影到虚拟俯视图，最终特征向量由各切片的跨度构成。作者的研究目标是在三维点云中检测人体，但该方法也可经过调整后用于位姿估计。
## 3 移动能力评估
本节介绍运动检测和位姿估计的相关算法。首先需要在监测区域内检测并定位人体，因此我们对立体相机相对于预定义的世界坐标系进行了外参标定。二维位置是相对于该坐标系的原点测量得到的，基于该位置，如果人体位置在视频序列的连续两帧之间发生显著变化，则将其分类为“运动”状态。位姿估计分为三个步骤：第一，从反投影得到的点云中提取属于人体的三维点；第二，设计能够实现可靠分类的鉴别性特征向量；最后，选择合适的机器学习技术，并用训练样本生成的特征向量训练模型。
### 3.1 人体定位
人体定位在立体相机获取的反投影三维点云上完成（Richter等人，2014）。第一步生成可能前景区域的候选，随后将高斯混合算法应用于世界z-map，该地图中每个像素对应世界点的z分量，也就是高度。
混合模型对地图中的每个像素进行计算，且每帧会根据新的像素值更新模型。该模型由Zivkovic（2004）提出，表达式如下：
$$ p(x^{(t)}|\boldsymbol{\chi}_{\mathrm{T}};B G+F G)\sim\sum_{m=1}^{M}\hat{\pi}_{\mathrm{m}}^{(t)}\cdot N(x^{(t)};\hat{\mu}_{\mathrm{m}}^{(t)},\hat{\sigma}_{\mathrm{m}}^{2(t)}) $$
$p(x^{(t)}|\chi_{\mathrm{T}};BG+FG)$ 是z-map中，第t帧像素值x在历史 $\chi_{\mathrm{T}}$ 下的概率密度函数。该密度函数同时对背景BG和前景FG建模。M表示高斯分布N的数量。每个分布由其均值 $\hat{\mu}_{\mathrm{m}}^{(t)}$ 和方差 $\hat{\sigma}_{\mathrm{m}}^{2(t)}$ 表征。 $\hat{\pi}_{\mathrm{m}}^{(t)}$ 表示每个单个分布对混合模型的影响权重。
第二步，将前景掩码内的点投影到虚拟俯视图上，人体位置的最终确定在该视图上完成。检测到的人体由中心点$\vec{p} = (x, y, z)$、各个方向的延展量$-\exp a s i o n_{x}$和$\exp a s i o n_{y}$，以及相对于世界坐标系的方向$\alpha$表征。图1展示了一个人体检测的示例。
Figure 1: Example point cloud with detected persons (Richter et al., 2014). Detected persons are visualised via red cuboids defined by a 3-D centre point and expansions in each direction. White areas indicate regions, where 3-D world points cannot be calculated due to the lack of depth information.
### 3.2 运动检测
运动检测仅处理包含三维中心点$\vec{p}_{xy}$x分量和y分量的向量$\vec{p}$。
人在两帧之间移动的距离$distance_{frame}$取决于帧率，可通过下式估算：
$$ distance_{frame}=\nu_{movement}\cdot t_{frame}=\frac{\nu_{movement}}{frame rate} $$
假设人行走的速度$v_{movement}$至少为0.5 m/s，且帧率
---
约为5 FPS，则$distance_{frame}$的估算值为100 mm。当人移动的距离超过阈值X米时，我们判定其处于运动状态。因此，我们使用包含向量$\overrightarrow{p}_{xy}^{(t-i)}$的滑动窗口，结合$i = \{0, ..., 4\}$进行处理。相邻两帧之间的每一段移动距离$distance_j$根据公式3结合$j = \{0, ..., 3\}$计算得到，它是该人在当前帧位置$t - j$与前一帧位置$(t - j - 1)$之间的欧几里得范数。
$$ distance_{\mathrm{j}}=\left\|\vec{p}_{\mathrm{xy}}^{(t-j)}-\vec{p}_{\mathrm{xy}}^{(t-j-1)}\right\| $$
随后，将滑动窗口内五帧之间的各段距离累加得到最终总距离：
只有当两帧之间的距离值超过$distance_{frame}$时，才会将其计入总和。此外，上述总和的阈值X是根据两帧之间的估算距离$distance_{frame}$与窗口内距离数量nDist的乘积估算得到的：
$$ \begin{aligned}X&=distance_{frame}\cdot nDist\\&=100\frac{mm}{frame}\cdot5frames=500mm.\end{aligned} $$
此外，运动/静止状态的判定通过有限状态机实现，该状态机包含「运动」和「静止」两个状态。在状态转换时，会将距离与两个不同阈值$T_{high}$和$T_{low}$进行比较，这两个阈值分别略低于和高于估算阈值距离X（滞回特性）：
$$ \begin{aligned}T_{high}&=600mm,\\T_{low}&=400mm.\end{aligned} $$
滞回特性可抑制估算阈值附近的振荡。最终，$movement^{(t)}$的值会随时间记录下来，以便后续分析。一般来说，当速度和帧率条件发生变化时，这些阈值可以进行调整。
### 3.3 姿态估计
#### 3.3.1 点云提取
本文提出的姿态估计算法处理属于人的三维世界点。因此，点云中的每个点都需要被分类为属于人体或不属于人体。为此，我们结合之前计算得到的长方体和前景掩码进行分类。算法伪代码如下，会对每个检测到的人执行该流程，几何关系如图2所示。
R = sqrt(expansion.x^2 + expansion.y^2);
for all points:
if (foreground
&& z < 2*expansion.z
&& expansion.x < R
&& expansion.y < R
{
(xT,yT) = CoordinateTransformation(x, y);
if (!(xT < expansion.x
&& yT < expansion.y))
{
deletePoint(x,y);
}
}
else
{
deletePoint(x,y); BLICATIONS
}
如果点既不属于前景，也不在长方体内部，则将其从点云中移除。为了降低计算量，我们首先检查点$(x_{\mathrm{pc}}, y_{\mathrm{pc}})$是否在人的半径R范围内。如果在范围内，则将该点从世界坐标系$(x_{w}, y_{w})$转换到人体坐标系$(x_{p}, y_{p})$，这样就可以直接将点坐标与对应的拓展量$expansion_{x}$和$expansion_{y}$进行比较。人体坐标系由其原点（即二维中心点$\vec{p}_{xy}$）和旋转角$\alpha$定义。
剩余的点即为人体点云$points_{person}$。图3展示了三个人提取得到的点云。
#### 3.3.2 特征向量生成
人体姿态的确定基于上一步提取得到的点。为了训练机器学习模型，首先需要设计一个具有判别性的特征向量。为此，我们将点云划分为20个垂直网格单元，每个单元高度为110 mm，起始z值为-100 mm。在外参标定过程中，世界坐标系的原点被设置在房间的地平面上：地平面由x轴和y轴构成，两个轴平行于地面，z轴指向天花板。因此，地面对应的z值约为零。所有点会根据自身的z分量被分配到其中一个网格单元，因此每个单元包含了
---
Figure 2: Classifying points from the point cloud as person or non-person by means of coordinate transformation. If a point in the point cloud lies inside the circle defined by radius R, this very point is transformed from the world coordinate system to the person's coordinate system. Provided that the point has been classified as foreground, it belongs to the person if its x and y component fall below the corresponding expansion.
Figure 3: Point clouds of three persons.
落入特定z范围内的点的数量。所有单元共同构成一个特征向量。最后一步，对特征向量进行归一化处理：将每个元素除以点的总数n。特征向量的生成过程如图4所示。
#### 3.3.3 训练
生成特征向量后，我们通过监督方式训练模型，即使用带标注的训练样本。为此，我们在实验公寓中录制了3名不同受试者（P3、P4和P7）的视频序列，并进行手动标注，共得到约3000张图像。此外，我们选择了线性支持向量机（SVM）。SVM是一种判别式最大间隔分类器。“判别式”指该方法对需要预测的变量（即后验概率）进行建模，而“最大间隔”指的是
Figure 4: Feature vector generation from point cloud. All numbers in mm.
该方法会构造一个优化问题：需要确定一个分隔超平面，使得两个相邻类别之间的间隔最大化。类别边缘的向量构成支持向量，也就是距离分隔超平面最近的向量。我们选择使用这类分类器，是因为当训练数据量有限时，它是性能最优的分类器之一（Bradski and Kaehler, 2008）。
### 3.4 人机界面
医护人员可以通过网页界面查看经过统计整理的活动数据。此外，如果在预先设定的一段时间内未检测到任何活动，提醒信息会同时出现在平板电脑和触控显示屏上。这种触控显示屏可以是电视机，因此举例来说，可以在用户看电视的时候对其发起提醒。通过这种方式，可以在不打扰用户的情况下立即提醒用户。这类场景的示例如图5所示。
## 4 实验结果
为了确定训练得到的姿态分类器的性能，我们录制了多组测试序列。测试过程中一共对2958个样本进行了分类。
第一个测试用例是在实验公寓内开展的真实场景测试，共有两名老年志愿者（P1和P2）参与。在第二个测试用例中，我们高度重
---
Human Machine Interface
Figure 5: Design for all: Interface for both patients and for medical personnel. The images at the top show the interface for the patient. Reminders appear time-controlled. The patient can remove the messages either by touching the display (touch screen) or by performing the action, e.g. when movement is detected by the sensor. The image at the bottom shows a graph that presents pose and movements over a month. Other intervals can also be selected.
视以下事实：测试序列的录制环境与训练序列的录制环境完全不同。因此，我们搭建了一套与实验公寓中类似的、配备立体相机的测试装置。我们一共录制了4名受试者（P3 - P6）的序列，其中两名受试者（P3和P4）已经参与过训练序列的录制。
表1展示了实验公寓中老年人的测试结果，表2和表3给出了特殊测试装置中两类测试人员的分类结果。表头中的字母L和C分别代表分类姿态和标注姿态，所有数值均为百分比。
实验表明分类结果质量很高，这些初步测试也证实，该算法确实能在不同环-
Table 1: Classification results for persons P1 and P2.
| L\nC | Standing | Sitting | Lying |
| Standing | 100 | 0 | 6.5 |
| Sitting | 0 | 100 | 0 |
| Lying | 0 | 0 | 93.5 |
Table 2: Classification results for persons P3 and P4.
| L\nC | Standing | Sitting | Lying |
| Standing | 97.6 | 0 | 0 |
| Sitting | 0 | 100 | 0 |
| Lying | 2.4 | 0 | 100 |
Table 3: Classification results for persons P5 and P6.
| L\nC | Standing | Sitting | Lying |
| Standing | 100 | 0 | 0 |
| Sitting | 0 | 100 | 1 |
| Lying | 0 | 0 | 99 |
境中、针对不同人群可靠运行。表1中“躺卧”的误分类率明显高于其他场景，但这是因为当时受试者躺卧位置的点云稀疏且噪声大，该位置距离立体传感器相对较远，因此立体匹配算法达到
---
了其极限。
为了评估运动检测效果，我们记录并标注了一段视频序列：视频中受试者要么在房间内行走，要么在原地站立。我们由此将标注结果与算法输出（运动/非运动）对比，计算得到了真阳性率TPR和假阳性率FPR。$mov_{detected|neg}$表示标注为非运动但算法检测出运动的帧数，$mov_{detected|pos}$表示标注为运动且算法检测出运动的帧数，$mov_{neg,labelled}$表示标注为非运动的总帧数，$mov_{pos,labelled}$表示标注为运动的总帧数。
$$ TPR=\frac{mov_{detected|pos}}{mov_{pos,labelled}}=\frac{288}{298}\approx96.6\% $$
这些结果表明，算法可以准确检测出监测区域内不同位置之间的显著运动。
## 5 结论
本文提出了一种测量移动能力核心指标的方法，即检测人体姿态与运动。本研究最重要的结论是：本文提出的机器学习技术在不同环境下、针对不同人群都能可靠运行。结合运动检测结果（例如穿过房间），可以推断出受试者的移动能力水平。通过这种方式，融入长期移动能力观察的诊断能够得到更可靠的健康状态判断，进而更好地评估照护需求。此外，借助HMI实现的激活与移动训练，可以帮助痴呆症患者保留自身的功能能力。
未来需要进一步通过动作识别算法优化系统，届时我们可以监测和分析与痴呆症患者照护需求相关的日常活动，这类活动涉及进食、社交和个人卫生。未来研究的核心内容之一是与医学合作伙伴共同开展实地测试，系统在实地长期部署将为长期统计分析和系统验证提供数据支持。由于本文提出的方法以患者为核心，HMI需要适配痴呆症患者的特殊需求，最终打造一个以患者为导向的辅助评估系统。
从人口发展趋势来看，保障痴呆症患者的照护质量是必然需求。本文提出的方法有助于实现更准确的评估，保留患者的生活质量，这不仅对照护行业大有助益，还能提升痴呆症患者及其家属的生活质量。
## 致谢
本项目由欧洲区域发展基金（EFRE）资助。我们还要向所有参与训练和测试录音录像的人员表示特别感谢。
## OLOGY 出版物
## 参考文献
阿加瓦尔，A. 和特里格斯，B. (2006)。从单目图像恢复三维人体姿态。IEEE模式分析与机器智能汇刊，28(1):44–58。
贝尔巴希尔，A. N.、利岑贝格尔，M.、施拉姆尔，S.、霍夫斯塔特，M.、鲍尔，D.、舍恩，P.、胡门贝格尔，M.、苏尔茨巴赫纳，C.、伦登，T. 和梅恩，M. (2012)。CARE：用于跌倒检测的动态立体视觉传感器系统。发表于2012年IEEE国际电路与系统研讨会（ISCAS），页码731–734。IEEE。
柏林人口与发展研究所 (2011)。《痴呆症报告》。。访问日期：2014-07-07。
布拉德斯基，G. 和卡勒，A. (2008)。《学习OpenCV：基于OpenCV库的计算机视觉》。O'Reilly Media。
克莱门特，J.、普伦宁格斯，J. 和卡比施，K. (2013)。通过智能电表识别嵌套ADLs。《人口与技术变迁背景下的生活质量》。
法拉利，V.、马林-希门尼斯，M. 和齐瑟曼，A. (2008)。人体姿态估计的渐进式搜索空间缩减法。发表于2008年IEEE计算机视觉与模式识别会议（CVPR 2008），页码1–8。IEEE。
哈里陶奥卢，I.、贝默，D. 和弗利克纳，M. (2002)。Ghost 3D：基于立体视觉检测身体姿态和身体部位。发表于2002年运动与视频计算研讨会论文集，页码175–180。IEEE。
卡尔富斯，A. J.、于布申，M.、洛尔克，E.、农纳，G.、佩尔泽夫斯基，H.、舒尔茨，J.-E. 和史蒂文斯，T. (2012)。JUTTA——JUsT-in-Time Assistance：照护
---
及按需护理。收录于《健康经济中的技术支撑型服务创新》，页码325–349。Springer。
基希纳，N.、阿莱姆皮耶维奇，A. 和维尔戈纳，A. (2012)。基于头肩特征的人员识别。发表于2012年IEEE机器人与自动化国际会议（ICRA），页码1226–1231。IEEE。
林克，N.、施泰纳，D.、普吕格，M.、克龙，J. 和埃盖尔，R. (2013)。safe@home——使用光学传感器进行急症检测的首次实地应用经验。《人口与技术变迁背景下的生活质量》。
宁，H.、徐，W.、龚，Y. 和黄，T. (2008)。面向三维人体姿态估计的视觉词判别学习。发表于2008年IEEE计算机视觉与模式识别会议（CVPR 2008），页码1–8。IEEE。
里希特，J.、法因德森，M. 和希尔茨，G. (2014)。面向痴呆症老年患者的基于人员检测的评估与护理系统。发表于2014年柏林IEEE第四届国际消费电子会议（ICCE-Berlin 2014），页码59–63。IEEE。
斯坎内尔，C. N.、卡鲁，S.、巴拉隆，P.、努里，N.、莱昂斯，D. 和莱昂斯，G. M. (2006)。居住环境中老年人移动性远程监测方法综述。生物医学工程年刊，34(4):547–563。
斯滕，E.-E.、弗伦肯，T.、弗伦肯，M. 和海因，A. (2013)。老年人居家功能评估：现场试验的早期结果。《人口与技术变迁背景下的生活质量》。
Ye, M., Wang, X., Yang, R., Ren, L., Pollefeys, M. (2011). 基于单幅深度图像的精确三维姿态估计。见：2011年IEEE国际计算机视觉会议（ICCV），第731–738页。IEEE。
Zivkovic, Z. (2004). 用于背景减除的改进自适应高斯混合模型。见：2004年第17届国际模式识别会议论文集（ICPR 2004），第2卷，第28–31页。IEEE。