基于多特征学习融合级联分类的跌倒识别

张 涵, 欧阳俊斌, 郑荣佳, 蔡杰泉, 高 宇

(1. 华南师范大学物理与电信工程学院/广东省心脑血管个体化医疗大数据工程技术研究中心, 广州 510006; 2. 华南师范大学工学部电子与信息工程学院, 佛山 528234)

根据世界卫生组织关于老年人跌倒问题的报告[1],在65岁以上的老人中,每年发生跌倒的人数高达28%～35%;在70岁以上的老人中,每年发生跌倒的人数高达32%～42%。老年人在跌倒后,易出现骨折和晕厥等症状,如果不能及时发出报警信息并采取有效的医疗措施,跌倒老人的生命安全将会受到严重威胁。鉴于此,对老人的跌倒行为进行准确的检测与识别具有重要的研究意义。

现有跌倒检测的目标是准确及时地检测老年人是否发生跌倒。在此基础上,跌倒识别可以对不同跌倒姿态进行分类,对防跌倒环境设计更具有启发性和针对性[2]。已有文献[3]报道借助可穿戴终端实现实时跌倒检测的技术方案,例如在老年人肢体末端佩戴如手表、手环等低负荷加速度传感设备,实时测量老年人运动过程数据,结合数据处理方法,可实现面向不同姿态的跌倒检测。从数据处理角度,跌倒检测的主要方法包括阈值法、端到端深度学习和基于特征训练的机器学习3类[4]。例如:ANDO等[5]研究了一种以合加速度和姿态角为特征量进行跌倒检测的算法,该算法以阈值法为核心对跌倒行为进行检测,但是存在虚报率高、性能不稳定的弊端;借助视频分析技术,YU等[6]提出首先提取人体发生跌倒时的轮廓,在样本标注的基础上,将信息接入CNN深度模型进行自动训练。但是在面向视频动作检测等复杂任务时,深度学习模型普遍对终端算力资源要求较高,因此部署到常规小型穿戴式设备的难度较大。

近年来,以特征为输入的机器学习分类方案克服了阈值法性能不稳定的弊端,且方案的实现对终端处理需求不高[7-11],因此,对面向时间序列的跌倒事件提取有效特征,结合分类器实现高效训练与跌倒检测的方法被国内外学者广泛关注。例如裴利然等[12]提出基于径向基函数的SVM分类器实现跌倒检测。然而,从跌倒类型多分类识别的角度,以特征为输入的机器学习分类方案仍存在局限性。例如特征输入的维度有限,不能完全包括区分不同跌倒方式的有效特征,导致在多任务决策时不同的跌倒方式的有效信息差异大。具体表现为:HUSSAIN等[13]面向SisFall数据集,基于腰部传感特征分类15种跌倒事件检测的准确率最高仅80.07%;而SYED等[14]将15种跌倒类型融合为向前、向后和横向三大类后,分类准确率仅提升至92.14%。可见,在面向跌倒识别多分类任务时,因不同任务下特征携带的有效信息成分存在显著差异性,导致训练过程中面向不同任务的收敛程度不相同,限制了分类器在面向多任务决策时的最优性能。

针对上述问题,本文基于特征决策开展跌倒多分类的研究。在传统角速度、加速度及合加速度融合特征的基础上,首先提出一种级联分类的跌倒识别(Cascade Fall Recognition,CFR)方案,以解决因不同跌倒方式的训练误差反馈异同而导致类间无法充分收敛的问题;在保持较高分类性能的前提下,进一步提出一种低复杂度级联分类的跌倒识别(Low-complexity Cascade Fall Recognition,LCFR)方案,以解决CFR方案分类复杂度高的弊端。最后,基于SisFall公开数据集[15],分别采用常规的跌倒识别方案(即使用单个多分类器的方案)、CFR方案、LCFR方案对正常、向前、向后和横向4种行为分类,对比3种方案的F1-Score和训练时间复杂度。

1 数据预处理

1.1 数据集分割

为更好地验证方案的分类效果,研究采用SisFall开源数据集。该数据集样本由23位19～30岁年轻人和16位60～75岁老年人构成,所有样本均在腰部佩戴ADXL345加速度计、MMA8451Q加速度计和ITG3200陀螺仪进行运动数据采集。运动数据由人工标注,形成共15种跌倒行为标注,分别为:走路时向前滑倒(F1)、走路时向后滑倒(F2)、走路时横向滑倒(F3)、走路时向前绊倒(F4)、慢跑时向前绊倒(F5)、走路时因晕倒发生垂直跌倒(F6)、用手扶桌子以抑制因晕厥发生的跌倒(F7)、试图站起时向前跌倒(F8)、试图站起时横向跌倒(F9)、试图坐下时向前跌倒(F10)、试图坐下时向后跌倒(F11)、试图坐下时横向跌倒(F12)、坐下时因昏厥发生的向前跌倒(F13)、坐下时因昏厥发生的向后跌倒(F14)、坐下时因昏厥发生的横向跌倒(F15)。每个样本数据时长为15 s,其中跌倒行为数据主要由年轻人模仿老年人跌倒采集完成。

SisFall数据集中的跌倒行为分为失衡、失重、撞击和静止4个阶段。根据统计分析可知,一个完整的跌倒时长平均约1.5 s,仅占每个标注样本持续时长的10%。因此,为了减少单个样本训练时间,同时更加有效地捕捉跌倒行为产生的运动特征,本文采用基于5 s时间尺度进行特征提取,并参考文献[16],通过设计分割间隔为2.5 s的滑动窗口对跌倒行为数据进行分割(图1)。

图1 特征提取滑动窗设计

1.2 数据类型融合

跌倒发生时,不同的跌倒方向可能会使身体的不同部位受到伤害[17]。鉴于SisFall数据集中15种跌倒类型的相似性,本文对15种跌倒类型进行基于方向性的融合。具体来讲,借助传感数据在特定跌倒方向所呈现差异的角度,将15种跌倒类型融合为向前、向后和横向跌倒3种类型(表1)。

表1 融合后的跌倒类型Table1 Types of falls after fusion

2 跌倒识别方案

2.1 特征提取

对数据进行分割提取后的分析发现:在跌倒发生时,ADXL345加速度计和ITG3200陀螺仪输出的数据在失重点、峰值等维度具有显著差异性,如加速度的差异(图2)。鉴于此,本文首先提取了与加速度、角速度及合加速度相关的43个特征(表2)。

表2 窗口特征量提取表Table 2 The feature extraction in a window

图2 日常行为与跌倒行为的加速度图

对特征提取后的样本标注与Faisal Hussain相似,原始跌倒数据中需同时满足合加速度最大值和最小值,否则标记为日常行为。按照以上的样本标注规则,分别标注了17 262份日常行为样本及3 440份跌倒行为样本。

2.2 级联分类的跌倒识别(CFR)方案

在特征提取的基础上,本文对融合后的3种跌倒类型与日常行为进行四分类。基于分析可知,日常行为类别的分类边界效应最显著(F1-Socre=99.85%),而由于向后、向前、横向跌倒类型的分类难度增加,这3类跌倒类型的F1-Score依次降低为96.76%、93.43%、89.05%。这意味着,面向表2中的3类跌倒行为进行直接分类,可能因不同跌倒类型的特征信息差异性、任务难度差异性等因素而无法得到最优的分类性能。

鉴于此,本文提出CFR方案,以解决因不同跌倒类型的分类难度和特征信息的差异性而导致分类性能受限的问题。具体来讲,将日常行为、向前跌倒、向后跌倒、横向跌倒四分类任务分解为三级级联二分类任务。分类架构(图3)为:第一级为日常行为与跌倒行为二分类;考虑到向后跌倒躯体的角度特征与其他跌倒姿态具有更大的差异性,第二级设计向后跌倒与其他跌倒类型(向前跌倒和横向跌倒)的二分类;在区分向后跌倒事件的基础上,最后在第三级对向前跌倒和横向跌倒2种类型分类。以上级联式分类充分考虑到运动特征在不同跌倒姿态下有效信息提取能力的差异性,借助分级分类,有效避免了在多分类任务中因类间特征有效信息的差异性导致的性能受限。本文所设计的CFR方案的具体流程见方案1。

图3 CFR方案的分类架构图

Input: Feature,ADL,FALL

Output: Classifieri(i=1,2,3)

Step 1: Label1={ADL,FALL}

Step 2: Label2={FALL_Backward,Other_FALL}⊆FALL

Step 3: Label3={Fall_Frward,Lateral_FALL}⊆Other_FALL

Step 4:

fori=1,2,3 do

Classifieri=Train(Feature,Labeli)

end for

2.3 低复杂度级联分类的跌倒识别(LCFR)方案

级联分类的跌倒行为识别方案虽然可以显著提高跌倒行为识别的效果,但伴随着分类的时间复杂度增加,对终端处理能力需求也相应提高[18]。为了保持较高的跌倒识别准确率,同时又不占用过多的终端资源,本文提出一种基于特征重要性降维的低复杂度级联分类的跌倒识别(LCFR)方案,其中特征重要性降维处理过程如图4所示。首先,依据特征重要性对分类器的特征进行降序排列;然后,基于蒙特卡洛数据仿真,选择特征贡献度前60%的特征集进行训练。借助以上经验特征降维,预期将显著降低级联分类器的时间复杂度。LCFR方案的具体流程如方案2所示。

图4 特征重要性降维处理

方案2LCFR方案。

Input: Feature,ADL,FALL

Output: Classifieri(i=1,2,3)

Step 1: Label1={ADL,FALL}

Step 2: Label2={FALL_Backward,Other_FALL}⊆FALL

Step 3: Label3={Fall_Forward,Lateral_FALL}⊆Other_FALL

Step 4:

fori=1,2,3 do

Contribute=Feature_Important(Feature,Labeli)

Descending_order(Contribute1,Contribute2,…,ContributeN)

Classifieri=Train(Dimension_Feature,Labeli)

end for

3 实验结果与分析

3.1 实验设置

为了更好地评估模型在跌倒识别中的分类性能,本文采用精确率(Precision)、准确率(Accuracy)、F1-Score、召回率(Recall)、损失值(Loss)和分类器训练时长为评价指标:

Loss=-(ylogp+(1-y)log(1-p))。

3.2 CFR方案和LCFR方案结果分析

3.2.1 CFR方案 使用常规的跌倒识别方案(即使用单个RF四分类器的方案)对日常行为、向前跌倒、横向跌倒和向后跌倒4种类型进行分类,训练集与测试集的比例是7∶3。由分类结果(表3)可知:日常行为和向后跌倒的F1-Score都比较高,分别达到了99.85%和96.76%;向前跌倒和横向跌倒的F1-Socre较低,仅93.43%和89.05%。

表3 常规的跌倒识别方案测试结果Table 3 Test results of conventional fall recognition scheme %

从常规的跌倒识别方案输出的混淆矩阵(图5)可以看出,向前跌倒与横向跌倒的混淆度比较高,但是日常行为和向后跌倒的混淆度比较低,主要由样本数量分布不均衡造成。在合并后的数据集中,日常行为、向前跌倒、向后跌倒、横向跌倒的数据分别有17 262、1 584、686、1 170份,由此推测,日常行为的数据得到了比较充分的训练,而跌倒行为的数据量比较少,从而导致训练效果下降。

图5 常规的跌倒识别方案输出的混淆矩阵图

为了提高3种跌倒类型的分类效果,将级联分类器应用在跌倒识别中。在对分类器进行级联之前,将每个层级的数据集分别导入SVM、KNN、RF分类器进行训练,然后根据分类准确率,在每个层级中选择最佳的分类器,从而使最终级联分类的准确率最高。由训练结果(表4)可知:RF分类器在每个层级中的分类准确率均最高,分别为99.67%、98.45%和95.04%。对3个RF分类器进行级联构成CFR分类方案后,重新对日常行为、向前跌倒、横向跌倒和向后跌倒4种类型进行四分类任务。由测试结果(表3,表5)可知: CFR方案对4种行为的分类效果明显优于常规的跌倒识别方案。另外,由图6可知:向前跌倒和横向跌倒2类行为的混淆度明显降低。

表4 三层级分类器的准确率Table 4 The accuracy of three-level classifier %

表5 CFR方案的测试结果Table 5 Test results of CFR Scheme %

为了验证采用CFR方案是否能降低分类难度并使数据得到更充分的训练,分别对第一级分类器和第二级分类器进行不同分类任务的测试,通过调整决策树的数量并进行十折交叉验证,记录分类器进行二分类与多分类时输出的损失值。测试采用的2份数据集与目标分类如表6所示。

表6 各层级分类器的训练数据集及目标分类Table 6 The training data set and target classification for each level of classifier

由分类器的损失值变化(图7)可以看出:在第一级分类中,进行四分类任务的收敛损失值是0.06,进行二分类任务的收敛损失值是0.02;在第二级分类器中,进行三分类任务的收敛损失值是0.24,进行二分类任务的收敛损失值是0.06。可见,二分类任务的收敛损失值明显低于四分类任务和三分类任务。由此可知,CFR方案可以将多分类任务转化为级联的逐次二分类任务,使每个类型的分类收敛值降低,从而解决因不同跌倒类型的特征信息和分类任务难度差异性等因素而导致类间无法充分收敛的问题,提高模型的分类性能。

图7 分类器损失值变化

3.2.2 LCFR方案 CFR方案虽然可以显著提高跌倒识别的准确率,但训练时间复杂度有所增加。CFR方案中3个层级的分类器训练时长分别为5 663、574、598 ms,与常规的跌倒识别方案相比,CFR方案的训练总耗时增加了2.26%。为降低训练时间复杂度,根据分类器的特征贡献度对表2中的43个特征进行降序排列。根据排列结果(图8),本文分别选取特征贡献度前60%、70%、80%的特征集导入第一级分类器训练,并与后两级分类器进行级联构成LCFR方案。由第一级分类器不同累计特征贡献度的准确率与训练时长(表7)可知:当特征贡献度达到前60%(前7维特征)时,第一级分类器的F1-Score与特征贡献度为100%时接近,且训练时间显著降低至1 486 ms,仅占原训练耗时的26.24%。因此,对F1-Score和训练时长进行综合分析后,最终选择特征贡献度前60%的特征集对LCFR方案的第一级分类器进行训练。

表7 第一级分类器不同累计特征贡献度的准确率与训练时长

图8 第一级分类器的特征重要性

由3个方案的训练时长与F1-Score(表8)可知LCFR方案在接近无损F1-Score的前提下,训练时间复杂度表现更优:LCFR方案的F1-Socre明显高于常规的跌倒识别方案,与CFR方案接近,但是LCFR方案的训练时长分别仅占常规的跌倒识别方案、CFR方案的39.77%、38.89%。

表8 3个方案的分类器训练时长与F1-ScoreTable 8 The training time and F1-Score of three schemes

3.3 对比实验

由于训练数据集和分类任务的多样性,难以找到完全符合控制变量法的相关研究结果进行对比。文献[14]采用SisFall数据集,分别对使用SVM分类器、DT分类器、RF分类器、XGBoost分类器构成的跌倒识别方案进行对比,且标注的跌倒类型与本文相近。因此,本文将LCFR方案与文献[14]的结果进行对比。由不同方案的F1-Score(表9)可知:与分类任务为三分类的4个方案相比,在增加日常行为类别,即与向前、向后、横向3种跌倒行为构成四分类任务的前提下,LCFR方案的F1-Score仍最高。

表9 跌倒识别研究结果对比

4 结论

在融合加速度、角速度和合加速度的基础上,本文通过级联分类和特征重要性降维处理,提出了一种低复杂度级联分类的跌倒识别(LCFR)方案。利用SisFall数据集,对日常行为和向前、向后、横向3种跌倒行为进行四分类任务的实验结果表明:LCFR方案在接近无损F1-Score的前提下,训练时间复杂度显著降低;与同类跌倒识别方案相比,LCFR方案的F1-Score最高。

LCFR方案是按照固定的累计特征贡献度进行特征降维,因此在不同的跌倒场景中仍具有一定的局限性,后续研究可集中于不同跌倒场景中特征降维的动态优化方法设计。