基于Gabor融合特征的疲劳判断模型研究

王崴绪 闫小雪

（重庆人文科技学院，重庆 401524）

随着我国现代化不断推进和汽车私有化不断加深，疲劳驾驶问题已经日益凸显。目前针对疲劳驾驶的研究方向主要分为车辆行为、生理信号和面部特征3 个方面[1-3]。1）车辆行为检测的主要依据为驾驶员疲劳产生的认知水平下降，导致在车辆驾驶过程中出现异常行为，通过异常行为进行疲劳判断[4]。2）生理信号检测的主要依据为脑电波信号、心电信号和不同部位的肌肉信号等。3）面部特征主要从人脸中容易提取特征的部位进行特征提取，如眼部、嘴部等变化较明显。同时，在驾驶过程中头部状态也是关键信息的主要来源。

上述3 种方法各有优、缺点，如车辆行为的检测存在滞后性、灵敏度低等缺点[5]，同时，上述方法都只针对疲劳特征进行驾驶员疲劳状态研究，忽略了驾驶过程中的环境因素对驾驶员的影响。例如当驾驶员周围存在其他乘客与其交谈的情况可以在一定程度上减缓驾驶员的疲劳程度，交谈的内容也会影响驾驶员的大脑活跃程度，因此可以通过驾驶过程中出现的表情分析当前状况，以准确预测驾驶员地疲劳程度，并对其进行预警。

1 数据集与特征提取

1.1 数据集获取

本文试验采用的试大巴司机驾驶过程中的表情数据集，选取了3 名驾驶员对象，年龄为30～40 岁。对试验过程中的疲劳感受进行调研，得出该段时间的疲劳情况。为了尽量避免情绪上的干扰，本文试验确保司机驾驶前处于平静状态，同时为了确保能够得到真实的非疲劳与疲劳数据，分别在驾驶过程初和驾驶过程中后段进行数据集提取。本文在试验过程中得到了约6000 张驾驶图片样本。

试验中分别在不同驾驶时间段，对不同驾驶员进行疲劳数据集获取，并对其进行疲劳调研。根据受试者的表述，量表对应等级见表1。

表1 疲劳等级对应表

表1 将驾驶员状态划分为4 个等级。研究表明，从驾驶员无疲劳开始计时，约3h 后会产生相应的疲劳状态，交通意外概率开始上升，4h 后交通意外概率约为3h 的1.5倍。接近7h 时，驾驶员会进入间接性睡眠，此时已经十分危险。因此，将上述3 种情况分别对应为轻度疲劳、中度疲劳和重度疲劳。本文在此基础上加入影响疲劳状程度的情绪因素，以更准确地判断相应疲劳等级的产生时间。

1.2 Gabor 多尺度融合特征提取

由于本文需要研究不同情绪对疲劳的影响，因此需要提取驾驶员表情特征并进行分类。为了更全面地获取脸部特征，利用Gabor 滤波器的特性对其进行提取。但是由于Gabor 滤波器得到的5 个尺度、8 个方向的特征计算量较大，因此根据多尺度融合规则对其进行特征融合。为了不遗漏脸部存在的任何可能的特征，结合分块直方图对全局特征具有良好描述性的特点对其进行分析。最后为了防止丢失细节，将得到的融合特征直方图分成相等且不重叠的6×6 个小块，逐个进行分块直方图描述分析。

1.2.1 特征图融合规则

特征图融合规则的特点是保留了不同尺度和方向的特征值，加强了图片细节特征的保护，然后对保留的特征值进行二进制编码。该规则同时也对Gabor 滤波的虚部部分进行了保留处理，同时根据规则对实部和虚部进行编码。得到相应的编码后，对其进行0～255 的十进制处理，得到5 个不同方向的尺度特征值。经该规则融合后的图像保留了特征最明显的信息，减少了重复或不必要的冗余信息。融合后的图像具有丰富的纹理特征信息，提高了局部特征识别清晰度，具有良好的识别性。

1.2.2 特征分块直方图

直接对融合图像进行描述会造成大量的细节丢失，因为本文将融合后的特征图进行分割，再对分割后的特征图进行直方图描述，以保留大量细节。为避免数据过于冗余，将其以6×6 方式进行切割，最终，每个特征图都将得到36块特征直方图。每个矩形特征直方图子块如公式（1）、公式（2）所示。

式中：v为尺度；r为子块。

试验中，将每个融合图像分割成6×6 个子块，对于融合图像Tv（z）（v∈（0，...，4）），每个矩形子块可以表示为Rv，r（z）（v∈（0，...，4），r∈（0，...，36）），每个hv，r，i表示一个子块所对应的直方图，反映了该局部区域内缝纫整体灰度变化。每个融合编码表示不同的局部特征。该图存储大量的邻域信息，加强了局部特征与整体特征的关联性，细微部分的特征也有所体现。

2 建立疲劳判断策略模型

2.1 建立表情权重模型

在驾驶过程中，由于环境的变化可能是随机的，因此需要考虑环境对疲劳程度的影响。根据驾驶员对当前驾驶环境的反应可以判断其疲劳程度。为了结合实际判断6种基本表情，即生气（anger）、快乐（happiness）、惊讶（surprise）、厌恶（disgust）、中立（normal）和蔑视（despise）对疲劳状态的影响，本文对200 余名驾驶人员进行重要性打分法问卷调查。调研结果显示，驾驶员长时间处于平静状态也会产生疲劳，因此，本文将中立表情与疲劳表情归类为促进疲劳分类，其余表情归为抵抗疲劳分类。

目前研究表明，正常的驾驶员连续驾驶3h 后会产生疲劳且交通意外也会开始增加。当驾驶员连续驾驶4h 后，交通意外的发生率开始陡增，是3h 的1.5 倍。已有文献（本文献记录了1000 名法国卡车司机的驾驶过程）描述驾驶员在一段封闭的试验道路上驾驶，直到驾驶员出现3 次睡着状况时停止试验。试验表明，出现该状况的驾驶时间段为7h～12h。

驾驶环境的变化会影响驾驶员的疲劳状态。在驾驶过程中，驾驶员产生的表情决定了当前驾驶员的精神状况，驾驶员周围的情况可能会影响驾驶员从非疲劳到疲劳的过渡时间。从心理学上讲，人类需要适当的外界刺激才能使大脑活动维持在较高水平。当驾驶员在既宽广又平坦的高速公路上驾驶时，大脑长时间处于刺激较少的状态，大脑活动会受到抑制，从而产生疲倦和懈怠。在高速路上，大部分驾驶员会一直盯着前方车辆，如果前方没有车，就只能望向这条道路的尽头。找不到视野目标，驾驶员的视野范围就会变窄，对速度的感受力也会下降。

当驾驶员周围有其他乘客存在且与该乘客存在互动行为时，驾驶员的大脑皮层进入兴奋状态，可以抵抗进入高速催眠的疲劳状态，同时可以适当延长驾驶员的驾驶时间。此时，驾驶员可能会因与乘客的互动而产生积极的表情，例如高兴、惊讶等，其精神状态不再由大脑受到的刺激较少而受到抑制，因此可以适当延长疲劳的预警时间。当驾驶员周围没有刺激时，会长时间处于中立表情，系统应当考虑高速催眠效应，提前对驾驶员进行疲劳预警。

从上述分析可知，安静的驾驶环境会加速司机疲劳，综合分析驾驶数据后，需要引入不同表情对疲劳的影响权重指数。因此，本文将中立表情与疲劳表情归为促进疲劳分类，其余表情为抵抗疲劳分类。

根据调研结果分别计算抵抗疲劳表情和促进疲劳表情的权重值。利用AHP 层次分析法计算权重前需要构建判断矩阵，见表2、表3。

表2 抵抗疲劳AHP 层次分析判断矩阵

表3 促进疲劳AHP 层次分析判断矩阵

经分析后所得抵抗疲劳表情权重值如图1所示。

图1 抵抗疲劳表情权重值百分比分布图

图2 促进疲劳表情权重值百分比分布图

综上所述，对所有表情权重值进行归一化处理。抵抗疲劳进行负值运算，可得如公式（3）所示的疲劳指数计算公式。

式中：W为当前疲劳指数；H、C、D、S、A、N、F分别为快乐、蔑视、厌恶、惊讶、生气、中立、疲劳表情权重指数；h、c、d、s、a、n、f分别为对应表情在一段视频中出现的频率；m为图片张数。

2.2 确定疲劳指数范围对应的疲劳程度

从上述分析可知，驾驶员在驾驶过程中的表情被捕获后，可以得到相应的疲劳指数，但根据疲劳指数无法直接判定当前驾驶员的疲劳状况，因此本文试验继续对驾驶员进行片段驾驶模拟测试，该片段来源于驾驶员在驾驶过程中的随机取样。再利用调查问卷对驾驶员当前驾驶时段进行疲劳判断，得出所处的疲劳状态阶段。通过对该片段疲劳指数与疲劳状态进行相关性分析，得出较精确的指数对应的疲劳状态。排除个别明显不符合分布的干扰项，所得的大致疲劳指数分布范围见表4。

表4 疲劳指数对应表

从表4 可以看出，疲劳状态的分布呈规律排列，因此，可以明显推测出疲劳指数与疲劳状态具有统计学意义。

本文试验通过对驾驶员进行视频图像采集、人脸图像预处理、图像表情特征提取、图像表情分类和疲劳状态判断等处理，将处于相应表情时间最长的表情标签进行输出，并通过相应表情的占比数据分析疲劳等级，最终得出当前驾驶员所处疲劳状态的结果。

3 结论

为了减少疲劳驾驶引起的交通事故，针对疲劳驾驶的研究越来越多，但多数研究针对的是疲劳表情的判定率，忽略了驾驶过程中各种状况对驾驶者的影响，例如驾驶者的情绪问题。驾驶员可能产生的情绪问题会通过表情来反馈，本文对反馈数据进行了分析，并结合对驾驶员疲劳状态的调研，建立了疲劳判断策略模型。结论如下。1）对驾驶员表情进行特征提取，不会影响驾驶员操作，降低驾驶员驾驶过程中的不适感。2）传统的疲劳检测在驾驶时间判断和驾驶员行为检测方面具有明显不足。其一，进行驾驶时间判断时，无法确定驾驶员前一晚的状况，导致疲劳结果判断不准确。其二，基于驾驶员行为的检测存在明显的滞后性。当驾驶员在驾驶过程中产生疲劳时，往往已经处于非常危险的情况中。与基于Gabor 多尺度融合特征建立疲劳判断的策略相比，本文方法更灵活，可以实时反馈驾驶员当前状态，并提前做出相应警告。