基于多特征数据融合的疲劳驾驶检测研究

蔡闯闯,刘庆华

(江苏科技大学 计算机学院,镇江 212100)

根据世界卫生组织的统计,疲劳驾驶是造成交通事故发生的重要原因之一[1].为此有必要研发出一种疲劳驾驶预警系统,能够及时准确的检测出驾驶员是否处于疲劳驾驶状态,并给驾驶员做出相应的预警,从而大大的减小交通事故.

疲劳驾驶检测技术大致可划分驾驶员生理特征检测、车辆运动特征检测和驾驶员面部特征检测三大类[2].基于驾驶员生理特征检测主要是用可穿戴设备来获取驾驶员的脑电图、心电图、眼电图、表面肌电图等来判断驾驶员是否处于疲劳状态[3-4],该方法检测结果准确率高,而且技术也相当成熟,但是由于可穿戴设备会对驾驶员的正常驾驶造成不便且设备成本高,不适于实际应用[5].基于车辆运动特征检测主要是通过检测方向盘转动角度、车辆的行驶轨迹、车辆的加速度等来间接判断驾驶员的疲劳状况,但此方法容易受到外部环境因素的影响,对疲劳判定具有不可靠性和准确率不高的缺点.基于驾驶员的面部特征检测就可以很好的来判断驾驶员的疲劳状态,主要是通过检测驾驶员的眼部、嘴部和头部的疲劳信息来确定驾驶员的疲劳状况,且不易受外部环境影响,对疲劳特征检测准确率高,而且对检测的实时性也有一定的保障.

随着人工智能技术的快速发展,采用深度学习网络来开展疲劳驾驶研究[6-8],获取人脸特征后,通过以训练好的深度学习网络来对特征图像进行识别检测,该方法由于要处理大量的特征图片,所以在实时性方面很差.面对实际驾驶过程中车速快、车内外光照条件和驾驶员的多种姿态,目前已有的检测方法很难适应这些变化.因此文中采用了融合驾驶员眼部、嘴部和头部3个面部特征在疲劳驾驶时的表现来进一步检测驾驶员是否处于疲劳驾驶状态.

1 人脸检测及人脸特征点定位

1.1 基于HOG特征的人脸检测

方向梯度直方图(histogram of oriented gradient,HOG)特征是一种对物体检测的特征描述子,该特征描述子常被用于计算机视觉和图像处理当中[9].其构成特征由图像局部的梯度直方图进行计算和统计后所得到,其主要的思想是利用梯度或者图像边缘的方向密度可以很好的来对一幅图像中的局部信息的表象和形状进行描述[10].HOG特征主要由图像归一化、计算梯度、基于梯度幅度的方向权重投影、特征向量归一化这几个部分组成,其算法的基本流程如图1.

图1 HOG特征提取的流程图

以中心对称算子[-1,0,1]计算梯度为:

水平方向梯度

Ix(x,y)=I(x+1,y)-I(x-1,y)

(1)

垂直方向梯度:

Iy(x,y)=I(x,y+1)-I(x,y-1)

(2)

则:

(3)

(4)

式中:I(x,y)为图片(x,y)像素值;θ(x,y)为该点梯度方向;m(x,y)对应为该点幅度值.

实验采用矩形HOG结构,为了加快计算速度同时考虑到不影响人脸检测,采用了一阶模板.

由于HOG表示的是边缘的结构特征,因此对于目标的局部形状信息就能够很好的描述,并且通过量化和归一化分别来抑制一定程度的平移、旋转和光照带来的影响,这对驾驶员面部检测非常适合,唯一的缺点是HOG特征计算时间相对较长.

1.2 人脸特征点定位

在经过人脸检测过后,就需要进行对人眼和嘴巴进行定位,以此来获取疲劳特征.文中通过建立梯度提升决策树(gradient boosting decision tree,GBDT)来使人脸形状从当前形状一步一步回归到真实形状,当输入落到GBDT的每个叶子的节点上时,就会将节点上存储的残差加入到该输入上,这样就完成了回归的目的,最后将所有的残差叠加在一起就完成了人脸对齐的目的,通过人脸对齐,就可以进一步对人脸的形状进行准确的定位,而形状就是由人脸特征点所构成的,因此通过此方法可以对人脸进行68个特征点标记[11],人脸检测和68个特征点标记如图2.

图2 人脸检测及68个特征点

2 疲劳状态判定研究

当驾驶员处于疲劳驾驶状态时,对外界的判断力急剧下降,极易引发交通事故,研究表明,当人处于疲劳状态时,眼睛眨眼频率降低,开合度变小且持续时间较长;嘴巴会经常出现大幅度开合的表现;头部会出现点头和左右摆动,因此利用眼睛、嘴巴的开合状态和头部的姿态作为判断驾驶人是否处于疲劳状态的依据.

2.1 眼部疲劳判定

眼部的疲劳判断可以通过眼睛的开合度进行判断.采用眼睛纵横比(eye aspect ratio, EAR)来判断驾驶员的疲劳状态[12].当驾驶员没有疲劳时,眼睛是处于正常的睁开状态,EAR的值上下波动幅度不大,当疲劳时,EAR值迅速变小,接近于零.其中人眼的12个特征点标记效果如图3.

图3 左右眼特征点标记

由此可以分别得到左、右眼的EAR为:

(5)

(6)

由于人眼在睁开和闭合时两只眼睛是同步进行的,因此,采用一只眼睛的开合度来进行判断驾驶员的疲劳状态[13].为了能够更准确地判断驾驶员的疲劳状态,提升算法的鲁棒性,将融合两只眼睛的EAR值,综合判断驾驶员的疲劳状态,融合后的EAR为:

(7)

为了更能够准确地反应驾驶员的疲劳状态,且区别一般的眨眼动作,采用了单位时间内眼睛闭合状态下所占用的时间百分比(percentage of eyelid closure over the pupil over time,PERCLOS),如图4.

图4 PERCLOS测量原理

由于人眼在睁开和闭合时是具有连续性的,因此可以通过计算驾驶员的眼睛在一段时间内闭合的视频帧数占这段时间内视频总帧数的比值来近似计算PERCLOS的值[14]为:

(8)

式中:Nf、Nt分别为一段时间内眼睛闭合的视频帧数和视频总帧数.

2.2 嘴部疲劳判定

驾驶员在处于疲劳状态的状况下会出现打哈欠的表现,此时嘴唇上下距离变大,嘴角左右宽度变小.因此通过计算嘴部的纵横比(mouth aspect ratio, MAR)来判断嘴巴的张开与闭合,以此来判断驾驶员是否处于疲劳状态,嘴部的特征点标记如图5.

为了避免因为嘴唇的厚度不同带来的判别误差[15],采用了嘴部的内轮廓来计算嘴部的开合度,其中嘴角的标记点采用P49和P55的横坐标计算为:

(9)

2.3 头部疲劳判定

头部也会出现疲劳的表现动作头部动作表现也是衡量驾驶员是否疲劳驾驶的一个重要的衡量指标.一般头部的运动状态有:点头、摇头和摆头,如图6.

图6 头部3种运动状态

驾驶员的实际疲劳状态时,头部的运动状态只会出现点头和左右摆头的情况,为了能够通过头部运动状态来判断驾驶员是否疲劳驾驶,利用旋转矩阵和平移矩阵来得到旋转角度,通过旋转角度来对疲劳驾驶进行判断.

头部的三维姿态与图像坐标的关系如图7.根据针孔模型,世界坐标系内PW(XW,YW,ZW)点和其在图像坐标系下的像素坐标p(u,v)的映射关系如式(10).

图7 头部世界坐标系与摄像头相平面坐标系关系

(10)

(11)

β=-arcsin(r31)

(12)

(13)

式中:α、β、γ分别为绕x、y、z轴旋转角度,正角度为沿各轴正方向逆时针旋转所得角度,负角度与之相反.

求解头部的姿态流程如图8.

图8 头部姿态求解流程

通过计算一段时间内两种情况下驾驶员头部点、摆的幅度在20°及以上所占的时间比例来判断驾驶员是否处于疲劳状态.测试效果如图9.

图9 头部姿态显示

3 疲劳状态综合判断

支持向量机(support vector machines,SVM)具有高效处理小样本学习,分类能力强,具有很好的鲁棒性,由于人脸检测也是个小样本问题,因此将眼睛和嘴巴的PERCLOS值和头部点头频率作为特征向量,采用SVM算法和SVM训练模型来对驾驶员疲劳驾驶综合判定.疲劳驾驶检测方法流程如图10.

图10 疲劳驾驶综合判定

驾驶员在开车过程中,由于车速一般很快,因此对疲劳驾驶检测是否具有实时性有着很高的要求,为此对原始的检测视频做了一些变换,即对视频图像做了灰度化处理和图像缩减处理,处理前后耗时分别为0.025 6和0.006 7 s.说明文中检测方法更能实时的对疲劳驾驶进行跟踪判定.

4 实验结果分析

在Windows10上进行训练即相关的测试,设备配置如表1,训练时采用了GPU进行加速计算.

表1 系统配置参数

为了验证检测方法的时效性,测试了实际驾驶过程中对驾驶员疲劳驾驶的检测耗时,如表2.

表2 疲劳驾驶检测耗时

文中测试了驾驶员在驾驶过程中眼部、嘴部和头部处于疲劳状态下所表现的疲劳特征被识别出的准确率,表3列出了测试结果.

表3 眼部、嘴部和头部状态测试结果

文中还与现有的研究方案做了对比,如表4.

表4 疲劳驾驶对比分析

图11为驾驶员在正常驾驶的情况下和疲劳驾驶的情况下的测试效果.

图11 疲劳驾驶检测效果

5 结论

(1) 研究一种检测驾驶员疲劳驾驶的方法,主要是通过融合驾驶员眼睛、嘴巴和头部疲劳特征来建立驾驶员的疲劳检测模型,并通过对模型的训练优化疲劳驾驶检测方法.

(2) 利用的视频图像灰度化及缩减处理方法大大减小了在对人脸检测时所耗费的时间,使得检测耗时提升了将近4倍.

(3) 对比大部分的仅通过单个疲劳特征来判断疲劳驾驶的实验方案,文中方案在检测准确率方面有着显著的提高,在检测耗时方面略微的逊色于其它方案.

(4) 文中由于融入了多个疲劳特征,所以耗时相对较长,后续希望能够对算法做进一步的优化来提升检测效率.