融合遮挡检测与HOG特征协作表示的鲁棒人脸识别

高秀洋,房 胜,李 哲

(山东科技大学 计算机科学与工程学院，山东 青岛 266590)

融合遮挡检测与HOG特征协作表示的鲁棒人脸识别

高秀洋,房 胜,李 哲

(山东科技大学 计算机科学与工程学院，山东 青岛 266590)

稀疏表示分类算法在人脸识别中表现出较好性能，但其对面部遮挡的鲁棒性较差，在特征提取时未利用面部鲁棒特征且实时性差。针对以上问题，本文提出了融合遮挡检测与HOG特征协作表示的人脸识别方法。首先，设计了一种基于HOG特征和支持向量机的遮挡检测方法，根据常见遮挡的分布将人脸分块，在子块上检测遮挡。然后，结合遮挡检测结果，仅提取非遮挡部分的HOG特征并利用协作表示方法进行分类。测试结果表明：对AR人脸库中遮挡图像的平均识别率为95.2%，对AR、Yale人脸库中发生光照和表情变化人脸的识别率分别为97.3%和98.6%，且运算速度比稀疏表示方法提升了约293倍。与基于稀疏表示的分类方法相比，该方法的鲁棒性和实时性都有明显提升。

HOG特征; 支持向量机; 遮挡检测; 协作表示; 人脸识别

由于具有潜在应用价值和科学挑战性，人脸识别一直是生物特征识别领域的一个重要课题。虽然人脸识别技术已经取得了很大的进步，但目前的人脸识别系统[1]仍然无法很好地克服由于环境不可控而带来的图像质量退化问题，如遮挡、光照变化和表情变化等都会降低人脸识别系统的性能。Wright等[2]首次提出了基于稀疏表示的人脸识别方法SRC，即将测试图像在字典上进行稀疏编码，然后利用最小重构误差进行分类，该方法对人脸的遮挡、光照和表情变化表现出一定的鲁棒性。Zhang等[3]将鲁棒稀疏编码RSC应用到图像分类中，通过寻找稀疏编码问题的最大似然估计解来增强SRC方法对遮挡等干扰的鲁棒性。胡正平等[4]利用人脸Gabor特征并训练判别式字典，提出了结合Gabor特征和判别式字典的稀疏表示识别方法Gabor-SRC，使识别性能有了一定提升。另外，Zhang等[5]讨论了协作表示(collaborative representation classifier,CRC)在稀疏编码分类模型中的特性，证明了稀疏表示分类方法有如此出色性能的原因是训练样本间的协作表示机制。CRC用L2范数代替L1范数的稀疏性约束，无需繁琐的迭代过程即可得到最优解，从而大大提升了计算效率。以上基于SRC的识别方法表现出了良好的性能，但仍然存在一些不足。首先，这些方法仅着眼于提升识别算法对存在局部遮挡人脸的识别精度，未考虑在特征提取阶段去除局部遮挡，精度的提升有限。其次，大部分基于稀疏表示的方法都是利用降采样或降维后的灰度值特征直接构建字典，并没有探索人脸鲁棒的判别性特征，从而在一定程度上影响了识别性能。另外，基于SRC的识别方法计算复杂度较高，难以满足实时性要求。

1 算法构造

本文针对基于稀疏表示的人脸识别方法中存在的问题，提出了融合遮挡检测与HOG特征协作表示的人脸识别方法。在遮挡检测部分，提出了一种基于HOG特征、主成分分析和支持向量机的遮挡检测方法。

图1 算法流程

根据常见自然遮挡的分布采用合适的分块策略，在人脸分块上利用遮挡检测器进行遮挡，仅利用非遮挡块上提取的特征作为人脸的特征表示，从而消除局部遮挡的影响；在识别部分，提取人脸非遮挡块上的HOG特征作为人脸的特征表示并利用协作表示分类。Boragule等[6]在基于稀疏表示的目标追踪问题中选择提取目标模板的HOG特征代替灰度图像的降维特征，并证明了该局部特征在表征目标时的优越性。HOG特征对光照变化和几何形变具有较强的鲁棒性，比通过灰度图像降采样或降维获得的特征有明显的优势。采用协作表示分类方法，在保证识别性能的同时，大大降低了算法的计算复杂度。算法流程如图1所示。

构建字典时，根据可能发生遮挡的人脸分块的不同构造不同的字典，组成备用字典集合，字典集合构建过程将在3.1节详细介绍。提取人脸特征时，根据遮挡检测结果，仅利用无遮挡人脸分块上的HOG特征串联降维后作为人脸的特征表示。分类时，同样根据遮挡检测结果，在字典集中选择相应的字典进行协作表示分类得出分类结果。遮挡检测方法将在第2章详细介绍，协作表示分类将在第3章作详细介绍。

图2 人脸分块

2 遮挡检测

人脸可能出现的遮挡如墨镜、口罩等往往分布在面部固定的块状区域，本文的遮挡检测采用如图2所示的分块策略将人脸分为3个子块，自上而下编号为a，b，c，遮挡检测在人脸子块上进行。首先提取待检测子块的HOG特征，利用PCA进行降维后输入训练好的支持向量机进行分类，判断该子块是否发生遮挡。

2.1 HOG特征

HOG特征即梯度方向直方图(Histogram of Oriented Gradient )，最早被Dalal等[7]用来进行行人检测。HOG特征能够描述图像的边缘结构信息且对光照变化，几何形变不敏感，是一种鲁棒的局部特征描述子。HOG特征和SIFT特征[8]相似，但计算量较小。

HOG特征的提取过程如下：

Step 1 以采样点为中心取10×10大小的像素邻域为特征提取窗口，按这种方式将人脸子块分为若干互不重叠的窗口；

Step 2 将特征提取窗口分为4个5×5大小的子块，在每个子块上计算各像素点的梯度方向和幅值。像素点(x,y)水平方向和垂直方向的梯度算式如下：

Ix(x,y)=I(x+1,y)-I(x-1,y)，
Iy(x,y)=I(x,y+1)-I(x,y-1)。

(1)

像素点(x,y)处的梯度幅值和方向分别为：

(2)

θ(x,y)=arctan(Iy(x,y)/Ix(x,y))。

(3)

图3 HOG特征提取示意图

Step 3 将各窗口中像素点的梯度分为8个方向，按图3中椭圆形的高斯加权范围将同一子块上同方向的梯度幅值按照权重累加，从而在4个子块上分别得到一个8维的梯度直方图。

Step 4 将Step 3得到的8维梯度直方图串联成一个4×8=32维的向量作为该窗口的特征描述，所有窗口的特征向量串联即可得到整幅图像的HOG特征。

2.2 基于支持向量机的遮挡检测

遮挡检测可以被看作是一个二分类问题，而支持向量机(support vector machine，SVM)[9]是一种高效的二类数据分类器，故本文采用支持向量机进行遮挡检测。SVM的主要思想是在空间中寻找一个最优超平面，将不同类别的样本点分开，并使不同类别样本点之间的间隔最大。如果训练样本是线性不可分的，可以通过非线性映射将样本变换到高维空间，使其在高维空间线性可分。这种非线性映射通过核函数实现，常用的核函数有多项式核函数、径向基函数和Sigmoid函数。

本文选择径向基函数作为核函数，其形式为：

K(xi,xj)=exp(-σ‖xi-xj‖2)。

(4)

其中，xi和xj是特征向量，σ是径向基函数的带宽。

给定训练集T={(x1,y1),…,(xn,yn)}，其中xi∈Rn，yi∈{+1,-1}，i=1,2,…,n，xi是训练人脸子块的特征向量，yi是类别标签，标识训练样本是否有遮挡。选定核函数后，最优分类函数为

(5)

3 融合HOG特征的协作表示分类

3.1 HOG字典集

SRC分类方法的一个重要部分是字典的构建，表征能力强的字典有助于提升分类性能。传统的SRC分类方法大多是将训练样本降采样或降维后直接作为原子构建字典，忽略了对人脸鲁棒性特征的利用，对分类性能造成了一定程度的影响。HOG特征是一种鲁棒的局部特征描述子，因此本文提取人脸的HOG特征，利用PCA降维后作为原子构建表征能力强的HOG特征字典。本文将人脸图像分割为a、b、c三个子块(如图2)，根据各子块遮挡情形的不同构建相应的备用特征字典集。分类时，根据不同的遮挡检测结果，选择相应的字典进行协作表示分类。

假设只有b，c两个分块可能发生遮挡且不同时发生遮挡，则需要构建三类特征字典：

1) 对应人脸未发生遮挡的情形，将训练人脸样本三个子块上提取的HOG特征向量串联降维后作为原子构建字典；

2) 对应b子块发生遮挡的情形，将训练人脸样本a子块和c子块上的HOG特征向量串联降维后作为原子构建字典；

3) 对应c子块发生遮挡的情形，将训练人脸样本a子块和b子块上的HOG特征向量串联降维后作为原子构建字典。

3.2 协作表示分类

基于SRC的分类方法计算复杂度高，难以满足应用的实时性要求，因此本文采用协作表示方法CRC进行分类，在保证识别性能的同时，大大降低计算复杂度。

SRC方法的关键步骤是将测试图像在过完备的字典上进行L1范数最小化约束稀疏编码，计算公式为：

(6)

其中，X是过完备字典，y是测试图像，a为测试图像在字典上的编码系数，ε代表编码误差，为一个较小的正常数。

Zhang等[3]证明了协作机制在SRC识别中起到关键作用，对编码系数的强稀疏性约束是不必要的。因此，用L2范数约束代替L1范数约束，由于减弱了稀疏性约束，求解编码系数的计算复杂度大大降低，协作表示的计算公式如式如下:

近年来，每年近70%的云南蔬菜产品销往全国150多个大中城市和40多个国家和地区，云南已逐步成为全国重要的“南菜北运”和“西菜东运”基地。

(7)

其中，X是过完备字典，y是测试图像，ρ是编码系数，λ是规整化参数。λ一方面是使最小平方和的求解更稳定，另一方面是引入一定程度的弱稀疏性约束。

求得式(7)的解为：

(8)

令M=(XTX+λ·I)-1XT，M与y是相互独立的，M可以预先计算出来，当给出测试样本y时，可以直接将其在M上进行投影得到编码系数。这使得协作表示分类方法计算起来非常简便。

基于CRC的分类方法将重构误差和编码系数相结合进行分类，步骤如下所示：

double minError=10; //minError代表最小重构误差，初始化为较大数

for(i=1；i<=S；i++) //S代表训练样本类别数

{

min Error=ei

}identity(y)=arg mini{min Error}；//输出测试样本y的类别

3.3 算法复杂度分析

基于SRC的分类方法和本文所采用的CRC分类方法的计算复杂度都取决于编码系数的求解复杂度。设人脸特征维数为n，字典的原子个数为m。SRC分类方法的稀疏编码系数求解模型如公式(6)所示，L1范数最小化约束求解的计算复杂度(如采用l1-ls[10]方法求解)为O(n2m1.3)。本文采用的CRC分类方法中的编码系数求解如式(8)所示，无需迭代计算即可得到最优解，计算复杂度为O(nm)。可见，SRC分类方法的计算复杂度要远高于CRC分类方法。

4 实验结果与分析

本文在AR人脸库和Yale人脸库上进行了测试。首先，对所提出的遮挡检测方法进行测试；然后测试了本文方法对遮挡人脸的识别性能；最后测试了本文方法对非遮挡人脸的识别性能。对比方法中，SRC和CRC方法的字典由PCA降维后的样本向量构成,HOG-SRC是参照文献[6]设定的对比方法，即基于HOG特征的稀疏表示分类。所有训练和测试人脸图像都设置为80×120大小，式(7)中的λ值设为0.001。

图4 遮挡检测正负训练样本

4.1 检测遮挡

为了训练每个人脸子块对应的SVM，在AR人脸库和Yale人脸库中各随机选择了100张无遮挡人脸，进行分块后，相应分块对应的SVM便各获得了200个正训练样本。从AR人脸库中随机选择100张戴墨镜的人脸图像和100张戴围巾的人脸图像，另外搜集了100张其它类型遮挡的人脸图像，包括头发遮挡、帽子遮挡和口罩遮挡等情形。对300张发生各式遮挡的人脸图像分块，将发生遮挡的分块作为对应SVM的负训练样本，未发生遮挡的分块作为正训练样本。部分正负训练样本如图4所示。

选择200幅发生各式遮挡的人脸图像，其中包括常见遮挡如墨镜、围巾、口罩、帽子、头发等遮挡。将这些图像分块，并将各子块输入对应的SVM进行测试。定义检测率为将遮挡样本正确分类的比率，误检率为将非遮挡样本错误分类的比率，则好的检测器应使得检测率尽可能大，误检率尽可能小。三个子块遮挡检测的结果如表1所示。b分块是眼睛分块，主要发生墨镜遮挡，b分块上遮挡检测器的检测率为100%，误检率为0，取得了最优结果；c分块是嘴巴分块，主要发生围巾、口罩和手部遮挡，c分块上的遮挡检测器检测率为100%，误检率为1%，其中误检样本为留有较浓密胡须的人脸；a分块是额头分块，主要发生帽子、头发遮挡，a分块遮挡检测器的检测率为100%，误检率为4%，其中误检样本都有一定程度的刘海。

表1 各子块遮挡检测结果

表2 遮挡人脸识别结果

由检测结果可知，本文所设计的遮挡检测方法能准确检测到人脸的局部遮挡，在b、c分块上取得了较优结果，对a分块的检测出现了少量误检，主要由额头头发分布的复杂性造成。因此，本文所提出的遮挡检测方法尤其适用于正面人脸眼部和口部的遮挡，如墨镜、口罩和围巾等。

4.2 识别遮挡人脸

AR人脸库包含126人(70位男性和56位女性)的4 000多张人脸图像，这些图像中包含了表情、光照变化和遮挡(墨镜和围巾)。选择AR人脸库Session1中的一个子集，其中包含100个对象(50位男性，50位女性)，每人13幅人脸图像。利用每个对象的7幅包含表情和光照变化的人脸图像进行训练，6幅发生墨镜或围巾遮挡的人脸图像进行测试。各算法所提取的人脸特征向量统一降维至200维。由测试结果(如表2)可知，SRC方法对墨镜遮挡人脸的识别率为82%，但对围巾遮挡人脸的识别率仅为59.5%；CRC方法在识别围巾遮挡人脸时取得了较优识别率为81.5%，但对墨镜遮挡人脸的识别率较低，为68.5%；Gabor-SRC方法引入了Gabor遮挡字典，识别性能有所提升，对墨镜遮挡人脸的识别率达到85%，但对出现围巾这样较大面积局部遮挡的人脸的识别率较低，仅为79%；HOG-SRC方法的识别性能略优于Gabor-SRC，远优于SRC方法，证明了HOG特征的鲁棒性；本方法对墨镜和围巾的识别率分别为94.6%和95.8%，相比其他方法，对人脸遮挡的鲁棒性有明显增强，证明了融合遮挡检测后本算法对局部遮挡具有较强鲁棒性。

4.3 识别无遮挡人脸

在AR人脸库中选择一个子集，其中包含100个对象(50位男性，50位女性)。选择每个对象在Session1中的7幅无遮挡人脸图像进行训练，Session2中的7幅无遮挡人脸图像进行测试，其中包含了各种表情和不同光照情况下的人脸图像。对各算法在不同特征维数下进行了测试，测试结果如表3。

Yale人脸库包含15个对象的165幅人脸图像，这些图像包含了光照条件变化和表情变化。选择每个对象8幅图像进行训练，剩余3幅进行测试。对各算法在不同特征维数下进行了测试，测试结果如表4。

表3 AR人脸库中无遮挡人脸识别结果

表4 Yale人脸库中无遮挡人脸识别结果

本文方法在AR和Yale人脸库上都取得了较好结果，对发生光照和表情变化人脸的识别率最高分别达到97.3%和98.6%，略高于Gabor-SRC方法和HOG-SRC方法，识别性能优于使用简单降维特征的SRC方法和CRC方法，证明了本文融合HOG特征字典的协作表示方法对人脸光照和表情变化具有较强的鲁棒性。

4.4 运行时间比较

为了比较基于SRC的方法和本文方法的计算耗时，计算了两类方法在AR人脸库上测试时的平均耗时(如表5)。其中特征维数设定为300，SRC方法采用l1-ls计算L1范数最小化，PC处理器为3.6 GHZ，实验环境为Matlab。SRC方法的平均耗时为1.76 s，Gabor-SRC方法的平均耗时为1.82 s，HOG-SRC方法的平均耗时为1.84 s,CRC方法的平均耗时为0.005 8 s,本方法的平均耗时为0.006 s，相比于SRC方法速度提升了约293倍，接近于CRC方法，证明本文方法的时间复杂度比基于SRC的方法更低，具有更好的实时性。

表5 算法平均耗时

5 结语

针对基于SRC的人脸识别方法对面部遮挡的鲁棒性较差，在特征提取时未充分利用人脸鲁棒的判别性特征和实时性差问题，本文提出了融合遮挡检测与基于HOG特征字典的协作表示的人脸识别方法。该方法采用HOG特征作为人脸的特征描述并构建字典，增强了对人脸的表征能力和对人脸光照和表情变化的鲁棒性。设计了基于HOG特征、PCA和SVM的遮挡检测方法在人脸分块上检测遮挡，能够有效检测到墨镜、围巾和口罩等面部常见块状遮挡。仅利用非遮挡部分进行分类，消除了遮挡影响，提升了算法对遮挡的鲁棒性。采用协作表示分类方法，在保证分类性能的同时，大大提升了计算效率。

[1]邹国锋,傅桂霞,李海涛,等.多姿态人脸识别综述[J].模式识别与人工智能,2015,28(7):613-625. ZOU Guofeng,FU Guixia,LI Haitao,et al.A survey of multi-pose face recognition[J].Pattern Recognition and Artificial Intelligence,2015,28(7):613-625.

[2]WRIGHT J,YANG A Y,GANESH A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[3]ZHANG C J,WANG S H,HUANG Q M,et al.Image classification using spatial pyramid robust sparse coding[J].Pattern Recognition Letters,2013,32(6):1046-1052.

[4]胡正平,徐波,白洋.Gabor特征集结合判别式字典学习的稀疏表示图像识别[J].中国图象图形学报,2013,18(2):189-194. HU Zhengping,XU Bo,BAI Yang.Sparse representation for image recognition based on Gabor feature set and discriminative dictionary learning[J].Journal of Image and Graphics,2013,18(2):189-194.

[5]ZHANG L,YANG M,FENG X.Sparse representation or collaborative representation:Which helps face recognition?[C]//IEEE International Conference on Computer Vision.Barcelona:IEEE,2011:471-478.

[6]BORAGULE A,YEO J Y,LEE G S.Object tracking with sparse representation based on HOG and LBP features[J].International Journal of Contents,2015,11(3):47-53.

[7]DALAL N,TRIGGS B.Histograms of oriented gradients for human detection[C]∥Proceedings of Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE,2005,886-893.

[8]KRIZAJ J,STRUC V,PAVESIC N.Adaption of SIFT features for robust face recognition[C]∥Proceedings of the 7th International Conference on Image Analysis and Recognition.Berlin,Germany:Springer,2010:394-404.

[9]SCHOLKOPF B,SMOLA A J,WILLIAMSON R C,et al.New support vector algorithms[J].Neural Computation,2000,12 (5):1207-1245.

[10]KIM S J,KOH K,LUSTIG M.A interior-point method for large-scale l1-regularized least squares[J].IEEE Journal on Selected Topics in Signal Processing,2007,1(4):606-617.

(责任编辑：傅 游)

Robust Face Recognition with Fusion of Occlusion Detection and Collaborative Representation Based on HOG Feature

GAO Xiuyang,FANG Sheng,LI Zhe

(College of Computer Science and Engineering,Shandong University of Science and Technology,Qingdao,Shandong 266590,China)

Sparse representation based classification (SRC) shows good performance in face recognition experiments,but occlusion is still a tough problem because the robust features of face have not been fully utilized. In addition,the real-time performance of SRC is poor. In this paper,a face recognition method with fusion of occlusion detection and collaborative representation based on HOG feature was proposed. Firstly,an occlusion detector based on HOG feature and support vector machine was designed,which could detect the occlusion on the local patches of the face images that were divided according to common occlusion distribution. Then,based on the results of occlusion detection,the HOG feature of the non-occluded face regions was extracted and collaborative representation was adopted for classification. Finally,experiments were conducted on AR and Yale face databases. The average recognition rate of face images with occlusion in AR face database reached 95.2%. The recognition rates of face images with illumination and expression changes in AR and Yale face databases reached 97.3% and 98.6% respectively. The calculation speed of the proposed method was about 293 times faster than SRC. Experimental results demonstrate that the proposed method yields significant performance improvements compared to SRC method.

Histogram of Oriented Gradient (HOG); support vector machine; occlusion detection;collaborative representation; face recognition

2016-05-23

国家自然科学基金项目(61502278,61170253);山东科技大学人才引进科研启动基金项目(2015RCJJ067)

高秀洋(1991—)，男，山东德州人，硕士研究生，主要从事图像处理与分析，模式识别. 房 胜(1971—)，男，山东泰安人，教授，博士，主要从事视频编码与传输，模式识别. 李 哲(1983—)，男，山东聊城人，讲师，博士，主要从事视频编码与传输，模式识别，本文通信作者. E-mail:zhelee@163.com

TP391.4

A

1672-3767(2017)01-0111-07