基于角点动能的视频群体异常行为检测

逯 鹏,梁 玉,陈树伟

(郑州大学电气工程学院,河南郑州450001)

基于角点动能的视频群体异常行为检测

逯 鹏,梁 玉,陈树伟

(郑州大学电气工程学院,河南郑州450001)

为了提高实时性和精确度，提出一种利用角氛动能检测群体异常行为的方法.首先，利用金字塔Lucas-Kanade光流法计算FAST(Features from Accelerated Segment Test)角氛光流，筛选出运动的角氛;然后，利用k均值方法聚类图像中的角氛，自适应地调整正常行为角氛动能，定义每一类的局部异常程度为角氛平均动能与正常时的比值，整体运动异常程度为局部异常程度之和;最后，如果整体异常程度大于异常阈值为异常行为，否则为正常行为.实验结果表明:该方法能够检测出多种群体异常行为且实时性强于Harris、SIFT(Scale-Invariant Feature Transform)和SURF(Speed Up Robust Features)角氛，精确度高于光流法、社会力法和图分析法.

群体异常行为;k均值;角氛动能;异常程度;自适应

0 引言

群体出现异常行为,如惊慌逃跑、紧急逃散等,会对群体成员的人身安全造成威胁,因此,检测群体异常行为、实现在线预警成为计算机视觉领域重要的前沿课题［1-3］.

群体异常行为检测的实质是对感兴趣目标的运动特征进行分类,判断当前状态［4］.与个体异常行为相比,群体行为面临群体间严重遮挡、密度随机变化以及高密度群体中个体分辨率低等难题,造成目标提取困难.

传统的基于目标行为分析方法,通过分析个体目标的运动轨迹等建立行为模型,这种方法随着场景中个体的增加,其计算复杂度增加,仅适合目标数量较少的场景［5］.如何对整个场景的行为特征进行分析成为难题.因此,不提取个体目标的整体分析方法成为解决问题的关键切人点.从这一思路出发,Mahadevan等［6］用混合动态纹理描述群体动态变化,根据动态纹理在空间和时间上的不同分布来检测异常行为.然而,这种方法对场景变化引起的噪声敏感,抗干扰性不强.Mehran等［7］的思路则是通过在图像中建立粒子,根据粒子光流的动态变化建立社会力模型(Social Force Model,SFM),利用粒子与周围空间的相互作用力描述群体运动剧烈程度,根据力的强度检测出异常行为,其局限性在于粒子位置固定,不能随机选择粒子.段晶晶等［8］进一步采用Harris角点运动光流方法表示群体中个体的运动信息,用角点的能量特征衡量运动剧烈程度,建立隐马尔科夫模型,识别出3种类型(突聚、突散、奔跑)的异常.然而,由于异常的突发性,这种方法没有考虑视觉的病态现象.此外,提取Harris角点的计算复杂性高,对于高帧速视频的识别实时性低.

针对上述问题,笔者采用FAST［9］角点表示群体中的个体,再利用角点的光流特征描述群体中个体的运动信息.首先,利用金字塔Lucas-Kanade光流法计算FAST角点光流;再利用k均值方法对每一帧图像中的角点进行聚类,自适应地调整正常时的角点动能,计算每一类角点的平均动能和正常行为时动能的比值作为每一类的异常程度,求和作为整体运动异常程度;最后,根据整体异常程度的不同来区分正常行为和异常行为.算法处理流程如图1所示,分为动态特征提取和异常行为检测两个模块.

图1 角点动能法处理流程Fig.1 Processing flow of corner kinetic method

1 动态特征提取

动态特征提取解决的主要问题:用动态角点表示运动目标,用角点的动态变化描述群体行为.其基本思路是首先提取目标角点,然后计算角点的光流,最后去噪完成特征提取.

角点是图像中具有稳定特征的像素点,在当前帧和下一帧都能提取出来,适合追踪.如Harris角点,位于图像二阶导数的自相关矩阵有两个最大特征值的地方,因需要耗时的计算图像导数,所以难以满足高帧率视频处理实时性的要求;而FAST角点利用机器学习实现角点的快速检测,提高了计算效率,满足实时性要求.

FAST角点提取方法.首先,基于特征点周围图像强度定义角点,通过检查中心像素与周围的像素的大小关系来判定一个角点.以像素p为中心,半径为3的圆周上共有16个像素点,每个点x对应一个状态Sp→x,如式(1):

设置3个状态(较暗、近似、较亮).式中,Ip表示p点的像素值;Ip→x代表圆周上点x的像素值;t是阈值参数.如果圆周上超过连续12个点的像素状态为较暗或较亮,则点p为候选角点.

其次,经过非极大值抑制,确定真正的角点,利用评分函数V对每个候选角点进行评分,比较相邻的两个角点,去除分数较低的候选角点,使角点分布更加均匀.

在获得目标的角点后,采用金字塔模型Lucas-Kanade光流法对图像进行金字塔采样,从金字塔的最高层到最底层进行迭代计算光流.这种方法既可以估计小范围内微小变化的光流,也可以估计角点运动较大时的光流.具体方法:首先,在当前帧提取出FAST角点,然后用金字塔Lucas-Kanade光流法在下一帧固定窗口范围搜寻满足一定误差的角点,如果找到则返回一个为真的状态标志位.假设共找到m对特征点{(pi(x, y),qi(x′,y′))｜i=1,2,…,m}.其中pi(x,y)为前一帧角点的位置,qi(x′,y′)为当前帧角点的位置.则角点光流为

用运动的角点的动态信息描述目标动态行为,需要筛选出运动的特征角点并去除背景噪声角点.背景中角点没有移动,角点光流速度接近于零,保留角点光流较大的角点,v＞ε则保留,ε是一个较小正数,筛选后共得到n个角点的光流v={vi｜i=1,2,…,n},n≤m.

去噪前后的特征点分布如图2所示.图2(a)为去噪前的FAST角点,图2(b)为去噪后的FAST角点.从图2中可以看出,筛选后去除了背景中静止的角点,且角点均匀地分布在运动目标的周围,并跟随运动目标移动.角点的光流反映了运动目标的动态变化,另外,通过角点的分布也可以定位出群体成员的大致位置.

图2 FAST角点检测结果Fig.2 Detection result of FAST corners

随着运动目标的变化,遮挡等现象会造成特征点减少.设定最少特征点数nk,若n＞nk,把当前帧当作前一帧,继续追踪,计算角点光流,否则提取新的角点.

2 群体异常检测

群体异常行为发生时,如群体恐慌逃跑、紧急疏散、群体冲突等会导致群体剧烈运动.相应地,群体周围的角点变化剧烈,角点光流会增大,每一帧图像中的角点的动能也增大.由于视觉问题的病态现象,物体的二维外观会随着视点的变化发生很大变化.通过对角点位置进行聚类,根据空间位置的不同,自适应地调整正常行为的平均动能,分析每一类角点的运动异常程度,再根据每一类的异常情况进行整体分析.这种整体到局部再到整体的模式能充分反映群体行为动态.

构建三维坐标(xi,yi,zi),zi为角点p(xi,yi)相对应的光流.正常行为和异常行为时的角点位置和光流如图3所示.角点的位置反映了个体目标在场景中的位置.图3中,正常行为时角点的光流较小,分布集中,角点动能变化稳定;行为异常时角点光流整体增大,且分布范围扩大.

图3 角点位置和光流Fig.3 Optical flow and location of corners

k均值是一种最常用的聚类方法.k均值方法即根据角点集P={p(xi,yi)｜i=1,2,…,n}在图像中的位置聚成k类,其中,p(xi,yi)为动态特征提取阶段去噪后的n个角点;1＜k＜10,k值过大会造成有些类的角点数量过少,只能覆盖个体目标的局部.每一类的角点平均动能为

式中:m为角点质量,实验中都取1;nj为每一类的角点数量,j=1,2,…,k.

假设正常行为时的角点动能为E0,随着场景中运动目标与摄像头的距离增大,运动目标图像尺度变小,连续两帧之间的角点移动速度变缓,即角点光流速度变小,与实际运动速度偏差增大.为了克服这个问题,采用自适应的正常行为角点动能进行矫正,把E0根据距离摄像头的远近分为两部分,则E0为

式中:h为运动目标到摄像头的距离,实验中取为图像的高度;n01、n02分别为上下两部分图像区域所对应的角点数量;yi为角点的纵坐标.每一类根据聚类中心所在的空间位置选取相应的E0.即

式中:ymj为聚类中心的纵坐标.每一类的异常程度为

整体异常程度为

群体正常行为时,λ接近k;异常行为发生时,λ迅速增大,λ越大,运动越剧烈,发生异常行为的可能性就越大.设定异常阈值λ0,如果λ＞λ0则判断为异常;否则为正常.

3 实验结果分析

为了验证算法的有效性,选择两种经典公共群体异常行为数据集UMN和PETS2009,分别如图4、图5所示.群体行为正常时,人群中不同个体在聊天、散步或正常行走等,异常行为包括群体惊慌逃跑、紧急疏散等.UMN数据集共7 739帧,共11个群体异常行为,每个异常行为持续100帧左右.PETS2009数据集包含同一场景不同视角下的群体行为,以视角1为例进行试验,包含3个异常行为,共601帧,3个异常行为分别持续70帧、59帧、43帧.实验分为两部分,首先比较不同角点对实时性的影响,然后根据ROC(Receiver Operating Characteristic)曲线衡量检测精度.统一调整视频帧图像尺寸大小为320×240,根据数据集图像尺寸大小,选择参数:ε=0.2,nk=60,k=4.

图4 UMN数据集Fig.4 UMN dataset

图5 PETS2009数据集Fig.5 PETS2009 dataset

3.1 实时性分析

以UMN数据集场景1中的一段视频为对象,比较不同角点对实时性的影响.系统配置: CPU2.2 GHz,内存2GB.编译环境为VS2010加载OpenCV2.4.6函数库.主要对比典型角点特征方法包括:Harris、SIFT［10］、SURF［11］角点.连续200帧平均处理时间如表1所示.

表1 不同角点的实时性Tab.1 Real-time performance of different corners

从表1可以看出,FAST角点的处理速度是Harris角点的两倍左右,且高于SIFT和SURF,说明FAST角点的实时性更好.

3.2 精确度分析

根据ROC曲线比较本文方法和当前主要群体异常行为检测方法(纯光流法、社会力模型法［5］、图分析法［4］).图6为UMN数据集上的精确度,为3个场景的平均值.图7为PETS2009数据集上的精确度.图6和图7中,ROC曲线横坐标是虚警率,表示实际的正常帧数中误判为异常的比率;纵坐标是检测率,表示实际的异常帧中正确判断为异常的比率.通过调节异常阈值λ0可以得到不同的虚警率和检测率得到ROC曲线.

从图6和图7可以看出,本文方法在虚警率相同的情况下检测率高于其他方法.纯光流法对光照条件等噪声敏感;社会力模型法容易把人体局部快速运动如关节处的运动检测为异常,检测率相对较低;而图分析方法考虑了人群密度、人群流量等信息,检测精度相对较高.而本文方法直接利用群体行为的动态特征结合局部异常程度和整体异常程度两个方面进行了分析,同时对因运动目标与摄像头的距离所造成的角点光流速度偏差进行了矫正,增加了正常行为和异常行为的区分度,精确度更高.

图6 UMN数据集ROCFig.6 UMN dataset ROC

图7 PETS2009数据集ROCFig.7 PETS2009 dataset ROC

4 结束语

笔者提出一种群体异常行为的检测方法,用FAST角点的动态信息描述群体行为的运动特性,直接分析群体行为的运动特征,实时性更强.该方法通过对角点聚类,并结合角点动能定义异常程度,同时考虑运动目标的空间变化,自适应地调整正常行为角点动能,综合分析了局部和整体的异常程度,提高了精确度.实验结果表明,该方法够检测出多种群体异常行为,而且精确度高于光流法、社会力和图分析法.

［1］ MANUEL A,AHDREA T,ALVARO SM,et al.Abnormal behavior detection using dominant sets［J］. Machine Vision and Applications,2014,25(5):1351 -1368.

［2］ JUNIOR S J.Crowd analysis using computer vision techniques［J］.IEEE Signal Processing Magazine, 2010,27(5):66-77.

［3］ CRISTANIM,RAGHAVENDRA R,ALESSIO D B, et al.Human behavior analysis in video surveillance: A social signal processing perspective［J］.Neurocomputing,2013,100(2):86-97.

［4］ 朱海龙,刘鹏,刘家锋,等.人群异常状态的图分析方法［J］.自动化学报,2012,38(5):742-750.

［5］ 张震,李丹丹.自适应双阈值的运动目标检测算法［J］.郑州大学学报:工学版,2013,34(6):15 -19.

［6］ MAHADEVAN V,LIWei-xin,VASCONCELOSN,et al.Anomaly detection and localization in crowded scenes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(1):18-32.

［7］ MEHRAN R,OYAMA A,SHAH M.Abnormal crowd behavior detection using social force model［C］// Computer Vision and Pattern Recognition,2009.Miami,Florida:IEEE Press,2009:935-942.

［8］ 段晶晶,高琳,范勇,等.基于KOD能量特征的群体异常行为识别［J］.计算机应用研究,2013,30 (12):3836-3839.

［9］ ROSTEN E,DRUMMOND T.Computer vision-ECCV 2006［M］.Berlin:Springer,2006:430-443.

［10］LOWE D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision,2004,60(2):91-110.

［11］BAYA H,ESSA A,TUYTELAARSB T,et al.Speeded-up robust features(SURF)［J］.Computer Vision and Image Understanding,2008,110(3):346-359.

Abnormal Crowd Behavior Detection Based on Corner Kinetic in Video

LU Peng,LIANG Yu,CHEN Shu-wei
(School of Electrical Engineering,Zhengzhou University,Zhengzhou 450001,China)

In order to improve the performance of real-time and detection accuracy,this paper presents a method to detect abnormal crowd behavior using corner kinetic.First,the optical flow of FAST corners is calculated using Pyram id Lucas-Kanade optical flow method and the moving corners are selected.Then,the corners are clustered using k-meansmethod and the normal corner kinetic adaptively.The local abnormal degree is defined as the ratio of the average kinetic energy of the corner in each class with the normal.The global abnormal degree is the sum of the local abnormal degrees.Finally,it is believed as abnormal behavior if the global abnormal degree is greater than the threshold;otherwise,it is considered as normal behavior.Experimental results show that themethod can detect different abnormal behavior with higher real-time performance than Harris corners,SIFT and SURF and higher detection accuracy than optical flow method,social force model and graph analysismethod.

abnormal crowd behavior;k-means;corner kinetic;abnormal degree;adaptive

TP391.41

A

10.3969/j.issn.1671-6833.2015.03.005

1671-6833(2015)03-0020-05

2015-02-06;

2015-03-28

国家自然科学基金资助项目(61172152)

途鹏(1974-),男,河南滑县人,郑州大学副教授,博士,主要研究方向为智能系统、模式识别技术,E-mail:lupeng@zzu.edu.cn.