基于KPCA和结构化支持向量机的视频目标跟踪

龙君芳,马琳娟,李庆珍

(1.广东培正学院 数据科学与计算机学院,广东 广州 510000; 2.北京理工大学 计算机学院,北京 100081;3.中国政法大学 数据法治研究院,北京 102249)

视频目标跟踪技术作为计算机视觉技术的重要分支,其在自动驾驶、平安城市等多个领域得到广泛应用。目标跟踪通过对视频目标数据按帧进行图像样本获取,并通过相邻帧图像数据上下文和内部关联度进行图像特征分析,进而完成对目标的运动预测和定位分析。

在视频目标跟踪研究中,特征提取和目标识别是目标跟踪的核心环节[1],前者需要对标定的图像样本进行特征提取,而后者需要根据特征进行分析归纳获得所标定的图像识别结果。近年来的研究中,特征提取方面主要是采用多种降维方法来进行特征优化处理,以降低数据维度和冗余度,目标识别大多采用支持向量机和神经网络算法来完成。

当前,关于视频目标跟踪的研究较多,张海涛等[2]采用网格统计与误匹配剔除相结合的方法用于单目标跟踪,其对复杂背景的目标识别度较高,但跟踪速率有待改进;刘耀胜等[3]采用深度学习算法用于视频目标识别,并采用特征融合进行图像特征优化,其可实现对卫星视频目标的跟踪,但跟踪精准率有待进一步优化。核主成分分析(Kernel principal component analysis,KPCA)是一种将线性PCA扩展到非线性情形的方法。在视频目标跟踪领域中,KPCA具有更好的非线性建模和更高的识别准确性,能够更好地适应非线性数据。相比于传统线性PCA,KPCA可以描述更多的非线性特征,因为它将特征空间映射到一个高维或无限维的特征空间中,从而更好地适应视频目标跟踪中的非线性关系。

此外,在视频目标跟踪领域中,结构化支持向量机(Structured support vector machine,SSVM)可以用于建立目标的结构化模型,通过对目标的约束进行学习来提高跟踪效果。而KPCA则可以用于提取目标的非线性特征,从而能够更好地把握目标的变化。两者相结合,可以在跟踪中考虑目标的结构和非线性特征,并对其进行优化,从而提高跟踪效果。因此,本文采用KPCA用于图像特征优化,以获得更有价值的目标图像样本,并采用SSVM用于目标分类,从而获得了KPCA-SSVM算法。在根据分类结果完成目标识别和跟踪后,KPCA-SSVM算法的目标跟踪成功率高,且跟踪效率高,有较强的研究价值。

1 结构化支持向量机

1.1 经典支持向量机

支持向量机作为经典分类方法之一,其实现过程并不复杂,设样本(xi,yi),i=1,2,…,n满足条件

yi(wTxi+b)-1≥0i=1,2,…,n

(1)

式中:wT和b分别为权重与偏置。

则求解SVM的目标函数为[4]

s.t. ∀i:yi(wTxi+b)≥1-ξii=1,2,…,n

∀i:ξi≥0i=1,2,…,n

(2)

式中:C和ξi分别为惩罚和松弛因子。

令φ(w)=1/(2‖W‖2)=1/2(wTw),根据对偶规则,进行拉格朗日转化[5]

(3)

式中:ai为常量系数。

对(3)式中的w和b求偏导得

(4)

求解Q(a)最大时所对应的a,记为a*,则

(5)

根据求解的最优w和b值,一般将sgn( )作为映射函数,得到稳定的SVM模型[6]

f(x)=sgn((w*)T+b)

(6)

1.2 结构化支持向量机

在进行图像目标的结构化特征分类时,由于图像特征的差异性及结构性,采用SVM分类的效果并不理想,而SSVM正好弥补了SVM的不足之处。传统SVM仅能处理向量形式的数据,而SSVM可以对具有结构化形式的数据进行分类。

SSVM的分类过程中可以引入多种复杂约束条件,例如转移约束(对目标的移动进行控制)、部件约束(对目标不同部分之间的位置关系进行约束)等。下面将对SSVM进行数学描述。设样本(xi,yi),i=1,2,…,n满足条件[7]

s.t. ∀i:∀y≠yi,yi(wT(Φ(xi,yi)-

(7)

(8)

此时,对目标的定位可变为回归问题。

(10)

(11)

根据对偶规则

(12)

对L(w,ξ,α,β)进行求导

(13)

(14)

根据式(13)和(14),便可以获得稳定的SSVM模型。

2 基于KPCA和SSVM的视频目 标跟踪

2.1 基于KPCA的映射处理

设视频图像信号x={x1,x2,…,xn}经过映射,Φ:L→F,F空间的x空间满足[9]

(15)

F中的协方差矩阵

(16)

对CF进行特征向量分析[10]

λV=CFV

(17)

式中:λ为特征值,V为特征向量。

(18)

存在系数列向量α=[α1,α2,…,αn]T

(19)

代入式(19),并左乘Φ(xi)T[11]

(20)

设n×n维矩阵K

(K)i,j=Φ(xi)TΦ(xj)=K(xi,xj)

(21)

代入(19)式得[12]

λnKα=K2α

(22)

(22)

经过内积转换为[13]

(23)

K′=K-InK-KIn+InKIn

(24)

2.2 基于KPCA-SSVM的视频目标跟踪流程

首先,获得待跟踪的视频图像样本,通过KPCA进行映射优化,获得经过KPCA处理后的图像特征。接着建立SSVM特征分类模型,根据SSVM的目标分类结果确定目标属性,从而完成视频目标跟踪,具体流程如图1所示。

图1 基于KPCA-SSVM的视频目标跟踪流程

3 实例仿真

为了验证KPCA-SSVM算法在视频目标跟踪的性能,进行实例仿真,数据集如表1所示。首先,对表1中的4类样本集进行KPCA-SSVM进行目标跟踪仿真;其次分别采用SSVM和KPCA-SSVM算法对表1视频集进行性能仿真;最后将3类视频跟踪算法和本文算法进行性能对比。

表1 视频集

3.1 基于KPCA-SSVM的视频目标跟踪性能

分别对4类样本集进行KPCA-SSVM的跟踪性能仿真,验证不同类别阈值情况下的跟踪性能。

从图2可以得,KPCA-SSVM算法对于4种视频集的跟踪精准率在阈值[0,50]范围内快速提升,在阈值为40时逐渐趋于稳定,4种视频集的稳定精准率大约保持在0.9,从曲线上看,GOT-10k和OTB100集的视频跟踪精准率曲线重叠度高,而VOT2018和UAV集的精准率曲线相近。

图2 基于KPCA-SSVM的跟踪精准率

从图3知,当视频目标与背景或其他目标的重叠度增加时,其跟踪的成功率下降明显,从下降的速率来看,相比其他3种视频集,GOT-10k集对目标重叠度的影响最不敏感,当跟踪目标与其他目标全部重合时,KPCA-SSVM算法对视频目标的跟踪失败。

图3 基于KPCA-SSVM的跟踪成功率

综合图2和3,高精准率和高成功率的性能是无法同时满足的,只能在两者之间寻求平衡,合理设置阈值条件。除了以上2个指标,平均重叠率和跟踪速度也是视频目标跟踪的2个重要参数,其性能如表2所示。

表2 KPCA-SSVM的跟踪性能

从表2知,4种视频集的跟踪重叠率保持在[0.76,0.81]之间,这表明KPCA-SSVM算法在视频目标跟踪预测的目标边框和标注框的重叠程度较高,其自适应跟踪目标的性能较强。而4类视频集的跟踪速度保持在约30帧/秒。

3.2 基于SSVM和KPCA-SSVM的视频目标跟 踪性能

为了验证KPCA对SSVM的视频目标跟踪性能影响,分别采用SSVM算法和KPCA-SSVM算法对4类视频集进行跟踪性能仿真。

从图4知,经过KPCA对视频目标特征进行处理后,采用映射后的特征进行SSVM对目标分类完成目标追踪,其追踪精准率有明显提升,这是因为视频目标特征的KPCA后,降低了多维特征相关性,同时降低了视频噪声信号对原视频目标特征的干扰,从而有效提高了SSVM对视频目标的跟踪精准率。

图4 SSVM和KPCA-SSVM的跟踪精准率

从图5知,经过KCPA的特征处理后,SSVM的视频目标跟踪成功率也有较大上升,这主要是因为KPCA的视频目标特征处理后,其特征维度降低了且特征冗余得到优化,因此SSVM的跟踪分类更有效了,更容易追踪到所需目标。

图5 SSVM和KPCA-SSVM的跟踪成功率

从表3得,相比于SSVM,KPCA-SSVM算法的平均重叠率及跟踪速度均有较大提升,其中KPCA-SSVM相比于SSVM在4类视频集的平均重叠率分别提升了15.95%、12.84%、14.39%和14.50%,而跟踪速率分别提升了81.25%、54.16%、73.68%和70%,这说明采用KPCA对视频目标特征进行优化后,SSVM算法的跟踪速率性能改善更明显,这主要是视频目标原始特征的维度高及相关度高给SSVM的分类带来了大量运算,从而降低了SSVM的视频目标跟踪效率,而采用KPCA后,视频目标特征维数得到有效控制,且冗余特征进行滤除后,SSVM需处理的数据特征量降低了,从而有效提升了跟踪速率。

表3 SSVM和KPCA-SVM的跟踪性能

3.3 4种算法的目标跟踪性能对比

为了进一步对比KPCA-SSVM算法和其他视频目标跟踪算法的性能,分别采用SVM-Meanshift算法[14]、FasterMDNet算法[15]、RT-MDNet算法[16]和KPCA-SSVM算法进行4类视频集的性能仿真。

从表4～7得,对于4类视频集,KPCA-SSVM算法的4项指标性能均优于其他3种算法,而其他3种算法在单项指标中各有优劣,其中从视频跟踪速率来看,SVM-Meanshift算法仅次与KPCA-SSVM,远高于FasterMDNet和RT-MDNet,这主要是SVM的分类效率一般均高于MDNet的网络优化,而RT-MDNet除了速率不高之外,其他3项指标均高于SVM-Meanshift和FasterMDNet,对比发现,本文算法较好地解决了视频目标跟踪准确率和速率的双重优化问题。

表4 4种算法的跟踪性能(GOT-10k集)

表5 4种算法的跟踪性能(VOT2018集)

表6 4种算法的跟踪性能(UAV集)

表7 4种算法的跟踪性能(OTB100集)

4 结束语

本文采用SSVM算法用于视频目标跟踪,并采用KPCA进行视频目标特征降维和冗余度优化,较好地提升了SSVM的视频目标跟踪适应度,KPCA-SSVM算法在4类公共视频集的跟踪研究中,均获得了较高的跟踪性能。后续研究将从SSVM的优化求解角度出发,考虑采用智能算法对SSVM的核心参数进行优化求解,以进一步提高KPCA-SSVM算法在视频目标跟踪应用中的适用度。