基于宽深融合神经网络的雷达HRRP目标识别

李显丰

(西安电子工程研究所 西安 710100)

0 引言

雷达是利用无线电对目标进行探测和测距的电子设备。雷达目标识别的基本原理是利用雷达回波中的幅度、相位、频谱和极化等特征信息,通过多维空间变换来估算目标的大小、形状和表面层的物理特性参数,最后根据鉴别函数,在分类器中识别[1]。

与复杂的二维成像技术相比,获取一维距离像更为容易,当雷达发射并接收窄脉冲或宽带信号,其径向距离分辨率远小于目标尺寸,目标可以模型化为各自独立的散射中心的集合,这些散射中心在雷达径向距离上的分布情况便称为一维距离像,基于高分辨一维距离像的雷达目标识别已经成为近年来国内外的研究热点[2]。

深度学习特征表达能力超强,可对复杂任务建模,然而其结构复杂,训练时间长,层数和参数增加导致难以训练。继深度学习之后,陈俊龙教授在2018年提出了宽度学习系统(Broad Learning System, BLS)[3]。BLS从输入数据产生映射特征,从映射节点产生增强节点,将两种节点进行合并,然后直接连到输出端。

宽度学习通过增加神经节点来实现横向扩展,可利用伪逆更新输出权值。宽度学习系统能迁移到其他网络,是一种高效且灵活的模型,其用到了快速增量学习算法,能够解决数据量和数据维数增长引发的困扰[4]。宽度学习拥有结构简单、速度快、学习性能高等诸多优势。

1 相关知识

1.1 步进频率脉冲信号

步进频率信号(Stepped-Frequency Waveform , SFW)是一种宽带雷达信号。步进频率信号是通过相参脉冲合成的方法来实现其高距离分辨率的,其基本过程为:依次发射一组单载频脉冲,每个脉冲的载频均匀步进;在接收时对这组脉冲的回波信号用与其载频相应的本振信号进行混频,混频后的零中频信号通过正交采样可得到一组目标回波的复采样值,对这组复采样信号进行离散傅立叶逆变换(IDFT),则可得到目标的高分辨率距离像(High Resolution Range Profile , HRRP)[5]。

步进频率脉冲信号具有很高的距离分辨率,常用于对目标进行成像。当雷达发射信号带宽足够大时,雷达的径向距离分辨力远小于目标尺寸,目标在雷达的径向距离轴上将占据若干个距离分辨单元,此时雷达回波就是由多个目标散射点子回波组成,同时回波中所呈现的结构反映了目标散射点的分布情况,可用于目标识别。

1.2 数据集

本论文研究的数据为雷达目标的一维距离像数据集。

高分辨率距离像(HRRP)是用宽带雷达信号获取的目标散射点子回波在雷达射线上投影的向量和的幅度波形, 它提供了目标的几何形状和结构特点。一维距离像实际为目标上各距离单元的散射强度分布图[6]。

图1 M1A2坦克的一维距离像

在高频区,目标的棱角,凹处,图曲面或者镜面处往往有较大的散射和反射。每个散射源在不同的频率点下的回波特性也不同。通过对目标回波进行相参处理,能提取出目标的频率响应特性,对其进行逆傅立叶变换可获得目标的高分辨距离维分布函数,它的幅度函数就是距离像。

本次采集到的数据集包含八类目标,分别是四种坦克:M1A2、T59、T96、T99,还有变压电箱、防控单元、高压线塔和民用卡车。每类目标有2000个左右的样本,总样本数量为16865个,每个样本都包含经归一化处理的64个维度,标签为类别名称。

1.3 深度学习概述

深度学习可利用输入、隐藏和输出层的多层网络逼近和拟合复杂变换,不同网络可对不同类型数据提取特征,所以它识别数据的能力非常强,效率也高。深度神经网络的结构如图2所示。

图2 深度神经网络

深度学习凭借其强大的网络结构和特征提取能力以及复杂的非线性映射,在语音识别、自然语言处理、图像识别和个性化推荐等领域取得了众多成就[7]。然而深层网络的训练要有大量数据,在小规模数据或缺少数据标签的任务中性能较差。深度神经网络模型复杂,计算量大,训练过程耗时,要建立在高性能平台上,限制了其大规模应用。

1.4 宽度学习概述

澳门大学陈俊龙教授设计出了宽度学习系统(Broad Learning System,BLS),它以扁平网络形式增长,有增量学习的能力。BLS结构简单,速度快,学习能力高效,其网络结构如图3所示。

图3 宽度学习系统

BLS可加入新数据快速高效地更新参数,不需要重新训练。为获得更紧凑的输入数据特征,BLS将随机映射用于建立增强节点。在扩展增强节点与增加映射节点的假设下,构建了宽度学习的网络模型[8]。将宽度学习与浅层学习、深度学习的对比如表1所示。

表1 浅层、深度和宽度学习的比较

可知,宽度学习简单的结构和较少的参数量解决了深度学习的困扰,算法明显加快。宽度学习能有效分析目标大数据,在多种场景中能灵活应用,具有良好的潜在价值[9]。

2 基于深度学习的雷达目标识别

2.1 深度学习模型

深度学习的权重可由BP算法学得,由于非线性激活函数的特性,要用到迭代优化算法逐步搜索参数,不断优化。无监督逐层特征学习方法在后来代替了深层网络初始值的确定需要依靠随机初始化,参数学习过程为:第一,进行预训练,利用无监督学习的模式逐步使用未标注的数据,自动学习网络参数,从输入数据中挖掘深层特征;第二,精细调整模型,纳入被标注的数据,结合传统的学习算法如BP反向传播算法,使用有监督的学习模式精准调参。这就可以让网络从结构化数据中学到与任务相关的信息。

若参数太多,训练样本太少,最后训练的模型容易过拟合。为防止发生过拟合现象,采用dropout修剪网络,部分神经元被随机剪除,不参与训练,如图4所示。

图4 应用dropout之后的DNN

经前向计算得到输出层的预测值。设置损失函数loss,用交叉熵代价函数来衡量预测和实际输出值之间的差距,可加快收敛速度。交叉熵代价函数为

(1)

训练过程通过反向传播修改参数,达到减小损失代价的目的。用梯度下降调参时,沿梯度方向调整。也可采用Adam算法来优化loss,设置变学习率,最后计算准确率。

2.2 实验设置

本文针对雷达目标的一维距离像数据集进行了分析。所使用的设备配置为16G内存,Inter(R) Core(TM) i7-9700的主频为3.0GHz的8核CPU。

在深度网络模型的构建中,设置batchsize为100,构建5层神经网络,训练迭代50次,激活函数用sigmoid,训练集数量与测试集数量的比值为4∶1,采用交叉熵代价函数作为loss,优化loss用Adam算法,设置学习率为0.001,其衰减速率为0.95。将一维距离像数据作为输入数据,目标类别作为输出标签,得到了训练准确率与测试准确率随迭代次数的变化曲线,如图5所示。

图5 准确率变化曲线

可见,在训练迭代到第50次时,训练准确率达到了99.87%,测试准确率达到了98.69%,所耗时间为406.96s。

尽管深度学习有很高的分类准确率,然而其模型的构建与调试比较复杂,因搭载深度学习需要高性能的计算平台,且所依赖的机器学习库和深层模型框架的集成度很高,开发难度大,将深度学习用于雷达目标识别的工程实现还存在一定的距离。

3 基于宽度学习的雷达目标识别

3.1 基本的宽度学习系统

宽度学习系统(BLS)的构建方式为:起初,根据输入数据产生映射特征,计算出特征节点(Feature Nodes);接着,基于映射特征,扩展计算出随机生成权重的增强节点(Enhancement Nodes)。最后,将所有的特征节点和增强节点连接到输出层[10-11]。

在BLS中将映射特征作为随机向量函数链接神经网络(RVFLNN)的输入,BLS可以看作是RVFLNN的一个推演算法[12]。RVFLNN的结构如图6所示。

图6 随机向量函数链接神经网络

RVFLNN模型是一个浅层网络模型,其思路就是将原始的输入数据简单映射之后,再作为另一组的输入,与原先的输入数据一起作为输入训练得到输出,将其变化成如图7所示的形式。

图7 将随机向量函数链接神经网络变换

BLS的基本结构就类似于图7,它的输入矩阵A由映射和增强节点组成,记映射节点为Z,由原数据矩阵经线性计算和非线性变换得到:

Zi=φ(XWei+βei),i=1,…,n

(2)

其中,W和β矩阵是随机产生的,可以将n次映射变化得到的映射节点记为Zn=[Z1,Z2,…,Zn]。增强节点是由映射节点经过线性计算和非线性激活变换得到的:

Hm≡ξ(ZnWhm+βhm)

(3)

因此,BLS的模型可以表示为

Y=(Z1,…,=Zn∣H1,…,Hm)Wm
=(Zn∣Hm)Wm

(4)

3.2 岭回归的伪逆算法

伪逆是BLS用于求解网络输出层权重W的方法。

W=(Zn∣Hm)+Y=A+Y

(5)

求解伪逆的计算公式利用到了岭回归近似法,可以通过求导解决。

首先,求输出层权重可以看作是求解一个岭回归最优化问题,形式为

(6)

这里的u,v表示的是一种范数正则化,λ是正则化参数,当σ1=σ2=u=v=2时,式(6)就是一个岭回归模型。其中,第一项为最小二乘项,表示模型损失函数。第二项是正则化项,控制模型复杂度,提高泛化能力,降低过拟合风险,惩罚因子λ是控制W的大小。随着λ增大,模型方差会减小,偏差会增大,因此要合理选择λ值来平衡模型的方差和偏差[13]。利用式(6)对W求导,得到:

2AT(AW-Y)+2λW

(7)

令导数为零,则得到极值,即连接权重W的最优值为

W=(λI+AAT)-1ATY

(8)

因此,输入数据A的伪逆为

(9)

这个公式就是伪逆求解方法。

3.3 实验设计及结果分析

本章将宽度学习用于雷达高分辨率一维距离像数据的分析,将其作为多类目标识别任务的分类器。实验所使用的设备配置为16G内存,Inter(R) Core(TM) i7-9700的主频为3.0GHz的8核CPU。设batchsize为10,映射特征层和增强特征层的激活函数均采用relu,测试集的数据量占比为20%,多次训练并取每十次结果的平均值,部分实验记录如表2所示。

表2 不同节点的实验表现

总体而言,增加宽度学习系统的网络节点确实可以提高模型的预测准确率,同样训练模型所需要的时间逐步增长。

测试神经网络常用MNIST数据集,实验可表明在分类准确率和速度方面,BLS比其他算法有更好的性能,结果如表3所示。很多深层神经网络在高性能计算机下进行迭代几百次的训练要花费几十个小时甚至几天时间,但BLS可短时间方便构建,在普通计算机中也能做到同样的效果[14]。

表3 多种算法对MNIST数据集进行分类的结果

既然宽度学习系统在准确率不输于众多神经网络的前提下,运行时间可以缩短到29s,那么说明它有非常巨大的潜在应用价值。

本文的BLS算法旨在为深度学习和结构研究提供一种新的方法。这种可以快速求解连接权重的算法相对于深度学习的反向传播多次迭代缩小代价函数来拟合逼近的方式,大大缩短了模型的训练时间。

在雷达领域的应用方面,相较于深度学习多用GPU来进行实现,宽度学习对计算平台的性能并没有太高的要求,也不需要高度集成的深度学习框架来进行模型的搭建,在雷达智能化的道路上,可以便捷地进行智能算法的应用探索,为日后的更高性能算法的工程实现做理论和技术的铺垫。

4 基于宽深融合神经网络的雷达目标识别

传统机器学习模型简单,可解释性强,但预测表现相对较差。深度学习预测能力强,但结构复杂,容易过拟合。集成学习虽简单易行,但需手动集成多个模型的预测结果,非常依赖专家经验,也增加工作量和计算量。将宽度学习与深度学习融合可优势互补。

4.1 宽深并联学习网络

深度神经网络从难以结构化的原始数据中直接学习特征,将深度模型的最后一个隐层和宽度模型输入层的特征进行合并,再经过线性转换,输出预测结果。这样,宽度学习模型和深度学习模型合并成了一个模型,以进行端到端的训练[15-16]。两部分模型具有一定的互补性,深度部分从非结构化数据中捕捉关键特征,提升预测能力;宽度部分学习结构化数据的特征,通过线性变换来中和深度模型的复杂度,一定程度上起到了正则作用,降低模型过拟合的风险,并增强了模型的可解释性[17]。

宽度部分是线性模型,具有y=wTx+b的形式,y是预测结果,x是多个特征的矩阵,w是权重,b是偏差。将原始特征进行交叉积得到的新特征向量为变换特征:

(10)

其中,cki是一个bool型变量,当且仅当第i列特征属于选择的变换特征Zk时值为1,否则为0。对于二进制特征,当且仅当所有组成特征都为1时值为1,否则为0。

深度部分是个由输入、隐含和输出层构成的前馈网络。在训练时,随机初始化参数,优化损失函数来调参。在每个隐含单元中将按照式(11)计算输出:

a(l+1)=f(W(l)a(l)+b(l))

(11)

其中l代表深层网络的层号,W(l),a(l),b(l)分别代表第l层网络的模型权值,输出及偏差,f为激活函数。

在构建完宽度和深度两部分之后,就可以合并为一个模型。在训练时将同时对两部分的权值优化参数,进行联合训练[18]。利用mini-batch随机优化方法将输出梯度反向传播到宽度和深度两部分来联合训练。用FTRL算法及带L1正则化来优化宽度部分,用AdaGrad优化深度部分[19]。预测值为

(12)

其中:x为宽度部分输入的原始特征;z(x)为宽度部分输入的经过交叉积变换得到的变换特征;alf为深度部分最后一层的输出;WB和WD分别代表了宽度和深度部分的权值;b为偏置;σ为Sigmoid函数;Y为网络输出。

在谷歌“宽度&深度学习”框架的研究基础上,更换原有模型的宽度部分为宽度学习系统的输入层,就可形成宽深并联学习网络,如图8所示。将宽度和深度模型分别设计后,再次作为两种输入,宽度模型乘它的权重WB后,再加上深层模型乘它的权重WD,最终加偏置B,经由激活函数,生成输出项Y为

图8 宽深并联学习网络

Y=φ(XBWB+XDWD+B)

(13)

相比传统的集成学习算法需要分别用不同的模型进行训练,采用宽深并联学习网络可大大减少算法的复杂度,减少训练时间。

4.2 深度增强层的宽度学习系统

将宽度学习系统的基本结构改进,串联增强节点,在增强节点的基础上增加隐含层,扩充深度结构,这样就成为深度增强层的宽度学习系统[20]。如图9所示。

图9 深度增强层的宽度学习系统

由原始数据X经非线性变换φ(XWei+βei)得到映射节点Zi,其中的Wei和βei矩阵都随机产生,将经历了n次映射计算得到的映射节点记为Zn=[Z1,Z2,…,Zn]。增强节点Hj是由映射节点经非线性变换ξ(ZnWhj+βhj)得到的,同样的,随机产生Whj和βhj。

深度增强层的宽度学习系统会在增强节点的基础上多次增加隐含层,形成拥有多层增强层的深度结构[21]。每层增强层的生成方式为

HK=σ(HK-1Whk+βhk)

(14)

其中:HK代表当前增强层;HK-1代表上一个增强层;K从2开始取。σ为激活函数,Whk和βhk是随机产生的。

该模型可表示为

Y=(Z1,…,Zn∣HK)W=(Zn∣HK)W

(15)

其中W为输出层的权值矩阵,最终输出层的输入A为

A=(Zn∣HK)

(16)

在求解权重W的过程中,通过岭回归的伪逆算法求解A矩阵的伪逆A+为

(17)

所以,W的结果为

W=A+Y=(Zn∣HK)+Y

(18)

4.3 深层宽度学习系统

深层宽度学习系统根据输入数据形成映射特征,并使用映射特征创建增强节点。将映射特征和增强节点连接起来作为输入层,输入层的输出以前馈的方式作为深层神经网络隐含层的输入。输入数据X通过φ(XWei+βei)生成映射特征Zi=[Z1,Z2,…,Zi]。映射特征通过ξ(ZnWhj+βhj)生成增强节点Hj=[H1,H2,…,Hj]。隐含层与输出层之间的权重用V表示,利用岭回归法计算伪逆[22]。深层宽度学习系统的网络结构如图10所示。

图10 深层宽度学习系统

图11 模型训练迭代500次的结果

将n个映射特征,和m个增强特征拼接作为输入层[Z1,…,Zn|H1,…,Hm],输入层的输出作为对隐含层U的输入,输出矩阵由Y表示,隐含层U的计算见式(19)所示。

U=[Z1,…,Zn∣H1,…,Hm]Wm=[Zn∣Hm]Wm

(19)

其中Wm是输入和隐含层之间的权值,V是隐含层与输出层之间的权重,V=U+Y。

U为输入层输出产生的维数为(n+m)×m的矩阵,V为输出权值矩阵,Y为有输出标签的向量。

(20)

其中,u,v,σ1>0,σ2>0为范数正则化。式(20)通过σ1=σ2=u=v=2成为正则L2范数正则化。当λ= 0时,转化为最小二乘问题。若λ→∞,解趋于0。因此得到:

V=(λI+UUT)-1UTY

(21)

隐含层的伪逆如下:

(22)

最终计算输出权重V的数学公式为

V=U+Y=[[Zn∣Hm]Wm]+Y

(23)

4.4 实验设计及结果分析

宽深并联学习网络的深度部分设计了5层,激活函数采用relu,测试集占20%,将均方误差函数用作损失函数,用随机梯度下降法来优化,得到准确率accuracy随迭代次数变化的曲线图,最后调用估计器,得到了测试准确率。训练准确率为99.12%,测试准确率为98.58%,运行时长141s。

深度增强层的宽度学习系统,设置batchsize为100,激活函数选用非线性的tanh双曲正切函数,测试集占比20%。设置节点数量多次训练,采用五折交叉验证。实验结果如表4所示。第一列为映射节点数量,第一行是多个增强层的节点数量,得到预测的准确率和时间。由此可知,当节点数量越多时,分类准确率越高,训练过程越耗时。

表4 不同MF和ENs对应的准确率和时间

最后将深层宽度学习系统用于雷达HRRP数据集的分析,batchsize为10,将tanh函数用作激活函数,搭建3层隐含层。当映射节点为3000,增强节点为8000时,不同隐含层神经元个数的实验结果如表5所示。

表5 不同Hidden nodes的实验结果

可见,当映射节点和增强节点一定时,隐含层的神经元数量越多,深层宽度学习系统的分类准确率越高,但同时所需要的训练时间也越久。

以上分别设计了将宽深并联学习网络、深度增强层的宽度学习系统和深层宽度学习系统这三种宽深融合算法运用于雷达HRRP数据集进行目标分类实验,联系到前两章的实验结果,总结各种算法模型的性能如表6所示。

表6 各种算法的性能对比

由此可见,宽度学习的准确率虽无法达到深度学习那样的高度,可训练模型所需要的时间确实能大幅缩短。在BLS中,特征和增强节点的权值是随机生成和固定的,可以避免修改权值的负担,但会存在一定随机性,影响分类精度。因此需要其与深度学习结合。后来提出的宽深融合算法的性能介于深度学习和宽度学习单个模型之间。

对于本文提出的这些宽深融合算法,即便在一定程度下达到了又快又准的效果,但是也需要权衡准确率和时间的优先轻重关系,既不能为了一味地提高准确率而大量设置数万个节点,造成模型耗时过长;也不能为了节省时间,图方便快捷,使得模型准确率达不到要求。

5 结束语

面对人工智能的兴起和雷达智能化的需求,本文在前人相关研究的基础上,提出了将宽深融合神经网络运用于雷达HRRP目标识别的方法。本文以一维距离像数据为分析对象,介绍了宽度学习的概念和特点,将宽度学习系统运用在了雷达多目标识别任务的分类,通过实验揭示了宽度学习的算法机理,表明了其分类准确率略低于深度学习的情况下,训练可以极大加快且方便随时调整的优势。最后本文将宽度学习与深度学习相结合,提出了三种宽深融合神经网络,实现了识别雷达目标时又快又准的双重优势。在现有的技术和条件下,也便于工程实现。