一种卷积神经网络的优化方法∗

刘 晨 曲长文 周 强 李 智（海军航空工程学院电子信息工程系烟台264001）

一种卷积神经网络的优化方法∗

刘 晨 曲长文 周 强 李 智
（海军航空工程学院电子信息工程系烟台264001）

近年来，卷积神经网络在目标检测、图像语义分割和图像识别领域取得了一系列重大突破性的成果。但是随着检测率的提升，网络结构也在向着更复杂的方向发展。为解决卷积神经网络结构复杂，样本的检测时间过长的问题，论文提出了一种通过特征图之间的差异性对卷积核数目进行优化的方法，通过计算得到最优卷积核数目，降低网络复杂度，从而加快样本检测的速度，提高泛化能力。实验结果表明，该方法在保证准确率的前提下，提升了检测速度。

深度学习；卷积神经网络；卷积核；特征图；手写数字识别

ClassNumber TP183

1 引言

卷积神经网络的发展大致经历了理论提出、模型实现和广泛研究三个阶段：

1）理论提出阶段。Huble和Wiesel在对猫脑皮层的研究中，发现一种可以降低反馈神经网络复杂性的网络结构，进而提出了卷积神经网络。1980年，Fukushima第一次提出了Neocognitron理论模型，该模型是一个自组织的多层神经网络模型，当前层的响应由上一层的局部感受野激发获得，对于模式的识别不受位置、尺度大小和形状微变的影响［1］。

2）模型实现阶段。1998年，Lecun等［2］提出了LeNet 5模型，该模型采用了基于梯度的反向传播算法对网络进行有监督的训练。主要原理是将一幅原始输入图像依次通过卷积层和下采样层，转变成一系列特征图，然后将这些特征图通过全连接的方式与输出进行连接，最终根据图像的输出结果进行分类。卷积层的卷积核完成了感受野的功能，可以将低层的局部区域信息通过卷积核激发到更高的层次。LeNet5模型在手写字符识别领域取得了巨大的成功，引起了学术界对于卷积神经网络的关注。

3）广泛研究阶段。2012年，Krizhevsky等［3］在图像分类竞赛中提出了AlexNet模型，在对大型图像数据库ImageNet［4］的分类中，以准确率超越第二名11%的巨大优势夺得了冠军，使得卷积神经网络成为了学术界的焦点。在AlexNet之后，卷积神经网络得到了快速发展，各种新的卷积神经网络模型相继提出，比如微软的ResNet［5］、牛津大学的VGG［6］，Google的GoogLeNet［7］等，这些网络不断地刷新着对ImageNet分类的准确率。并且，通过传统算法与卷积神经网络的不断相融合，加上迁移学习方法的引入，使得卷积神经网络的应用领域获得了快速的扩展［8~9］。

虽然卷积神经网络目前在手写数字识别上取得了巨大的成功，但是存在的问题也比较突出，包括：1）如何判断哪些层未得到完善的训练；2）什么原因导致这些层没有得到完善训练；3）如何处理未完善训练的层。针对上述问题，本文主要针对卷积层进行评价，判断卷积层是否得到完善训练，对未完善训练的卷积层通过改变卷积核的数目使其得到完善训练结果。

2 卷积神经网络的基本原理

2.1 卷积神经网络基本结构

典型的卷积神经网络由五部分组成：输入层、卷积层、下采样层（池化层）、全连接层以及输出层［10］。如图1所示。

卷积层主要功能是对图像特征进行提取，并且降低噪声的影响。假设卷积层为第l层，下采样层为第l+1层，则第l层第j个特征图的计算公式如下所示：

卷积层之后是下采样过程，因为图像局部之间存在相关性，为降低对数据量的处理，将卷积层中相邻的四个像素进行求和，然后与权重Wx+1相乘再加上偏置bx+1，最后通过一个非线性的激活函数sigmoid，得到Sx+1，结果是一个缩小了四倍的特征映射图。

卷积和下采样过程如图2所示。

卷积神经网络的三个核心思想是：权值共享、局部感受野以及时间或空间下采样。

2.2 卷积神经网络代价函数和BP算法

卷积神经网络采用的是后向传播（Back Propa⁃gation，BP）算法［11~12］对网络的参数进行更新。BP算法是一种常见的监督式学习方法。该算法的原理是计算样本的期望输出与实际输出之间的均方误差作为代价函数，然后将代价函数通过反向传播至各层，最后利用梯度下降法沿着代价函数的负梯度方向调整网络中的偏置和权值等参数。具体步骤如下：

1）通过卷积神经网络进行前向传播，利用前向传导公式，得到l2，l3，…，lnl的激活值。为方便计算，对式（1）写成如下形式：

式中，l表示层数，x表示特征图，w为卷积核，b为当前层的偏置，f为激活函数，z为未经过非线性变换前的输出结果。

2）假设输出结果分为m类，即最后输出为m维数据，将输出值与样本标签之间的均方误差作为代价函数，进而求得第n个样本的代价函数J(w，b;x，y)为

为求取单个样本的代价函数对参数的导数，通过引入灵敏度的概念，然后通过这个灵敏度来求解对参数的导数。定义第l层的灵敏度为

第nl为输出层，根据式（2）、式（3）可计算出输出层的灵敏度为

完成上述代价函数的反向传播后，然后利用梯度下降法，将代价函数对网络中参数求偏导，对参数进行更新，最终使代价函数达到极小值。代价函数J(w，b;x，y)对w(l)和b(l)的偏导计算公式如下：

3 卷积神经网络的优化

3.1 卷积神经网络的参数

以手写数字识别系统为例，假设输入手写数字图片的大小为28*28，第一层卷积层C1有6个特征图，第二层卷积层C3有12个特征图，每个卷积核的大小为5*5，滑动步长为1。网络结构简化图如图3所示。

因此需要训练的参数数目如下：

第一层卷积层C1由6个特征图构成，卷积核的大小为5*5。每个特征图需要训练的参数包括卷积核参数加上偏置的参数，则需训练的参数数目为（5*5+1）*6=156个。共有（28*28）*156=122304个连接。

第二层下采样层S2，为降低需要处理的数据量，特征图大小缩小为原来的1/4，所以第一层下采样层由6个12*12的特征图组成。

第三层卷积层C3，采用的卷积核大小仍为5* 5，经过卷积操作得到8*8的特征图，为防止漏掉特征，这层的卷积核数目应多于卷积层C1，一般为上一层的2倍，所以卷积层C3有12个特征图。因此第三层需要训练的参数数目为（5*5+1）*6*12= 1872个。

第四层为下采样层S4，连接方式与下采样层S2类似，最后生成12个4*4大小的特征图。

最后一层为全连接层，将输出特征与输出结果之间通过全连接方式连接得到输出结果。

3.2 卷积神经网络的结构优化

通过上面卷积神经网络的结构参数可以看出，网络结构的搭建过程缺乏具体的理论指导，卷积核数目的选择往往根据输入图像大小以及其它网络的参考而决定的，目前并没有一种评价方法对卷积核数目的选取是否最优做出一个较好的评价，这限制了卷积神经网络的发展。

实际上，一幅图的特征数目是有限的，过多的卷积核并不能得到更多的特征，过多的卷积核会使提取的特征之间存在冗余，这不仅增加了训练参数的数量并且也会降低网络的泛化能力和检测的准确率；过少的卷积核又会致使提取的特征不足，不能提取到充分的特征，进而影响检测的准确率。因此通过计算每个特征图之间的差异性，优化卷积核的数量，进一步提高样本检测的能力。

以手写数字为例，卷积过程中每个卷积核是一个大小为5*5的矩阵，通过计算任意两个卷积核之间相似度来优化卷积核的数目。但是从网络结构来看，第一层卷积层连接相对简单，可以轻松地直接通过卷积核来进行计算，但是第二层卷积层的结果由前一层下采样层的多个特征图联合得到，连接方式也比较复杂，仍然采用针对卷积核的计算方式比较麻烦，因此，提出一种通过对比卷积层获得的特征之间的差异来优化卷积核的方法，我们定义一个相似度参数E，通过计算E的大小来优化卷积核。计算公式如下：

式中，E为两个卷积核的相似度参数，A和B分别为任意两个卷积层特征图对应的矩阵，i，j表示矩阵中相应的元素。

4 实验结果

4.1 实验数据集

为了验证本文方法的有效性，采用的是手写数字库进行实验，该数据集包含了70000张28*28的手写数字图片，用其中的60000张图片对网络结构参数进行训练，10000张图片用来对训练好的参数进行测试。网络结构采用的是DeepLearnToolbox中的卷积神经网络结构，如图3所示。

4.2 结果与分析

在原结构模型上，第一层卷积层有6个特征图，因此需要训练6个不同的卷积核，计算得到每两个特征图之间的相似度参数E，结果如表1所示。

表1 原始结构卷积核之间的相似度参数

可以看出特征图1和特征图3、特征图2和特征图5之间差异性很小，这表明它们之间的相似度很高，证明卷积核之间存在冗余现象，因此我们将卷积核数目减少为5个，再次计算特征图之间差异得到卷积核之间的相似度参数E，计算结果如表2所示。

表2 优化后的5个卷积核之间的相似度参数

从表2中可以看出，特征图1和特征图3之间差异仍然很小，因此再减少一个卷积核结果如表3所示。

表3 优化后4个卷积核之间的相似度参数

从表3可以看出，特征图之间的差异都较大，这表明第一层采用4个卷积核即可对图像的特征完全提取出来，为验证该计算方法是否准确有效，我们通过调整网络结构第一层的卷积核数目，对比以上三种卷积核数目下的网络训练时间、检测时间和错误率，结果如表4所示。

C1卷积核数654 C3卷积核数12 12 12训练时间86.87 72.80 59.00检测时间4.10 3.55 2.80错误率11.13% 12.02% 11.33%

从表4可以看出，经过优化后的网络，错误率有较小提升，但是训练时间和检测时间得到了较大的提升。

通过以上方法对第二个卷积层的卷积核数目进行优化，若卷积核之间的相似度参数数值小于1，我们即对它再次进行优化，直到卷积核之间的相似度参数都大于1，最终得到第二层最优卷积核的数目为7，实验对比结果如表5所示。

表5 第二层不同卷积核数目的结果对比

从表5的对比结果可以看出，卷积核的数目与检测识别率之间并不是一个简单的正比关系，过多的卷积核可能导致提取的特征并不具有泛化能力，进而影响网络的性能。随着对准确率要求的提升，网络结构必将向着更加复杂的方向发展，然而网络结构的加深，相应地对网络结构的优化算法也提出了更高的要求。该方法可以对网络的卷积核数目选取是否达到最优做出一个较好的评价，尤其是针对低层的网络有更好的优化效果，在保证准确率的条件下降低了网络的检测时间。

5 结语

针对卷积神经网络结构问题，本文提出了一种通过计算特征图之间的差异性，对卷积核数目进行优化的方法。通过计算任意两个卷积核之间的相似度参数，若差异较小，则证明卷积核之间的相似度较高，卷积核之间存在冗余。减少卷积核的数目，进而达到优化网络结构、提升网络的检测速度。结果表明，在手写数字识别过程中，优化卷积核的数目，错误率下降的同时，检测速度提高了近1倍。实验结果说明本文方法有助于对网络结构是否达到最优作出一个较好的评价，进而实现对卷积神经网络结构的优化。

［1］李彦东，郝宗波，雷航.卷积神经网络研究综述［J］.计算机应用，2016，36（9）：2508-2515.

［2］LECUN Y，BOTTOU L，BENCIO Y，et al.Gradi⁃ent-based learning applied to document recognition［J］. Proceedingsof the IEEE，1998，86（11）：2278-2324.

［3］KRIZHEVSKYA，SUTSKEVER I，HINTONCE.ImageN⁃et classification with deep convolutional neural networks［C］//Proceedings of Advances in Neural Information Pro⁃cessing Systems.Cambridge，MA：MIT Press，2012：1106-1114.

［4］DENG J，DONG W，SOCHER R，et al.ImageNet：a large-scale hierarchical image database［C］//Proceedings of the 2009 IEEEConferenceon Computer Vision and Pat⁃tern Recognition.Washington，DC：IEEEComputer Soci⁃ety，2009：248-255.

［5］HE K，ZHANC X，REN S，et al.Deep residual learning for image recognition［EB/OL］.2016：770-778.

［6］SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition［EB/OL］.［2015-11-04］.

［7］SZECEDY C，LIUW，JIA Y，etal.Going deeperwith con⁃volutions［C］//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Washington，DC：IEEEComputer So-ciety，2015：1-8.

［8］WANG B，PAN F，HU K M，et al.Manifold-Tanking based retrieval using k-regular nearest neighbor graph［J］.Pattern Recognition，2012，45（4）：1569-1577.

［9］ACHANTA R，HEMAMIS，ESTRADA F，etal.Frequen⁃cy-tuned salient region detection［C］//CVPR 2009：Pro⁃ceedings of the 2009 IEEE Conference on Computer Vi⁃sion and Pattern Recognition.Washington，DC：IEEE Computer Society，2009：1597-1604.

［10］尹宝才，王文通，王立春.深度学习研究综述［J］.北京工业大学学报，2015，41（1）：48-59.

［11］常亮，邓小明，周明全，etal.图像理解中的卷积神经网络［J］.自动化学报，2016，42（9）：1300-1311.

［12］吴正文.卷积神经网络在图像分类中的应用研究［D］.成都：电子科技大学，2012.

An Op tim ization M ethod of Convolution Neural Network

L IU Chen QU Changw en ZHOU Q iang L IZhi
（Departmentof Electronic and Information Engineering，Naval Aeronautical Engineering Institute，Yantai 264001）

In recent years，convolutional neuralnetwork hasmade a seriesofmajor breakthrough in targetdetection，image se⁃mantic segmentation and image recognition.Butwith the improvement of the detection rate，the network structure is becom ingmore and more complex.In order to solve the problem of complex structure andmuch time in detecting.In this paper，amethod is pro⁃posed to optim ize the number of convolution kernels by the difference between the featuremaps.By calculating the difference be⁃tween the featuremaps，in order to reduce network complexity，increase the detection speed，and improve generalization ability.Ex⁃perimental resultsshow that themethodwill increase the detection speed and ensure theaccuracy rate.

deep learning，convolutional neuralnetwork，convolutional kernel，characteristic pattern，handwritten numeral recognition

TP183 DO I：10.3969/j.issn.1672-9730.2017.05.010

2016年11月3日，

2016年12月20日

刘晨，男，硕士研究生，研究方向：深度学习、SAR图像目标检测与分类识别。曲长文，男，博士，教授，研究方向：信息融合、雷达成像、阵列信号处理、电子对抗等。周强，男，博士，研究员，研究方向：高分辨率雷达信号处理和图像处理。李智，男，硕士研究生，研究方向：SAR图像目标检测、分类、识别。