基于脉冲神经网络的车牌提取算法

陈丽娟

(福建农林大学东方学院，福建 福州　350017)

基于脉冲神经网络的车牌提取算法

陈丽娟

(福建农林大学东方学院，福建 福州350017)

在车牌识别系统中，主要包括车牌提取、字符分割和字符识别，其中车牌提取是非常关键的技术之一，是否精确提取车牌直接影响后阶段车牌图像处理的质量和处理速度、字符识别的精度和速度。本文提出基于脉冲神经网络的车牌提取算法。该算法主要分为两个部分：粗定位和精确定位。首先基于脉冲神经网络对车牌图像进行颜色特征提取，初步定位车牌区域；然后进行图像处理，此过程也是利用SNN进行边缘检测，能得到更好的车牌边缘图。此算法具有较高的定位率，能对各种底色车牌进行定位，有利于后面的字符分割和识别。

车牌提取；脉冲神经网络（SNN）；边缘检测

本文著录格式：陈丽娟. 基于脉冲神经网络的车牌提取算法[J]. 软件，2016，37（9）：39-43

0　引言

随着人们的物质生活水平有了显著的提高，汽车进入寻常百姓家，智能交通系统也逐渐受到人们的关注。车牌识别系统是智能交通系统非常重要的模块之一，车牌自动识别系统具有广泛的应用范围，可以有效缓解高速公路收费站前的车辆堵塞和交通拥挤的情况；也可以有效防止社区用户的车位被占以及车辆被盗；还可应用于道路交通监控、停车场管理系统、交通事故现场勘察、交通违章自动记录等方面[1]，因此车牌识别系统在市场上具有很大的经济价值。

在车牌识别系统中，主要以车牌提取为基础，车牌能否准确提取直接决定了后续字符分割和识别的图像处理与识别的质量与成败。车牌提取[2]是从背景图像中确定车牌所在区域并分割出车牌图像，其提取过程相当复杂，会受车辆背景、车辆运行速度、天气、拍摄视角、噪声、车牌缺损、光照等因素的影响。如何在复杂情况中准确、快速提取车牌的位置成为车牌识别中的难点。

现在车牌提取已经提出了很多方法[14],其中经常用到的是基于黑白图像定位[3]、基于颜色特征算法[4]和基于车牌边缘检测算法[5]。大多数算法都是基于单—特征来进行车牌定位提取．这样的定位方法在确定车牌区域上存在着明显的局限性，受到特定条件的限制。车牌区域主要有以下特征[6]：颜色特征、几何特征、位置特征、纹理特征、灰度跳变特征、投影特征和频谱特征等。车牌和字符的颜色共有五种组合分别为：蓝底白字、黄底黑字、白底黑字、黑底白字以及白底红字，其中一些小型和大型车辆的牌照底色会跟着省份的变化而略有不同。本文综合分析车牌的特征，提出了基于脉冲神经网络颜色特征提取的车牌粗定位和基于脉冲神经网络的边缘检测的精确定位。

1　算法描述及流程

首先输入拍摄的彩色车牌图像，利用SNN对车牌图像进行颜色特征提取，接着经过一系列处理实现车牌的粗定位，然后运用灰度化、边缘检测[12][13]、形态学处理和二值化等技术对粗定位车牌进行处理，再采用行列扫描投影法进行精确定位，最终提取出正确的车牌区域[7]，其中的边缘检测也是基于SNN。基于SNN的车牌定位流程如下图1所示：

图1　车牌定位流程图

2　车牌的粗定位[8]

目前科学家已经提出了不少脉冲神经元模型，比较有代表性的是脉冲响应模型（SRM模型）和累积放电模型(&IF模型)，本文主要介绍的是&IF模型[15]。设神经元为i，为膜电压，其神经元的膜电压的动态方程由下面公式表示：

如果神经元的输入是图像的像素值的话，那么根据公式将像素转换为相应的电流，然后再由电流转换为相应的脉冲序列。如下图2所示为神经元的膜电压与产生的相应脉冲序列随时间变化的关系图。第一行是输入电流，第二行是对应的膜电位，第三行是产生的脉冲序列。

脉冲序列的输入大致可分为两种，一种是相位同步，输入的脉冲越快，其输出脉冲序列频率越大。另一种是相位异步，输入的脉冲越慢，其输出脉冲序列频率越小。利用这种特性，我们可以比较两个信号的相似。同时将这样的特效引申用来匹配两个像素的相似性。后面的基于SNN的彩色图像分割就有利用这个特性。

一幅彩色图像(,)fxy可分解为红色成分图Rf、绿色成分图Gf和蓝色成分图Bf，同理一个彩色像素p(x,y)可分解红、绿、蓝(R,G,B),用表示，上标T代表转置。我国车牌的底色主要有蓝、黄、白和黑四种。根据大量实验统计结果可知，如果图像中彩色像素(,)pxy的三原色(,,)RGB满足条件，则可判断该位置在原彩色车牌图像中所对应的像素属于蓝色；同理如果属于黄色；如果属于白色；如果属于黑色。其中都是阈值。

本文基于上述所说的车牌颜色特征，设计了一个脉冲神经网络来对车牌实现粗定位，整体框架如下图3。假设一幅彩色图像(,)fxy的维数是3PQ××，它的三幅成分图分别记为和第一层光感接收层我实现每一个像素转化为相应的电流由中间层将其转化为脉冲序列。然后计算三幅成分图的每一个像素所对应产生的脉冲序列的频数，分别用三个数组Rspike，Gspike和Bspike来表示放电频数，它们的维数均为PQ×。假设在红色成分图坐标(3,4)位置处像素放电频数为我们将三个阈值像素也转化成对应的脉冲序列，计算相应的放电频数，分别标记为0Rspike，0Gspike和0Bspike，接着比较数组和spikeR0中的每个值，同时也比较数组和中的每一值和数组spikeB和spikeB0中的每个值，若满足特定的关系，则将三幅成分图的对应位置置1，得到三个维数都为P×Q的模板

图3　颜色分割的脉冲神经网络模型

以蓝色为例，上述算法的具体步骤如下：

（1）输入彩色车牌图像；

（2）将三幅成分图Rf，Gf和Bf中的每个像素转换为脉冲序列；

（3）计算其脉冲序列的放电频数，分别用维数为PQ×的数组Rspike，Gspike和Bspike来存储；

（6）如果ModelB(x,y)=1，则在坐标(x,y)处的像素为蓝色。

其他颜色原理相同。如下图所示为车牌粗定位，其中（a）是原始彩色车牌图像，（b）为车牌粗定位图像。

图4　车牌粗定位

3　车牌的精确定位

经过车牌图像粗定位之后，初步提取了车牌区域，得到的车牌图像中大部分背景已经去除，但是该车牌区域不仅含有车辆的牌照还包含其他背景干扰信息，这样会影响后面的车牌字符分割和识别，因此对粗定位的车牌图像必须进行精确定位[9]，算法流程如下图所示。

图5　精确定位流程图

本文主要基于感受野和脉冲神经元来检测车牌图像的边缘，其网络的结构如图6所示。该网络有三层。第一层为光感输入层,第二层为中间层，四个并行神经元矩阵1N、2N、3N、4N对应四种不同的感受野，为了简化我们只画出了每个矩阵中的一个神经元。在突触连接中的X‘’代表兴奋性突触，Δ‘’代表抑制性突触，中间层通过不同的权重矩阵连接光感输入层，分别执行上、下、左、右边缘的检测，这些权重矩阵能改变图像中不同尺寸感受野的大小。第三层为输出层，其中每一个神经元累加来自第二层对应四个并行神经元矩阵的输出。通过绘制输出层的脉冲频率图，我们能得到对应于输入图像的边缘图[10,11]。本文主要介绍神经元4N通过权重矩阵连接到光感输入层的感受野reptRF，其响应了感受野的右边缘[34,35]。此脉冲神经网络检测右边缘的原理如下：

如果一个灰度均匀图像位于该感受野中时，产生一个均匀的脉冲的输出，中兴奋性突触与抑制性突触所产生的电势大小相等，符号相反相互抵消，膜电势不会变化，因此不会有脉冲序列产生；如果一个边缘明确的图像位于感受野reptRF中，感受野的左半部分产生一个较强的信号，右半部分产生一个符号相反的较弱的信号，由于左半部分兴奋信号没有被右半部抑制信号抵消，因此膜电势上升的很快，最终会产生响应右边缘的脉冲序列。其中突触权重矩阵相当于在感受野reptRF内检测右边缘的一个滤波器。同理神经元1N有突触权重矩阵upW，能够响应上边缘；神经元2N有突触权重矩阵downW，能够响应下边缘；神经元3N有突触权重矩阵leftW，能够响应左边缘。输出层神经元(,)xy＇＇累积来自中间层的四个神经元矩阵的输出，然后响应位于感受野任意方向的边缘[10,11]。

如下图所示，通过与canny边缘检测、sobel边缘检测和robert边缘检测这三种方法对比，可知sobel边缘检测和robert边缘检测结果缺失了部分边缘，canny边缘检测能力很强，但是提取了很多无用的边缘，然而SNN边缘检测结果最好，弥补了两者的缺点。

4　实验结果及分析

图6　边缘检测的脉冲神经网络模型[10,11]

图7　边缘检测对比图

我们使用 Visual C ++ 2012开发工具搭建此算法的软件实验平台，共收集了样本400张（全国各个省份的车牌），并且针对各种底色车牌逐一进行提取，实验结果如下所示。图8给出了一个提取车牌的不同阶段所获得的图像或特征分布，该车牌为黄底车牌：蒙A16777，彩色车牌图像车牌粗定位灰度化直方图

图8　车牌提取过程

通过以上的提取过程可知车牌的粗定位还包含图像的其他信息，然后经过一系列处理，采用行列扫描投影法进行精确定位，最后提取了较好的车牌区域。

通过对400张车牌进行定位，有366张可以成功定位，定位率达到91.5%。从以上实验结果可知该算法能达到很好的提取效果，由于采用的是基于SNN的车牌提取方法，包括利用SNN的进行对车牌图像进行颜色分割和边缘检测，该方法充分利用了车牌的颜色特征和纹理特征，因此拍摄角度、车牌区域的倾斜角度及牌照大小对其影响不是很大，在提取过程中可适应于不同背景、不同拍摄角度和不同光照下的车牌图像，从而提高了车牌的定位率。

6　总结

本文主要介绍了基于脉冲神经网络的车牌提取算法，分别从车牌粗定位和精确定位两方面进行了系统的分析，综合运用了图像处理中的灰度化处理、边缘检测、二值化等技术对车牌图像进行分析和处理，充分利用车牌颜色和纹理等特征对车牌进行提取。由于客观条件和时间的限制，本文的研究还存在很多不足，有很多方面需要进一步提高。

[1] 王丰元. 计算机视觉在交通工程测量中的应用[J]. 中国公路学报, 1999, 15(7), 32-34.

[2] 路倩倩. 基于复杂光照条件下的车牌定位算法的研究[D]. 河北: 河北工业大学, 2012.

[3] 李波, 曾致远, 周建中, 罗勤. 一种车牌自动识别系统设计方法[J]. 计算机应用研究, 2006, 23(10): 156-158.

[4] 郭捷, 施鹏飞. 基于颜色和纹理分析的车牌定位方法[J].中国图象图形学报, 2002, 7(5): 472-476.

[5] 胡小锋, 赵辉. Visual C + + /MATLAB 图像处理与识别实用案例精选[M]. 北京: 人民邮电出版社, 2004.

[6] 孙杰. 车牌定位分割技术的研究与实现[D]. 吉林: 东北电力大学. 2007.

[7] 张燕. 任安虎. 多特征与BP神经网络车牌识别系统研究[J].科学技术与工程. 2012(22). 5645-5648.

[8] 陈丽娟. 基于脉冲神经网络的车牌识别系统的设计与实现.福建: 福建师范大学. 2015．

[9] 戴海港, 宫宁生, 张德金. 基于二值图像连通域的车牌定位方法[J]. 通信技术. 2011(08). 116-117.

[10] QingXiang Wu, Martin McGinnity, Liam Maguire, Ammar Belatreche, Brendan Glackin.Edge Detection Based on Spiking Neural Network Model.Third International Conference on Intelligent Computing, ICIC 2007, pp 26-34.

[11] 陈浩. 基于脉冲神经网络模型的车辆车型识别研究[D].福建师范大学硕士学位论文. 2011.

[12] 钟彩. 边缘检测算法在图像预处理中的应用[J]. 软件, 2013, 34(1): 158-159.

[13] 刘闻, 别红霞. 基于蚁群算法的噪声图像边缘检测[J]. 软件, 2013, 34(12): 256-259.

[14] 陈玉萍. 基于量子粒子群算法的车牌定位[J]. 软件, 2014, 35(4): 157-159.

[15] 蔡荣太, 吴庆祥, 王平. 脉冲神经元的信息处理[J]. 计算机与现代化. 2010(11). 45-49.

Extraction of Vehicle Llicense Pplate Based on Spiking Neuron Networks

LI Juan-chen
(Oriental College, Fujian Agriculture And Forestry University, Fujian Fuzhou, 350017)

In the license plate recognition system, includes the License plate extraction, character segmentation and character recognition mainly, extraction of vehicle license plate is one of the most important technology among them, whether accurate extraction of the license plate directly influence the later stage of license plate image processing quality and processing speed, character recognition accuracy and speed.This paper presents the license plate extraction algorithm based on spiking neural networks. The algorithm is mainly divided into two parts: coarse location and accurate location. First, Based on the color feature of license plate,it can achieve coarse location using the spiking neural network;Then using another SNN method to extract the edge of the candidate area. The SNN which extracts the edge can get a better license plate edge map; This algorithm has high localization rate, which can locate license plate with various background and is conducive to the subsequent character segmentation and recognition.

License plate extraction; Spiking nneural networks (SNN); Edge detection

TP389.1

A

10.3969/j.issn.1003-6970.2016.09.009

福建省中青年教师教育科研项目(闽教科(2016)48号)(项目编号JAT160680)

陈丽娟(1990-)，女(汉族)，福建龙海九湖人，福建农林大学东方学院，助教，硕士研究生，主要研究领域为图像处理和计算机视觉。