复杂环境下车牌检测与识别方法研究

凌燕翔

国家知识产权局专利局专利审查协作北京中心 北京 100160

1 车牌特征概述

1.1 颜色特征

在我国，车牌背景和车牌字符颜色的搭配有几个明确的标准，可以根据车牌背景确定车牌边界。普通小型车通常使用蓝底白字的车牌，大型车辆和驾驶教练一般使用黄底黑字的车牌。

1.2 文本特征

中国的车牌通常是七个字，第一个是汉字，表示省、市、自治区、直辖市的简称；第二个是大写的英文字母，代表各级城市；最后五个是字母和数字的组合。

1.3 几何特征

目前我国大多数使用的车牌区域近似长方形或平行四边形，其外轮廓的固定宽高比近似为3：1。

1.4 纹理特征

车牌具有一个连续有规则的边框，且在车牌区域内每个字符的间隔比较均匀。

1.5 灰度特征

车牌字符颜色、车牌背景颜色和车身颜色在图像中的表现是灰度不一样，由此，车牌的边缘以及车牌背景和车牌字符能够形成灰度渐变边缘。

1.6 位置特征

正常情况下，车牌图像的相对位置一般是固定不变的，通常车牌区域更接近车身的中下部。

2 基于FasterR-CNN的车牌检测算法

2.1 数据收集与预处理

①数据收集。车牌检测不仅需要在标准环境正常运作，还需要在复杂环境下具有很高的检测性能。为此，收集了覆盖了复杂环境图像数据和标准交通卡口图像数据等多种情况车辆图片。

②数据清洗。在拍摄到的车辆图片里面，不包含无车牌车辆、车牌被部分遮挡、非机动车车辆等图片，需要将这些无效的图片数据筛除。最终筛选出2850张图片作为训练数据，进入到车牌目标数据标注阶段。

③数据标注。目标检测的数据标注工作不仅要标明图像中有什么，还要标注这个对象的位置信息，并生成与图片同名的．xml文件。对于车牌检测，只需要标注真实的车牌区域，车牌的负样本是在训练过程中产生的，因此不需要人工标注车牌检测的样本。标注完成后，需要将数据集以一定比例分配生成训练集、验证集和测试集。

2.2 实验结果分析

神经网络的训练验证以及测试均基于深度学习框架Tensor Flow进行，通过数次实验择优原则获取结果，在车牌数据集上的车牌检测准确率达99%。基于FasterR-CNN的车牌检测算法检测结果可以看到，不管是在图像中含有复杂的背景、光线昏暗、还是在各种干扰的情况下，该算法都能够排除颜色干扰、纹理干扰和噪声干扰等，从而正确地检测到车牌。

3 车牌识别方法研究

3.1 车牌定位

（1）采用边缘检测方法将原始图像转化成灰度图。传统车牌定位的识别是依靠车牌的边界来进行抓取的，但本次研究我们采取了边缘检测发来进行定位抓取，与边界不同，边缘检测是由灰度值的变化而不是根据实际的间隔线，因为间隔线会因为速度和环境出现扭曲、模糊的情况，但边缘不会，边缘是根据灰度值的变化来看的，在图像中，不同物体的边缘会比较明显，通过边缘检测则相对会更准确。但因为边缘检测是根据图像强度计算像素而来，因此对于图片质量要求会比较高，一些质量不高的图片则会出现无法计算的情况，因此我们在采用边缘法进行定位时，加入了滤波器对图片进行降噪，并且采用了一定的方式方法来控制滤波器在处理过程中边缘强度和图像噪声的平衡。

（2）通过二值图像形态学来降噪。除了采用滤波器进行降噪外，本次研究我们尝试了通过二值图像形态学来进行降噪处理。通过数学学科中的形态学能有效减缓图像数据，通过膨胀、腐蚀、开运算、比运算等4个基本运算将一些不相干的结构元素简化，但在简化图像的同事能保持图像的形象特征，通过这种方式我们能效的去除掉车身的装饰、广告等元素。

（3）通过车牌图像预处理实现准确定位。无论是缘检测方法还是二值图像形态学进行去噪定位时，都是通过灰度来的，一是灰度的辨别，二是灰度的拉伸，但这会因为图片亮度和对比度有关系，因此在获取的图片亮度和对比度不合理时，则需要技术人员人为进行图片处理预处理，通过人工的方式将输入的车牌图像二值化处理后再进行平滑处理，通过特定的计算公式来将三原色的加权值转变为灰度值，以此达到更加准确的分析和定位。

3.2 字符识别

字符识别是最后一步，也是关键的一步，目前我们运用的比较多的是模板匹配法，虽然通过模板匹配法能准确识别车牌，但其存在识别速度慢，实时性不高，及相近字符误判的情况，对此我们在研究过程中采取了基于字型特征的树分类模板来解决。

基于字型特征的树分类模板匹配法。为了解决我们上文说到的传统模板匹配法速度慢，相近字符误判的情况，我们在研究中采取基于字型特征的树分类模板匹配法来进行车牌字符识别。该方法从两方面进行操作：首先根据树形分层理论，建立3个分类器，分类器1对车牌第一个字符，即省的简称进行识别；分类器2对第二个代表市的大写字母进行识别；分类器3对最后五位字符进行识别。其次，根据字符的不同特点将位置数据根据特征进行分类，根据字符的轮廓区别进行区分，在选取的字符图像中选取15个位置点进行检测并确定像素值，再根据这些像素点对所识别字符进行分级，如：检测字符高度与宽度比，比值大于4，字符为1，如果不符合，再排除与所识别字符相似的模板和其他一部分模板，再进行第二轮检测，最后再用剩余模板进行匹配检测，检测突变字符的情况，以此类推逐步排除不可能的字符模板，最后用剩下的模板对字符进行模板匹配算法来解决传统模板匹配中的问题。

4 结语

但目前使用的方法大多还比较传统，存在着效率低、错误率高的情况，随着我国交通压力的增大，必须要对此进行改进，有效提高我国交通管理的科技含量。