一种集合型MHU-SIFT商标检索方法的研究

陈 刚，高晓莉，杨 青

(沈阳理工大学 自动化与电气工程学院，沈阳 110159)

一种集合型MHU-SIFT商标检索方法的研究

陈 刚，高晓莉，杨 青

(沈阳理工大学 自动化与电气工程学院，沈阳 110159)

为提高商标检索的查准率和快速性，提出一种将全局特征修正HU不变矩和局部特征SIFT相结合的MHU-SIFT集合型商标检索方法。该方法首先对图像进行初步的滤波去噪等处理，其次，提取图像的HU修正矩和角点特征SIFT建立索引，最后运用基于图像内容的检索方法(CBIR)对商标进行检索。在机器为2GB+64位的笔记本电脑，使用标准2000张商标图像库进行检验。结果表明，MHU-SIFT方法查准率较HU-SIFT方法提高了10%。

商标检索；全局特征；局部特征； HU修正不变矩；尺度不变特征变换(SIFT)

近几年，随着科技的飞速发展，各种仿冒产品由于与正品存在很大的相似性，如何快速辨别商标真伪对于消费者的需要也越来越强烈。如何在商标和企业之间建立一个有效的关联，让商标作为企业形象和名誉的代表显得尤为重要，因此商标检索具有广泛的应用前景。图像的特征包括颜色形状纹理等，但由于商标图像一般是二值图像，且纹理信息也不明显，一般采用形状特征作为全局特征。1993年David S.Doermann 等人率先提出了基于全局不变特征的商标检测和识别算法[1]。最近几年，出现了各种使用形状特征的商标图像检索方法，Fatahiyah Mohd Anuar等[2]整合局部和全局特征，形状特征如Zernike矩相关系数等来描述，局部特征使用边缘梯度相关矩阵。黄敏等[3]通过采用HU修正不变矩进行商标形状特征提取，提高了商标的识别率。王振海[4]提出了融合HU不变矩和SIFT特征的商标检索，利用图像的形状特征HU矩和SIFT特征，节约了检索时间。Chia-Hung Wei 等[5]使用Canny提取边缘特征结合局部特征，取得了较好的检索效果。提取图像全局特征仅可以识别具有相似轮廓的图像，对图像细节信息不敏感很容易误检，需要结合局部特征来描述图像。SIFT(Scale-Invariant Feature Transform)特征[6]由于具有捕捉图像细节信息的突出特点而被广泛应用。汪慧兰等[7]使用SIFT描述子进行商标检索，具有良好的识别相似或子图像的能力，对图像的尺度、镜像、旋转等变换具有不变性，抗遮挡和抗噪声能力强，但其对于图像的轮廓描述能力较弱。另外，SIFT的特征点用128 维向量表示，而一幅图像有大量的SIFT 特征点，因此SIFT是一种高维向量[8]，这样对于计算时间和空间的需求大大提高。根据存在的这些问题，本文基于图像的全局特征和局部特征提出结合HU修正矩和SIFT特征的商标检索算法，先使用HU修正不变矩进行初步检索，接着提取SIFT 特征进一步准确匹配，通过减少需要计算图像数量，可以进一步减少运算时间，提高检索效率。

1 修正HU不变矩

对图像来说，像素相当于二维随机变量，则图像可以用概率密度函数f(x,y)表示。不变矩具有图像平移、旋转和尺度等变换具有不变性的特点。1962年HU提出了不变矩(Invariants Moments)，当图像连续时，则图像的p+q阶几何矩(标准矩)和中心矩分别定义为式(1)、(2)。

(1)

(2)

而对于离散的数字图像，则有

(3)

(4)

式中N和M分别是图像的高度和宽度。

归一化的中心距定义：ηpq=μpq/(μ00ρ)

其中ρ=(p+q)/2+1。

HU通过计算图像的二阶几何矩和三阶几何归一化中心矩构造了7个不变矩m1～m7。

HU不变矩满足平移、旋转和尺度不变特点是在图像连续的情况下，但图像在离散情况下，图像比例变换产生图像重采样和重量化，这时使用HU矩提取图像的特征，会造成特征信息的丢失。文献[9]对七个不变矩做了修正，一方面由于不变矩的数据大小变化范围很大，需要压缩，采用取对数的方法；另外对数计算时，要求数为正数，不变矩可能会出现负值，所以先取绝对值再求对数，实际使用的HU不变矩为

φi′=lg|φi|,i=1,2,…,7

(6)

2 商标图像局部特征SIFT

SIFT是一种基于尺度空间的图像局部特征描述算子，对图像进行旋转、缩放甚至仿射变换具有鲁棒性，由D.G.Lowe于1999 年首次提出，且在2004 年进行完善和总结[10]。

2.1 生成尺度空间

第一步建立尺度空间，设图像的尺度空间L(p,q,σ)，利用高斯卷积则有

Lp,q,σ=Gp,q,σ×Ip,q

(8)

式中：Gp,q,σ是尺度可变高斯函数，

构造高斯差分尺度空间(DOG scale-space)：

D(p,q,σ)=(G(p,q,kσ)-G(p,q,σ))×I(p,q)

=L(p,q,kσ)-L(p,q,σ)

(9)

2.2 求出检测尺度空间极值点

逐个比对尺度空间上的每个点与相邻8个方向及上下两层尺度的点，如果在DOG尺度空间本层及相邻上下两层邻域的26个相邻点中，当某一个点为最大值时，则定义该点是图像在该尺度下的一个特征点，接着获得该点的位置和相应的尺度，如图1所示。X表示任意一个点，圆圈就是与之相邻尺度空间层的26个邻域的点。

图1 DOG尺度空间中的极值检测

2.3 精确定位关键点

拟和三维二次函数可以定位关键点的位置和尺度，同时使用DOG 的二次Taylor 展开式[6]插值可得特征点位置及尺度的亚像素值，并滤除边缘响应较强的不稳定点和低对比度的点，从而实现对特征点的精确定位，加强图像稳定的匹配，提高抗噪声能力[11]。DOG 的二次Taylor 展开式为

(10)

去除低对比度的点：即对式(10)求导，得精确位置为

(11)

式(11)代入式(10)得

(12)

消除边缘响应：

Tr(H)=Dpp+Dqq=α+β

(13)

Det(H)=DppDqq-(Dpq)2=αβ

(14)

(15)

两个特征值相等时满足γ+12/γ最小，是γ的增函数，主曲率满足

(16)

式中γ一般取10。

2.4 确定关键点方向

使SIFT算子具有旋转不变性，关键是指定每个关键点方向参数。梯度的模和方向如下：对每一个采样点L(p,q)，其梯度模为m(p,q)和方向为θ(p,q)，则关键点的大小和方向：

(17)

以关键点为中心，相邻窗口采样进行计算，邻域像素的梯度方向由计算梯度直方图得到。梯度直方图的范围是[0°，360°]，分8个柱，45°一个柱，如图2所示。关键点的主方向为梯度直方图的主峰值，占主峰值能量80%及以上的峰值为辅助方向，进一步增强鲁棒性[12]。

图2 梯度直方图

2.5 生成特征向量

以关键点主方向为坐标轴原点保证旋转不变性。下一步以特征点为中心，将特征点16×16的邻域均匀分成16个4×4的子区域[6]，接着计算每个子区域里8个方向( 0°、45°、90°、135°、180°、225°、270°、315°) 梯度累加和，得到梯度直方图，同时生成128 维特征描述子，如图3所示。

图3 特征向量描述子

2.6 相似性度量

本文使用欧氏距离作为特征点匹配时相似度的衡量标准。假设特征点对pi、qj，则其欧氏距离定义为

(19)

求出最相近的前两个邻近距离d1、d2的比值，确定特征点并匹配。

3 MHU-SIFT检索算法

算法的基本原理是：先对标准示例图像分别提取HU修正不变矩特征和SIFT 特征并存入已知数据库中。商标检索时，对待检索商标预处理后，提取待检索图像的HU修正矩，计算待检索图像的HU修正矩特征向量与商标库中的修正HU矩特征向量的欧氏距离，比较大小并排序，获得商标图像集，然后对其中的商标提取SIFT 特征，进行精确匹配，按照匹配点数从多到少排序，返回检索结果，流程图如图4所示。

图4 检索流程图

检索步骤如下：

Step1 读取待检索图像X，先进行预处理，然后提取图像的MHU矩特征及SIFT特征Fx存入数据库。

Step2 通过计算X与库中图像之间的欧氏距离，初步选出匹配图像。

Step3 分别提取X与初步匹配的图像的SIFT特征，计算二者间的欧式距离并进行相似度测量，去掉不匹配或者误匹配的杂点，获得有效匹配点，并记录。

Step4 重复上述步骤，计算商标X与初匹配商标集中每幅图像匹配的特征点个数N。

Step5 按匹配的特征点个数N从大到小排序，返回检索结果图像。

4 实验结果和分析

算法在Inter(R) Pentium(R) 4 CPU 4.00GHz，2GB内存的硬件平台上，采用VS2010+OPENCV仿真。选用200张商标作为标准检索图像，对每张图像进行变换得到10个基准图像，构成2000张图像的商标库。按相似度大小排列，并返回10张图像。图5为检索界面。

图5 检索界面

图6是待检索图像，图像形状分明，拐点较多，故采用作为测试图像，检测本文的特征检索方法。

图6 待检索图像

图7是单独一张图像进行匹配的图示。

图7 SIFT匹配和消除误匹配示意图

图8是只采用HU矩，利用CBIR进行初步检索的结果。

图8 使用HU检索结果

由图8可看出，单独使用HU矩来描述图像进行提取比较，找不到图像，存在很大误差，返回的图像有形状相近的，但不是需要的检索图像，10张中基本都是误检，只有2张是相似图像。

图9是使用HU矩+SIFT进行检索的结果。

图9 HU+SIFT检索结果图

由图9可看出，相比于普通的HU矩在精确度上有部分提高，但是误检率仍然很高，因此单独使用形状特征不能完整的代表图像的特征，需要更多的特征提取方法对图像特征进行表述。

图10为使用MHU+SIFT的匹配图。

图10 使用MHU+SIFT检索结果

由图10可看出，SIFT对于图像的角点特征具有良好的表达，因此可以作为描述图像的局部特征，结合MHU特征，进行检索效果很好。

检索性能一般使用查准率、查全率和检索时间评估，而检索时间根据不同的机器型号，不同的版本，时间也有不同，因此，采用查全率和查准率进行算法评估。查全率和查准率的计算方法如式(20)所示。通过计算，HU、文献[4]中的HU+SIFT特征与本文算法修正HU+SIFT的查全率、查准率以及检索时间如表1所示。

(20)

表1 图10对应图像SIFT特征点匹配个数

表2为HU矩和MHU矩结果比较，表3为HU矩、HU+SIFT、MHU+SIFT三种方法检索结果的比较。

表3 几种方法的比较 %

从实验结果看到,MHU+SIFT特征检索时间比文献[4]提出的HU+SIFT特征，查全率、查准率都提高了10%，达到了预期的效果。

表2 HU矩和MHU矩结果比较

5 结束语

对于商标图像的特点，通过改善形状特征HU矩，综合应用图像的全局特征及局部特征有效表示了图像的全局信息。通过MHU矩的初匹配，减少了需要计算局部特征图像的数量，缩短了图像的处理时间，相比于文献[4]的匹配率有所提高。未来进一步完善商标库可以实时更新并即时计算的功能，拟达到图像库的实时性。

[1] DS Doermann,E Rivlin,I Weiss.Logo Recognition Using Geometric Invariants[J].Document Analysis and Recognition,1993(1):894-897.

[2] Fatahiyah Mohd Anuar,Rossitza Setchi,Yu-kun Lai.Trademark image retrieval using an integrated shape descriptor [J].Expert System with Applications,2013(40):105-121.

[3] 黄敏,马亚琼,朱颢东,等.基于HU修正不变矩的商标识别[J].华东师范大学学报：自然科学版,2014,48(2):182-185.

[4] 王振海.融合HU不变矩和SIFT特征的商标检索[J].计算机工程与应用,2012,48(1):187-190.

[5] Wei Chia-hung,Li Yue,Chau Wing-yin.Trademark image retrieval using synthetic features for describing global shape and interior structure.[J].Pattern Recognition,2009,42(3):386-394.

[6] D G Lowe.Distinctive Image Features from Scale-in-variant Keypoints.[J].International Journal of Computer Vision,2004,60(2):91-110.

[7] 汪慧兰，毛晓辉，杨晶晶,等.融合小波变换和SIFT特征的商标检索方法[J].计算机技术与发展,2015(4):89-92.

[8] 朱玉滨.基于SIFT的图像检索技术研究[D].长春：吉林大学,2014.

[9] Hu K M.Visual pattern recognition by moment invariant [J].IEEE Transactions on Information Theory,1962,8(2)：179-187.

[10] 张蕾,刘勇,范庆辉.基于修正不变矩和范数的物体特征识别方法[J].微电子学与计算机,2008,25(6):42-45.

[11] 孙晋博,余隋怀,陈登凯.基于证据理论融 合多特征的物体识别方法[J].计算机工程与应用,2014,8(1):187-190.

[12] Mikolajczyk K,Schmid C. A performance evaluation of local descriptors [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.

TheMethodofTrademarkRetrievalBasedonHUModifiedInvariantMomentsandSIFTFeatures

CHEN Gang，GAO Xiaoli，YANG Qing

(Shenyang Ligong University,Shenyang 110159,China)

In order to improve the precision and rapidity of trademark retrieval,a method of trademark retrieval algorithm is proposed by global features modified HU moment invariants and local features SIFT,so as to MHU-SIFT.This method firstly carries on preliminary filter of image denoising processing.Second,the image of modified HU moment invariants and SIFT features is extracted.And then the index is built by using the method.Finally,trademark is retrieved by using the method based on image content retrieval(CBIR)method.The proposed retrieval technique is tested using the standard trademark database of 2000 images.Simulations results show 10% precision/recall improvement in the case of trademarks database,in the machine for 2GB+64 Laptop.

trademark image retrieval;global feature；local feature；HU modified invariant moments;scale-invariant feature transform (SIFT)

2016-09-03

辽宁省教育厅科学技术研究项目(L2014083，L2015467)；辽宁省自然科学基金指导计划项目(201602651)；辽宁省重点实验室开放基金项目(4771004kfs55)

陈刚(1965—)，女，教授，博士，研究方向：图像识别；通信作者：杨青(1963—)，男，教授，博士，研究方向：图像检索与分类。

1003-1251(2017)06-0078-06

TP319.41

A

马金发)