基于分层筛选方法的前景图像去噪

高 智 林新棋，2 吴 鹏 李海涛

（1.福建师范大学数学与计算机科学学院，福州，350007；2.福建师范大学网络安全与密码技术福建省高校重点实验室，福州，350007）

引 言

模式识别一般属于人工智能的第一阶段，是人工智能的基础［1］。模式识别的基本步骤为：信息采集、预处理、特征提取与选择、分类决策、分类器设计。通常以图片的形式存在的视觉信息经过采集后，往往需要预处理才能够用于后续特征提取与选择等阶段，所以以前景提取和去噪为主要内容的预处理则是模式识别的一个重要研究环节。

前景提取就是将图像中的活动目标与背景分离的过程。帧间差分法、背景差分法、基于统计模型的方法和光流法是目前广泛应用于前景提取的方法。光流法由于计算复杂度较大，不易适用于实时系统。帧间差分法、背景差分法和基于统计模型的方法已经有了较多成熟的发展［2-4］，但在这些算法提取的前景图像中，经常会出现诸如图1（a）圆圈内部所示的大面积的误检像素区域（称之为噪声）。即存在部分前景区域未能识别，或部分背景区域误识别为前景的情况。另一方面，这些噪声增加了后续提取特征的难度，甚至出现特征提取错误的现象，所以这些前景提取算法通常不能直接应用于模式识别的实时系统，必须经合适的去噪处理才能达到预处理的目的。

目前应用于去噪的方法主要是分为以形态学方法为基础的去噪方法［3］和在图像频域内进行高频能量滤波两种类型［5-7］。形态学图像处理是建立在数学形态学基础之上的一种常用的图像处理方法［8］。但其缺点是：（1）形态学处理本质上是一种二维卷积运算，当图像维数较大的时候，尤其是用灰度形态学、模糊形态学等方法，计算复杂度较大，运行速度很慢，无法满足实时处理系统；（2）为达到最佳的滤波效果，有时不得不需要结合图像的拓扑特性选择形态开、闭运算的复合方式；（3）经过多次复合方式处理后，前景目标形状和大小会有较大变化。这种情况会使得后期提取的特征信息（大小、轮廓、曲率、特定部位等），出现失真现象，如图1（b）所示。尤其在环境背景较为复杂的情况下，图像的处理效果更差。在图像频域内进行高频能量滤波的方法主要应用于诸如图片美化等，细节方面的去噪处理，不满足应用于将大面积噪声滤除的前景图像噪声的要求。另外，通常现实环境复杂性和实时系统硬件处理能力有限等因素也使得追求简单有效的前景提取算法和去噪方法成为必要［9，10］。

综上所述，本文以前景提取图像序列为基础，针对形态学的缺点，根据原始前景图像中真实前景和噪声像素空间分布特性及亮度的不同分布规律，提出一种搜索计算独立分离块面积和分层筛选的前景建模方法，利用提出的模型进一步细化前景图像，删除属于背景噪声的独立分离块，以提高前景图像的准确度，而且尽可能保留前景图像的形状和大小。

1 确定前景与删除背景噪声

经过大量的实验可知，前景图像中真实前景区域和误检噪声区域具有如下统计特点：（1）真实前景区域面积大，像素亮度均匀，变化较为规律；（2）误检的噪声区域分布较为分散，且块内像素亮度值方差较大，被误检的背景块面积通常较小，且跟前景图像区域面积相比有较大差别。如图1所示。基于此，本文首先将原始前景图像进行单元块分割，进而在单元块的基础之上通过前景图像上由满足阈值的单元块构成的各独立分离块的面积的大小来进一步细化分离前景和噪声。

图1 前景图像和形态学处理后的前景图像Fig.1 Foreground image and morphological post-processing

1.1 单元块分割前景图像

单元块是构成独立分离块的基本构成单元，也是确定前景与删除背景噪声的准备工作。将一张前景图像视为原始图像I，首先按照从左到右，从上到下划分成x×y的像素块阵列，每一个x×y块即称之为单元块。每一个单元块的名字由该块在整个块阵列中的行序号和列序号表示（（行号，列号）），如图2所示。然后，对每一个单元块赋予一个标签，标签内容包括该单元块的名字和参数sum，其中sum表示单元块中非零像素个数。

图2 图像I被划分为m×n个单元块Fig.2 The image Iis divided into m×n unit blocks

1.2 搜索和计算独立分离块面积

本文将由相互接壤的单元块构成，区域内所有单元块都满足同一条件的独立连续区域称为独立分离块。如图3中的s1，s2分别代表两个独立分离块。一旦确定独立分离块后，本文就可以利用其面积大小来进一步细化筛选前景和背景。首先要搜索和计算整幅图像上所有独立分离块的面积。本文主要通过搜索累积的方式找到一幅图像中的所有独立分离块，并给每个独立分离块赋予自己相应的块标签。标签记录着属于该独立分离块内各个单元块的标签和该独立分离块内单元块的数量N。N越大则说明独立分离块面积越大。

图3 独立分离块Fig.3 Independent separation block

搜索准则为：对于如图2所示的原始图I，搜索到包含的单元块都满足标签sum≥k的所有独立分离块（s1s2…sn），并建立一个独立分离块查询表存储独立分离块的信息。为实现此准则，第一步，找到I中所有sum≥k的单元块，将sum≤k的单元块视为噪声并被滤除，此步骤称之为第一层筛选；第二步，找到由sum≥k的单元块组成的各独立分离块，并记录到独立分离块查询表上。

第二步的具体操作步骤为：按照从左到右，从上到下的搜索遍历方式，对每一个sum≥k的单元块判断其能否跟某一个或多个独立分离块查询表内已经登记的独立分离块组成一个新的独立分离块。若满足一个，如图4所示的两种情况之一，则只需将该独立分离块s的标签值更新即可，更新方式如式（1）所示；若有多个，如图5所示的情况，独立分离块查询表的更新方式如式（2）所示；若某单元块只满足sum≥k，则新的独立分离块被创建如式（3）所示。每个独立分离块标签内N值即为独立分离块的面积。

判断能否跟某一个或多个独立分离块组成新的独立分离块的方法如下：判断该单元块周围与之相邻的左边和上边的四个邻域单元块，如图6所示（本文用表示）是否存在于独立分离块查询表中之前已登记过的独立分离块内。因为每一个单元块周围存在最多8块与之相邻的单元块，加之前面采取的从左到右，从上到下的对整张图像的扫描方式，所以只需判断已扫描过的与之相邻的左边和上边的4个邻域单元块即可，其余四块还未扫描，无须考虑。

图4 块（i j）与已存在的独立分离块s形成新的独立分离块Fig.4 Unit block （ij）and the existing independent separation block s are formed into a new independent separation block

图5 块（i j）和s1，s2形成新的独立分离块Fig.5 Unit block（ij），s1and s2are formed into a new independent separation block

图6 与块（i j）相邻的单元块Fig.6 Adjacent unit blocks of（ij）

其中，s.N，s1.N和s2.N分别表示独立分离块s，s1和s2的标签中N的值；s1和s2为可能存在的能与（ij）合并为新的独立分离块的两个已登记独立分离块；si表示已存在于独立分离块查询表内的任意一个独立分离块；表示单元块（ij）左边和上边的4个邻域单元块；sum（ij）表示单元块（ij）标签中sum的值；k为阈值常数。

1.3 前景区域删除噪声

当扫描完整幅前景图像中所有单元块，且独立分离块查询表更新完后，基于前面第1节所描述的前景区域和背景区域像素值分布特点，独立分离块查询表中面积小于阈值A（本文中A的取值为查询表中最大独立分离块面积的0.01）的独立分离块将视为噪声区域而被滤除，此步骤称为第二层筛选。至此，独立分离块查询表中剩余的单元块所包含的区域被确认为前景，最终将独立分离块查询表输出。分层筛选前景图像的算法流程表如下所示。

2 实 验

2.1 实验准备

本文所用图像序列是由SONY摄像机，型号为KDR-CX700E，分辨率为1 440＊1 080，在不同环境下拍摄的两段视频共1 000帧构成。本文还通过Photoshop等软件将图像序列中的前景人物人工提取作为实验过程中的验证标准。

2.2 基于不同前景提取方法的有效性验证

从实验后图像处理结果来看，图7中的（e，f）两幅图表明原始前景图像中存在大量噪声区域，而经过本文方法处理后（图7（g，h）所示）该区域噪声全部被消除。由此表明经本文方法处理后，原来存在的噪声能够有效地滤除。

因为在不同的环境下拍下的图像序列，应用不同的前景提取方法提取前景结果存在较大不同，即不同的前景提取方法适用于不同的环境，所以为了度量不同方法处理后前景提取的质量，现定义准确率（A）来表示前景处理后实际属于真实前景面积在提取总面积中的比重，具体如式（4）所示

图7 前景图像的残余噪声Fig.7 Residual noise of the foreground image

其中，f和g分别代表前景图像中正确识别的前景区域的像素数目和前景图像被识别出的所有像素数目。A的取值范围为［0，1］，当A的值越大时，表明前景图像中属于真实前景图像部分的面积占总识别面积的比重越大，即提取效果越好；反之，当A值越小时，表明前景图像中属于真实前景图像部分的面积占总识别面积的比重越小，即提取效果不好。

图8列出了实验序列中50帧图像分别经过两种不同的前景图像提取方法后未经本文处理和在其基础上经过本文对他们处理后的准确率图。图中25～30帧的地方由于前景目标的动作行为在帧间变化较小，致使前景提取算法的性能降低，但经过本文提出的方法处理后，仍旧能去除大量噪声。从图8知，两种提取前景图像经处理后的准确率都有明显的提高，基本达到了90%。由此，进一步说明本文提出的方法对于去噪和美化功能的有效性。

图8 不同原始前景提取方法在经本文方法处理前后的检准率对比图Fig.8 Precision comparison chart of different original foreground after the proposed processing and before

2.3 基于形态学去噪方法的对比实验

在模式识别的预处理阶段，对于特征提取影响最大的两个因素为：（1）前景人物形状细节信息提取程度，（2）背景区域，尤其远离前景区域内噪声的消除程度。下面分别针对两个因素与形态学方法做对比验证。

2.3.1 前景人物形状细节信息

形态学处理图像的方法主要包括：腐蚀、膨胀、闭运算、开运算等。如前文所述，经过形态学方法处理后的前景图像容易造成失真现象。例如图9（b）所示，经形态学方法处理后人物的背部平滑线条已明显变为锯刺型的折线，且胳膊、头部已明显与身体融为一体。对于前景特征要求较为苛刻的特征提取（如：提取前景人物轮廓，提取头部，提取胳膊和腿的位置等。）中，形态学处理方法显然会对特征提取造成很大难度。图9（c）为经过本文的方法处理后，能够更完整地保留前景作为人物的必要信息。

图9 前景图像产生的形变Fig.9 The distortiom of foreground image

此处也引用准确率为指标对本文的方法与形态学方法作对比（如图10所示），且只针对在实验过程中形态学处理比较好的几种处理方法（先腐蚀后膨胀1次，闭运算1次，开运算1次）给出结果对比。

由图10（a）知，本文方法在基于混合高斯提取的前景图像上的处理结果中有80%的图片准确率高于腐蚀-膨胀1次后的结果，而本文方法在帧差法提取的前景图像上的处理结果则100%高于腐蚀-膨胀1此后的结果。由图10（b）知，本文方法在基于混合高斯提取的前景图像上的处理结果中准确率分别高于开运算和闭运算的图片占总数的86%和100%，而本文方法在帧差法提取的前景图像上的处理结果中准确率分别高于开运算和闭运算的图片占总数的100%和100%。注：图中第25-30帧的地方由于前景人物的动作行为在前后帧间差别较小，致使前景提取算法性能降低。

图10 本文方法与形态学处理后检准对比图Fig.10 Precision comparison chart about the proposed method and morphological processing

2.3.2 背景噪声消除程度

为了衡量本文提出的方法与形态学及原始未经处理过的前景图像在背景噪声消除方面的质量，现定义噪声减少系数ρ来衡量本文方法处理后噪声消除的程度。ρ的定义如下

式中：f1表示经本文方法处理后的噪声面积；f2表示经形态学方法处理后或原始前景图像未经任何处理的噪声面积；ρ在［0 1］范围之内，ρ越接近0表明噪声面积减少地越多，噪声剩余量越少，反之当ρ越接近于1时，则表明噪声面积减少的越少，噪声剩余量越多。

如表1所示，本文方法处理后的噪声面积较基于混合高斯模型和帧差法提取的原始前景图像相比，噪声面积平均减少到了原始的0.205 68倍。同时，相对于形态学的各种操作而言，本文方法处理后的噪声面积分别平均是开运算的0.584 34倍，闭运算的0.143 86倍，腐蚀 -膨胀的0.659 53倍。

表1 本文方法与原始前景图像和形态学处理后噪声减少系数Table 1 Coefficient of noise reduction about the proposed method and morphological processing

2.3.3 计算复杂度

形态学图像处理的时间复杂度由图像的像素维数和结构元素而定，所以从理论上讲，对于a×a的结构元素在n×n维的图像上进行一次膨胀或腐蚀运算，其时间复杂度可以用O（a2n2）来表示［11］。

本文以单元块为计算单元，时间复杂度主要跟块标签n值大于阈值的单元块个数有关。但在实际情况中此n个单元块中的绝大多数隶属于个别几个独立分离块（这几个独立分离块属于前景部分）。这说明在实际情况下其时间复杂度是接近于O（n）（此时n个单元块搜索累积为一个独立分离块，即：此原始前景图像中标签值sum≥k的单元块全部为于前景区域）。

3 结束语

本文在基于帧差法和基于统计模型方法提取的前景图像的基础上，提出一种分层筛选独立分离块的前景图像去噪方法。实验结果表明：经本文方法处理后的前景图像基本上能够保持前景目标形状不变，同时最大限度地消除远离前景区域的噪声，较形态学处理方法有较大优势。由于现实环境存在极大的差异性，目前尚未有一种既能够完美保持前景所有信息而又不引入噪声的前景图像提取方法。尽管本文提出一个前景图像后期去噪处理方法，但是该方法尚未能真正达到实时处理的要求，因此，未来将在实时上做进一步的研究。

［1］边肇祺，张学工.模式识别［M］.第2版.北京：清华大学出版社，2000：1-8.

Bian Zhaoqi，Zhang Xuegong.Pattern recognition［M］.2nd Edition.Beijing：Tsinghua University Press.2000：1-8.

［2］Wen-Kai Tsai，Ming-Hwa Sheu，Chung-Chi Lin.High-accuracy background model for real-time video foreground object detection［J］.Optical Engineering，2012，51（02）.027202.

［3］Kyungnam Kim，Thanarat H，Chalidabhongse David Harwood，et al.Real-time foreground-background segmentation using codebook model［J］.ELSEVIER，2005，11（3）：172-185.

［4］Hitesh Shah，Prakash Chokalingam. Automated stroke classification in tennis［J］.Springer Link，2007，4633：1128-1137.

［5］桑恩方，沈郑燕，卞红雨.形态小波域声纳图像去噪算法［J］.数据采集与处理，2010，25（3）：324-329.

Sang Enfang，Shen Zhengyan，Bian Hongyu，et al.Sonar image denoising algorithm in morphological wavelet domain［J］.Journal of Data Acquisition and Processing，2010，25（3）：324-329.

［6］何劲，李宏伟，张群.一种自适应阈值曲波图像去噪算法［J］.数据采集与处理，2010 25（3）：336-340.

He Jin，Li Hongwei，Zhang Qun.Curvelet transform algorithm with auto-adaptive threshold to image denoising［J］.Journal of Data Acquisition and Processing，2010，25（3）：336-340.

［7］许慰玲，沈民奋，杨金耀.基于DTCWT方向信息的超声图像斑点噪声消除［J］.数据采集与处理，2011，26（6）：671-675.

Xu Weiling，Shen Minfen，Yang Jinyao.Speckle reduction for ultrasound image using edge directions in DTCWT domain［J］.Journal of Data Acquisition and Processing，2011，26（6）：671-675.

［8］Serra J，Image analysis and mathematical morphology，Part 2：Theoretical Advances［M］.London：Academic Press，1988.

［9］Zhang Haojun，Chang Yong，Li Fanming，et al.Real-time embedded implementation of foreground/background segmentation algorithm［J］.Infrared and Laser Engineering，2012，41（2）：523-530.

［10］Qian Huimin，Mao Yaobin，Wang Zhiquan.SVM-based abnormal activity detection for home care［C］//Intelligent Control and Automation，WCICA 2008 7th World Congress.Chongqing：［s.n.］，2008：3766-3771.

［11］杨琨，曾立波，王殿成.数学形态学腐蚀膨胀运算的快速算法［J］.计算机工程与应用，2005，41（34）：54-56.

Yang Kun，Zeng Libo，Wang Diancheng.A fast arithmetic for the erosion and dilation operations of mathematical morphology［J］.Computer Engineering and Applications，2005，41（34）：54-56.