一种基于背景提取的视频对象分割算法

焦蓬蓬，郭依正

(南京师范大学 泰州学院 信息科学与技术系，江苏 泰州 225300)

随着网络和多媒体技术的发展，通信数据量越来越大，特别是在视频会议、视频电话等图像通信中，其通信数据量大得惊人。而目前通信网络的带宽有限，不能很好地支持高质量的图像通信业务。为了解决这些问题，国际电信联盟先后提出了MPEG-2、MPEG-4标准。MPEG-4的初衷是针对于视频会议、视频电话的超低比特率编码，但在以后的发展中，MPEG对该标准又进行了修改。MPEG-4标准引入了视频对象VO(Video Object)的概念，编码是基于对象(Object)的[1]。所谓对象是指一个场景中可以操作和控制的实体，而传统压缩方法是基于帧的，已无法对对象进行操作。MPEG-4中对比特率控制可以是基于对象的，即使在带宽有限的情况下，可以利用码率分配方法，对于用户感兴趣的对象可以多分配一些比特率，而对于用户不感兴趣的对象可以少分配一些比特率，这样图像质量可以得到保证。所以在MPEG-4标准中，视频对象分割算法显得十分重要。

视频对象分割算法与图像分割技术联系紧密，图像分割算法被广泛地应用在视频对象分割中。目前的视频对象分割算法有很多，如检测变化区域的分割方法[2]，其主要是通过检测序列图像帧的变化区域与不变区域，从而分割出运动物体与静止背景。该算法的关键是阈值的选取，分割后的图像中没有变化的部分表示背景图像，变化的部分代表运动区域。这类算法的优点是计算简单，特别适用于室内场景(如视频电话、网络会议等)。其缺点是对噪声敏感，在背景场景变化复杂的室外情况下，分割的效果不好。基于对称差分的视频分割算法[3]是将数学的“与或”操作运用在图像分割中，通过连续帧的差减、“与或”运算，可以提取出中间视频帧的图像运动对象。近年来，自适应阈值的方法[4]也广泛运用在运动目标的提取上，它结合了形态学中的开启和闭合方法来对图像进行处理。此外还有基于时空信息的视频对象分割算法[5]。综上所述，视频对象分割算法还处于发展之中，一种优秀的分割算法不仅要与图像分割相结合，而且还需要人工智能和运动分析等方面知识。

1 视频分割算法

MPEG-4算法中对象的提取是关键技术之一，提取的效果直接关系到图像压缩的效率。对称差分方法[3]简单有效，但这类算法也存在一些不足。首先，由于是连续的操作，视频图像的背景部分和运动部分都要进行差减运算，而实际上背景是静止不变的，只会受到噪声的一些小影响。所以在用该算法时，背景的运算是没有必要的，特别是在硬件实现上，浪费了大量CPU时间。其次，图像的播放是30帧/s，如果在每秒都用对称差分算法，显然很不实际。所以一般采用的方法是每隔Δt后，采样一帧图像，再用该算法进行提取视频对象。此外，每秒的视频序列很多，而视频运动对象的运动范围相对固定，所以可以认为视频对象只在一定的范围内变化，提取视频对象时，只要提取视频图像中该范围内的视频对象信息即可。

根据视频对象运动的特点和MPEG-4对视频对象的要求，以及对对称差分分割算法的理解分析，本文提出了一种基于背景提取的视频对象分割算法。这种分割算法适合应用在室内环境或者是视频会议等背景变化不大、视频对象的运动范围变化也不大的情况下。该算法思想是：首先通过对多帧视频序列的比较，提取出背景图像信息，同时得到视频对象的运动区域。对于以后的视频序列，只要提取运动区域内的相关图像信息即可，避免了以后视频序列间的运算，节约了时间，减少了运算量。该算法的主要步骤如下：

(1)初始化图像的参考对象，如第一帧图像。

(2)求两帧图像之间的差，并选取一定的阈值，将图像二值化。由于视频对象的运动，所以运动区域的像素点值相对于背景区域的像素点值变化较大，很容易找出视频对象。同时也可以根据Surendra原理，将背景图像更新。背景更新的算法根据公式(1)来计算。通过多帧视频序列的迭代，得到的背景效果会更好，然后再二值化。

式中，Di(x，y)=1为视频对象区域，Di(x，y)=0为背景区域，Bi为第i帧图像，α为比例系数。

(3)对二值图像分别从 x轴、y轴进行自左向右、自上而下扫描，记录下 Di(x，y)=1的点数和 Di(x，y)=0的点数，并设置一个阈值，记录下超过该阈值的行列值。

(4)对这些相邻的行列值分别求差，并选取各个方向最大的两个值作为视频对象运动区域的上下左右4个点。因为视频对象边缘的像素点变化最大，通过求差分的方式可以表现出来。

(5)对于以后的视频序列，可以只读取该区域的图像信息作为视频对象。其中，这个矩形区域可以适当调整。步骤(4)得到的矩形是视频对象运动最剧烈的部分，经调整可以将视频对象提取得更完整一些。

2 仿真结果与分析

实验环境：Dell公司的PC机，CPU为Intel Pentium4，主频 1.5 GHz，内存 512 MB，操作系统 Windows 2000。程序在Matlab 7.0下，采用foreman视频序列来完成测试。foreman视频序列如图1所示，提取foreman序列时采用1帧/s的速率进行提取。从图中可以看到，人物的运动基本是在一个相对固定的区域。提取时首先提取视频图像的背景，后面的视频序列只要读取背景以外的部分就可以了。

图2是提取的视频图像的背景，图3是从第7帧、第17帧和第22帧中提取的视频对象。程序运行时从第7帧、第17帧和第22帧中采用任意两帧用来提取视频对象，运行结果为“Elapsed time is 3.561000 seconds”，即总共运行了3.561 s，少于其他算法的运行时间。

由实验结果可以看到，该算法较准确地分割出了视频对象，且在计算上比其他算法要简单得多。但该算法分割出的对象区域是视频对象运动最大的区域，导致在加矩形框时，可能存在过分割的现象，即将多余的图像信息也包含了进去。因此，对于该算法中的矩形框的大小确定问题仍然需要深入研究。

本文考虑到实时性和计算量等因素，在一种对称差分方法的基础上，从视频序列的背景入手，先找出视频序列的背景信息，对以后的各帧图像只要读取背景以外的信息，就可以方便地提取出视频对象。实验仿真表明，这种方法可以快速提取出视频对象。但是，该算法只适合于视频会议、视频电话等背景区域变化不大的场合。如何实现在室外环境和背景不断转换的情况下的视频对象的有效分割需要继续深入研究。

[1]钱渊，张晓燕，夏靖波.视频对象分割技术综述[J].探测与控制学报，2008，30(2)：64-67.

[2]印勇，张影.基于变化检测的视频对象分割算法研究[J].计算机工程与设计，2008，44(13)：161-163.

[3]贺贵明，李凌娟，贾振堂.一种快速的基于对称差分的视频分割算法 [J].小型微型计算机系统，2003，24(6)：966-968.

[4]姚军，蒋晓瑜，黄应清.一种基于自适应阈值与边缘跟踪的目标提取方法 [J].装甲兵工程学院学报，2004(4)：56-57.

[5]张晓波，刘文耀，吕大伟.基于时空信息的自动视频对象分割算法[J].光电子·激光，2008，19(3)：384-387.