一种基于全连接CRF的前景-背景分割方法

吴冠辰, 詹煜, 邓捷

(贵州交通职业技术学院信息工程系, 贵阳550008)

引言

交互式的图像分割作为一种基础的图像处理算法，一直被研究者们当作一个研究热点，通过给定一些标识前景-背景的种子信息，进行循环迭代，最后给出一个相对稳定的前景像素集合作为分割结果[1-3]。传统的图像分割算法根据使用信息的不同主要分为基于边缘的算法和基于区域的算法，基于边缘的方法主要依据前景与背景的边缘差异进行分割[4-5]，考察的指标主要包括边缘曲线的长度、光滑度以及边缘强度等，经典的算法包括活动轮廓法[6-7]、分水岭算法[8]等；基于区域的算法主要依据前景/背景的同一性进行分割[9-13]，依据同一性分别对前景、背景进行建模，这种模型可以很简单，比如一个常数[12]、多分段常数[13]，也可以比较复杂，比如基于滑动窗口的高斯模型[9]、混合高斯模型[10]、混合student-t分布模型[11]等。

单一的依据一类信息很容易陷入局部极值点，比如单纯依赖边缘信息会导致分割边缘错误，单纯依赖区域信息会导致分割边缘模糊、锯齿明显，因此，将边缘信息与区域信息融合是获得理想分割结果的必要条件。随着概率图模型理论的发展[14]，图像分割问题被认为本质上是一个标记问题，与其他标记问题类似，图像分割问题被转换为基于条件随机场的最大条件概率问题[15,16]。

到目前为止，可以认为条件随机场模型是处理图像分割问题最优秀的模型[16-17]。首先，条件随机场模型表达能力强大，模型能够精细到对每一个像素精确描述；其次，条件随机场模型融合能力强大，除了能够融合目标区域信息和目标边缘信息外，还能融合其他类型的各种先验信息[18]；另外，条件随机场模型的可解释能力强，尤其是相对于当前火热的基于深度学习的图像分割算法，比如MASK-RCNN[19]。

借助吉布斯分布与条件随机场的等价性[20]，基于条件随机场的最大条件概率问题能够转化为求取一类具有特殊形式的能量函数的最小值问题。基于条件随机场的能量函数一般包含两部分：一元项和二元项。一元项描述了像素点自身隶属于前景/背景的程度，二元项描述的是邻居点对其归属的影响。传统的条件随机场模型常采用局部范围约束的二元项，即仅仅考虑像素点邻域内的邻居像素点对其的约束作用，局部范围的二元项会使得能量函数的优化相对简单，但也导致了能量函数中的全局约束不足，使得最后极容易收敛到局部极值点。例如，一些基于局部范围二元项约束的能量函数不能对物体的“细条状”部分进行有效地分割；另一些基于局部约束二元项的能量函数对具有模糊边界的物体分割不理想[13]。

因此，需要使用一种更具全局性的全连接条件随机场模型。然而，面对如此庞大数目的二元能量项，精确的学习与推理算法的时间复杂度达到O(N3)[21]，当图片较大时，这显然是无法接受的。一些近似算法，包括各种置信传播算法、基于图割的算法[22]、均值场近似算法，能够将计算的时间复杂度降低到O(N2)，但也只能运用在中等大小的图片上。带来突破的是，Krahenbuhl等人结合均值场近似技术，将全连接条件随机场模型的二元项约束转换成对条件随机场的快速滤波，从而完美地实现用O(N)复杂度来学习和推理基于全连接随机场模型的能量函数[23]。

Krahenbuhl方法的核心是使用随机场中每个顶点的条件局部最优分布的乘积来模拟随机场的分布，这样处理虽然是采用基于DL散度的近似模拟的方式来实现，但是本质上还是隐式地假设了像素点间的条件独立。对于距离较远的像素点，这种假设没有问题，但是对于4邻域、8邻域或者24邻域内的邻居像素点来说，这种假设偏强，丢失了直接邻居间的相关性约束。

为了克服这种较强假设造成的约束信息丢失，本文仅使用均值场近似技术将空间距离较远的二元约束转换成低通滤波操作，将空间距离较远的像素间的二元约束转换成目标像素的一元约束，而对其主要约束的直接邻居像素间的二元约束不做类似处理。另外，为了防止仅利用区域信息导致的分割边缘锯齿，本文添加了局部约束的光滑项，对分割边缘进行约束，最后利用图割算法对新的能量函数进行求解。实验结果显示，由于充分利用了全局的二元约束信息，算法对具有复杂边缘、细小枝状边缘、凹陷边缘的物体具有较好的分割效果。

1全连接CRF模型及均值场近似

考虑随机场I定义在随机变量集合{I1,I2,…,IN}上，其中随机变量Ii表示像素点i的颜色值，N表示图像中像素点的数目。另外，考虑条件随机场X定义在随机变量集合{X1,X2,…,XN}上，其中随机变量Xi表示标记给像素点i的前景/背景标签，定义域为L={l0,l1}，l0和l1分别表示前景标签和背景标签。随机场I和随机场X便构成一个条件随机场(I,X)。结合Lafferty等人的结论[20]，条件随机场(I,X)能够用如下吉布提分布来刻画：

(1)

在全连接的条件随机场中，图G是随机场X上的完全图，CG是一元项和成对团的集合，因此，其吉布提能量可表示为：

(2)

式中，ψu(xi)是一元项势能，其只与像素i自身有关，描述了像素i与其所属类别的差异度。本文使用基于核密度估计的颜色分布来描述像素点以及区域的颜色信息，并使用了Bhattacharyya距离来描述颜色分布的差异[24]。ψp(xi,xj)描述了像素点i和j在分类上的相互约束，这种约束在构造条件随机场的时候一般理解为一个像素对另一个像素在分配标签时的一种协作，在优化能量函数的时候一般理解为对两个像素分配不同标签的一种惩罚，而且往往是两个特征越相近、位置越靠近的像素被分配不同的标签时惩罚越大。因此，ψp(xi,xj)常常具有如下形式：

ψp(xi,xj)=u(xi,xj)×dp(i,j)dp(i,j)=

(3)

式中：dp(i,j)描述了像素点i与j的相似度，pi和Ii分别表示像素i的位置和颜色，λα和λβ分别刻画了像素在位置与颜色上对其他像素的作用距离，w是权重系数，平衡了能量函数中一元项势能和二元项势能的比例。u(xi,xj)是一个兼容性函数，一般选用Ising/Potts模型，即只有当像素i和j的标签不同时，才会为1，其他情况下为0。

(4)

2提出的算法

平均场近似处理实现了将二元项约束势能到一元势能的转换，从图割算法的角度来看，近似处理是将像素j到像素i之间的流量直接转移到了像素i的汇边上。这种操作转移的是顶点间的最大流量容量，但是实际上，在最优的最大流最小割结果中，不可能每个顶点间的流量都以最大容量进行。另外，如文献[25]中所证明：式(4)只是在给定除像素i以外的其他像素的标签后所得的条件局部最优。因此，式(4)的处理过多地丢失了像素间的二元约束关系，导致分割的边缘极易出现毛刺。

为了克服这种情况，本文在经过均值场近似技术处理后的能量函数上补加一项光滑约束[27]。结合式(1)和式(4)，可得均值场近似处理后的能量函数：

(5)

增加了光滑约束后的能量函数：

(6)

式中：C代表的是分割后前景-背景的边缘，L表示加权的曲线长度，μ是权重系数。式(6)中等号右边的第一项具有线性形式，如果能对长度项进行离散化处理，可以使Es(x)整个具有标签分配的表达形式。Boykov等人[28]从积分几何学的角度，结合Cauchy-Crofton公式给出了使用图模型中的顶点之间的权重关联来表达轮廓长度的形式：

k×u(xi,xj)

(7)

式中：N8(i)表示像素点i的上下左右8个邻居点，k=π/8(i-j)，i-j表示i和j在位置空间的欧氏距离，g(i)一般取1/(1+β▽Ii)。

结合式(7)可得最终的能量函数：

(8)

另外，为了减弱均值场近似算法对二元约束项信息丢失的影响，本文不再使用滤波算法对全部二元项约束进行优化，仅使用其对N8(i)以外的二元项约束做处理，对于与N8(i)之间的二元项约束，本文采用图割算法进行求解，式(8)的形式转化为：

(9)

式中，等号左边第一项为一元项，第二项为新的二元约束项。

使用图割方法优化式(9)，首先构建一个适当的网络流图G，该网络流图与随机场类似，图像的每个像素点映射为网络流图的一个顶点，如图1所示。图1左图表示图像，f、b分别表示前景、背景，u为未待标记区域；右图是网络流图，每个顶点i有两个t-links，(s,i)和(i,t)分别表达了顶点i与源点(S/前景)和汇点(T/背景)的差异，其权值用wsi和wit表示，每两个相邻的顶点i与j之间都有一个n-link，代表顶点之间的关联，其权值用wij表示。

图1图像标记转换为网络流图示意图

结合式(9)和图1所示，可知每个顶点的t-links为：

(10)

顶点i与顶点j的之间的权重为：

(11)

综合以上叙述，本文的分割算法流程如下：

(1) 输入种子点信息，获取初始标签L0(i)。

(3) 计算wsi、wit和wij。

(4) 图割算法进行最大流最小割优化，获取分割后的标签L1(i)。

(5) 返回步骤2，直至前景-背景稳定。

3实验

本文在VS2010平台上使用C++语言实现了本文所提的算法，并在Berkeley图像分割测试集中选取了部分图片进行测试。作为对比，本文也实现了基于全连接条件随机场的低通滤波的图像分割算法(简称滤波算法)。

图2显示了本文所提算法与基于全连接条件随机场的低通滤波的图像分割算法对同一幅图片的分割效果。其中，式(3)中的参数λα=0.003、λβ=0.003、w=0.05，两种算法的这几个参数设置相同。图2(a)是两种算法的用户输入的标记，图2(b)与图2(c)分别是本文所提算法与基于全连接条件随机场的低通滤波的图像分割算法的分割轮廓，图2(d)与图2(e)分别是本文所提算法与基于全连接条件随机场的低通滤波的图像分割算法的分割结果图。对比可知，基于全连接条件随机场的低通滤波分割算法的结果有一些噪点区域，这主要是由于滤波算法完全将二元约束转化成了一元约束，导致分割时是以单个像素点为单位而不是以邻域为单位进行分割，标记错误的噪点区域不能被邻域像素所修正。

图2本文算法与基于全连接条件随机场低通滤波分割算法比较

图3展示了本文所提算法在分割具有细长部位的物体时的效果。其中，式(3)中的参数λα=0.003、λβ=0.003、w=0.05，u针对不同的图像需要手动修改。图3中，第一行为用户输入的标记，第二行是本文所提算法的分割结果，第三行是分割结果的轮廓。观察分割结果可知，本文所提算法由于使用了全局的二元约束信息，在分割物体的细长部位时具有较好的效果。

图3细长部分的分割效果

图4本文所提算法分割复杂边缘的效果

图4展示了本文所提算法在分割具有复杂边缘的物体的效果。图4中第一、二、三行分别是用户输入标记、本文所提算法的分割结果以及分割轮廓。从分割结果可知，对不同空间距离的二元约束项的分别处理，使得能分割复杂边缘的同时也避免了噪点区域的产生。

4结论

使用均值场近似技术可以将基于全连接条件随机场的二元项约束转换成低通滤波操作，本文借鉴这一操作，只将空间距离较远的像素间的二元约束转换成低通滤波，而对邻居像素间的二元约束不做类似处理。这样分别处理的好处有两个：

(1) 在分割时使用了更多的全局约束信息，降低了分割结果陷入局部最优的可能性。

(2) 避免了起主要约束作用的邻居像素间二元项被直接地线性处理，使得二元约束丢失过多。

从实验结果来看，不将直接邻居像素间二元项处理成一元项较好地避免了噪点区域的产生，使得分割结果的一致性更好。